cho.sh
프로젝트 어덕행덕

프로젝트 어덕행덕

에 큰 실망을 하고 구상해본 가설적 팬덤 앱의 비전. 어차피 이미 시기가 상당히 지난만큼 내가 만들지는 않을 것 같아 아이디어 전체를 공개한다. 어차피 . 누군가 아이디어를 참고하면 가볍게 크레딧만 부탁한다.

놀랍게도 아이돌 팬들은 제발 내 돈을 가져가 하는 분야들이 있다. 그럼에도 버블이나 프라이빗 메시지 같은 BM에서 벗어나지 못하는 단순한 사고 수준의 기업들을 보고, 이들은 을 문화적 역량이 아닌 ATM기로 생각하고 있구나라는 깊은 환멸을 느꼈다. 은 ATM이 아니라 문화이고, 융성한 문화만을 추구한다면 자연스럽게 소비자들은 나타날 것이다. 이는 그런 사고를 기록해놓은 문서이다.

그나마 잠재력을 느낀 앱은...

2A2DC6

핵심 아이디어

  • 컴퓨터 및 빅데이터 분석 플랫폼. 연예인들에 대해서 발생하는 수많은 빅데이터와 정보들을 취합하고 재미난 분석으로 정리 발표.
  • 인공지능 교차편집. 위 빅데이터 분석 플랫폼의 핵심 기능.
  • 커뮤니티와 신뢰 시스템. 케이팝은 크게 유튜브, 브이라이브 등의 비교적 "양지"와 디씨, 더쿠, 인스티즈 등의 비교적 "음지"로 나뉨. 그 사이 회색 지대는 나무위키 정도. 커뮤니티의 신뢰도 시스템을 바탕으로 음지 시스템의 덕력과 양지 시스템의 접근성을 한 번에 갖출 수 없을까?
  • 연예인 캡차 시스템. 위 신뢰 시스템의 핵심 기능. 다음 중 아이즈원이 아닌 멤버를 고르시오. 팬이라면 2초에 풀 수 있지만 외부 공격자는 이미지를 하나 하나 대조해야 하기에 오래 걸림. 팬 간의 갈등 및 공성전 및 impersonation 문제 등을 효과적으로 풀 수 있음.
  • 와치 파티. IZ ARK의 다같이 보는 와치파티, 그리고 옥짱의 컴백 환영 라이브에서 아이디어를 얻음. 아이돌의 컴백 직전, 음원 공개가 6시라고 할 때, 5시부터 그 연예인들만 나오는 광고의 무한한 연속. 팬들이라면 즐겁게 볼 테고, 오히려 슈퍼볼 광고처럼 그마저도 하나의 문화로 자리 잡을 것. 더불어 같이 구매 링크를 표시해주는 커머스와의 연동을 기대한다면 폭발적인 수입을 기대할 수 있음.

이하 전체 기록. 시간 순.

교차편집 인공지능

  • 2019년 2월~8월 최초 구상
  • 2019년 10월 실체화
  • 연구의 일환으로 동영상 압축과 유체이탈 글 작성
    • 원래는 아이프레임의 타임스탬프를 카메라 앵글 전환의 키로 활용하기 위함이었음
    • 하나의 움직이는 카메라샷은 첫 프레임만 아이프레임으로 잡히고 나머지는 비 / 피 프레임으로 잡힐거라 생각했기 때문. 그렇기에 아이프레임만 잡으면 서로 다른 카메라 앵글의 위치를 구할 수 있을거라 생각했음
    • 하지만 아이프레임은 그다지 유용하지 않았음
    • 애초에 도 그렇게 Reliable하게 전천후 돌아가지 않고 "적당히" 압축을 시켜주는 바람에 예상치 못한 곳에서 아이프레임이 튀어나오고 그랬음. 대부분의 우리에겐 5MB와 5.02MB는 거의 쌤쌤인 느낌이랄까. 그래서 완전무결한 압축이 이뤄지기보다는 그냥 주먹구구식으로 "적당히 꽤 많이" 압축을 해주는 것이었음.
    • 더불어 avi 포맷의 동영상에서는 아이프레임의 인덱스가 따로 보관되는 한편 내가 주로 다루어야할 마트료시카 비디오와 mp4는 그 방법을 모르겠음.
    • 그래서 결론적으로 아이프레임 관련 스택은 인코더에나 들어가지 아이프레임 정보만으로 유의미한 알고리즘적 활용은 불가능할 것이라 결론 내림.
  • 교차편집 엔진 로드맵
    • 0세대. 기본적인 비디오 컷편집 / 페이드 / 각종 트랜지션 엔진이 작동하는 상태. 오디오 엔진도 적당히 그에 맞추어 동작하는 상태
    • 1세대. 오디오 싱크를 맞출 수 있는 단계. 이 단계가 되면 동작이 자연스럽게 연결이 안 될 뿐, 음방 편집에 대한 기본적인 MVP를 다할 수 있다. 이게 MVP
    • 2세대. 얼굴 인식을 할 수 있는 단계. 그래서 여러 방송을 동시에 모니터링 하다가 동일 시점에 동일 인물이 나오면 한 쪽에서 반대쪽으로 넘어갈 수 있는 단계. 사람 얼굴을 인식하는 기능도 필요함. 직캠까지
    • 3세대. 패턴 인식을 할 수 있는 단계. 이게 무슨 말이냐면... 기존 2세대는 단순히 사람 얼굴이 앞뒤로 붙어 있을 때만 사람 얼굴을 기준으로 교차편집을 한다. 근데 이거는 패턴을 인식해서 전체 군무가 비춰질 때 교차편집이 들어간다. 2세대랑은 전혀 다른 기술 셋이 들어갈 듯
  • 교차편집 엔진 기능
    • 유튜브 링크 수집 / 다운로드
    • 음원 중추 보정
    • 썸네일 추출 및 보정
    • 정기적으로 자동 정보 수집 및 자동 실행
  • 플랫폼
    • 회원가입
    • 노래 신청
    • 투표
    • 광고
  • 음원 박자 추출

수익모델

  • 교차편집 인공지능의 수익 모델은 광고가 될 것
  • 교차편집 인공지능을 빠르고 크게 키우기 위해서는 공공의 기여를 받는 교차편집 플랫폼이 필수적
  • 그 플랫폼 운영비 정도로 사용될 예정
  • 다만 교차편집 영상 자체는 광고를 붙일 수 없다 (YouTube Copyright Claim)
  • 그래서 교차편집 플랫폼 쪽에 광고를 붙이는 방향으로 구상 중
  • 하루에 투표권을 1개씩? 주고, 광고를 하나 볼 때마다 몇 개를 더 주던가
  • 광고 자체는 옆에 패시브로 계속 나오거나...
  • 근데 일단 플랫폼의 사용 자체에는 광고가 전혀 방해가 안 됐으면 좋겠음.
  • 컨텐츠에 끼어드는 광고는 매우 부정적
  • 애드블록블록?
    • 사실 여기에는 혼합된 의견이 떠오르는데
    • 찬: 어차피 광고는 아주 조금 달거고. 애드블록 사용자도 상당하거든. 글구 애드블록 블록을 달면 트래커 블록도 대부분 블록이 되니까, 내 사이트를 누가 얼마나 사용하고 접속량이 어떻게 될지도 투명하게 보일 것 같아
    • 반: 근데 애드블록 블록이 막상 튀어나오면 사용자 입장에서 엄청 귀찮거든.. 그래서 그냥 "아;; 그냥 나갈래" 하고 나가는 경우가 많음
      • 그렇게 되면 서버 usage가 줄어드는 것은 이득이지만, 결국 인공지능의 성장에 아주 필수적인 사용자 기여 데이터는 수집하기 어렵게 될거야
    • 애드블록 블록을 달면서 사용자를 방해하지 않는 방법은 없을까?

Face Morph

  • Face Morph라는 것을 알게 되었는데, 이 기술을 적용할 수 있을 것이다.
  • 근데 문제는, 현재까지 공개된 기술은 단순한 두 개의 사진을 가지고 그 in-between 이미지를 생성해서 동영상을 만드는 기술.
  • 내가 필요한 것은,
    1. 동영상이 멈추지 않고 연속적인 전환이 일어나는 동시에
    2. 얼굴 부분만 liquify가 되는 것이다
    3. 동시에 주변 무대를 많이 왜곡 시키면 안 된다.
  • 이렇게 적고 나니까 Face Morph 자체는 사용되지 않을 수 있겠다. 어차피... 대부분의 현행 교차편집들도 그런거는 없으니까
  • cirbuk/face-morphing
  • alyssaq/face_morpher: Morph faces with Python, Numpy, Scipy

Facial

  • 얼굴 데이터베이스를 사용하면 괜찮을 것 같기도 한데...
  • 적용하지 않을까 고민도 든다.
  • 간혹 무대에서 서로 역할을 바꿔서 공연하는 경우가 있긴 한데, Face Liquify 등의 기술을 써서 이어붙이면 서로 다른 인물이 서로 전환되기 때문. 이거도 되게 재밌을 것 같았다.
  • 그래서 과하게 얼굴 데이터베이스를 사용하는게 의미가 없을 것 같다.
  • 그보다 중요한 것은 단순히 인물과 군형을 인식하는 것
  • 근데 왠지 무대에서 사람들 얼굴이 쭈루룩 옆에 annotate되어 뜨는 것도 재밌을 것 같은데...
  • 단순하게 얼굴 인식은 옆에 이름 쓰는 용도로만 사용하고, 무대를 이어 붙이는 것은 얼굴 인식 없이 하는 것도??
    • 이 방법이 괜찮을 것 같다.
    • 새로운 그룹의 영상을 볼 때 "야 쟤가 누구야?" 하는 일도 있으므로..!
  • How to build a custom face recognition dataset - PyImageSearch

얼굴인식의 용법: 1인 직캠

  • 어제 노트를 작성할 때까지만 해도 생각을 못했는데, 얼굴인식도 용례가 있다. 전반적인 흐름을 따라가는 공연 영상은 단순하게 Main Character을 뽑아서 확인하는 것만으로 편집을 진행할 수 있다. 하지만 한 사람만을 따라가면서 촬영한 영상까지 동시에 편집이 되려면 얼굴인식이 필요하다.
  • 가령 A만 계속 찍는 영상이 하나 포함되었다고 할 때, 얼굴인식이 없다면 B가 메인 캐릭터일때 갑자기 구석에 있는 A로 전환되는 일이 벌어질 수 있다는 것. 그래서, 메인 씬 트랜지션에는 얼굴인식이 굳이 개입될 필요가 없지만 조금 더 풍부한 편집을 위해서는 얼굴인식 기술이 필요하다.

교차편집 영상 소스

  • 4sashi (https://4sashi.com/) 근데 별로 유의미한 영상 소스를 구할 수 있을 것 같지는 않음
  • 24 Hrs (https://kpop24hrs.com/) 여기 회원가입이 안 되는데...? 아마 종종 들어가서 가입이 가능한지 확인해 봐야겠다. 여러 채널을 통해서 알아보니 여기가 가장 영상이 많고 품질도 좋다고 함
  • Exciting (https://kpopexciting.blogspot.com/) 오 여기는 나름 괜찮다! 1080i 해상도가 최대인듯 싶지만 그 정도면 충분하다. 1080i는 ts 확장자로 제공됨 (근데 이거도 좀 골치 아파지는게, 디인터레이스야 내가 직접 하면 어렵지 않지만 교차편집 엔진에 파이썬 디인터레이스 호환 레이어를 깔아서 확장자를 보고 자동으로 디인터레이싱을 하도록 만들어야 하니... 정말;;;)

Copyright Strike?

  • KBS랑 MBC 영상은 저작권 스트라이크가 잘 걸린다고 한다
  • 뮤직뱅크, Simply , 더 쇼는 오래 사용해도 괜찮다고 한다
  • 교차편집 ai의 본 목적은 단순하게 음악 방송들만 사용하는 것이 아니라 엄청나게 많은 영상들을 총 조합하는 것이다. 예를 들어,
    • 음악방송
    • 유튜브 뮤직비디오 Performance Ver.
    • 1인 직캠
    • 팬싸인회 공연
    • 콘서트 공연
  • 이들 중에서 어떤 것들이 Copyright Strike가 걸리고 어떤 것들이 안 걸리는지 확인할 수 있는 방법이 필요하다.
  • 글구 인공지능이 15초 이상 사용하지 않도록 확확 바꾸도록 훈련시켜야 할듯

이름

  • 이름을 붙이는거야 사소한 문제이지만 가끔씩 고민을 해보고 있음
  • 생각해본 이름들:
    • Stage Mix Algorithm
    • Stage Mix AI
    • Stage Mix Engine
    • 대신 교차편집 해드립니다
    • AlphaMix
    • AlphaStage
    • Stage Alpha
    • 매일매일 교차편집
    • 데일리 교차편집
  • "대신 교차편집 해드립니다"라는 이름이 마음에 드는 이유는 초반 몇 달동안은 인공지능인 것을 철저하게 숨기고 나중에 공개하는 방안을 생각해보고 있기 때문
  • 그 외에는 알파믹스라는 이름이 괜찮은데 무슨 약 이름이랑 겹침 (사실 큰 상관이야 있겠나)

다중 오디오 신호의 시간적 동기화

새치기

  • 일정 금액을 결제하면 대기와 투표 없이 바로 제작해주는 것
  • 방송사 등에서 교차편집을 제작하고 싶은데 여력이 없는 경우가 있기 때문에 괜찮을 것 같기도 하면서
  • 채널 품질 저하 등
  • 아님 차라리 동영상을 내게 싹 보내주면 내가 그걸 실행만 해주고 영상을 보내주는 것은? 내가 직접 올리지 않는거지. 차라리 이건 좀 괜찮겠는데? 업로드는 걔네들이 알아서 하고, 나는 인공지능으로 외주를 하는 것
  • 무작정 궁금해지는 것인데 인공지능의 창작물에 대한 권리는 인공지능에게 있을까 개발자에게 있을까?

강의

  • OpenCV 강의
    • 인터넷 상에서 OpenCV를 배울 수 있는 곳을 찾고 있다
    • 베스트 중 베스트는 OpenCV + DL을 같이 배우는 것인데,
    • 일단 지금까지 찾은 링크들
    • Udacity는 적당한 인강이 없어보인다
    • 우선 OpenCV의 답변을 기다린 후에 가자
    • 와중에 Think big. Start small. Act now. 라는 문구를 보았다 나름 좋은 말인 것 같다
  • Introduction & Basics OpenCV.org
    • OpenCV 비영리단체에서 운영하고 있음 (2/24부터 등록 오픈, 3/9부터 시작)
    • 가장 체계적인 것 같지만
    • 근데 가격이 기본 $200+
    • 그래서 학생 할인은 없냐고 메일로 물어봄
    • OpenCV
  • OpenCV for Beginners (School of AI)
  • IBM Applied AI Professional Certificate (Coursera)
    • 얘네는 재정 지원이 가능해서 좋음
    • 하지만 내가 관심이 없는 분야들에 대한 AI도 있어서 그닥,,
    • 하지만 가장 좋은 타협안 같음
    • IBM Applied AI Professional Certificate

Doopiano 플랫폼 케이스 스터디

  • 이 분은 직접 작곡을 하시지만, 플랫폼을 운영한다는 점에서 배울 점이 많다.
  • DooPiano - KPOP Piano Sheet Music / 가요 피아노 악보
  • 모든 동영상은 유튜브에 업로드
  • 악보를 판매하는 중. 하나에 대략 2000원.
  • 저작권료를 납부중
  • LTD 기업
  • wp-admin 서브디렉토리에 반응하는 것을 보니 워드프레스로 만들었다.
  • Registrar URL: http://www.wordpress.com 아마 유료 호스팅인듯.
    • 가능성 1: 돈이 그만큼 많이 남아서 차라리 워드프레스 유료 쇼핑몰 호스팅을 하는 것이 나을 정도
    • 가능성 2: 큰 손해는 없이 운영하는 수준이라 적당한 지출은 감당 가능한 정도

다중 비디오의 시공간적 동기화 논문

얼굴도장

  • 연예인을 잘 모르는 사람들은 누가 누군지를 모르는데
  • 얼굴에 네모 치고 누군지 알려주면 좋을 것 같음
  • 좋은 응용 사례
  • 다만 현재 얼굴 인식처럼 이미지 베이스 OpenCV DL는 안될듯
    • 왜냐면 그렇게 되면 얼굴네모가 뚝뚝 끊기기 때문
    • 그렇게 되면 알아보기 힘들다
  • 얼굴네모는 부드럽게 얼굴 따라 움직여야한다
  • 동영상에서 얼굴이 여기저기 갑툭튀하는 경우는 없을테니
  • 이미지에서 얼굴을 잘 못 찾더라도 앞뒤 프레임에서 In-between으로 추론할 수 있는 방법이 없을까?

댄스브레이크

  • 댄스브레이크가 들어간 동영상의 노래들은 앞과 뒤가 같지만 말 그대로 중간만 다르다 댄스"브레이크"니까
  • 이런 경우 교차편집이 동작하도록 하려면 어떻게 패턴을 매치해야할까? 영상을 2개를 끊어야 하나?

의 메모

프리미엄 멤버십

  • 프리미엄 멤버십에 대한 고민.
  • 나는 이 프리미엄 멤버십을 가진 사람들을 베타 테스팅 또는 시사회처럼 쓰고 싶다. 특히 주 컨텐츠 중 하나를 "Face Stamp" 즉 "얼굴도장"으로 밀고 가려고 하는데, 이 과정에서 태깅이 잘못 되면 정말 큰일나기 때문이다. 프리미엄 멤버십은 매우 저렴한 가격(한 달에 990원, 1년에 9,900원...)에 운영할 생각이다.
  • 프리미엄 멤버십은 다음의 혜택이 있다.
    • 일주일 (또는 일정 기간) 영상 미리보기
    • 잘못된 영상 태그 제보하기
      • (제보 자체는 일반 회원들도 할 수 있지만 이 사람들이 일주일 미리 보기 때문에 그 기간동안 잘못된 영상을 잡아내는 것을 목표로 함. 특히나 태그가 잘못되기 쉬운, 신인들에게는 영상 하나 하나가 기회고 생명인데)
    • 얼굴 학습률 테스트하기
      • 마치 캡챠처럼 자체 를 구축하는 것을 목표로 함. 팬들 사이에서 공유할 수 있도록 난이도를 조정하고 정답률과 덕후 상위 몇 %인지 경쟁심리를 구축할 예정. 고난도 문제로 갈 수록 저해상도 또는 흐릿해지는 사진들...
    • 결제 자체는 매우매우 쉬워야하기 때문에 간편결제 위주로 할 예정. 특히 나 토스에 남는 짤짤이돈을 통해서 손쉽게 유료 혜택을 누릴 수 있도록 할 것. 난 이런 곳에 큰돈을 쓰길 원하는 사람도 아니거니와 무리한 과금을 좋아하지도 않는다. 다른 곳에 덕질하고 남은 몇백원을 가볍게 "해볼까?"하면서 결제를 유도하기 위한 용도. 박리다매.

의 메모

가수 분석 시스템

  • 이게 플랫폼화되면 데이터파이프를 구축할 수 있다.

669578

의 메모

  • 사진 갤러리 (총 동원)
  • 페이스북 액티비티처럼 큐레이팅 된 액티비티 타임라인.
  • 프리미엄 유저 권한 -- 포인트를 사용해 원본 파일 전체 다운로드. 사진가에게도 포인트 혜택.
  • 개발 친화 적

덕질계의 팔만대장경

  • 홈마들이 사진을 찍어서 올릴 수 있음. 페이스북 이벤트처럼 연예인들의 타임라인이 형성됨. 집단지성으로 구축. 그 행사에 사람들이 참석했다면 그 이벤트에 체크인도 가능. 그렇게 이벤트들을 "RICH"한 방식으로 (예: 사진, 미디어, 유튜브들이 태그되어 정리되어 그래프가 형성됨) 조직하여 저장할 수 있음. 추억 등을 만들 수 있고 저장할 수 있음. 100일 전, 등이 올라온다. 나무위키처럼 실시간 협업되어서 구축되는 데이터에 연예인이 등장할 수도 있다.
  • 즉 그렇게 아이돌 전체 역사를 박제하는 것이 목표. 아이돌의 리빙 히스토리.

팬덤지도

  • 팬덤 지도. 팬덤 간의 지도를 구축한다. 예를 들어 여돌은 북반구, 남돌은 남반구. 아이돌 간의 커넥션은 항공기 노선으로 표시. 예) 어느 방송에 같이 나왔다 → 항공기 노선 하나.
  • 공통 팬베이스가 크다 → 인접한 국가. 예를 들어 아이즈원과 로켓펀치는 팬베이스가 종종 겹친다. 그럴 경우 인접한 국가로 표시.

연예인 캡챠 시스템

  • 팬덤 커뮤니티에 글 쓸 때 캡챠 시스템을 통과해야함. 스팸 방지.
  • 다음 중 아이즈원이 아닌 인물의 사진은?
  • 팬이라면 진짜 2초면 풀 수 있지만 공격 의도를 가진 외부인은 풀기 매우 어려움
  • 공성전 및 타 아이돌 플랫폼 공격이 잦은 케이팝 씬의 특성에 최적화된 매우 기발한 아이디어라고 생각

뮤직비디오 와치 파티

  • 음원 공개 1시간 전부터 뮤직비디오 라이브 방송 및 광고
  • 패션과 연동된다면? 한 시간 내내 아이돌들의 옷 광고 등등이 나온다면?
  • 그 옆에 구매 링크가 같이 연동된다면?

컬렉션 가이드 & 중고시장

  • 컬렉션 인증 + 컬렉션 가이드
  • 중고시장 활성화

음악 30초 퀴즈 및 랭킹, 신뢰 시스템

  • 시대별 / 차트별 세부 종목별 랭킹 있고
  • 단위시간마다 초기화되고
  • 명예의 전당
  • 점수 높은 사람은 높은 신뢰도

프리패스

  • 예능이나 드라마 등을 제공하게 된다면...
  • "아이즈원 프리패스"라고 해서 월정액 9,900원 쯤에 모든 아이즈원 컨텐츠를 감상할 수 있도록 해줌 (합법적으로)
  • 모든 결제 시스템은 자신의 돈이 아티스트에게 어떻게 흘러가는지 볼 수 있게 투명하게 유지됨.

AI 교차편집 실제 예시

루나의 안무 컴퓨터 분석 예시

싸인 뿌리기

  • 싸인은 돈이 안 드는데. 그냥 싸인 수백장 해서 정기적으로 뿌리기.
  • 제작에는 돈이 얼마 안 들지만 팬들에게는 엄청난 가치를 지닌
  • 적은 돈으로 (제작) 큰 경제적 효과 (팬들에게 홍보 효과) 를 낼 수 있음
Backlinks26
3,263 notes
스트라이프-오픈라우터, 엔비디아-허깅페이스, 스페이스엑스-커서 인수로 보는 토크노믹스 (연세대 AI 세미나)A72DD4260911260911260910260910260905260905260902260902260830260830260828260828Poteto 대화록E8BDA9Poteto Transcripts7D77B5260824260824260813260813260812260812260727260727Claude Code Live Renaming30747B260726260726260722260722I prefer TUIBB9A08MarkRight8B0501에이전트 런타임 서버 셋업1983DCBun을 Rust로 재작성하다2BDED3260721260721Agent Runtime Server SetupC38C2C260719260719AutoBuilder63849A