프로젝트 어덕행덕
K-Pop App에 큰 실망을 하고 구상해본 가설적 팬덤 앱의 비전. 어차피 이미 시기가 상당히 지난만큼 내가 만들지는 않을 것 같아 아이디어 전체를 공개한다. 어차피 아이디어는 가치가 없다. 누군가 아이디어를 참고하면 가볍게 크레딧만 부탁한다.
놀랍게도 아이돌 팬들은 제발 내 돈을 가져가 하는 분야들이 있다. 그럼에도 버블이나 프라이빗 메시지 같은 BM에서 벗어나지 못하는 단순한 사고 수준의 기업들을 보고, 이들은 K-Pop을 문화적 역량이 아닌 ATM기로 생각하고 있구나라는 깊은 환멸을 느꼈다. K-Pop은 ATM이 아니라 문화이고, 융성한 문화만을 추구한다면 자연스럽게 소비자들은 나타날 것이다. 이는 그런 사고를 기록해놓은 문서이다.
그나마 잠재력을 느낀 앱은...
- 블립 blip, 케이팝 팬을 위한 스케줄 알리미
- Weverse - Official for All Fans
- V LIVE - 하이브가 구매했기에 Weverse와의 통합을 기대함
핵심 아이디어
- 컴퓨터 및 빅데이터 분석 플랫폼. 연예인들에 대해서 발생하는 수많은 빅데이터와 정보들을 취합하고 재미난 분석으로 정리 발표.
- 인공지능 교차편집. 위 빅데이터 분석 플랫폼의 핵심 기능.
- 커뮤니티와 신뢰 시스템. 케이팝은 크게 유튜브, 브이라이브 등의 비교적 "양지"와 디씨, 더쿠, 인스티즈 등의 비교적 "음지"로 나뉨. 그 사이 회색 지대는 나무위키 정도. 커뮤니티의 신뢰도 시스템을 바탕으로 음지 시스템의 덕력과 양지 시스템의 접근성을 한 번에 갖출 수 없을까?
- 연예인 캡차 시스템. 위 신뢰 시스템의 핵심 기능. 다음 중 아이즈원이 아닌 멤버를 고르시오. 팬이라면 2초에 풀 수 있지만 외부 공격자는 이미지를 하나 하나 대조해야 하기에 오래 걸림. 팬 간의 갈등 및 공성전 및 impersonation 문제 등을 효과적으로 풀 수 있음.
- 와치 파티. IZ ARK의 다같이 보는 와치파티, 그리고 옥짱의 컴백 환영 라이브에서 아이디어를 얻음. 아이돌의 컴백 직전, 음원 공개가 6시라고 할 때, 5시부터 그 연예인들만 나오는 광고의 무한한 연속. 팬들이라면 즐겁게 볼 테고, 오히려 슈퍼볼 광고처럼 그마저도 하나의 문화로 자리 잡을 것. 더불어 같이 구매 링크를 표시해주는 커머스와의 연동을 기대한다면 폭발적인 수입을 기대할 수 있음.
이하 전체 기록. 시간 순.
교차편집 인공지능
- 2019-11-06
- 2019년 2월~8월 최초 구상
- 2019년 10월 실체화
- 연구의 일환으로 동영상 압축과 유체이탈 글 작성
- 원래는 아이프레임의 타임스탬프를 카메라 앵글 전환의 키로 활용하기 위함이었음
- 하나의 움직이는 카메라샷은 첫 프레임만 아이프레임으로 잡히고 나머지는 비 / 피 프레임으로 잡힐거라 생각했기 때문. 그렇기에 아이프레임만 잡으면 서로 다른 카메라 앵글의 위치를 구할 수 있을거라 생각했음
- 하지만 아이프레임은 그다지 유용하지 않았음
- 애초에 FFMpeg도 그렇게 Reliable하게 전천후 돌아가지 않고 "적당히" 압축을 시켜주는 바람에 예상치 못한 곳에서 아이프레임이 튀어나오고 그랬음. 대부분의 우리에겐 5MB와 5.02MB는 거의 쌤쌤인 느낌이랄까. 그래서 완전무결한 압축이 이뤄지기보다는 그냥 주먹구구식으로 "적당히 꽤 많이" 압축을 해주 는 것이었음.
- 더불어 avi 포맷의 동영상에서는 아이프레임의 인덱스가 따로 보관되는 한편 내가 주로 다루어야할 마트료시카 비디오와 mp4는 그 방법을 모르겠음.
- 그래서 결론적으로 아이프레임 관련 스택은 인코더에나 들어가지 아이프레임 정보만으로 유의미한 알고리즘적 활용은 불가능할 것이라 결론 내림.
- 교차편집 엔진 로드맵
- 0세대. 기본적인 비디오 컷편집 / 페이드 / 각종 트랜지션 엔진이 작동하는 상태. 오디오 엔진도 적당히 그에 맞추어 동작하는 상태
- 1세대. 오디오 싱크를 맞출 수 있는 단계. 이 단계가 되면 동작이 자연스럽게 연결이 안 될 뿐, 음방 편집에 대한 기본적인 MVP를 다할 수 있다. 이게 MVP
- 2세대. 얼굴 인식을 할 수 있는 단계. 그래서 여러 방송을 동시에 모니터링 하다가 동일 시점에 동일 인물이 나오면 한 쪽에서 반대쪽으로 넘어갈 수 있는 단계. 사람 얼굴을 인식하는 기능도 필요함. 직캠까지
- 3세대. 패턴 인식을 할 수 있는 단계. 이게 무슨 말이냐면... 기존 2세대는 단순히 사람 얼굴이 앞뒤로 붙어 있을 때만 사람 얼굴을 기준으로 교차편집을 한다. 근데 이거는 패턴을 인식해서 전체 군무가 비춰질 때 교차편집이 들어간다. 2세대랑은 전혀 다른 기술 셋이 들어갈 듯
- 교차편집 엔진 기능
- 유튜브 링크 수집 / 다운로드
- 음원 중추 보정
- 썸네일 추출 및 보정
- 정기적으로 자동 정보 수집 및 자동 실행
- 플랫폼
- 회원가입
- 노래 신청
- 투표
- 광고
- 음원 박자 추출
- Shazam의 디지털 핑거프린팅
- google/audio-sync-kit
수익모델
- 2020-02-12
- 교차편집 인공지능의 수익 모델은 광고가 될 것
- 교차편집 인공지능을 빠르고 크게 키우기 위해서는 공공의 기여를 받는 교차편집 플랫폼이 필수적
- 그 플랫폼 운영비 정도로 사용될 예정
- 다만 교차편집 영상 자체는 광고를 붙일 수 없다 (YouTube Copyright Claim)
- 그래서 교차편집 플랫폼 쪽에 광고를 붙이는 방향으로 구상 중
- 하루에 투표권을 1개씩? 주고, 광고를 하나 볼 때마다 몇 개를 더 주던가
- 광고 자체는 옆에 패시브로 계속 나오거나...
- 근데 일단 플랫폼의 사용 자체에는 광고가 전혀 방해가 안 됐으면 좋겠음.
- 컨텐츠에 끼어드는 광고는 매우 부정적
- 애드블록블록?
- 사실 여기에는 혼합된 의견이 떠오르는데
- 찬: 어차피 광고는 아주 조금 달거고. 애드블록 사용자도 상당하거든. 글구 애드블록 블록을 달면 트래커 블록도 대부분 블록이 되니까, 내 사이트를 누가 얼마나 사용하고 접속량이 어떻게 될지도 투명하게 보일 것 같아
- 반: 근데 애드블록 블록이 막상 튀어나오면 사용자 입장에서 엄청 귀찮거든.. 그래서 그냥 "아;; 그냥 나갈래" 하고 나가는 경우가 많음
- 그렇게 되면 서버 usage가 줄어드는 것은 이득이지만, 결국 인공지능의 성장에 아주 필수적인 사용자 기여 데이터는 수집하기 어렵게 될거야
- 애 드블록 블록을 달면서 사용자를 방해하지 않는 방법은 없을까?
Face Morph
- 2020-02-13
- Face Morph라는 것을 알게 되었는데, 이 기술을 적용할 수 있을 것이다.
- 근데 문제는, 현재까지 공개된 기술은 단순한 두 개의 사진을 가지고 그 in-between 이미지를 생성해서 동영상을 만드는 기술.
- 내가 필요한 것은,
- 동영상이 멈추지 않고 연속적인 전환이 일어나는 동시에
- 얼굴 부분만 liquify가 되는 것이다
- 동시에 주변 무대를 많이 왜곡 시키면 안 된다.
- 이렇게 적고 나니까 Face Morph 자체는 사용되지 않을 수 있겠다. 어차피... 대부분의 현행 교차편집들도 그런거는 없으니까
- cirbuk/face-morphing
- alyssaq/face_morpher: Morph faces with Python, Numpy, Scipy
Facial Database
- 2020-02-13
- 얼굴 데이터베이스를 사용하면 괜찮을 것 같기도 한데...
- 적용하지 않을까 고민도 든다.
- 간혹 무대에서 서로 역할을 바꿔서 공연하는 경우가 있긴 한데, Face Liquify 등의 기술을 써서 이어붙이면 서로 다른 인물이 서로 전환되기 때문. 이거도 되게 재밌을 것 같았다.