프로젝트 어덕행덕

K-Pop App에 큰 실망을 하고 구상해본 가설적 팬덤 앱의 비전. 어차피 이미 시기가 상당히 지난만큼 내가 만들지는 않을 것 같아 아이디어 전체를 공개한다. 어차피 아이디어는 가치가 없다. 누군가 아이디어를 참고하면 가볍게 크레딧만 부탁한다.

놀랍게도 아이돌 팬들은 제발 내 돈을 가져가 하는 분야들이 있다. 그럼에도 버블이나 프라이빗 메시지 같은 BM에서 벗어나지 못하는 단순한 사고 수준의 기업들을 보고, 이들은 K-Pop을 문화적 역량이 아닌 ATM기로 생각하고 있구나라는 깊은 환멸을 느꼈다. K-Pop은 ATM이 아니라 문화이고, 융성한 문화만을 추구한다면 자연스럽게 소비자들은 나타날 것이다. 이는 그런 사고를 기록해놓은 문서이다.

그나마 잠재력을 느낀 앱은...

• 블립 blip, 케이팝 팬을 위한 스케줄 알리미
• Weverse - Official for All Fans
• V LIVE - 하이브가 구매했기에 Weverse와의 통합을 기대함

핵심 아이디어

• 컴퓨터 및 빅데이터 분석 플랫폼. 연예인들에 대해서 발생하는 수많은 빅데이터와 정보들을 취합하고 재미난 분석으로 정리 발표.
• 인공지능 교차편집. 위 빅데이터 분석 플랫폼의 핵심 기능.
• 커뮤니티와 신뢰 시스템. 케이팝은 크게 유튜브, 브이라이브 등의 비교적 "양지"와 디씨, 더쿠, 인스티즈 등의 비교적 "음지"로 나뉨. 그 사이 회색 지대는 나무위키 정도. 커뮤니티의 신뢰도 시스템을 바탕으로 음지 시스템의 덕력과 양지 시스템의 접근성을 한 번에 갖출 수 없을까?
• 연예인 캡차 시스템. 위 신뢰 시스템의 핵심 기능. 다음 중 아이즈원이 아닌 멤버를 고르시오. 팬이라면 2초에 풀 수 있지만 외부 공격자는 이미지를 하나 하나 대조해야 하기에 오래 걸림. 팬 간의 갈등 및 공성전 및 impersonation 문제 등을 효과적으로 풀 수 있음.
• 와치 파티. IZ ARK의 다같이 보는 와치파티, 그리고 옥짱의 컴백 환영 라이브에서 아이디어를 얻음. 아이돌의 컴백 직전, 음원 공개가 6시라고 할 때, 5시부터 그 연예인들만 나오는 광고의 무한한 연속. 팬들이라면 즐겁게 볼 테고, 오히려 슈퍼볼 광고처럼 그마저도 하나의 문화로 자리 잡을 것. 더불어 같이 구매 링크를 표시해주는 커머스와의 연동을 기대한다면 폭발적인 수입을 기대할 수 있음.

이하 전체 기록. 시간 순.

교차편집 인공지능

• 191106
• 2019년 2월~8월 최초 구상
• 2019년 10월 실체화
• 연구의 일환으로 동영상 압축과 유체이탈 글 작성
  • 원래는 아이프레임의 타임스탬프를 카메라 앵글 전환의 키로 활용하기 위함이었음
  • 하나의 움직이는 카메라샷은 첫 프레임만 아이프레임으로 잡히고 나머지는 비 / 피 프레임으로 잡힐거라 생각했기 때문. 그렇기에 아이프레임만 잡으면 서로 다른 카메라 앵글의 위치를 구할 수 있을거라 생각했음
  • 하지만 아이프레임은 그다지 유용하지 않았음
  • 애초에 FFMpeg도 그렇게 Reliable하게 전천후 돌아가지 않고 "적당히" 압축을 시켜주는 바람에 예상치 못한 곳에서 아이프레임이 튀어나오고 그랬음. 대부분의 우리에겐 5MB와 5.02MB는 거의 쌤쌤인 느낌이랄까. 그래서 완전무결한 압축이 이뤄지기보다는 그냥 주먹구구식으로 "적당히 꽤 많이" 압축을 해주는 것이었음.
  • 더불어 avi 포맷의 동영상에서는 아이프레임의 인덱스가 따로 보관되는 한편 내가 주로 다루어야할 마트료시카 비디오와 mp4는 그 방법을 모르겠음.
  • 그래서 결론적으로 아이프레임 관련 스택은 인코더에나 들어가지 아이프레임 정보만으로 유의미한 알고리즘적 활용은 불가능할 것이라 결론 내림.
• 교차편집 엔진 로드맵
  • 0세대. 기본적인 비디오 컷편집 / 페이드 / 각종 트랜지션 엔진이 작동하는 상태. 오디오 엔진도 적당히 그에 맞추어 동작하는 상태
  • 1세대. 오디오 싱크를 맞출 수 있는 단계. 이 단계가 되면 동작이 자연스럽게 연결이 안 될 뿐, 음방 편집에 대한 기본적인 MVP를 다할 수 있다. 이게 MVP
  • 2세대. 얼굴 인식을 할 수 있는 단계. 그래서 여러 방송을 동시에 모니터링 하다가 동일 시점에 동일 인물이 나오면 한 쪽에서 반대쪽으로 넘어갈 수 있는 단계. 사람 얼굴을 인식하는 기능도 필요함. 직캠까지
  • 3세대. 패턴 인식을 할 수 있는 단계. 이게 무슨 말이냐면... 기존 2세대는 단순히 사람 얼굴이 앞뒤로 붙어 있을 때만 사람 얼굴을 기준으로 교차편집을 한다. 근데 이거는 패턴을 인식해서 전체 군무가 비춰질 때 교차편집이 들어간다. 2세대랑은 전혀 다른 기술 셋이 들어갈 듯
• 교차편집 엔진 기능
  • 유튜브 링크 수집 / 다운로드
  • 음원 중추 보정
  • 썸네일 추출 및 보정
  • 정기적으로 자동 정보 수집 및 자동 실행
• 플랫폼
  • 회원가입
  • 노래 신청
  • 투표
  • 광고
• 음원 박자 추출
  • Shazam의 디지털 핑거프린팅
  • google/audio-sync-kit

수익모델

• 200212
• 교차편집 인공지능의 수익 모델은 광고가 될 것
• 교차편집 인공지능을 빠르고 크게 키우기 위해서는 공공의 기여를 받는 교차편집 플랫폼이 필수적
• 그 플랫폼 운영비 정도로 사용될 예정
• 다만 교차편집 영상 자체는 광고를 붙일 수 없다 (YouTube Copyright Claim)
• 그래서 교차편집 플랫폼 쪽에 광고를 붙이는 방향으로 구상 중
• 하루에 투표권을 1개씩? 주고, 광고를 하나 볼 때마다 몇 개를 더 주던가
• 광고 자체는 옆에 패시브로 계속 나오거나...
• 근데 일단 플랫폼의 사용 자체에는 광고가 전혀 방해가 안 됐으면 좋겠음.
• 컨텐츠에 끼어드는 광고는 매우 부정적
• 애드블록블록?
  • 사실 여기에는 혼합된 의견이 떠오르는데
  • 찬: 어차피 광고는 아주 조금 달거고. 애드블록 사용자도 상당하거든. 글구 애드블록 블록을 달면 트래커 블록도 대부분 블록이 되니까, 내 사이트를 누가 얼마나 사용하고 접속량이 어떻게 될지도 투명하게 보일 것 같아
  • 반: 근데 애드블록 블록이 막상 튀어나오면 사용자 입장에서 엄청 귀찮거든.. 그래서 그냥 "아;; 그냥 나갈래" 하고 나가는 경우가 많음
    • 그렇게 되면 서버 usage가 줄어드는 것은 이득이지만, 결국 인공지능의 성장에 아주 필수적인 사용자 기여 데이터는 수집하기 어렵게 될거야
  • 애드블록 블록을 달면서 사용자를 방해하지 않는 방법은 없을까?

Face Morph

• 200213
• Face Morph라는 것을 알게 되었는데, 이 기술을 적용할 수 있을 것이다.
• 근데 문제는, 현재까지 공개된 기술은 단순한 두 개의 사진을 가지고 그 in-between 이미지를 생성해서 동영상을 만드는 기술.
• 내가 필요한 것은,
  1. 동영상이 멈추지 않고 연속적인 전환이 일어나는 동시에
  2. 얼굴 부분만 liquify가 되는 것이다
  3. 동시에 주변 무대를 많이 왜곡 시키면 안 된다.
• 이렇게 적고 나니까 Face Morph 자체는 사용되지 않을 수 있겠다. 어차피... 대부분의 현행 교차편집들도 그런거는 없으니까
• cirbuk/face-morphing
• alyssaq/face_morpher: Morph faces with Python, Numpy, Scipy

Facial Database

• 200213
• 얼굴 데이터베이스를 사용하면 괜찮을 것 같기도 한데...
• 적용하지 않을까 고민도 든다.
• 간혹 무대에서 서로 역할을 바꿔서 공연하는 경우가 있긴 한데, Face Liquify 등의 기술을 써서 이어붙이면 서로 다른 인물이 서로 전환되기 때문. 이거도 되게 재밌을 것 같았다.
• 그래서 과하게 얼굴 데이터베이스를 사용하는게 의미가 없을 것 같다.
• 그보다 중요한 것은 단순히 인물과 군형을 인식하는 것
• 근데 왠지 무대에서 사람들 얼굴이 쭈루룩 옆에 annotate되어 뜨는 것도 재밌을 것 같은데...
• 단순하게 얼굴 인식은 옆에 이름 쓰는 용도로만 사용하고, 무대를 이어 붙이는 것은 얼굴 인식 없이 하는 것도??
  • 이 방법이 괜찮을 것 같다.
  • 새로운 그룹의 영상을 볼 때 "야 쟤가 누구야?" 하는 일도 있으므로..!
• How to build a custom face recognition dataset - PyImageSearch

얼굴인식의 용법: 1인 직캠

• 200214
• 어제 노트를 작성할 때까지만 해도 생각을 못했는데, 얼굴인식도 용례가 있다. 전반적인 흐름을 따라가는 공연 영상은 단순하게 Main Character을 뽑아서 확인하는 것만으로 편집을 진행할 수 있다. 하지만 한 사람만을 따라가면서 촬영한 영상까지 동시에 편집이 되려면 얼굴인식이 필요하다.
• 가령 A만 계속 찍는 영상이 하나 포함되었다고 할 때, 얼굴인식이 없다면 B가 메인 캐릭터일때 갑자기 구석에 있는 A로 전환되는 일이 벌어질 수 있다는 것. 그래서, 메인 씬 트랜지션에는 얼굴인식이 굳이 개입될 필요가 없지만 조금 더 풍부한 편집을 위해서는 얼굴인식 기술이 필요하다.

교차편집 영상 소스

• 200215
• 4sashi (https://4sashi.com/) 근데 별로 유의미한 영상 소스를 구할 수 있을 것 같지는 않음
• K-Pop 24 Hrs (https://kpop24hrs.com/) 여기 회원가입이 안 되는데...? 아마 종종 들어가서 가입이 가능한지 확인해 봐야겠다. 여러 채널을 통해서 알아보니 여기가 가장 영상이 많고 품질도 좋다고 함
• K-Pop Exciting (https://kpopexciting.blogspot.com/) 오 여기는 나름 괜찮다! 1080i 해상도가 최대인듯 싶지만 그 정도면 충분하다. 1080i는 ts 확장자로 제공됨 (근데 이거도 좀 골치 아파지는게, 디인터레이스야 내가 직접 하면 어렵지 않지만 교차편집 엔진에 파이썬 디인터레이스 호환 레이어를 깔아서 확장자를 보고 자동으로 디인터레이싱을 하도록 만들어야 하니... 정말;;;)

Copyright Strike?

• 200215
• KBS랑 MBC 영상은 저작권 스트라이크가 잘 걸린다고 한다
• 뮤직뱅크, Simply K-Pop, 더 쇼는 오래 사용해도 괜찮다고 한다
• 교차편집 ai의 본 목적은 단순하게 음악 방송들만 사용하는 것이 아니라 엄청나게 많은 영상들을 총 조합하는 것이다. 예를 들어,
  • 음악방송
  • 유튜브 뮤직비디오 Performance Ver.
  • 1인 직캠
  • 팬싸인회 공연
  • 콘서트 공연
• 이들 중에서 어떤 것들이 Copyright Strike가 걸리고 어떤 것들이 안 걸리는지 확인할 수 있는 방법이 필요하다.
• 글구 인공지능이 15초 이상 사용하지 않도록 확확 바꾸도록 훈련시켜야 할듯

이름

• 200215
• 이름을 붙이는거야 사소한 문제이지만 가끔씩 고민을 해보고 있음
• 생각해본 이름들:
  • Stage Mix Algorithm
  • Stage Mix AI
  • Stage Mix Engine
  • 대신 교차편집 해드립니다
  • AlphaMix
  • AlphaStage
  • Stage Alpha
  • 매일매일 교차편집
  • 데일리 교차편집
• "대신 교차편집 해드립니다"라는 이름이 마음에 드는 이유는 초반 몇 달동안은 인공지능인 것을 철저하게 숨기고 나중에 공개하는 방안을 생각해보고 있기 때문
• 그 외에는 알파믹스라는 이름이 괜찮은데 무슨 약 이름이랑 겹침 (사실 큰 상관이야 있겠나)

다중 오디오 신호의 시간적 동기화

• 200217
• Temporal Synchronization of Multiple Audio Signals - Google Research
• 이렇게 생긴 논문을 찾았다.
• 어렵다
• 그래도 계속 보고 있긴 하다
• 설상가상으로 다른 일들이 바빠져서 연구가 좀 더뎌지고 있다
• 42193.pdf
• google/audio-sync-kit

새치기

• 200222
• 일정 금액을 결제하면 대기와 투표 없이 바로 제작해주는 것
• 방송사 등에서 교차편집을 제작하고 싶은데 여력이 없는 경우가 있기 때문에 괜찮을 것 같기도 하면서
• 채널 품질 저하 등
• 아님 차라리 동영상을 내게 싹 보내주면 내가 그걸 실행만 해주고 영상을 보내주는 것은? 내가 직접 올리지 않는거지. 차라리 이건 좀 괜찮겠는데? 업로드는 걔네들이 알아서 하고, 나는 인공지능으로 외주를 하는 것
• 무작정 궁금해지는 것인데 인공지능의 창작물에 대한 권리는 인공지능에게 있을까 개발자에게 있을까?

강의

• 200223
• OpenCV 강의
  • 인터넷 상에서 OpenCV를 배울 수 있는 곳을 찾고 있다
  • 베스트 중 베스트는 OpenCV + DL을 같이 배우는 것인데,
  • 일단 지금까지 찾은 링크들
  • Udacity는 적당한 인강이 없어보인다
  • 우선 OpenCV의 답변을 기다린 후에 가자
  • 와중에 Think big. Start small. Act now. 라는 문구를 보았다 나름 좋은 말인 것 같다
• Introduction & Basics OpenCV.org
  • OpenCV 비영리단체에서 운영하고 있음 (2/24부터 등록 오픈, 3/9부터 시작)
  • 가장 체계적인 것 같지만
  • 근데 가격이 기본 $200+
  • 그래서 학생 할인은 없냐고 메일로 물어봄
  • OpenCV
• OpenCV for Beginners (School of AI)
  • 이거는 공짜라는데 등록을 받지 않음
  • OpenCV for Beginners
• IBM Applied AI Professional Certificate (Coursera)
  • 얘네는 재정 지원이 가능해서 좋음
  • 하지만 내가 관심이 없는 분야들에 대한 AI도 있어서 그닥,,
  • 하지만 가장 좋은 타협안 같음
  • IBM Applied AI Professional Certificate

Doopiano 플랫폼 케이스 스터디

• 200223
• 이 분은 직접 작곡을 하시지만, 플랫폼을 운영한다는 점에서 배울 점이 많다.
• DooPiano - KPOP Piano Sheet Music / 가요 피아노 악보
• 모든 동영상은 유튜브에 업로드
• 악보를 판매하는 중. 하나에 대략 2000원.
• 저작권료를 납부중
• LTD 기업
• wp-admin 서브디렉토리에 반응하는 것을 보니 워드프레스로 만들었다.
• Registrar URL: http://www.wordpress.com 아마 유료 호스팅인듯.
  • 가능성 1: 돈이 그만큼 많이 남아서 차라리 워드프레스 유료 쇼핑몰 호스팅을 하는 것이 나을 정도
  • 가능성 2: 큰 손해는 없이 운영하는 수준이라 적당한 지출은 감당 가능한 정도

다중 비디오의 시공간적 동기화 논문

• 200227
• Synchronization for multi-perspective videos in the wild
  • https://www.cs.cmu.edu/~poyaoh/data/ICASSP_2017.pdf
• VERA (다중 비디오를 이용한 실사 재건축)
  • JunweiLiang/VERA_3D_Reconstruction: Code and model for the Video Event Reconstruction and Analysis (VERA) system. This repo is for the 3D event reconstruction part.
  • vera.cs.cmu.edu
  • Technical Report of the Video Event Reconstruction and Analysis (VERA) System - Shooter Localization, Models, Interface, and Beyond
  • 잠깐 봤는데 논문에 오타가 많다. 최종 버전이 아닌가?

얼굴도장

• 200307
• 연예인을 잘 모르는 사람들은 누가 누군지를 모르는데
• 얼굴에 네모 치고 누군지 알려주면 좋을 것 같음
• 좋은 응용 사례
• 다만 현재 얼굴 인식처럼 이미지 베이스 OpenCV DL는 안될듯
  • 왜냐면 그렇게 되면 얼굴네모가 뚝뚝 끊기기 때문
  • 그렇게 되면 알아보기 힘들다
• 얼굴네모는 부드럽게 얼굴 따라 움직여야한다
• 동영상에서 얼굴이 여기저기 갑툭튀하는 경우는 없을테니
• 이미지에서 얼굴을 잘 못 찾더라도 앞뒤 프레임에서 In-between으로 추론할 수 있는 방법이 없을까?

댄스브레이크

• 200308
• 댄스브레이크가 들어간 동영상의 노래들은 앞과 뒤가 같지만 말 그대로 중간만 다르다 댄스"브레이크"니까
• 이런 경우 교차편집이 동작하도록 하려면 어떻게 패턴을 매치해야할까? 영상을 2개를 끊어야 하나?

200328의 메모

• 3월이 거의 끝나간다. 3월은 유튜브 댓글 언어 필터를 만드느라 거의 모든 시간을 소진했다.
• anaclumos/youtube-comment-language-filter: YouTube Comment Language Filter
• 텐션이 많이 떨어지고 있다. 프로젝트가 점점 장기화되어가며 활력을 잃어간다. 너무 오랜 기간 방치되었다.

프리미엄 멤버십

• 200401
• 프리미엄 멤버십에 대한 고민.
• 나는 이 프리미엄 멤버십을 가진 사람들을 베타 테스팅 또는 시사회처럼 쓰고 싶다. 특히 주 컨텐츠 중 하나를 "Face Stamp" 즉 "얼굴도장"으로 밀고 가려고 하는데, 이 과정에서 태깅이 잘못 되면 정말 큰일나기 때문이다. 프리미엄 멤버십은 매우 저렴한 가격(한 달에 990원, 1년에 9,900원...)에 운영할 생각이다.
• 프리미엄 멤버십은 다음의 혜택이 있다.
  • 일주일 (또는 일정 기간) 영상 미리보기
  • 잘못된 영상 태그 제보하기
    • (제보 자체는 일반 회원들도 할 수 있지만 이 사람들이 일주일 미리 보기 때문에 그 기간동안 잘못된 영상을 잡아내는 것을 목표로 함. 특히나 태그가 잘못되기 쉬운, 신인들에게는 영상 하나 하나가 기회고 생명인데)
  • 얼굴 학습률 테스트하기
    • 마치 캡챠처럼 자체 DB를 구축하는 것을 목표로 함. 팬들 사이에서 공유할 수 있도록 난이도를 조정하고 정답률과 덕후 상위 몇 %인지 경쟁심리를 구축할 예정. 고난도 문제로 갈 수록 저해상도 또는 흐릿해지는 사진들...
  • 결제 자체는 매우매우 쉬워야하기 때문에 간편결제 위주로 할 예정. 특히 KakaoPay나 토스에 남는 짤짤이돈을 통해서 손쉽게 유료 혜택을 누릴 수 있도록 할 것. 난 이런 곳에 큰돈을 쓰길 원하는 사람도 아니거니와 무리한 과금을 좋아하지도 않는다. 다른 곳에 덕질하고 남은 몇백원을 가볍게 "해볼까?"하면서 결제를 유도하기 위한 용도. 박리다매.

200920의 메모

• FanPlus

가수 분석 시스템

• 200920
• 이게 플랫폼화되면 데이터파이프를 구축할 수 있다.

200924의 메모

• 사진 갤러리 (총 동원)
• 페이스북 액티비티처럼 큐레이팅 된 액티비티 타임라인.
• 프리미엄 유저 권한 -- 포인트를 사용해 원본 파일 전체 다운로드. 사진가에게도 포인트 혜택.
• 개발 친화 적

덕질계의 팔만대장경

• 200925
• 홈마들이 사진을 찍어서 올릴 수 있음. 페이스북 이벤트처럼 연예인들의 타임라인이 형성됨. 집단지성으로 구축. 그 행사에 사람들이 참석했다면 그 이벤트에 체크인도 가능. 그렇게 이벤트들을 "RICH"한 방식으로 (예: 사진, 미디어, 유튜브들이 태그되어 정리되어 그래프가 형성됨) 조직하여 저장할 수 있음. 추억 등을 만들 수 있고 저장할 수 있음. 100일 전, 등이 올라온다. 나무위키처럼 실시간 협업되어서 구축되는 데이터에 연예인이 등장할 수도 있다.
• 즉 그렇게 아이돌 전체 역사를 박제하는 것이 목표. 아이돌의 리빙 히스토리.

팬덤지도

• 200927
• 팬덤 지도. 팬덤 간의 지도를 구축한다. 예를 들어 여돌은 북반구, 남돌은 남반구. 아이돌 간의 커넥션은 항공기 노선으로 표시. 예) 어느 방송에 같이 나왔다 → 항공기 노선 하나.
• 공통 팬베이스가 크다 → 인접한 국가. 예를 들어 아이즈원과 로켓펀치는 팬베이스가 종종 겹친다. 그럴 경우 인접한 국가로 표시.

연예인 캡챠 시스템

• 201027
• 팬덤 커뮤니티에 글 쓸 때 캡챠 시스템을 통과해야함. 스팸 방지.
• 다음 중 아이즈원이 아닌 인물의 사진은?
• 팬이라면 진짜 2초면 풀 수 있지만 공격 의도를 가진 외부인은 풀기 매우 어려움
• 공성전 및 타 아이돌 플랫폼 공격이 잦은 케이팝 씬의 특성에 최적화된 매우 기발한 아이디어라고 생각

뮤직비디오 와치 파티

• 201106
• 음원 공개 1시간 전부터 뮤직비디오 라이브 방송 및 광고
• 패션과 연동된다면? 한 시간 내내 아이돌들의 옷 광고 등등이 나온다면?
• 그 옆에 구매 링크가 같이 연동된다면?

컬렉션 가이드 & 중고시장

• 201109
• 컬렉션 인증 + 컬렉션 가이드
• 중고시장 활성화

음악 30초 퀴즈 및 랭킹, 신뢰 시스템

• 201109
• 시대별 / 차트별 세부 종목별 랭킹 있고
• 단위시간마다 초기화되고
• 명예의 전당
• 점수 높은 사람은 높은 신뢰도

프리패스

• 201113
• 예능이나 드라마 등을 제공하게 된다면...
• "아이즈원 프리패스"라고 해서 월정액 9,900원 쯤에 모든 아이즈원 컨텐츠를 감상할 수 있도록 해줌 (합법적으로)
• 모든 결제 시스템은 자신의 돈이 아티스트에게 어떻게 흘러가는지 볼 수 있게 투명하게 유지됨.

AI 교차편집 실제 예시

• 201119
• [AI 아이돌 교차편집 서비스] - 제 10회 투빅스(ToBigs) 빅데이터 컨퍼런스

루나의 안무 컴퓨터 분석 예시

• 201120
• COMPUTER ANALYSES LOONA's SYNCHRONIZATION - beautiful results! (LOONA synchronization ranking)

싸인 뿌리기

• 210226
• 싸인은 돈이 안 드는데. 그냥 싸인 수백장 해서 정기적으로 뿌리기.
• 제작에는 돈이 얼마 안 들지만 팬들에게는 엄청난 가치를 지닌
• 적은 돈으로 (제작) 큰 경제적 효과 (팬들에게 홍보 효과) 를 낼 수 있음