MSR 'AI Frontiers' 해체: 창립 리더는 'MAI는 스케일링만, 연구는 배제'라며 MS 떠나
- 2023년 ChatGPT 공개 직후 Microsoft Research 안에 약 50명 규모로 만든 AI Frontiers가 9월 초 Microsoft AI(MAI)로 재편됐고, 창립을 주도한 저자는 사표를 내고 회사를 떠남
- MAI 지도부(전 Inflection)의 철학은 스케일링이고 연구는 적극적으로 배제하는 쪽이라, 데이터 가공 중심 업무와 AIF의 연구 방향이 맞지 않았고 상대가 AIF를 원하지 않는다는 신호도 분명했음
- AIF가 남긴 결과물은 Autogen 오케스트레이션 프레임워크, 컴퓨터 사용 에이전트 Fara, 외삽이 가능한 Next Latent 목적함수, Muon 개선판 Dion3, 재귀로 모델 성능을 끌어올리는 Full Bandwidth Transformer임
- Bytedance 실험에서 Full Bandwidth Transformer 변형이 2배 크기 모델과 비슷한 성능을 냈고, 저자는 업계 투자 규모가 1조 달러에 가까운 상황에서 학습·추론 비용을 절반으로 줄이는 값어치를 계산해 보라고 함
- 저자는 MSR 복귀도 거부했는데, 연구가 실제 사용으로 이어질 경로가 없고 '좋은 일을 하면 좋은 일이 생긴다'는 MSR의 기본 계약이 깨졌다고 판단했기 때문이며 내년 AIF 인턴십도 없음
Hacker News 의견들
아카이브 링크가 본문이어야 하는 거 아님? 원문은 트래픽으로 죽었고 archive.is에 맥락 다 있더라.
제목이 너무 부풀려짐. 'AI Frontiers'는 MSR 안에 있던 50명짜리 그룹 이름이고 진짜 AI 프런티어가 끝났다는 얘기가 아님.
맞는 말임. 연구소가 자기 기술을 상용화한 실적은 역사적으로 좋지 않았고 제품 회사 운영이랑은 완전 다른 능력임. 그래도 잠재 추론이나 지식과 추론의 분리 같은 건 파볼 만한데.
다른 빅테크도 똑같음. 주주 가치 압박 받는 곳에서 연구 조직이 버티기 힘들지.
스케일링 LLM만 놓고 보면 끝이 보일 수도 있음. 수요가 진짜 무한이면 컴퓨트 회사들이 정크 등급 채권을 안 받고 있겠지.
난 반대로 미국이 하드웨어에 과잉투자 중이라고 봄. 다음 돌파구는 학습·추론 효율 최적화에서 나올 텐데 그게 지금 AI IPO 밸류에이션이랑 맞겠음?
이 기사는 MS에서 한 사람이 나가고 내부 팀 하나 없어진 얘기임. 하드웨어 투자론이랑은 별개임.
MS 요즘 직장으로 진짜 별로임. 회사 전체에 이런 얘기 백 개는 있음. 4분의 1 규모로 희망퇴직 받았다더라.
대형 테크 전부 마찬가지 아님? OpenAI랑 Anthropic 정도만 뭔가 새로 만들고 있어서 나아 보이고.
지금은 transformer 고속도로에 액셀만 밟는 분위기임. Meta가 transformer 확장에 회의적이던 AI 책임자를 내쫓고 확장주의자로 바꾼 게 대표적임.
LeCun이 LLM이 못 할 거라고 한 말 거의 다 틀렸잖음. 자른 건 잘한 거임.
회사가 OpenAI에 수십억 달러 내고 있으면 그 투자를 찬양하지 않는 활동은 전부 배신으로 취급됨.
100조 파라미터는 데이터 30조 토큰으로 말이 안 됨. 압축률 10분의 1만 쳐도 300조에서 1000조 토큰이 필요한데 현실에 그만한 게 없음.
50명 팀에 이름만 거창했음. 헤드라인은 AI 회의론자 낚기 좋은 미끼고, 더 흥미로운 건 MS가 AI 연구를 아예 포기한 건가 하는 점임.
MS가 좋은 아이디어를 버렸으면 밖에서 하면 됨. 투자자야 널렸고 오히려 프런티어 랩 해자를 공격할 기회일 수도 있음.