다리오 아모데이, AI 능력 향상 속도 늦추고 외부 검증 시간 확보하자 제안

앤트로픽이 진짜 신모델 개발을 늦추겠다는 말은 글에 없음. 결국 경쟁사와 오픈 모델을 규제해서 자기들 속도를 맞추려는 돈 얘기로 보임.

안전이 목적이면 앤트로픽부터 가중치를 공개하고 학습과 정렬 방법도 더 밝혀야 함. 그럴 일은 없겠지만, 돈보다 안전을 우선한다는 주장과 맞지 않음.

현 미국 행정부에서는 일관된 AI 정책도, 다른 나라와의 공조도 기대하기 어려움. 테크 우파도 이 상황에 책임이 큼.

클로드 코드도 쓰고 개인 Max와 회사 Team Premium도 결제 중이지만, 이런 종말론 마케팅과 '우리가 앞서 있으니 규제하자'는 말은 질림. 앤트로픽이 경쟁에서 밀렸으면 할 정도임.

그래도 규제 자체는 필요하다고 봄. 다만 오픈AI나 앤트로픽 같은 선두 기업을 굳혀 주는 규제가 아니라, 이들의 힘을 제한하는 규제여야 함.

다리오가 위험을 경계해 온 건 앤트로픽 CEO가 되기 전부터 거의 10년째임. 모든 발언을 냉소적 영업으로만 볼 필요는 없음.

중국은 규제하지 않고, 최전선 오픈 가중치 모델도 사실상 중국 쪽에서 나옴. 이런 안전·규제 담론은 경쟁력만 잃게 만들 수 있음.

앤트로픽이 IPO할 때까지 수익 열차를 굴리겠다는 말처럼 들림. 증류와 가중치 탈취를 단속하자는 주장도 이 업계가 학습 데이터를 가져온 방식을 생각하면 웃김.

AI가 세상을 끝낼 수 있으니 자기들과 비슷한 소수만 사용법을 정하고 국가는 그 통제를 강제해야 한다는 서사에 지침. 말과 기술을 통제할 권한을 기업가에게 주는 AI 애국법을 로비하는 것 같음.

글 어디에 국가가 특정 집단만 AI를 쓰게 해야 한다고 썼는지 모르겠음. 제한적 규제도 전부 규제 포획이라고 부르는 HN식 테크 포퓰리즘은 이상함. 버니 샌더스식 입장은 차라리 단순함, 금지하자는 거니까.

중국의 참여 없이는 작동하지 않음. 냉전기의 ABM 조약 같은 미중 합의가 필요하고, 서로 몰래 어기지 않는다는 확신도 있어야 함.

중국이 유일한 장애물이라고는 안 봄. 지금은 미국 행정부가 더 큰 장애물 같음.

'경쟁사는 늦추고 우리는 조작 기술을 개발하자'는 말로 읽힘.

6-12개월 안에 에이전트 군집이 지속적 봇넷으로 인터넷 전체를 장악한다는 건 글의 유일한 구체적 예측인데, 현실성이 없음. 그 규모면 수십억 달러어치 컴퓨트가 필요함.

몇 달 전 OAI-HF, 독일 위키, RubyGems 사고와 비슷한 일이 규모만 커져도 절대 불가능하다고 할 근거가 뭔지 모르겠음. 실제로 그 군집에 얼마의 컴퓨트가 있었는지도 알 수 없음.

현재 무서운 해킹 작업은 대체로 LLM 제공사의 API 키가 있어야 함. 그럼 제공사도 접근을 끊는 책임을 져야지, 공격자가 GPU를 모아 오픈 가중치만 돌린다는 가정만 할 일은 아님.

인터넷의 상당 부분이 서너 개 클라우드 사업자 안에서 돌아감. 봇넷 피해가 커질 수 있다는 걱정을 컴퓨트 비용만으로 반박하긴 어려움.

앤트로픽이 혼자 늦추면 오픈AI나 중국이 앞설 텐데, 그게 세계에 이로운지도 모르겠음. 규제 포획이라면 단기적으로는 도움이 되겠지만 나머지 세계는 계속 개발할 것임.

AI가 민주주의와 자유의 르네상스를 만든다는 주장은 납득이 안 감. 지금까지는 허위정보의 대량 생산과 부의 집중을 더 빠르게 했고, 현 컴퓨트와 데이터 구조는 민주적이지도 않음.