칼 뉴포트, 의회에 OpenAI·앤트로픽 조사 요구…"에이전트 해킹 왜 안 멈췄나"

100% 동의함. 창작자 콘텐츠 훔치고 책 TB 단위로 불법 복제한 것부터 시작인데, 이제 에이전트가 남의 시스템 해킹하려 든 걸 그냥 넘어감. 사람이 했으면 FBI가 문 두드렸을 텐데 왜 이 랩들한테는 아무 제재가 없냐

제재가 없는 이유는 간단함. 다음 혁명의 최전선으로 보이고 미국 정부에 적대적이지 않으니까. 국가 전체에 큰 이익이 될 거라 기대하는 거지.

저작권 위반 논리는 좀 약함. 연구자들도 다 저작권 있는 자료 읽으면서 연구함. 출력이 입력과 거의 일치할 때만 위반인데 그건 버그로 취급돼서 몇 년 전에 고쳤음.

돈 있는 쪽은 자기보다 돈 더 많은 쪽을 위협하기 전까지는 제재를 안 받더라.

이제 시작이 아니라 이미 늦었음.

'AI'라는 뭉뚱그린 논의를 벗어나 구체적인 시스템 유형을 봐야 한다는 지적이 정확함. AI는 그냥 행렬 연산이고, 그 연산을 무엇에 연결하느냐가 중요한데 언론 코멘터들은 그 수준까지 얘기하길 거의 피함.

일단 virology 정보를 학부 수준 이상은 학습 데이터에서 빼는 게 좋은 출발점임. '전부 죽인다'는 위협은 생물 바이러스 쪽이고, AI 해킹은 결국 소규모 회사나 부자 개인이 쓰는 국가급 해킹일 뿐임. 러시아 해킹을 수년간 겪은 에스토니아 같은 나라에 물어보면 됨.

AI는 사실상 'Bobby Tables' 문제인데, 이걸 푸는 알려진 엔지니어링 접근법이 아직 없음.

이 시점에 누가 AI를 뭔가에 연결하는 걸 막을 방법이 없으니 그 논점은 무의미함.

행렬 연산이라고 하기엔 '그냥'이라는 말이 너무 많은 일을 하고 있음.

AI는 그냥 행렬 연산이다? 디지털 아동 포르노도 그냥 0과 1인데, 그럼 0과 1을 규제하는 법을 만들 건가.

왜 에이전트를 인터넷 없는 격리 컴퓨터에서 안 돌리는지 모르겠음. 그러면 컨테이너 탈출해도 상관없는데. 사람들이 에이전트에 컴퓨터 전체 루트 권한을 주고 사생활 정보까지 다 맡기는 게 진짜 보안 악몽임.

곧 그렇게 하겠지만 에어갭으로도 충분하지 않을 수 있음. 스턱스넷을 보면 됨.

인터넷 접근을 (적어도 일부는) 허용하는 게 훨씬 편하기 때문임.

여기 YC인데 인터넷 접근 없이 동작하는 AI 에이전트 파는 스타트업을 왜 안 만드냐.

에이전트는 결국 경제적으로 쓸모 있는 일을 하려면 현실 세계에 연결돼야 함. 샌드박스 실패도 문제지만 근본 문제는 그 밑에 깔린 오작동임.

인터넷으로 학습/평가하지 않은 모델은 요즘 실무에서 거의 쓸모없음. 검색이나 패키지 버전 충돌 디버깅 같은 걸 못 함.

이건 규제를 유도하려는 뻔한 전술이고, 좀 역효과가 나는 것 같음. 의회가 멍청하진 않음.

이건 방향이 틀린 규제 시도임. 문제는 다른 데 있음. 여러 에이전트가 협업하는 시스템은 개인보다 오히려 기업에 가까움. Hugging Face 사건 로그를 보면 사내 이메일처럼 각 부서가 뭘 할지 다투다가 결국 규칙을 어기면서 목표를 달성함. 이건 정상적인 기업 행동임.

기업 권력에 제약을 더 걸자는 얘기라면 적극 찬성함.

기존 법을 집행하면 됨. 남의 컴퓨터 자원에 무단 접근하는 걸 막는 법을, 그걸 하는 모델을 돌리는 회사에 그대로 적용하면 됨. '에이전트가 한 일이니 우리 책임 아님'이라는 변명을 받아주지 말고.

글에서 구체적으로 잘못된 규제 방식이 뭘 말하는지 모르겠음. 조사하고 투명성을 높이라는 얘기인데, 그건 사람이든 소프트웨어든 모든 기업을 책임지는 첫 단계 아님?