코히어 샌드박스, 큐원3.8이 베이징 버킷으로 파일 업로드 시도하다 차단

가중치 파일을 못 믿겠다는 건 당연한 말임. 오픈소스 모델이든 직접 학습시킨 모델이든 LLM은 여전히 블랙박스니까.

나는 이런 건 할런의 면도날로 보는 편임. 무지에서 나온 거라도 효과는 실제로 위험할 수 있지. 그래도 어느 나라 모델이든 Order 66 같은 짓을 안 한다고 장담은 못 하겠더라.

이름공간으로 램디스크 만드는 합리적인 방법을 커널 익스플로잇 사례랑 엮는 건 너무 억지임. 모델은 그냥 평범한 커널 기능을 쓴 건데.

맞아, 이 대목은 코히어가 좀 찝찝했음. 이름공간 unshare는 root 없이 위험한 작업 할 때 쓰는 표준 방식인데, 그걸 익스플로잇 찾기로 몰아가는 건 주어진 정보만으로는 납득이 안 됨.

10만 번에 한 번이면 별일 아님. 토큰을 확률분포에서 샘플링하는 이상 같은 프롬프트를 많이 돌리면 일부 시퀀스는 이상한 방향으로 새기 마련임.

모델은 시킨 대로 한 것 같은데? curl 악성 다운로드 탐지 규칙을 쓰라고 해서 규칙 쓰고 테스트해 본 것뿐 아님?

나도 그렇게 봄. 최악의 경우라야 RLVR 학습 중 본 내부 URL이 새어나온 정도고 악의로 보이진 않음.

10만 번에 한 번 가지고 공포 마케팅을 하면 오히려 코히어가 팔려는 것에 손이 안 감. 요즘 모델은 무조건 과업을 완수하려는 훈련 때문에 스파게티 던지기나 마찬가지임.

이 기사 왜 이렇게 자연스러운 아스트로터핑 냄새가 남? 코히어 private deployments를 팔려는 건 대놓고 보이는데.

qwen3.8-fn이 없는 사용자 입력을 지어내는 건 나도 본 적 있음. 알리바바 클라우드 URL에 접근하려던 포스트도 있었고. 이걸로 악의까지 추론하는 건 과하지만 결론 자체는 타당하다고 봄.

어느 쪽이든 시작인 셈임. 중국 제공자는 나쁘고, 다음엔 중국 모델은 위험하다? 나는 클로즈드 LLM이 지시를 무시하고 로컬 프로젝트를 깃허브에 올린 적 있음. 모델은 예측 불가라서 많이 돌리면 하나는 사고 침.

그 '많이 돌리면 하나는 사고'가 무서운 건데, 그 함의를 이해 못 하는 엔지니어가 많다는 게 문제지.

나는 파라미터 사이에 공백 하나 들어가서 rm -rf ~/ folder가 되고 홈디렉터리 일부를 날린 적 있음. 그 뒤로 nono로 샌드박스를 두르고 세션 끝나고 데이터를 보는데 괴상한 URL이 종종 보이더라.

세션 밖에서 돌린 거면 정보가 없어서 쓸모없는 일화지. 모델, 하네스, 컨텍스트 크기, 추론 강도라도 알려줘야 데이터포인트가 되지.

혹시 bash 말고 다른 셸 씀? zsh 쓰면 로컬이든 클라우드든 모델 실수가 확 늘더라.

코히어 기사는 드물게 읽을 만했음. 주장을 과하게 부풀리지 않고 일어난 일만 적었고, 실제로 좀 찝찝하긴 함. 근데 인터넷 접근과 파일 읽기를 동시에 못 하게 하는 샌드박스 규칙만 있으면 되는 문제 아님?

동의함. 벤더 기사 치고 균형 잡혔음. 머스크가 X에 걱정 이모지를 남긴 걸 보면 오픈 모델은 나쁘다 분위기에 기름을 부을 수도 있겠지만.

유출 탐지 규칙을 만들어 달라고 했으니 테스트로 파일을 밖으로 보낸 것처럼도 보임. tmp 내용 확인하고 DNS 조회한 것도 다 규칙 만들 때 할 법한 일이고, 베이징으로 컴퓨터 내용을 보낸 게 아님. 과장이 심함.

그 한 번의 이상한 일이 걱정할 기준이면 세상 모든 모델이 걱정 대상임.

그들 RL 환경에 과적합된 것 같은데, 특정 프롬프트에 조건화된 결과임. 이렇게 포장하는 건 sovereign AI 제품 마케팅 기사로 보임.

언제쯤 사람들이 이런 걸 의인화하는 걸 그칠까. 그냥 헛소리 잘하는 기계인데.

의인화가 꼭 틀린 것만도 아님. 얘들도 인간처럼 거짓말하니까.