AISLE, curl에서 낮은 심각도 CVE 6건 보고. Mythos와 Codex는 직전 분석에서 0건

홍보 문구가 많긴 해도, 실제로 CVE 6개를 받아냈다면 자랑할 만함. 계속 지켜볼 만한 결과임.

글에 어떻게 찾았는지 기술 설명이 전혀 없음. AISLE이 쓰는 모델조차 안 밝히고 '우리가 이겼다'고만 하는 콘텐츠 마케팅임.

홈페이지 설명을 보면 libFuzzer나 AFL 계열 퍼징을 LLM이 안내하는 방식 같음. 흥미로운 함수를 고르고 하니스도 만들고, 퍼저 결과를 상위 수준에서 분류한다면 꽤 그럴듯한 접근임.

AISLE은 여러 모델을 쓸 수 있다고 함. OpenAI와 Anthropic이 자사 모델만 쓰는 제약이 있다면, 종합 성능이 좋아도 특정 취약점 탐지에서는 밀릴 수 있음.

기본값이 gpt5.4 nano라는 코드도 보였음.

우리도 AISLE가 만든 보안 보고서를 몇 건 받아봤는데 신호 대 잡음비가 괜찮았음. libnbd에서는 두 취약점을 연결해야 도달하는 버그를 찾았고, 제안한 패치도 조금 다듬긴 했지만 합리적이었음.

이건 로컬이나 에어갭 환경의 모델도 적절한 문맥과 도구를 붙이면 최신 클라우드 서비스 이상을 할 수 있다는 증거로 보임. 몇 년 지나면 이런 기능은 흔해질 듯.

OpenAI와 Anthropic은 이미 curl을 오래 분석했으니 찾은 문제는 고쳐졌을 가능성이 큼. 2023년 curl 소스처럼 아무도 최근에 보지 않은 버전에서 모두 돌려야 비교가 공정하고, 이번 6건도 전부 낮은 심각도임.

그 비교도 학습 데이터 문제가 남음. 2023년 이후 curl 코드, 변경 로그, 보안 수정 글을 학습하지 않은 모델이 필요함.

그래도 같은 코드에서 도구 하나가 혼자 찾아내는 총량과, 다른 도구가 못 찾은 고유 취약점 수는 각각 비교할 가치가 있음.

내 이해로는 Mythos와 Codex가 일주일 전 같은 curl에서 0건이라고 했고, AISLE는 하루 뒤 29건을 냈음. 그중 6건이 CVE가 됐고 나머지 4건은 이전에 다른 사람이 찾은 것이니, 적어도 그 시점의 코드 기준 비교는 정당해 보임.

29건 중 CVE는 6건이고 전부 낮은 심각도라면, AISLE가 단순히 오탐을 더 많이 감수하도록 조정됐을 수 있음. Anthropic이나 OpenAI 도구도 같은 6건을 찾고 보고하지 않았을 가능성이 있음.

그건 Mythos의 이전 curl 결과를 보면 맞지 않는 듯함. Mythos도 5건을 찾아서 낮은 심각도 CVE 1건, 오탐 3건, 일반 버그 1건이었으니 낮은 심각도를 거르는 도구도 아니고 잡음도 있었음.

curl은 AI 취약점 탐지 데모의 단골이 되는 것 같음. 인터넷 백엔드의 기반 부품이라 이런 식으로 계속 검증되면 더 안전해지긴 하겠음.

모델 하나와 특수 하니스를 비교하는 건 같은 대상 비교가 아님. AISLE의 우위가 모델 때문인지, 퍼징과 도구 결합 때문인지 분리해서 말해야 함.