Lovable 앱 15만9천 개 분석, 여권번호와 채팅 20만 건이 로그인 없이 노출

뭐 별일 아니고 의도대로 동작하는 거임. 프론티어 abliterated 모델이 2,400 TPS로 돌면서 이런 웹앱 취약점을 순식간에 찾아낼 텐데, 그때 보안 쪽은 준비가 안 돼 있을 거다. 형식 검증으로는 못 막음.

아니 그냥 20년 동안 '일단 움직이고 깨뜨리기'를 위아래로 채택한 자연스러운 결과임. 그래도 형식 검증이나 표면적 최소화, PII를 모을 보물이 아니라 독성 폐기물로 취급하는 태도를 같이 가져가면 훨씬 나은 상태로 갈 수 있지. 갈 길은 멀지만.

인간이 루프에서 완전히 빠지면 뭘 해도 못 살림.

AI의 무모한 발전이랑 '따라오든가 뒤처지든가' 하는 놈들한테 혐오감을 아무리 말해도 모자람. 20년 배운 안전한 소프트웨어 만드는 법이 이걸로 대체됐고, 고객은 돈 벌 도구로만 취급받음. 진짜 쓰레기 업계가 됐어.

소프트웨어랑 토목, 기계 같은 다른 공학 분야의 기준 차이가 진짜 놀라움. 예전엔 '건축업자가 프로그래머처럼 지으면 첫 딱따구리에 문명이 끝난다'는 농담이 있었는데, AI 시대엔 나비 한 마리면 될 것 같음.

에이전틱 개발을 크게 도입한 작은 회사에 VP of engineering 자리로 인터뷰 중인데, 거버넌스랑 가드레일, lethal trifecta 완화를 먼저 얘기했더니 경영진은 관심이 없더라. 'AI를 크게 신봉하는 사람'을 원한대서 오히려 잘 됐다고 생각함.

AI 이전에 회사들이 '안전하고 성능 좋은 소프트웨어'에 투자했다는 발상부터 웃김. 테크 기업은 KPI에 영향 주는 것 말고 고객을 신경 쓴 적이 없음.

찬성하는 사람이 한 덩어리가 아니라는 건 생각해 봤나. LLM을 안전하게 쓰는 법을 배워야 하는 것과 어떤 놈들이 아주 위험하게 쓰는 건 동시에 참임. 2015년에 S3 버킷 열어둔 놈들 때문에 AWS 배우기를 거부하는 거랑 같은 논리임.

Railway도 며칠 전에 똑같은 걸로 털렸잖아. 공격자가 abliterated 모델에 훔친 키를 써서 AI 요금 740k달러를 긁었다는데, 저런 데 털린 놈들이면 Lovable 앱은 더 쉬운 표적이지.

데이터 유출은 AI 전에도 있었지만 차이는 이거임. AI 생성 앱은 브라우저 네트워크 호출만 들여다보면 되는 쉬운 표적이고, 매일 수없이 찍어내는데 사용자는 자기가 뭘 쓰는지 모름.

글쓴이임. 고급 해킹 기법은 전혀 안 썼고 웹 동작을 조금 아는 사람이면 재현 가능함. 원래는 가장 기본적인 설정에서 시작해 고급 공격으로 넘어가려 했는데, 두 번째 단계까지 갈 필요도 없이 민감한 데이터가 다 열려 있었음.

Retool이 거버넌스를 내세우는 메시지가 이래서 유효한가 싶더라.

일반인이 데이터랑 프라이버시, 보안을 거의 모른다는 게 놀라움. 기본 이해 없이 누구나 공개 앱을 만들고 호스팅하게 두는 건 면허 없이 여객기 조종하게 하는 거랑 비슷함.

그 둘은 대가가 비교 자체가 안 됨.

그렇게 큰일인가? 사람이 수백 명 죽고 인프라가 파괴된 것도 아닌데. 컴퓨터 보안 쪽은 이미 맥시멀리스트 사고방식이 문제고, 그게 실제로 중요한 시스템을 안전하게 지키는 데 도움이 안 됨.

그렇게 따지면 배관이나 전기, 난방도 일반인이 이해 못 하는 건 마찬가지임.