'LLM은 전문성에 보상을 준다' 세션 고데키 글에 해커뉴스 반응 갈려

아키텍처를 어떻게 짤지 아는 게 진짜임. 그냥 'Claude야, 실수 없이 Flight Simulator 만들어줘' 이런 식으로 쓰면 안 됨

근데 업계에서 'LLM이 개발자를 10~100배 빠르게 만든다'고 떠드는 것 자체가 딱 그런 무책임한 프롬프트 방식을 전제로 한 거라 문제임. 마감 압박 때문에 다들 그런 식으로 쓸 수밖에 없게 되고 있음

나는 오히려 구조 없이 그냥 브레인덤프하듯이 2~10분씩 음성인식으로 주절주절 말하는 게 제일 잘 됨. 맥락, 원하는 것, 아는 것, 애매한 감, 우선순위 다 두서없이 말해도 AI가 알아서 이해함. 대신 그 와중에 핵심 사실은 꼭 말해줘야 하고 최소한의 도메인 지식은 있어야 함

LLM은 사용자 능력을 곱연산으로 늘려줌. 능력 있으면 임팩트도 커짐

근데 그만큼 무능한 사람은 혼돈도 커짐

동의 못 하겠음. Anthropic 수학자의 실제 프롬프트는 그냥 '이 추측 무조건 풀어야 해, 관습적 지혜 믿지 말고 아이디어 많이 내봐' 수준이었음. Tao의 대화는 문제를 처음부터 풀려던 게 아니라 직관을 얻으려던 거였음. 사람마다 LLM이 제너럴리스트를 이롭게 하는지 전문가를 이롭게 하는지 정반대로 결론 냄

수학은 자체 검증이 가능해서 이게 통하는 거임. 증명만 있으면 외부 증거가 필요 없음. 모델 출력이 스스로 검증 안 되는 영역에서는 전문성이 결과를 평가하거나 방향을 잡는 데 꼭 필요함

한 번에 안 풀리고 여러 단계로 도와가며 풀어야 하는 문제는 어떻게 되는 거임?

LLM도 인간처럼 편향 덩어리임. 우리 편향을 LLM 편향에 통과시켜서 결과를 내는 거니까, 최적의 출력을 얻으려면 결국 최적의 사람이 되어야 함

자동차 비유가 맞는 것 같음. 못 뛰는 사람도 차 타면 다 비슷한 속도로 A에서 B로 감. 근데 F1 레이서는 일반인보다 압도적으로 빠름. 코딩도 쉬운 작업은 누구나 AI로 평준화되지만, 상위권으로 갈수록 AI 능력을 뺀 나머지 실력 차이가 그대로 드러남

누가 이득 보냐는 질문의 단순한 답은 '모델을 소유한 사람들'임. 나머지는 좀 더 복잡한 문제고 두고 봐야 함

그냥 '해봐' 하는 사람도 결국 에러랑 실패를 처리할 줄 알아야 함. 그 부분에서 전문가나 제너럴리스트가 유리한 거임

'그냥 해봐' 프롬프트 치는 사람은애초에 추측 자체를 정식화할 줄도 모르고 후속 질문도 못 만듦

어느 쪽 결과가 토큰과 돈을 더 썼는지가 중요함. 제목은 'LLM은 전문성만 있어야 뭔가 가능하다'가 아니라 'LLM은 전문성에 보상을 준다'임

전문성이 배율기 역할을 한다는 것과 모델이 스스로에 대해 체계적으로 자신감이 부족하다는 건 서로 모순 아님

네가 여가시간에 증명한 추측이 몇 개나 되냐. 정비공이 렌치로 두드리는 데 5달러, 어디를 두드릴지 아는 데 495달러 받는 거랑 같은 얘기임

사진이나 미술 지식 없이 이미지·영상 생성기에 프롬프트 넣어봐라, 결과물이 조잡하게 나옴

요즘 이거 진짜 체감함. 에이전트한테서 최대치를 뽑으려면 제대로 된 질문을 할 줄 알아야 하는데, 도메인 전문성 없이 어떻게 제대로 된 질문을 하겠음

맞음, 딱 맞는 단어 하나 쓰는 게 중요할 때가 있음. 몇 시간을 얘기해도 안 나오던 개념이 키워드 하나 던지면 AI가 갑자기 그 개념이 핵심이라며 술술 풀어줌

LLM한테는 결국 팀장처럼 대하는 거임, LLM은 주니어 개발자고

나는 딱 전문가 입장에서 이게 맞다고 봄. 회사에서 API 토큰 사용량 통계 보면 토큰을 많이 태울수록 산출물이 오히려 안 좋은 역상관관계가 뚜렷하게 나타남