2026 추론 하드웨어 혁명: Napier 로그 연산 칩, 1,300 토큰/초를 엔비디아 대비 1/10 전력으로

좋은 글임. 앞으로 벤치마크 성능 향상은 대부분 스택의 이쪽, 그러니까 더 빠른 반복과 재귀에서 나올 거라고 봄.

Anthropic이 경쟁사 SpaceXAI에 월 10억 달러 넘게 내고 남는 컴퓨트를 빌린다고? 금액은 몰랐는데 이건 좀 충격임.

그거 엔비디아 물량 대기줄에서 테슬라 자리를 보상 없이 가져간 거임.

스크래블 비유로 학습 설명하는 건 좋았는데 추론까지 이어지지 않아서 따라가다 길을 잃었음.

그 비유는 좀 틀렸음. 스크래블은 희귀한 조합에 보상을 주는데, 인과적 어텐션은 이미 놓인 타일에 주목함.

글에서 CPU 궤적 얘기 나온 부분인데, 거기 언급된 영역 중 어디가 임팩트가 제일 클까? 각각 구체적으로 뭘 뜻하는지도 궁금함.

Hennessey와 Patterson 컴퓨터 구조 책 한 권이면 그 '수십 권' 과장을 대신할 수 있음.

지금 가장 큰 병목은 메모리 용량과 대역폭임. 카드에 메모리를 더 얹고, 행렬 연산용 메모리·연산 통합, 로드 회로 최적화, 양자화까지 다 여기에 걸림. 2~3비트 양자화면 덧셈·곱셈을 논리 연산으로 줄일 수 있고 ReLU 같은 연산은 아예 회로로 넣을 수 있음.

CPU 혁신도 대부분 메모리 벽 우회에서 나왔음. 추론도 같은 길 갈 거고 자기회귀 특성을 우회하는 게 제일 큼. 추측 디코딩이 그 예로, 정확한 드래프트 모델이면 메모리 스트리밍을 4배 줄임.

Napier 로그 트릭은 처음 알았는데 이 기법에 이름이 있음? 지수랑 수 사이를 변환하는 오버헤드는 없나?

그거 IEEE 754 부동소수점 곱셈의 표준 구현 아님? 두 수를 같은 지수로 정렬하고 가수를 더한 뒤 되돌리는 거.