TornadoVM 7 공개, JDK 21 이상에서 자바 코드를 CUDA·Metal GPU에서 실행
- TornadoVM 7이 자바 애플리케이션에서 GPU 네이티브 워크로드를 실행하도록 지원함. 저장소는 github.com/beehive-lab/TornadoVM임.
- 댓글에 따르면 JDK 21 이상이면 쓸 수 있고 NVIDIA와 Apple 하드웨어에서 각각 CUDA, Metal 백엔드나 MLX 라이브러리로 동작함.
- TPU 지원 여부는 확인되지 않음. 댓글에서 Google TPU와 호환되는지, 아니면 CUDA나 Metal 같은 GPU 백엔드로만 제한되는지 의문이 나옴.
- 자바용 JAX라는 평이 붙었고, 관련 컴포넌트는 github.com/beehive-lab/jitllm에서 이미 테스트 중임.
- qxotic.ai는 의존성 없는 단일 JAR로 SIMD 가속 로컬 모델 추론을 제공함. 토크나이저까지 전부 자바로 작성했고 GraalVM에서 prefill 작업은 llama.cpp보다 빠름.
Hacker News 의견들
메인 저장소는 github.com/beehive-lab/TornadoVM임. JDK21 이상이면 Nvidia나 Apple 하드웨어에서 각각 CUDA, Metal 라이브러리로 돌릴 수 있음.
TPU는 지원 안 하나? Google TPU랑도 호환되는지 궁금하고, CUDA나 Metal 같은 GPU 백엔드로만 제한되는 건가?
이거면 자바로 AI 인프라 만드는 게 가능해진 거임?
ㅇㅇ JVM 언어면 다 됨. qxotic.ai라는 것도 있는데 단일 JAR로 로컬 모델 추론을 SIMD 가속으로 돌리고 토크나이저부터 전부 자바로 짰음. macOS에서는 Metal도 쓰고 GraalVM이면 prefill은 llama.cpp보다 빠르더라. 디코드는 메모리 대역폭에 묶여서 언어 차이가 크지 않고.
결국 파이썬 대신 자바로 쓰는 JAX 같은 거네.
자바용 JAX에 필요한 컴포넌트는 jitllm 저장소에서 이미 많이 테스트 중임.