탈옥한 PS5에서 llama.cpp 구동, GGUF 모델을 콘솔 안에서 실행
- 탈옥한 PS5에서 llama.cpp를 직접 구동해 GGUF 모델을 콘솔 안에서 실행하는 PS5LM 프로젝트임
- 스크립트 기본 추천 모델은 27B의 UD-Q2_K_XL 양자화 버전임
- RADV 드라이버에 패치 세 개를 넣었지만, 제출 스레드와 대기 타이밍 패치는 생성 속도를 높이지 못해 꺼 둠
- 빌드를 다시 하지 않아도 /data/PS5LM/env.txt에 적은 RADV_, GGML_ 같은 환경변수로 설정을 바꿔 가며 측정할 수 있음
Hacker News opinions
GPU 없는 사람한테는 공유 메모리 11.4G가 꽤 쓸만할 수도 있음.
LLM 기반 NPC가 기본이 될 거 같음. PUBG Ally 같은 PC 게임 테스트는 이미 있었음.
Opus 5.5보다는 확실히 느리고 약함. 그래도 30B 아래 모델로 잡으면 GPT-4보다 나은 모델도 돌릴 수 있음.
프로젝트 메인 사이트를 GitHub 말고 자체 도메인으로 옮겨야 함. Sony가 언제든 내릴 수 있음.
Sony는 llama.cpp 따위 신경 안 쓸 듯. 관심은 해적판 막는 데 있음.
2026년에 DMCA 피할 방법은 없음. 커스텀 도메인이어도 호스트에 DMCA 넣으면 끝임.
BC250도 같은 AMD Cyan Skillfish APU를 쓴다는데, 이베이에서 $150에서 $200 정도에 팔림.
그 가격이면 중고 RTX 3060 사는 게 낫지. DLSS도 되고.
PS5 살 생각은 한 번도 없었는데, 잠긴 기기를 범용 컴퓨터로 만드는 거 보니 관심이 생김.
그 잠긴 기기 스펙이 같은 가격대 PC보다 훨씬 떨어짐.
VRAM이 적어서 실사용은 어려움. README가 쓸만한 것처럼 과장한 듯.
27B 2비트에서 20 tps 나오는데, 코드베이스 읽고 분석 시키는 용도로는 쓸만함. 오타 정도는 별로 신경 안 쓰임.
서버 에러율 모니터링이나 CCTV 확인 같은 장기 작업에 PS5 달면 됨. 전기료가 하루 70센트 정도라 출력 토큰이 하루 약 200만 개 나옴.