
개발자 레오나르도 알레그리아가 골드헨(GoldHEN)을 깐 탈옥한 PS4의 2013년형 GPU에서 알리바바의 90억 매개변수 모델 ‘큐원3.5-9B’를 오프라인 구동하는 ‘갈릭 LLM’을 공개했습니다.
오픈오르비스 PS4 툴체인으로 만든 이 앱은 CPU 측에서 C언어로 토크나이저와 UI, 렌더링, 오디오를 맡고, LLVM으로 컴파일한 오픈CL C 기반 GCN 커널과 PM4 명령 버퍼로 ‘갈릭’ 메모리와 직접 통신합니다.
라마(llama.cpp)와 RADV 드라이버 기반 벌칸을 쓰는 PS5용 ‘PS5LM’과 달리 홈브루 드라이버가 없고 공유 메모리도 8GB뿐이라, 4비트와 3비트 가중치로 모델을 4.5GiB로 줄였습니다.
여기에 최대 두 토큰을 미리 초안 작성해 검증하는 다중 토큰 예측(MTP) 헤드를 써서 문자 대화에서 초당 31~39토큰(300토큰 9초 미만)과 코드 생성 최대 43토큰을 냅니다.
이용자는 5.66GB 단일 패키지를 깔아 컨트롤러 버튼으로 엔비디아 ‘패러킷 TDT 0.6B v3′(유럽 25개 국어 받아쓰기)와 ‘채터박스'(7개 국어 음성 답변, 초당 22토큰)까지 함께 씁니다.
다만 4비트 KV 캐시 탓에 문맥 길이가 256K에서 16K로 줄고 내장 디스크 복사에 12GB 공간을 요구하며, 펌웨어 11.52 기준 PS4 프로 미검증·PS5 미지원과 골드헨 자체의 위험도 감수해야 합니다.







