훨씬 적은 매개 변수에도 오픈AI의 GPT-3 모델을 능가한다고 주장한 새로운 AI 기반 대규모 언어 모델(LLM)인 LLaMA를 메타가 발표했습니다.
ChatGPT 기반 모델인 오픈AI의 GPT-3는 1,750억 개의 파라미터가 있는 반면, 메타 LLaMA 언어 모델은 최소 70억 개에서 최대 650억 개의 파라미터로 구성됐습니다.
패러미터 규모에 따라 LLaMA-7B, LLaMA-13B, LLaMA-33B, LLaMA-65B 등 4가지 모델로 나뉘는데, 메타는 GPT-3보다 10배 더 작은 LLaMA-13B가 더 나은 결과를 보였다고 주장했습니다.
메타는 LLaMA 모델이 향후 이 기술을 기반으로 구축되는 더 정교한 AI 모델의 기초를 형성할 것이라는 의미에서 ‘기본 모델’이라 부릅니다.
더 작은 크기의 AI 훈련 모델은 PC나 스마트폰 같은 장치에서 인터넷 연결 없이 ChatGPT 유형의 어시스턴트를 실행할 수 있고 축소 모델은 깃허브를 통해 배포됩니다.
다만 전체 코드 및 가중치 데이터는 접근 권한을 요청한 연구원에게만 제공됩니다.
