LLaMA

LLaMA(대형 언어 모델 메타 AI, Large Language Model Meta AI)는 Meta AI가 2023년 2월에 출시한 대규모 언어 모델(LLM)이다. 70억에서 650억 파라미터에 이르는 다양한 모델 크기가 학습되었다. LLaMA의 개발자들은 대부분의 NLP 벤치마크에서 130억 파라미터 모델의 성능이 훨씬 더 큰 GPT-3(1,750억 파라미터 포함)의 성능을 초과했으며 가장 큰 모델이 PaLM 및 Chinchilla와 같은 최신 모델과 경쟁할 수 있다고 보고했다. 가장 강력한 LLM은 일반적으로 제한된 API(있는 경우)를 통해서만 접근할 수 있는 반면, 메타는 상업적 라이선스에 따라 연구 커뮤니티에 LLaMA의 모델 가중치를 공개했다. LLaMA가 출시된 지 일주일 만에 BitTorrent를 통해 4chan의 가중치가 대중에게 유출되었다.

출시 및 유출

LLaMA는 2023년 2월 23일 블로그 게시물과 모델의 훈련, 아키텍처 및 성능을 설명하는 문서를 통해 발표되었다. 모델 훈련에 사용된 코드는 오픈 소스 GPL 3 라이선스에 따라 공개적으로 공개되었다. 모델의 가중치에 대한 액세스는 응용 프로그램 프로세스에 의해 관리되었으며 학술 연구원, 정부, 시민 사회 및 학계 조직과 제휴한 사람들, 전 세계 산업 연구소에 사례별로 액세스 권한이 부여되었다.

2023년 3월 2일, LLaMA의 가중치가 담긴 토렌트가 업로드되었으며, 토렌트 링크가 4chan 이미지 보드에 공유되어 온라인 AI 커뮤니티를 통해 확산되었다. 같은 날 공식 문서에 마그넷 링크를 추가해 달라는 메인 LLaMA 저장소의 풀 리퀘스트가 열렸다. 3월 4일에 모델이 포함된 허깅페이스 리포지토리에 대한 링크를 추가하기 위한 풀 요청이 열렸다. 3월 6일, 메타는 풀 리퀘스트에 링크된 허깅페이스 리포지토리를 제거하기 위한 게시 중단 요청을 제출했으며 이를 모델의 "무단 배포"로 규정했다. 허깅페이스는 요청에 따랐다. 3월 20일 Meta는 미러에서 LLaMA를 다운로드한 스크립트가 포함된 저장소에 대한 저작권 침해에 대한 DMCA 게시 중단 요청을 제출했고 깃허브는 다음날 이에 따랐다. 3월 25일 현재 페이스북은 마그넷 링크가 포함된 풀 리퀘스트에 응답하지 않았다.

유출에 대한 반응은 다양했다. 일부에서는 이 모델이 보다 정교한 스팸과 같은 악의적인 목적으로 사용될 것이라고 추측했다. 일부는 모델의 접근성과 모델의 더 작은 버전이 상대적으로 저렴하게 실행될 수 있다는 사실을 축하했으며, 이것이 추가 연구 개발의 번창을 촉진할 것이라고 제안했다. 사이먼 윌리슨과 같은 여러 논평자는 LLaMA를 스테이블 디퓨전(Stable Diffusion)과 비교했다. 스테이블 디퓨전은 이전의 비교적 정교한 모델과 달리 공개적으로 배포되어 관련 도구, 기술 및 소프트웨어의 급속한 확산으로 이어지는 텍스트-이미지 모델이다.