PaLM

PaLM(Pathways Language Model)은 Google AI에서 개발한 5400억 개의 파라미터 변환기 기반 대규모 언어 모델이다. 연구원들은 또한 모델 규모의 효과를 테스트하기 위해 더 작은 버전의 PaLM, 80억 및 620억 파라미터 모델을 훈련했다.

PaLM은 상식 추론, 산술 추론, 농담 설명, 코드 생성 및 번역을 포함한 광범위한 작업을 수행할 수 있다. 생각 사슬 프롬프트와 결합했을 때 PaLM은 단어 문제 및 논리 기반 질문과 같은 여러 단계의 추론이 필요한 데이터 세트에서 훨씬 더 나은 성능을 달성했다.

이 모델은 2022년 4월에 처음 발표되었으며 구글이 PaLM 및 기타 여러 기술용 API를 출시한 2023년 3월까지 비공개로 유지되었다. API는 대중에게 공개되기 전에 대기자 명단에 등록한 제한된 수의 개발자가 먼저 사용할 수 있다.

구글과 딥마인드는 의료 데이터에 대해 미세 조정되고 의료 질문 응답 벤치마크에서 이전 모델을 능가하는 Med-PaLM이라는 PaLM 540B 버전을 개발했다. Med-PaLM은 미국 의료 면허 문제에서 처음으로 합격 점수를 얻었으며 객관식 및 개방형 질문에 모두 정확하게 답하는 것 외에도 추론을 제공하고 자체 응답을 평가할 수 있다.

구글은 또한 비전 변환기를 사용하여 PaLM을 확장하여 로봇 조작에 사용할 수 있는 최첨단 비전 언어 모델인 PaLM-E를 만들었다. 이 모델은 재교육이나 미세 조정 없이 경쟁적으로 로봇 작업을 수행할 수 있다.

2023년 5월 구글은 연례 구글 I/O 기조연설에서 PaLM 2를 발표했다. PaLM 2는 3조 6천억 개의 토큰으로 학습된 3,400억 개의 파라미터 모델로 보고되었다.