변환기 (기계 학습)
기계 학습과 데이터 마이닝 |
---|
![]() |
변환기(變換機, transformer) 또는 트랜스포머는 주의집중(attention, 어텐션) 메커니즘을 활용하는 딥 러닝 모형이다. 본래 자연어 처리에 활용되었으나, 비전 변환기의 등장 이후 컴퓨터 비전에도 활용되고 있다. 변환기가 개발되어 순환 신경망(RNN)의 단점이 극복됨에 따라 자연어 처리 최고의 RNN 기법이었던 장단기 메모리(Long Short-Term Memory, LSTM)가 변환기에 의해 대체되는 추세이다. OpenAI에서 만든 GPT, GPT-2, GPT-3도 변환기를 사용한다.
![]() |
이 글은 컴퓨터 과학에 관한 토막글입니다. 여러분의 지식으로 알차게 문서를 완성해 갑시다. |