자기 지도 학습
| 기계 학습과 데이터 마이닝 |
|---|
 |
자기 지도 학습 (SSL)은 기계 학습의 한 방법이다. 레이블이 지정되지 않은 샘플 데이터에서 학습을 진행한다. 지도학습과 비지도 학습의 중간 형태로, 인공 신경망 또는 결정 리스트와 같은 인공지능 모델을 기반으로 한다.[1] 자기 지도 학습 모델은 두 단계로 학습한다. 먼저 모델 파라미터를 초기화하는 데 도움이 되는 의사 레이블을 기반으로 작업을 수행한다.[2][3] 둘째로, 지도 또는 비지도 학습으로 실제 모델 학습을 수행한다.[4][5][6] 자기 지도 학습은 최근 몇 년 동안 뛰어난 결과를 보여주고 있고, 음성 신호 처리에 실용적인 사례들을 만들어 냈으며 페이스북 및 기타 음성 인식에 사용되고 있다.[7] 자기 지도 학습의 매력은 낮은 품질의 데이터로 모델을 학습시키더라도 최종적으로 출력되는 결과물의 품질을 높일 수 있다는 것이다. 특히 자기 지도 학습은 인간이 사물을 분류하는 방법을 배우는 방식을 더 밀접하게 모방하고있다.[8]
유형[편집]
이진 분류 작업의 경우 훈련 데이터는 긍정 샘플과 부정 샘플로 나눌 수 있다. 긍정 샘플은 타겟과 일치하는 것을 말한다. 예를 들어, 새를 식별하는 방법을 배우는 경우 긍정적인 훈련 데이터는 새가 포함된 사진이고 부정적인 데이터는 새를 포함하지 않는 사진이다.[9]
대조적 자기 지도 학습[편집]
대조적 자기 지도 학습은 긍정 샘플과 부정 샘플을 모두 사용한다. 대조 학습의 손실 함수는 긍정 샘플 사이의 거리를 최소화하고 부정 샘플 사이의 거리를 최대화한다.[9]
비 대조적 자기 지도 학습[편집]
NCSSL(비 대조적 자기 지도 학습)은 긍정 샘플만을 사용한다. 우리의 직관과는 다르게, NCSSL은 단순하게 손실을 0으로 만드는 사소한 해결에 도달하기보다는 보다 유용한 로컬 최소값으로 손실을 수렴시킨다. 이진 분류의 예에서는 각 샘플을 긍정으로 분류하는 방법만을 간단하게 학습한다. 효과적인 NCSSL은 타겟 측에서 역전파하지 않는 온라인 측의 추가 예측자를 필요로 한다.[9]
다른 형태의 머신러닝과의 비교[편집]
자기 지도 학습은 그 목표가 입력에서 분류된 출력을 생성하는 것인 한 지도 학습에 속한다. 그러나 반드시 명시적으로 레이블이 지정된 입력-출력 쌍을 사용할 필요는 없다. 대신 데이터에 포함된 상관 관계, 메타데이터 또는 입력에 있는 도메인 지식이 데이터에서 암시적으로 자동 추출된다.[10] 데이터에서 생성된 이러한 지도 신호를 교육에 사용할 수 있다.[8]
자기 지도 학습은 샘플 데이터에 레이블이 필요하지 않다는 점에서 비지도 학습과 유사하다. 그러나 비지도 학습과 달리 자기 지도 학습은 고유한 데이터 구조를 사용하여 수행되지는 않는다.[10]
준지도 학습은 지도 학습과 비지도 학습을 결합하여 학습 데이터의 작은 부분에만 레이블을 지정하면 된다.[3]
전이 학습 모델에서는 한 작업을 위해 설계된 모델이 다른 작업에서 재사용 된다.[11]
예시[편집]
자기 지도 학습은 특히 음성 인식에 적합하다. Facebook은 자체 지도 알고리즘인 wav2vec를 개발하여 서로를 기반으로 하는 두 개의 심층 컨볼루션 신경망 을 사용하여 음성 인식을 수행한다.[7]
Google의 BERT( Bidirectional Encoder Representations from Transformers ) 모델은 검색어의 맥락을 더 잘 이해하는 데 자기 지도 학습을 사용한다.[12]
OpenAI의 GPT-3은 언어 처리에 사용할 수 있는 자동 회귀 언어 모델이다. 텍스트를 번역하거나 질문에 답하는 데 사용할 수 있다.[13]
Bootstrap Your Own Latent는 ImageNet과 전송 및 준지도 학습 벤치마크에서 우수한 결과를 생성한 NCSSL이다.
Yarowsky 알고리즘은 자연어 처리에서 자기 지도 학습의 한 예이다. 소수의 레이블이 지정된 샘플에서부터 다의어 단어의 어떤 의미가 텍스트의 주어진 지점에서 사용되고 있는지 예측하는 방법을 학습한다.
DirectPred는 그래디언트 업데이트를 통해 학습하는 대신 예측자 가중치를 직접 설정하는 NCSSL이다.[9]
각주[편집]
- ↑ Yarowsky, David (1995). “Unsupervised Word Sense Disambiguation Rivaling Supervised Methods”. 《Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics》 (Cambridge, MA: Association for Computational Linguistics): 189–196. doi:10.3115/981658.981684. 2022년 11월 1일에 확인함.
- ↑ Doersch, Carl; Zisserman, Andrew (October 2017). “Multi-task Self-Supervised Visual Learning”. 《2017 IEEE International Conference on Computer Vision (ICCV)》 (IEEE): 2070–2079. arXiv:1708.07860. doi:10.1109/iccv.2017.226. ISBN 978-1-5386-1032-9.
- ↑ 가 나 Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (October 2019). “S4L: Self-Supervised Semi-Supervised Learning”. 《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》 (IEEE): 1476–1485. arXiv:1905.03670. doi:10.1109/iccv.2019.00156. ISBN 978-1-7281-4803-8.
- ↑ Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). “Unsupervised Visual Representation Learning by Context Prediction”. 《2015 IEEE International Conference on Computer Vision (ICCV)》 (IEEE): 1422–1430. arXiv:1505.05192. doi:10.1109/iccv.2015.167. ISBN 978-1-4673-8391-2.
- ↑ Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (April 2018). “Fast and robust segmentation of white blood cell images by self-supervised learning”. 《Micron》 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969.
- ↑ Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu (October 2019). “Boosting Few-Shot Visual Learning With Self-Supervision”. 《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》 (IEEE): 8058–8067. arXiv:1906.05186. doi:10.1109/iccv.2019.00815. ISBN 978-1-7281-4803-8.
- ↑ 가 나 “Wav2vec: State-of-the-art speech recognition through self-supervision”. 《ai.facebook.com》 (영어). 2021년 6월 9일에 확인함.
- ↑ 가 나 Bouchard, Louis (2020년 11월 25일). “What is Self-Supervised Learning? | Will machines ever be able to learn like humans?”. 《Medium》 (영어). 2021년 6월 9일에 확인함.
- ↑ 가 나 다 라 “Demystifying a key self-supervised learning technique: Non-contrastive learning”. 《ai.facebook.com》 (영어). 2021년 10월 5일에 확인함.
- ↑ 가 나 R., Poornima; L., Ashok (2017). “Problem Based Learning a Shift from Teaching Paradigm to the Learning Paradigm”. 《Indian Journal of Dental Education》 10 (1): 47–51. doi:10.21088/ijde.0974.6099.10117.6. ISSN 0974-6099.
- ↑ Littwin, Etai; Wolf, Lior (June 2016). “The Multiverse Loss for Robust Transfer Learning”. 《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》 (IEEE): 3957–3966. arXiv:1511.09033. doi:10.1109/cvpr.2016.429. ISBN 978-1-4673-8851-1.
- ↑ “Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing”. 《Google AI Blog》 (영어). 2021년 6월 9일에 확인함.
- ↑ Wilcox, Ethan; Qian, Peng; Futrell, Richard; Kohita, Ryosuke; Levy, Roger; Ballesteros, Miguel (2020). “Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models”. 《Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)》 (Stroudsburg, PA, USA: Association for Computational Linguistics): 4640–4652. arXiv:2010.05725. doi:10.18653/v1/2020.emnlp-main.375.
외부 링크[편집]
- Abshire, Chris (2018년 4월 6일). “Self-Supervised Learning: A Key to Unlocking Self-Driving Cars?”. 《Toyota Ventures》 (영어). 2021년 10월 5일에 확인함.
- Doersch, Carl; Zisserman, Andrew (October 2017). “Multi-task Self-Supervised Visual Learning”. 《2017 IEEE International Conference on Computer Vision (ICCV)》: 2070–2079. arXiv:1708.07860. doi:10.1109/ICCV.2017.226. ISBN 978-1-5386-1032-9.
- Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). “Unsupervised Visual Representation Learning by Context Prediction”. 《2015 IEEE International Conference on Computer Vision (ICCV)》: 1422–1430. arXiv:1505.05192. doi:10.1109/ICCV.2015.167. ISBN 978-1-4673-8391-2.
- Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018년 4월 1일). “Fast and robust segmentation of white blood cell images by self-supervised learning”. 《Micron》 (영어) 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969.
- Shenwai, Tanushree (2021년 9월 30일). “Google AI's New Study Enhance Reinforcement Learning (RL) Agent's Generalization In Unseen Tasks Using Contrastive Behavioral Similarity Embeddings”. 《MarkTechPost》 (미국 영어). 2021년 10월 7일에 확인함.
- Yarowsky, David (1995). “Unsupervised Word Sense Disambiguation Rivaling Supervised Methods”. 《Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics》 (Cambridge, MA: Association for Computational Linguistics): 189–196. doi:10.3115/981658.981684. 2022년 11월 1일에 확인함.