환각 (인공지능)

ChatGPT가 존재하지도 않는 뉴욕 타임스 기사를 요약하고 있는 모습

인공지능(AI)에서 환각(hallucination,할루시네이션) 또는 인공 환각(artificial hallucination)은 트레이닝 데이터를 통해 판단하지 않는 것처럼 비쳐지는 AI에 의한 확신적 답변이다. 예를 들어, 테슬라의 소득과 관련한 트레이닝 데이터가 없는 챗봇의 경우 내부적으로 알고리즘이 높은 신뢰도로 순위를 올리는 무작위 숫자(예: "$13.6 billion")를 생성한 다음 사실이 아닌 방향으로 움직이면서 반복적으로 테슬라의 소득이 $13.6 billion으로 언급하며 해당 수치가 생성 알고리즘의 약점의 결과임을 드러내지는 않는다.

이러한 현상을 이른바 "할루시네이션"이라고 하는데 이는 인간심리학에서의 환각 현상에 빗댄 것이다. 이러한 실수, 즉 "환각"은 모델이 정확하지 않거나 무의미한 정보를 자신 있게 생성할 때 발생한다. 이는 학습 데이터에서 본 패턴에서 도출하기 때문에 실제 정확도나 논리와 항상 일치하지 않을 수는 있지만. 학습을 기반으로 그럴듯한 응답을 만들려고 할 때, 모델은 합리적인 응답을 만들긴 하지만 실제로는 사실이나 논리적 일관성과는 거리가 없는 답변을 표출한다.

분석

와이어드 (잡지)가 인용한 다양한 연구자들은 적대적 환각을 고차원 통계 현상으로 분류하거나 환각의 원인을 훈련 데이터 부족으로 돌렸다. 일부 연구자들은 물체 감지의 경우 인간이 "환각"으로 분류한 일부 "잘못된" AI 반응이 실제로 훈련 데이터에 의해 정당화될 수 있거나 AI가 인간 검토자가 제시한 "올바른" 대답을 제공할 수도 있다고 믿는다.

예를 들어, 인간에게는 일반적인 개 이미지처럼 보이는 적대적인 이미지가 실제로 AI에서는 고양이를 볼 때만 나타나는 작은 패턴을 포함하는 것으로 보일 수 있다. AI는 인간이 민감하지 않은 실제 시각적 패턴을 감지하고 있다. 그러나 이러한 발견은 다른 연구자들에 의해 도전을 받았다. 예를 들어, 모델이 피상적인 통계에 편향되어 실제 시나리오에서 적대적 훈련이 강력하지 않을 수 있다는 반대가 있었다.

같이 보기

• 의인관
• 인공 의식
• 작화증
• 프롬프트 엔지니어링
• 검색엔진 조작 효과
• 자의식
• 튜링 테스트