AI 안전
| 시리즈 |
| 인공지능 |
|---|
_artificial_intelligence_icon.png){kind=icon} |
AI 안전(AI safety)은 인공지능(AI) 시스템으로 인해 발생할 수 있는 사고, 오용 또는 기타 유해한 결과를 예방하는 것과 관련된 학제간 분야이다. AI 시스템을 도덕적이고 유익하게 만드는 것을 목표로 하는 기계 윤리와 AI 정렬을 포함하며, AI 안전은 시스템의 위험을 모니터링하고 신뢰성을 높이는 등 기술적 문제를 포함한다. AI 연구 외에도 안전을 증진하는 규범과 정책을 개발하는 것도 포함된다.
동기[편집]
AI 연구자들은 AI 기술로 인해 발생하는 위험의 심각성과 주요 원인에 대해 매우 다른 의견을 가지고 있다. 그러나 설문조사에 따르면 전문가들은 높은 결과를 가져올 위험을 심각하게 받아들이고 있다. AI 연구자를 대상으로 한 두 차례의 설문조사에서 응답자의 중앙값은 AI 전반에 대해 낙관적이었지만 고급 AI의 "매우 나쁜(예: 인간 멸종)" 결과에 대해 5% 확률을 두었다. 자연어 처리(NLP) 커뮤니티를 대상으로 한 2022년 설문 조사에서 37%는 AI 결정이 "적어도 전면적인 핵전쟁만큼 나쁜" 재앙으로 이어질 수 있다는 것이 그럴듯하다는 데 동의하거나 약하게 동의했다. 학자들은 중요한 시스템 오류, 편견 및 AI 지원 감시로 인한 현재 위험에 대해 논의한다. (기술적 실업, 디지털 조작, 무기화로 인한 새로운 위험; 미래의 인공 일반 지능(AGI) 에이전트에 대한 통제력 상실로 인한 추측 위험)
일부에서는 AGI에 대한 우려를 비판했다. 예를 들어 앤드류 응은 2015년에 AGI를 "우리가 아직 지구에 발을 디디지도 않았는데 화성에 인구 과잉이 생기는 것을 걱정한다"고 비교했다. 반면에 스튜어트 J. 러셀(Stuart J. Russell)은 "인간의 독창성을 과소평가하는 것보다 기대하는 것이 더 낫다"고 주장하면서 주의를 촉구했다.