알고리즘 편향

위키백과, 우리 모두의 백과사전.

추천 시스템이 결정을 내리는 과정을 보여주는 순서도, 2001년 무렵[1]

알고리즘 편향(영어: algorithmic bias)은 알고리즘이 원래 의도한 기능과는 다르게 한 범주를 다른 범주보다 "특혜"를 주는 등 "불공정"한 결과를 만들는 컴퓨터 시스템의 체계적이고 반복 가능한 오류를 말한다.

편향은 알고리즘의 설계, 의도하지 않았거나 예상치 못한 사용, 또는 알고리즘을 훈련시키기 위해 데이터를 코딩, 수집, 선택, 사용하는 방식과 관련된 결정을 포함한 그밖의 다양한 요인으로 인해 발생할 수 있다. 검색 엔진 결과와 소셜 미디어 플랫폼 등에서 알고리즘 편향이 관찰되었다. 이러한 편향은 의도치 않은 개인정보 침해부터 인종, 성별, 젠더, 민족성에 대한 사회적 편견 강화에 이르기까지 다양한 영향을 미칠 수 있다. 알고리즘 편향에 대한 연구는 "체계적이고 불공정한" 차별을 반영하는 알고리즘에 가장 큰 관심을 두고 있다. 이러한 편향은 최근에 와서야 유럽연합의 "일반 데이터 보호 규정"(2018) 및 제안된 "인공지능법"(2021)과 같은 법적 틀에서 다루어지고 있다.

알고리즘이 사회, 정치, 제도 및 행동을 조직하는 능력을 확장함에 따라 사회학자들은 예상치 못한 데이터의 출력과 조작이 실제 세계에 어떤 영향을 미칠 수 있는지에 대해 관심을 갖게 되었다. 알고리즘은 종종 중립적이고 편견이 없는 것으로 간주되기 때문에 (부분적으로는 자동화 편향이라는 심리적 현상으로 인해) 인간의 전문 지식보다 더 큰 권위를 부정확하게 투영할 수 있으며, 경우에 따라 알고리즘에 대한 의존이 결과에 대한 인간의 책임을 대체할 수 있다. 편향은 기존의 문화적, 사회적 또는 제도적 기대의 결과로 얼고리즘에 유입될 수 있다. 알고리즘 설계의 기술적 한계, 또는 예상치 못한 상황에서의 사용, 소프트웨어의 초기 설계에서 고려되지 않은 잠재 고객의 사용 등도 원인이 될 수 있다.[2]

알고리즘 편향은 선거 결과에서 온라인 혐오 발언의 확산에 이르기까지 다양한 사례에서 언급되었다. 또한 형사 사법, 의료, 채용 분야에서도 알고리즘 편향이 발생하여 기존의 인종적, 사회경제적, 성별 편견을 더욱 심화시키고 있다. 불균형한 학습 데이터세트 때문에 얼굴 인식 기술이 상대적으로 어두운 피부색의 얼굴을 정확하게 식별하지 못하는 현상은 여러 건의 흑인 남성의 부당한 체포와 관련이 있다. 일반적으로 영업 비밀로 취급되는 알고리즘의 독점적 특성으로 인해 알고리즘 편향을 이해하고, 연구하고, 발견하는 데 지속적으로 문제가 되고 있다. 완전한 투명성이 제공되더라도 특정 알고리즘의 복잡성은 그 기능을 이해하는 데 장애가 될 수 있다. 또한 알고리즘은 분석을 위해 예상하거나 쉽게 재현할 수 없는 방식으로 변경되거나 입력 또는 출력에 응답할 수 있다. 단일 웹사이트나 애플리케이션 내에서도 조사해야 할 단일 "알고리즘"이 없으며, 동일한 서비스 사용자 간에도 상호 관련된 많은 프로그램과 데이터 입력으로 구성된 네트워크가 존재하는 경우가 많다.

정의[편집]

간단한 컴퓨터 프로그램이 의사 결정을 내리는 방법을 보여주는 1969년 다이어그램으로, 매우 간단한 알고리즘을 보여준다.

알고리즘은 정의하기 어렵지만,[3] 일반적으로 프로그램이 데이터를 읽고, 수집하고, 처리하고, 분석하여 출력을 생성하는 방법을 결정하는 명령 목록으로 이해할 수 있다.[4]:13 컴퓨터 하드웨어의 발전으로 데이터를 처리, 저장히거 전송하는 능력이 향상되었다. 이에 따라 기계 학습 및 인공지능과 같은 기술의 설계와 채택이 활발해졌다.[5]:14–15 데이터를 분석하고 처리함으로써 알고리즘은 검색 엔진[6], 소셜 미디어 웹사이트,[7] 추천 엔진,[8] 온라인 리테일,[9] 온라인 광고[10] 등의 핵심이 된다.[11]

현대 사회과학자들은 하드웨어 및 소프트웨어 애플리케이션에 내장된 알고리즘 프로세스가 정치적, 사회적으로 미치는 영향에 관심을 갖고 알고리즘의 중립성에 대한 근본적인 가정에 의문을 제기한다.[12]:2[13]:563[14]:294[15] "알고리즘 편향"이라는 용어는 임의의 사용자 그룹에 다른 사용자 그룹보다 특혜를 부여하는 등 불공정한 결과를 초래하는 체계적이고 반복 가능한 오류를 말한다. 예를 들어, 신용 점수 알고리즘은 관련 재무 기준을 일관되게 평가하는 경우 불공정하지 않게 대출을 거부할 수 있다. 알고리즘이 한 사용자 그룹에는 대출을 추천하지만 거의 동일한 다른 사용자 그룹에는 관련 없는 기준에 따라 대출을 거부하는 경우, 그리고 이러한 행동이 여러 번 반복될 수 있는 경우 알고리즘이 편향된 것으로 설명할 수 있다.[16]:332 이러한 편향은 의도적이거나 의도적이지 않을 수 있다.

방법[편집]

편향은 여러 방법으로 알고리즘에 도입될 수 있다. 데이터세트를 수집하는 동안 사람이 설계한 카탈로그 작성 기준에 따라 데이터를 수집, 디지털화, 조정 및 데이터베이스에 입력할 수 있다.[17]:3 다음으로 프로그래머는 프로그램에서 데이터를 평가하고 분류하는 방법에 대한 우선순위 또는 계층을 할당한다. 이를 위해서는 데이터를 분류하는 방법과 어떤 데이터를 포함하거나 폐기할 것인지에 대한 사람의 결정이 필요하다.[17]:4 일부 알고리즘은 사람이 선택한 기준에 따라 자체 데이터를 수집하며, 이는 인간 설계자의 편향을 반영할 수도 있다.[17]:8 다른 알고리즘은, 예를 들어 유사한 사용자 또는 사용자 그룹의 이전 선택에 따라 정보를 선택하는 방식으로. 인간 사용자와 "연관된" 데이터를 처리할 때 고정관념과 선호도를 강화할 수 있다.[17]:6

데이터를 수집하고 처리하는 것 외에도 설계의 결과로 편향성이 나타날 수 있다.[18] 예를 들어, (학교 배정 결정 같은) 자원 할당이나 조사를 결정하는 알고리즘은 유사한 사용자를 기반으로 위험을 결정할 때 (신용 점수에서와 같이) 의도치 않게 특정 범주를 차별할 수 있다.[19]:36 한편, 사용자를 유사한 사용자와 연결하여 작동하거나 추론된 마케팅 특성을 이용하는 추천 엔진은 광범위한 민족, 성별, 사회경제적 또는 인종적 고정관념을 반영하는 부정확한 연관성에 의존할 수 있다. 또 다른 예는 결과에 포함할 항목과 제외할 항목에 대한 기준을 결정하는 데서 생긴다. 이러한 기준은 후원하는 항공사의 비행 경로를 따르지 않는 항공편을 생략하는 항공편 추천 소프트웨어와 같이 검색 결과에 예상치 못한 결과를 제시할 수 있다.[18] 또한 알고리즘은 불확실성 편향을 표시하여 더 큰 데이터세트를 사용할 수 있을 때 더 확신있는 평가를 제공할 수 있다. 이는 알고리즘 프로세스를 더 큰 표본과 더 밀접하게 일치하는 결과로 왜곡할 수 있으며, 이는 덜 대표되는 모집단의 데이터를 무시할 수 있다.[20]:4

역사[편집]

초기 비평[편집]

이 천공카드는 오래된 메인프레임 컴퓨터에 소프트웨어를 로드하는 데 사용되었다. 각 바이트(예: 문자 'A')는 구멍을 뚫어 입력한다. 현대의 컴퓨터는 더 복잡하지만, 데이터를 수집하고 처리할 때 이러한 인간의 의사 결정 과정을 반영한다.[21]:70[22]:16

초기의 컴퓨터 프로그램은 인간의 추론과 연역을 모방하도록 설계되었으며, 이러한 인간의 논리를 성공적으로 일관되게 재현할 때 제대로 작동하는 것으로 간주되었다. 인공지능의 선구자인 요제프 바이첸바움은 1976년 저서 '컴퓨터의 힘과 인간의 이성(Computer Power and Human Reason)'에서 편향성이 프로그램에 사용된 데이터 뿐만 아니라 프로그램이 코딩되는 방식에서도 발생할 수 있다고 제안했다.[21]:149

바이첸바움은 프로그램은 컴퓨터가 따라야 할 인간이 만든 일련의 규칙이라고 썼다. 이러한 규칙을 일관되게 따름으로써 이러한 프로그램은 "규칙을 구현"한다.[21]:40 즉, 문제를 해결하기 위한 특정 방법을 시행한다. 컴퓨터가 따르는 규칙은 이러한 문제를 해결하는 방법에 대한 컴퓨터 프로그래머의 가정을 기반으로 한다. 즉, 코드에는 편견과 기대를 포함하여 세계가 어떻게 작동하는지에 대한 프로그래머의 상상력이 포함될 수 있다.[21]:109 바이첸바움은 컴퓨터 프로그램이 이러한 방식으로 편견을 통합할 수 있지만, 또한 기계에 공급되는 모든 데이터는 데이터가 선택될 때 "인간의 의사 결정 과정"을 추가로 반영한다고 언급했다.[21]:70, 105

마지막으로 그는 사용자가 결과를 해석하는 방법을 잘 모를 경우 기계가 의도하지 않은 결과로 좋은 정보를 전달할 수도 있다고 지적했다.[21]:65 바이첸바움은 사용자가 이해하지 못하는 컴퓨터 프로그램의 결정을 신뢰하는 것에 대해 경고했는데, 이를 동전 던지기 결과만 가지고 왼쪽이나 오른쪽으로 돌면서 호텔 방으로 가는 길을 찾으려는 관광객과 비교했다. 결정적으로, 관광객은 목적지에 어떻게 또는 왜 도착했는지 이해할 근거가 없으며, 성공적으로 도착했다고 해서 그 과정이 정확하거나 신뢰할 수 있다는 것을 의미하지는 않는다.[21]:226

알고리즘 편향의 초기 사례로 1982년부터 1986년까지 세인트 조지 의과대학에서 60 여명의 여성과 소수 민족이 입학을 거부당한 경우가 있는데, 이는 과거 입학 경향에 따라 "외국어로 들리는 이름"을 가진 여성과 남성의 입학을 거부하는 새로운 컴퓨터 안내 평가 시스템을 도입했기 때문이다.[23] 당시 많은 학교가 선발 과정에서 유사한 편향을 사용했지만 세인트 조지 대학교는 알고리즘을 사용하여 이러한 편향을 자동화한 것으로 알려져 훨씬 더 많은 사람들의 관심을 끌었다.

최근에는 실제 데이터에 기계 학습 기법을 사용하는 알고리즘이 늘어나면서 데이터에 존재하는 편향성으로 인해 알고리즘 편향이 더 자주 발견될 수 있다.

현대의 비평과 대응[편집]

잘 설계된 알고리즘은 종종 인간의 결정과 동등하거나 그 이상의 공평한 결과를 결정하지만, 편향성인 사례는 여전히 발생하며 예측 및 분석이 어렵다.[24] 알고리즘 편향성 분석의 복잡성은 프로그램과 그 설계의 복잡성과 함께 증가해 왔다. 한 명의 설계자 또는 설계자 팀이 내린 결정은 단일 프로그램을 위해 작성된 많은 코드 조각들로 가려질 수 있으며, 시간이 지남에 따라 이러한 결정과 프로그램 출력에 대한 총체적 영향은 잊혀질 수 있다.[25]:115 이론적으로 이러한 편향은 코드가 사회의 다른 요소와 상호 작용할 때 특정 기술과 관련하여 새로운 행동 패턴, 즉 "대본"을 만들 수 있다.[26] 편향은 알고리즘이 요구하는 데이터 포인트를 중심으로 사회가 어떻게 형성되는지에도 영향을 미칠 수 있다. 예를 들어, 데이터에 특정 지역에서 체포 건수가 많은 것으로 나타나면 알고리즘은 해당 지역에 더 많은 경찰 순찰을 배정하여 더 많은 체포로 이어질 수 있다.[27]:180

알고리즘 프로그램의 결정은 알고리즘이 돕고자 하는 인간의 결정보다 더 권위 있는 것으로 간주될 수 있으며,[28]:15 이 과정을 저자 클레이 셔키는 "알고리즘 권위"(algorithmic authority)라고 설명했다.[29] 셔키는 이 용어를 사용하여 검색 결과와 같이 "다양하고 신뢰할 수 없는 출처에서 가치를 추출하는 관리되지 않는 프로세스를 권위있는 것으로 간주하는 결정"을 설명했다.[29] 이러한 중립성은 결과가 대중에게 공개 될 때 전문가와 언론이 사용하는 언어로 인해 잘못 표현될 수도 있다. 예를 들어, "경향" 또는 "인기"로 표시되는 뉴스 항목 목록은 단순한 인기도보다 훨씬 더 광범위한 기준에 따라 작성될 수 있다.[17]:14

알고리즘은 그 편리함과 권위 때문에 인간으로부터 책임을 위임하는 수단으로 이론화된다.[28]:16[30]:6 이는 대안, 타협 또는 유연성을 감소시키는 효과를 가져올 수 있다.[28]:16 사회학자 스콧 래시는 알고리즘이 실제 목적을 달성하기 위한 가상의 수단이라는 점에서 알고리즘을 새로운 형태의 '생성적 권력'이라고 비판했다. 이전에는 인간의 행동이 수집하고 연구할 데이터를 생성했다면, 강력한 알고리즘이 점점 더 인간의 행동을 형성하고 정의할 수 있게 되었다.[31]:71

알고리즘이 사회에 미치는 영향에 대한 우려로 인해 구글과 마이크로소프트와 같은 조직에서 기계 학습의 공정성, 책임성, 투명성이라는 이름의 워킹 그룹을 공동으로 만들었다.[32]:115 구글의 아이디어에는 알고리즘의 결과를 순찰하고 부정적인 결과를 초래할 수 있다고 판단되는 결과를 제어하거나 제한하기 위해 투표하는 커뮤니티 그룹이 포함되었다.[32]:117 최근 몇 년 동안 알고리즘의 공정성, 책임성 및 투명성(Fairness, Accountability, and Transparency; FAT)에 대한 연구는 FAccT라는 연례 회의를 통해 자체 학제 간 연구 영역으로 부상했다.[33] 비평가들은 많은 사람들이 연구중인 시스템을 구축하는 기업으로부터 자금을 지원받을 때 FAT 이니셔티브가 독립적인 감시자 역할을 효과적으로 수행 할 수 없다고 제안했다.[34]

종류[편집]

기존 편향[편집]

알고리즘의 기존 편향은 근본적인 사회적 및 제도적 이데올로기의 결과이다. 이러한 아이디어는 개별 설계자나 프로그래머에게 개인적 편향에 영향을 미치거나 만들 수 있다. 이러한 편향은 명시적이고 의식적일 수도 있고, 암묵적이고 무의식적일 수도 있다.[16]:334[14]:294 잘못 선택된 입력 데이터 또는 단순히 편향된 출처의 데이터는 기계에 의해 생성된 결과에 영향을 미친다.[22]:17 기존의 편향을 소프트웨어로 인코딩하면 사회적 및 제도적 편향을 보존할 수 있으며, 수정 없이 해당 알고리즘의 향후 모든 사용에 복제될 수 있다.[25]:116[30]:8

이러한 형태의 편향의 예로는 1981년 영국 국적법 이후 새로운 영국 시민에 대한 평가를 자동화하기 위해 설계된 영국 국적법 프로그램이 있다.[16]:341 이 프로그램은 "남자는 자신의 합법적인 자녀에게만 아버지이고, 여자는 합법적이든 아니든 자신의 모든 자녀의 어머니"라는 법의 원칙을 정확하게 반영한다.[16]:341[35]:375 특정 논리를 알고리즘 프로세스로 옮기려는 시도에서 프로그램은 영국 국적법의 논리를 알고리즘에 새겨 넣었으며, 이 논리는 결국 법률이 폐지되더라도 영구적으로 남을 것이다.[16]:342

"레이블 선택 편향"이라고 불리는[36] 또 다른 편향의 원인은 특정 그룹에 대한 편견을 구축하는 알고리즘을 훈련하는 데 대리 척도를 사용할 때 발생한다. 예를 들어, 널리 사용되는 알고리즘은 의료 수요에 대한 대용으로 의료 비용을 예측하고, 이 예측을 사용하여 복잡한 의료 소유가 있는 환자를 돕기 위한 자원을 할당했다. 이로 인해 흑인 환자는 백인 환자만큼 건강하지 않더라도 더 적은 의료 비용을 사용하기 때문에 편향이 발생했다.[37] "레이블 선택 편향"에 대한 해결책은 (알고리즘이 예측하는) 실제 목표를 (연구자들이 예즉하기를 원하는) 이상적인 목표에 더 가깝게 일치시키는 것을 목표로 기 때문에, 이전 예에서 연구자는 의료 비용을 예측하는 대신에 훨씬 더 중요한 의료 요구라는 변수에 초점을 맞출 것이다. 목표를 조정한 결과 프로그램이 선정한 흑인 환자 수가 거의 두 배로 증가했다.[36]

기계 학습 편향[편집]

기계 학습 편향이란 기계 학습 알고리즘의 결과물에 체계적이고 불공정한 불균형이 발생하는 것을 말한다. 이러한 편향은 다양한 방식으로 나타날 수 있으며 알고리즘을 학습시키는 데 사용되는 데이터를 반영하는 경우가 많다. 다음은 몇 가지 주요 측면이다:

언어 편향[편집]

언어 편향은 질의 언어와 관련된 통계적 샘플링 편향의 한 유형으로, "샘플링 정보의 체계적인 편차로 인해 저장소에서 사용 가능한 주제와 견해의 실제 범위를 정확하게 나타내지 못하게 하는 것"을 말한다.[38] Luo 등의 연구에 따르면[38] 현재의 대규모 언어 모델은 주로 영어 데이터에 대해 학습되기 때문에 종종 영미권의 관점을 진실로 제시하면서 비영어권의 관점은 관련성이 없거나 잘못되거나 잡음으로 체계적으로 경시하는 것으로 나타났다. "자유주의란 무엇인가요?"와 같은 정치 이데올로기로 질문했을 때, 영어 중심의 데이터로 학습된 ChatGPT는 영미권의 관점에서 자유주의를 설명하며 인권과 평등의 측면을 강조하는 반면, 베트남의 지배적인 관점에서 "개인 및 경제 생활에 대한 국가 개입 반대"와 중국의 지배적인 관점에서 "정부 권력의 제한"과 같은 똑같이 타당한 측면은 빠져 있다.[38]

성별 편향[편집]

성별 편향은 이러한 모형이 특정 성별에 대해 부당하게 편견이 있는 결과를 산출하는 경향을 말한다. 이러한 편향은 일반적으로 이러한 모델이 학습된 데이터에서 발생한다. 예를 들어, 대규모 언어 모델은 종종 전통적인 성별 규범에 따라 역할과 특성을 할당하기 때문에 간호사나 비서는 주로 여성, 엔지니어나 CEO는 남성과 연관시킬 수 있다.[39][40]

고정관념 편향[편집]

이러한 모형은 성별과 인종 외에도 연령, 국적, 종교, 직업 등 다양한 고정관념을 강화할 수 있다. 이로 인해 특정 집단을 부당하게 일반화하거나 때로는 해롭거나 경멸적인 방식으로 풍자하는 결과물이 나올 수 있다.[41]

정치적 편향[편집]

정치적 편향이란 알고리즘이 특정 정치적 관점, 이념 또는 결과를 다른 것보다 체계적으로 선호하는 경향을 말한다. 언어 모델도 정치적 편향을 보일 수 있다. 학습 데이터에는 다양한 정치적 의견과 범위가 포함되어 있기 때문에 데이터에서 이러한 견해가 얼마나 널리 퍼져 있는지에 따라 모델이 특정 정치적 이념이나 관점에 치우친 응답을 생성할 수 있다.[42]

기술적 제약[편집]

감시 카메라에 사용되는 얼굴 인식 소프트웨어는 백인보다 아시아인과 흑인을 인식하는 데 편향을 보이는 것으로 밝혀졌다.[27]:191

기술적 편향은 프로그램, 계산 능력, 설계 또는 그 밖의 시스템의 제약으로 인해 발생한다.[16]:332 이러한 편향은 설계 상의 제약일 수도 있다. 예를 들어 한 화면에 3개의 결과를 표시하는 검색 엔진은 항공사 가격 표시에서 상위 3개의 결과를 다음 3개보다 약간 더 우선시하는 것으로 이해될 수 있다.[16]:336 또 다른 사례는 결과의 공정한 분배를 위해 무작위성에 의존하는 소프트웨어이이다. 난수 생성 방식이 살제로 무작위가 아닌 경우, 예를 들어 목록의 끝이나 시작 부분에 있는 항목으로 선택이 치우침으로써 편향을 유발할 수 있다.[16]:332

탈맥락화 알고리즘은 관련 없는 정보를 사용하여 결과를 정렬한다. 예를 들어 알파벳 순서로 결과를 정렬하는 항공권 가격 알고리즘은 유나이티드 항공(United Airlines)보다 아메리칸 항공(American Airlines)에 유리하도록 편향될 수 있다.[16]:332 반대의 경우로, 결과가 수집된 맥락과 다른 맥락에서 평가되는 경우에도 적용될 수 있다. 예를 들어, 감시 카메라에서 얼굴 인식 소프트웨어를 사용하지만 다른 국가나 지역의 원격 직원이 평가하거나 카메라 시야 밖에서 일어나는 일을 인식하지 못하는 비인간 알고리즘에 의해 평가되는 등 중요한 외부 맥락 없이 데이터가 수집될 수 있다. 이로 인해 범죄 현장에 대한 불완전한 이해를 만들 수 있다. 예를 들어 지나가는 행인을 범죄를 저지른 사람으로 오인할 가능성이 있다.[13]:574

마지막으로, 기술적 편향은 인간의 행동이 동일한 방식으로 작동한다는 가정 하에 의사 결정을 구체적인 단계로 공식화하려고 시도함으로써 발생할 수 있다.[16]:332 예를 들어, 소프트웨어는 배심원의 감정에 미치는 영향을 무시한 채, 피고가 형량 협상을 받아들여야 하는지 여부를 결정하기 위해 데이터 포인트에 가중치를 부여한다. 이러한 형태의 편향의 또 다른 의도하지 않은 결과는 학생이 작성한 텍스트를 온라인에서 찾은 정보와 비교하여 학생의 작품이 표절되었을 확률 점수를 반환하는 표절 탐지 소프트웨어 Turnitin에서 발견되었다. 이 소프트웨어는 긴 텍스트 문자열을 비교하기 때문에 원어민보다 영어가 모국어가 아닌 비원어민을 식별할 가능성이 더 높다. 원어민의 경우, 개별 단어를 변경하거나 표절된 텍스트 문자열을 분리하거나 동의어를 통해 복사된 구절을 모호하게 만들 수 있기 때문이다. 소프트웨어의 기술적 제약으로 인해 원어민은 탐지를 회피하기가 더 쉽기 때문에 Turnitin이 영어가 모국어가 이난 외국인의 표절을 식별하는 동시에 더 많은 원어민이 탐지를 회피하는 시나리오가 만들어진다.[28]:21–22

창발적[편집]

창발 편향은 새롭거나 예상치 못한 상황에서 알고리즘을 사용하고 의존한 결과이다.[16]:334 알고리즘이 신약이나 의학적 혁신, 새로운 법률, 비즈니스 모델 또는 변화하는 문화적 규범과 같은 새로운 형태의 지식을 고려하도록 조정되지 않았을 수 있다.[16]:334,336 누가 그들의 배제에 대한 책임이 있는지 이해하기 위한 명확한 개요를 제공하지 않고 기술을 통해 특정 집단을 배제할 수 있다.[27]:179[14]:294 마찬가지로, 학습 데이터(특정 결론을 모델링하기 위해 기계에 "공급"되는 샘플)가 알고리즘이 실제 세계에서 직면하는 맥락과 일치하지 않을 때 문제가 발생할 수 있다.[43]

1990년, 미국 의대생을 레지던트로 배치하는 데 사용되는 소프트웨어인 "국립 레지던트 매치 프로그램(National Residency Match Program; NRMP)에서 창발 편향의 예가 확인되었다.[16]:338 이 알고리즘은 부부가 함께 레지던트를 구하는 경우가 거의 없던 시절에 설계되었다. 더 많은 여성이 의과 대학에 입학함에 따라 더 많은 학생들이 그들의 파트너와 함께 레지던트를 신청할 가능성이 높았다. 절차에 따라 각 지원자는 미국 전역의 선호 배치 목록을 제공하도록 요구했으며, 병원과 지원자가 모두 배정에 동의하도록 분류 및 배정되었다. 둘 다 레지던트를 희망하는 부부의경우, 알고리즘은 높은 점수를 받은 파트너의 위치 선택에 가중치를 두었다. 그 결과 선호도가 높은 학교를 첫 번째 파트너에게, 선호도가 낮은 학교를 두 번째 파트너에게 배정되는 경우가 많았으며, 배치 선호도 타협을 위한 분류가 이루어지지 않았다.[16]:338[44]

그 외에도 창발 편향은 아래를 포함한다:

상관관계[편집]

대규모 데이터 세트를 서로 비교할 때 예측할 수 없는 상관관계가 나타날 수 있다. 예를 들어, 웹 브라우징 패턴에 대해 수집된 데이터가 (예컨데 인종 또는 성적 취향 등의) 민감한 데이터를 나타내는 신호와 일치할 수 있다. 특정 행동이나 검색 패턴에 따라 선택하면 최종 효과는 직접적으로 인종 또는 성적 지향 데이터를 사용한 차별과 거의 동일할 것이다.[20]:6 다른 경우에는 알고리즘이 상관관계를 이해하지 못한 채 상관관계를 통해 결론을 도출한다. 예를 들어, 한 분류 프로그램은 폐렴이 없는 천식 환자보다 폐렴이 있는 천식 환자에게 더 낮은 우선순위를 부여한다. 이 프로그램 알고리즘은 단순히 생존율을 비교했기 때문에 폐렴이 있는 천식 환자가 가장 위험하다고 판단했다. 역사적으로, 이와 같은 이유로 병원은 일반적으로 이러한 천식 환자에게 가장 즉각적인 최선의 치료를 제공한다.[45][모호한 표현]

예상하지 못한 사용[편집]

예기치 못한 사용자가 알고리즘을 사용될 때 창발 편향이 발생할 수 있다. 예를 들어, 기계는 사용자가 숫자를 읽고, 쓰고, 이해할 수 있기를 요구하거나, 은유적인 인터페이스를 이해하지 못하는 것과 관련될 수 있다.[16]:334 이러한 배제는 편향적이거나 배타적인 기술이 사회에 더욱 깊숙이 통합됨에 따라 더욱 심화될 수 있다.[27]:179

배제와는 별개로, 예상치 못한 사용은 최종 사용자가 자신의 지식이 아닌 소프트웨어에 의존하여 예상치 못한 사용이 발생할 수 있다. 한 예로, 영국에서 컴퓨터 과학자와 이민 변호사가 영국 시민권에 대한 적합성을 평가하기 위해 개념 증명으로 영국 국적법 프로그램을 만들 때, 예상치 못한 사용자 그룹이 알고리즘 편향으로 이어진 사례가 있다. 소프트웨어와 이민법에 대한 이해도가 높지 않은 출입국 관리 사무소의 최종 사용자와는 달리, 설계자들은 이를 넘어서는 법률 전문 지식에 접근할 수 있었다. 질문을 관리하는 상담원들은 시민권을 취득할 수 있는 다른 경로를 배제한 채 전적으로 소프트웨어에만 의존했으며, 새로운 판례와 법률 해석으로 인해 알고리즘이 구식이 된 후에도 소프트웨어를 사용했다. 이민법에 대해 법적으로 잘 알고 있다고 가정한 사용자를 위해 알고리즘을 설계한 결과, 소프트웨어의 알고리즘은 간접적으로 영국 이민법의 보다 광범위한 기준이 아닌 알고리즘이 설정한 매우 좁은 법적 기준에 부합하는 신청자를 선호하는 편향된 결과로 이어졌다.[16]:342

피드백 루프[편집]

알고리즘을 위해 수집된 데이터가 실제 반응을 이끌어내고, 다시 알고리즘에 피드백되는 경우, 창발 편향은 피드백 루프 또는 재귀를 생성할 수 있다.[46][47] 예를 들어, 미국 캘리포니아주 오클랜드에 배포된 예측 치안 소프트웨어(PredPol)의 시뮬레이션은 대중이 신고한 범죄 데이터를 기반으로 흑인 거주 지역에 경찰 배치를 증가시킬 것을 제안했다.[48] 시뮬레이션은 대중이 경찰이 무엇을 하고 있는지에 상관없이 경찰차를 보고 범죄를 신고한 것으로 나타났다. 이 시뮬레이션은 범죄 예측을 모델링할 때 경찰차 목격을 해석했으며, 그 결과 해당 지역에 경찰이 더 많이 배치되는 것으로 나타났다.[46][49][50] 시뮬레이션을 수행한 인권 데이터 분석 그룹은 인종 차별이 체포의 요인이 되는 지역에서 이러한 피드백 루프가 치안 유지에서 인종 차별을 강화하고 영속화할 수 있다고 경고했다. 이러한 행동을 보이는 알고리즘의 또 다른 잘 알려진 예로는 개인이 범죄자가 될 가능성을 판단하는 소프트웨어인 COMPAS가 있다. 이 소프트웨어는 흑인 개인을 다른 사람보다 범죄자로 분류할 가능성이 훨씬 높다는 비판을 받고 있으며, 개인이 범죄자로 등록될 경우 해당 데이터를 다시 피드백하여 알고리즘이 작동하는 데이터 세트에 의해 생성된 편견을 더욱 강화한다.

온라인 동영상이나 뉴스 기사를 추천하는 데 사용되는 것과 같은 추천 시스템은 피드백 루프를 생성할 수 있다.[51] 사용자가 알고리즘이 추천하는 콘텐츠를 클릭하면 다음 추천 콘텐츠에 영향을 미친다.[52] 시간이 지남에 따라 사용자가 필터 버블에 빠져 중요하거나 유용한 콘텐츠를 인식하지 못하게 될 수 있다.[53][54]

영향[편집]

상업적 영향[편집]

알고리즘이 공정하다고 착각할 수 있는 사용자에 대해 알지 못하다면, 기업 알고리즘은 기업 간의 재무 약정이나 계약을 눈에 보이지 않게 선호하도록 왜곡될 수 있다. 예를 들어, 아메리칸 항공은 1980년대에 항공편 검색 알고리즘을 만들었다. 이 소프트웨어는 다양한 항공사의 다양한 항공편을 고객에게 제공했지만, 가격이나 편의성에 관계없이 자사 항공편의 선호도를 높이는 요소에 가중치를 두었다. 미국 의회 증언에서 아메리칸 항공의 사장은 우대 조치를 통해 경쟁 우위를 확보하려는 의도로 시스템이 만들어졌다고 솔직하게 밝혔다.[55]:2[16]:331

구글을 설명하는 1998년 논문에서 구글의 창립자들은 "광고의 지원을 받는 검색 엔진은 본질적으로 광고주에게 편향되고 소비자의 요구에서 벗어날 수 있다"고 주장하면서 유료 게제와 관련하여 검색 결과를 투명하게 공개하는 정책을 채택했다.[56] 이러한 편향은 사용자에 대한 "보이지 않는" 조작이 될 것이다.[55]:3

투표 행동[편집]

미국과 인도의 부동층 유권자에 대한 일련의 연구에 따르면 검색 엔진 결과가 투표 결과를 약 20%까지 변화시킬 수 있는 것으로 나타났다. 연구자들은 의도가 있든 없든 알고리즘이 상대 후보의 검색 결과 순위를 높이면 다른 후보자들은 "경쟁할 수단이 없다"고 결론지었다.[57] 투표와 관련된 메시지를 본 페이스북 사용자는 투표할 가능성이 더 높았다. 2010 년 페이스북 사용자를 대상으로 한 무작위 시험에 따르면 투표를 장려하는 메시지와 투표한 친구의 이미지를 본 사용자들 사이에서 투표율이 20% 증가(34 만 표)한 것으로 나타났다.[58] 법학자 조너선 지트레인은 의도적으로 조작된 경우, 선거에서 "중개자가 사용자에게 서비스를 제공하는 것이 아니라, 의제를 충족시키기 위해 선택적으로 정보를 제시하는" "디지털 게리맨더링" 효과가 발샐할 수 있다고 경고했다.[59]:335

성차별[편집]

2016년, 전문 네트워킹 사이트 링크드인은 검색어에 대한 응답으로 여성 이름의 남성 변형 이름을 추천하는 것이 발견되었다. 이 사이트는 남성 이름을 검색할 때는 이와 유사한 추천을 하지 않았다. 예를 들어, "Andrea"(안드레아)를 검색하면 사용자가 "Andrew"(앤드류)를 의미하는지 묻는 메시지가 표시되었지만, "Andreww"를 검색하면 사용자가 "Andrea"를 찾는 것인지 묻지 않았다. 링크드인은 이것이 사용자들이 사이트와 상호 작용을 분석한 결과라고 말했다.[60]

2012년에는 백화점 프랜차이즈 타깃이 여성 고객이 임신 사실을 알리지 않았더라도 임신 여부를 유추할 수 있는 데이터 포인트를 수집한 후 해당 정보를 마케팅 파트너와 공유한 사실이 알려졌다.[61]:94[62] 데이터가 직접 관찰되거나 보고된 것이 아니라 예측된 것이기 때문에 회사는 해당 고객의 개인정보를 보호할 법적 의무가 없었다.[61]:98

웹 검색 알고리즘도 편향적이라는 비난을 받고 있다. 구글의 검색 결과는 "레즈비언"과 같은 성 관련 검색어에서 음란물 콘텐츠에 우선순위를 둘 수 있다. 이러한 편향성은 검색 엔진이 중립적인 검색에서 인기 있지만 성적인 콘텐츠를 표시하는 데까지 확장된다. 예를 들어, "여자 운동 선수"를 검색하면 "가장 섹시한 25명의 여자 운동 선수" 기사가 첫 페이지 결과로 표시된다.[63]:31 2017년 구글은 혐오 단체, 인종 차별적 견해, 아동 학대 및 음란물, 기타 불쾌하고 모욕적인 콘텐츠를 노출하는 경우에 검색 결과를 조정했다.[64] 다른 예로는 구직 웹사이트에서 남성 지원자에게 더 높은 임금을 주는 일자리를 보여주는 것이 있다.[65] 연구자들은 또한 기계 번역이 남성 편향적인 경향을 보인다는 사실을 확인했다.[66] 특히 STEM 직종을 포함하여 불균형한 성별 분포와 관련된 분야에서 이러한 현상이 관찰된다.[67] 실제로 현재 기계 번역 시스템은 여성 근로자의 실제 분포를 재현하지 못한다.[68]

2015년에 아마존닷컴은 여성에게 불리하게 편향되어 있다는 사실을 알고, 입사 지원서를 선별하기 위해 개발한 인공지능 시스템을 중단했다.[69] 이 채용 도구는 모든 여자 대학을 다닌 지원자와 '여성'이라는 단어가 포함된 이력서를 제외했다.[70] 음악 스트리밍 서비스에서도 비슷한 문제가 나타났는데, 2019년 스포티파이에서 사용하는 추천 시스템 알고리즘이 여성 아티스트에 대한 편향이 있는 것으로 밝혀졌다.[71] 스포티파이의 노래 추천에서 여성 아티스트보다 남성 아티스트를 더 많이 추천했다.

인종 및 민족 차별[편집]

알고리즘은 의사 결정에서 인종적 편견을 모호하게 하는 방법이라는 비판을 받아왔다.[72][73][74]:158 과거에 특정 인종과 민족이 취급받아온 방식 때문에 데이터에는 종종 숨겨진 편견이 포함될 수 있다.[75] 예를 들어, 흑인은 같은 범죄를 저지른 백인보다 더 긴 형량을 받을 가능성이 높다.[76][77] 이는 잠재적으로 시스템이 데이터의 원래 편견을 증폭시킨다는 것을 의미할 수 있다.

2015년, 구글은 흑인 사용자가 사진 애플리케이션의 이미지 식별 알고리즘이 자신을 고릴라로 식별했다고 불평하자 사과했다.[78] 2010년, 니콘 카메라는 이미지 인식 알고리즘이 아시아 사용자에게 계속해서 눈을 깜박이는지를 물어 비판을 받았다.[79] 이러한 사례는 생체 인식 데이터 세트의 편향의 산물이다.[78] 생체 인식 데이터는 관찰되거나 추론된 인종적 특징을 포함하여 신체 측면에서 추출되며, 다음 데이터 요소로 전송될 수 있다.[74]:154 음성 인식 기술은 사용자의 억양에 따라 정확도가 다를 수 있다. 이는 해당 억양을 사용하는 화자에 대한 학습 데이터가 부족하기 때문일 수 있다.[80]

인종에 대한 생체 인식 데이터도 관찰되지 않고 추론될 수도 있다. 예를 들어, 2012년 연구에 따르면, 일반적으로 흑인과 연관된 이름은 해당 개인의 이름에 대한 경찰 기록이 있는지 여부와 관계없이 체포 기록을 암시하는 검색 결과가 나올 가능성이 더 높았다.[81] 또한 2015년 연구에 따르면, 인종 및 직업 노출 데이터가 예측 알고리즘의 폐 기능 모형에 통합되지 않아 흑인과 아시아인의 폐 기능이 더 떨어진다고 추정한다는 사실을 발견했다.[82][83]

2019년 연구에 따르면, 옵텀(Optum)에서 판매하는 의료 알고리즘이 아픈 흑인 환자보다 백인 환자를 선호한다는 사실이 밝혀졌다. 이 알고리즘은 환자가 향후 의료 시스템에 얼마나 많은 비용을 지불할 것인지를 예측한다. 그러나 흑인 환자는 같은 수의 만성 질환을 앓고 있는 백인 환자보다 연간 약 1,800달러의 의료비를 덜 부담했기 때문에, 알고리즘은 백인 환자를 훨씬 더 많은 질병을 앓고 있는 흑인 환자와 향후 비슷한 건강 문제의 위험이 있는 것으로 점수를 매겼다.[84]

2019년 11월 UC 버클리의 연구진이 실시한 연구에 따르면 모기지 알고리즘이 라틴계와 아프리카계 미국인을 차별하는 것으로 나타났는데, 이는 대출 기관이 개인이 대출을 받을 자격이 있는지 판단하기 위해 신원 확인 수단을 사용할 수 있도록 하는 미국 공정 대출법에 근거한 '신용도'에 따라 소수 민족을 차별한 것이다. 이러한 특정 알고리즘은 핀테크 회사에 존재하며 소수 민족을 차별하는 것으로 나타났다.[85]

법 집행 및 법적 절차[편집]

알고리즘은 이미 법률 시스템에서 다양하게 활용되고 있다. 그 예로 미국 법원에서 피고인의 재범 가능성을 평가하는 데 널리 사용되는 상용 프로그램인 COMPAS를 들 수 있다. 프로퍼블리카는 흑인 피고인의 평균 COMPA 배정 재범 위험도가 백인 피고인보다 훨씬 높으며, 흑인 피고인이 백인 피고인에 비해 '고위험'이라는 꼬리표를 잘못 할당받을 가능성이 두 배나 높다고 주장했다.[86][87]

한 가지 예가 미국의 형사 판결 및 가석방 심의 위원회에서 위험 평가를 사용하는 것이다. 판사는 수감자가 범죄를 반복할 위험을 반영하기 위해 알고리즘으로 생성된 점수를 제시받는다.[88] 1920년부터 1970년까지 범죄자 아버지의 국적은 위험 평가 점수의 고려 대상이었다..[89]:4 오늘날 이 점수는 애리조나, 콜로라도, 델라웨어, 켄터키주, 루이지애나, 오클라호마, 버지니아, 워싱턴, 위스콘신의 판사들에게 공유된다. 프로퍼블리카의 독립적인 조사에 따르면 이 점수는 80%가 부정확하며, 흑인이 백인보다 77% 더 자주 재발할 위험이 있다고 불균형적으로 왜곡되어 있는 것으로 나타났다.[88]

"위험, 인종 및 재범 : 예측 편향 및 이질적인 영향"을 사하기 위해 시작된 한 연구에 따르면 2년의 관찰 기간 동안 객관적으로 문서화된 재범 기록이 없음에도 불구하고 흑인 피고인이 백인 피고인보다 더 높은 위험성을 지닌 것으로 잘못 분류될 가능성이 2배(45% 대 23%) 더 높다고 주장한다.[90]

재판 전 구금 상황에서, 한 법률 리뷰 기사는 알고리즘 위험 평가가 안면 차별적이고, 불균등한 대우를 초래하며, 좁게 조정되지 않았다고 주장하며, 이 때문에 인종에 근거한 미국 수정 헌법 제14조 평등보호조항을 위반한다고 주장했다.[91]

온라인 혐오 발언[편집]

2017년 페이스북 내부 문서에 따르면 온라인 혐오 발언을 제거하기 위해 설계된 페이스북 알고리즘이 불쾌한 콘텐츠를 평가할 때 흑인 어린이보다 백인 남성에게 유리하게 작용하는 것으로 나타났다.[92] 컴퓨터 프로그램과 인간 콘텐츠 검토자의 조합으로 이루어진 이 알고리즘은 특정 하위 범주가 아닌 광범위한 범주를 보호하기 위해 만들어졌다. 예를 들어, "무슬림"을 비난하는 게시물은 차단되는 반면, "급진 무슬림"을 비난하는 게시물은 허용된다. 알고리즘의 예상치 못한 결과는 흑인 어린이에 대한 혐오 발언을 허용하는 것인데, 이는 "모든 흑인"이 아닌 흑인 "어린이" 하위 집합을 비난하기 때문이며, "모든 백인 남성"은 백인과 남성의 하위 집합으로 간주되지 않기 때문에 차단을 유발한다.[92] 페이스북은 또한 광고 구매자가 "유대인 혐오자"를 사용자 범주로 지정할 수 있는 것으로 밝혀졌는데, 회사는 데이터 평가 및 분류에 사용되는 알고리즘의 의도하지 않은 결과라고 말했다. 또한 광고 구매자가 아프리카계 미국인이 주택 광고를 보는 것을 막을 수 있도록 설계되다.[93]

혐오 발언을 추적하고 차단하는 데 알고리즘이 사용되지만, 일부 알고리즘은 흑인 사용자가 게시한 정보를 혐오 발언으로 표시할 가능성이 1.5배 높고, 아프리카계 미국인 영어로 작성된 경우 2.2배 더 높은 것으로 나타났다.[94] 비방과 욕설에 대한 맥락이 없이, 심지어 그것을 해당 공동체에 다시 올렸을 때에도 표시가 붙었다.[95]

감시[편집]

감시 카메라 소프트웨어는 정상적인 행동과 비정상적인 행동을 구분하고 특정 시간에 특정 위치에 누가 속해 있는지 판단하는 알고리즘이 필요하기 때문에 본질적으로 정치적인 것으로 간주될 수 있다.[13] 이러한 알고리즘이 인종적 스펙트럼에 걸쳐 얼굴을 인식하는 능력은 훈련 데이터베이스에 있는 이미지의 인종적 다양성에 의해 제한되는 것으로 나타났다. 대부분의 사진이 한 인종 또는 한 성별에 속한다면, 소프트웨어는 해당 인종 또는 성별의 다른 구성원을 더 잘 인식하는 것으로 나타났다.[96] 그러나 이러한 이미지 인식 시스템에 대한 감사조차도 윤리적 위험성이 있으며 일부 학자들은 이 기술의 맥락이 항상 과도한 감시를 받는 커뮤니티에 불균형적인 영향을 미칠 것이라고 제안했다.[97] 예를 들어, 2002년에 CCTV 이미지에서 개인을 식별하는 데 사용되는 소프트웨어를 분석한 결과, 범죄 데이터베이스에 대해 실행했을 때 편향성의 몇 가지 예가 발견되었다. 이 소프트웨어는 여성보다 남성을, 젊은이보다 노인을 더 자주 식별하고, 백인보다 아시아인, 아프리카계 미국인 및 기타 인종을 더 자주 식별하는 것으로 평가되었다.[27]:190 2018년의 연구에 따르면, 얼굴 인식 소프트웨어는 밝은 피부(일반적으로 유럽인)의 남성을 가장 정확하게 식별하는 것으로 나타났으며, 밝은 피부의 여성은 정확도가 약간 낮았다. 피부색이 어두운 남성과 여성은 얼굴 인식 소프트웨어가 정확하게 식별할 확률이 현저히 낮았다. 이러한 차이는 이 소프트웨어를 개발하는 데 사용된 데이터 세트에서 피부색이 어두운 참가자가 과소 대표되었기 때문이다.[98][99]

성소수자 공동체에 대한 차별[편집]

2011년 게이 연결 애플리케이션인 Grindr 사용자들은 안드로이드 스토어의 추천 알고리즘이 Grindr를 성범죄자를 찾기 위해 설계된 애플리케이션과 연결하고 있다고 보고했으며, 비평가들은 동성애와 소아 성애를 부정확하게 연관시켰다고 말했다. 작가 마이크 아나니는 디 애틀랜틱애서 이러한 연관성이 동성애자들을 더욱 낙인찍는다고 주장하면서 이러한 연관성을 비판했다.[100] 2009년 온라인 소매 업체 아마존은 알고리즘 변경으로 "성인용 콘텐츠" 블랙리스트에 성 또는 동성애 주제를 다루는 모든 책을 포함하도록 확장하여 57,000 권의 책 목록을 삭제했는데, 이 중에는 비평가들의 찬사를 받은 소설 "브로크백 마운틴" 같은 작품이 포함되었다.[101][17]:5[102]

2019년 페이스북에서 "내 여자 친구 사진"을 검색하면 "비키니 차림" 또는 "해변에서"와 같은 제안이 표시되는 것으로 나타났다. 반대로 "내 남자 친구의 사진"을 검색하면 결과가 나오지 않았다.[103]

얼굴 인식 기술은 트랜스젠더 개인에게 문제를 일으키는 것으로 나타났다. 2018년에 우버가 내장 보안 조치로 구현한 얼굴 인식 소프트웨어로 인해 트랜스젠더 또는 성전환 중인 우버 운전자들이 어려움을 겪고 있다는 보고가 있었다. 이로 인해 트랜스젠더 우버 드라이버의 일부 계정이 정지되어 요금이 발생하고 일자리를 잃을 가능성도 있었는데, 이는 모두 얼굴 인식 소프트웨어가 트랜스젠더 드라이버의 얼굴을 인식하는 데 어려움을 겪었기 때문이다.[104] 이 문제에 대한 해결책은 기계 학습 모델의 훈련 세트에 트랜스젠더를 포함하는 것으로 보이지만, 훈련 데이터에 사용하기 위해 수집된 트랜스젠더 유튜브 동영상의 경우 동영상에 포함된 트랜스젠더의 동의를 받지 않아 개인정보 침해 문제가 제기된 사례도 있었다.[105]


또한 2017년 스탠퍼드 대학교에서는 얼굴 이미지를 기반으로 개인의 성적 지향을 감지할 수 있다고 알려진 기계 학습 시스템의 알고리즘을 테스트한 연구가 진행되었다.[106] 이 연구의 모델은 게이와 이성애자 남성을 81%, 게이와 이성애자 여성을 74% 정확하게 구분해냈다. 이 연구는 성소수자 공동체의 반발을 불러일으켰는데, 성소수자 공동체는 이 인공지능 시스템이 개인을 자신의 의지에 반하여 "아웃팅"될 위험에 처하게 함으로써 성소수자 개인에게 미칠 수 있는 부정적인 영향에 대해 우려했다.[107]

장애 차별[편집]

알고리즘 공정성의 양상은 성별, 인종, 사회경제적 지위 등 다양한 편견의 측면을 기준으로 판단되지만, 장애는 종종 목록에서 제외된다.[108][109] 현재 사회에서 장애인들이 직면하는 소외는 AI 시스템과 알고리즘으로 옮겨져 더 많은 배제를 야기하고 있다.[110][111]

장애의 변화하는 성격과 주관적인 특성으로 인해 계산을 통해 해결하는 것을 더 어렵게 한다. 장애를 정의하고, 설문조사를 통해 장애의 발생률과 유병률을 수집하고, 인식을 확립하는 데 있어 역사적 깊이가 부족하기 때문에 정량화 및 계산에서의 논란과 모호성이 더해진다. 장애의 정의는 의학적 모델에서 사회적 모델로 전환하는 것으로 오랫동안 논의되어 왔는데, 이는 장애가 장애와 건강 상태보다는 사람들의 상호 작용과 환경의 장벽 사이의 불일치로 인한 결과라는 것을 입증한다. 장애는 또한 상황적 또는 일시적일 수 있으며,[112] 지속적인 유동 상태로 간주된다.[113] 장애는 놀랍도록 다양하며, 넓은 스펙트럼에 속하며, 각 개인에게 고유할 수 있다. 사람들의 정체성은 그들이 경험하는 특정 유형의 장애, 보조 기술의 사용 방법, 그리고 그들이 지원하는 사람에 따라 달라질 수 있다. 사람들의 경험 전반에 걸친 높은 수준의 다양성은 장애가 어떻게 나타날 수 있는지를 크게 개인화한다. 중복되는 정체성과 교차 경험은[114] 통계와 데이터 세트에서 제외되므로,[115] 훈련 데이터에서 과소 대표되고 존재하지 않는다.[116] 따라서 기계 학습 모델은 불평등하게 훈련되고 인공지능 시스템은 더 많은 알고리즘 편견을 지속시킨다.[117] 예를 들어, 음성 제어 기능 및 스마트 AI 비서 훈련에 언어 장애가 있는 사람이 포함되지 않으면 해당 기능을 사용할 수 없거나 적절한 응답을 받을 수 없게 된다.

장애를 둘러싼 고정 관념과 낙인이 여전히 존재한다는 점을 고려할 때, 이러한 식별 특성을 드러내는 민감한 특성은 방대한 사생활 침해 문제를 수반한다. 장애 정보를 공개하는 것이 금기시되고 장애인에 대한 차별을 조장할 수 있기 때문에, 알고리즘 시스템이 상호 작용할 수 있는 명시적인 장애 데이터가 부족하다. 장애인은 장애 상태를 공개할 경우 사회적 지원, 의료보험 비용, 직장 내 차별 및 기타 기본적인 필수품과 관련하여 추가적인 피해와 위험에 직면하게 된다. 알고리즘은 사회 시스템과 구조에 이미 존재하는 편견을 재현함으로써 이러한 격차를 더욱 악화시키고 있다.[118][119]

구글 검색[편집]

사용자가 최종 결과를 자동으로 생성하는 동안, 구글은 성차별적, 인종차별적 자동완성 텍스트를 삭제하지 않았다. 예를 들어, 책 《구글은 어떻게 여성을 차별하는가》에서 사피야 노블은 "흑인 소녀"를 검색하면 포르노 이미지를 표시되는 사례를 예로 들었다. 구글은 불법으로 간주되지 않는 한 해당 페이지를 삭제할 수 없다고 주장했다.[120]

연구의 장애물[편집]

몇몇 문제가 대규모 알고리즘 편향 연구를 방해하여 학문적으로 엄격한 연구의 적용과 대중의 이해를 지연시킨다.[12]:5[121][122]

공정성의 정의[편집]

알고리즘 편향에 관한 문헌은 공정성의 개선에 초점을 맞춰 왔지만, 공정성의 정의는 종종 서로 호환되지 않으며 기계 학습 최적화의 현실과 호환되지 않는다. 예를 들어, 공정성을 "결과의 평등"으로 정의한다면 단순히 모든 사람에게 동일한 결과를 산출하는 시스템을 의미하겠지만, "대우의 평등"으로 정의한다면 개인 간의 차이를 명시적으로 고려할 수 있을 것이다.[123]:2 결과적으로 공정성은 때때로 모델의 정확성과 상충되는 것으로 묘사되며, 이는 사회 복지의 우선 순위와 이러한 시스템을 설계하는 공급업체의 우선 순위 사이에 태생적인 긴장이 있음을 시사한다.[124]:2 이러한 긴장에 대응하여 연구자들은 특정 응용과 상황에 맞춰 정의된 "공정성"과 함께 잠재적으로 편향된 알고리즘을 사용하는 시스템의 설계 및 사용에 더 많은 주의를 기울일 것을 제안했다.[125]

복잡성[편집]

알고리즘 프로세스는 이를 사용하는 사람들의 이해를 넘어서는 복잡계이다.[12]:2[126]:7 대규모 연산은 이를 만든 사람조차도 이해하지 못할 수 있다.[127] 현대 프로그램의 방법과 프로세스는 코드의 입력 또는 출력의 모든 순열을 알 수 없기 때문에 모호한 경우가 많다.[27]:183 사회과학자 브뤼노 라투르는 이 과정을 "과학적이고 기술적인 작업이 그 자체의 성공으로 인해 보이지 않게되는 과정"인 블랙박스화라고 했다. "기계가 효율적으로 작동할 때, 사실 문제가 해결되면 내부 복잡성이 아닌 입력과 출력에만 집중하면 된다. 따라서 역설적으로 과학기술이 성공할수록 더 불투명하고 모호해진다."[128] 다른 사람들은 블랙박스 비유를 비판하며 현재의 알고리즘은 하나의 블랙박스가 아니라 서로 연결된 알고리즘의 네트워크에 불과하다고 말한다.[129]:92

이러한 복잡성의 예는 피드백 사용자 정의에 대한 입력 범위에서 찾을 수 있다. 소셜 미디어 사이트 페이스북은 2013년에 사용자의 소셜 미디어 제공 배치 순서를 결정하기 위해 최소 10만 개의 데이터 포인트를 고려했다.[130] 또한 대규모 프로그래머 팀은 서로 상대적으로 고립되어 운영될 수 있으며, 연결된 정교한 알고리즘 내에서 작은 결정의 누적 효과를 인식하지 못할 수 있다.[25]:118 모든 코드가 독창적인 것은 아니며 다른 라이브러리를 사용할 수 있으므로 데이터 처리와 데이터 입력 시스템 사이에 복잡한 관계의 집합이 만들어진다.[5]:22

클릭 수, 사이트 체류 시간 및 기타 지표와 같은 사용자 상호 작용을 기반으로 한 기계 학습 및 알고리즘의 개인화를 통해 추가적인 복잡성이 발생한다.[131]:367[126]:7 이러한 개인적인 조정은 알고리즘을 이해하려는 일반적인 시도를 혼란스럽게 할 수 있다. 한 정체를 밝히지 않은 스트리밍 라디오 서비스는 사용자의 행동에 따라 5가지 고유의 음악 선택 알고리즘을 사용한다고 보고했다. 이로 인해 사용자마다 동일한 스트리밍 서비스에 대한 서로 다른 경험을 만들어내며, 이러한 알고리즘의 기능을 이해하기 어렵게 만든다.[12]:5 기업들은 또한 사용자 반응에 따라 알고리즘을 미세 조정하기 위해 빈번한 A/B 테스트를 실행한다. 예를 들어, 검색 엔진 빙은 하루에 최대 천만 개의 미묘한 서비스 변형을 실행하여 각 사용 또는 사용자 간에 서로 다른 서비스 경험을 만들 수 있다.[12]:5

투명성 부족[편집]

상업적 알고리즘은 독점적이며 영업 비밀로 취급될 수 있다.[12]:2[126]:7[27]:183 알고리즘을 영업 비밀로 취급하는 것은 투명한 알고리즘을 통해 검색 순위를 조작하는 전술이 가능해지는 검색 엔진 같은 기업을 보호할 수 있다.[131]:366 이로 인해 연구자들이 알고리즘이 어떻게 작동하는지 알아보기 위해 인터뷰나 분석을 수행하기 어렵게 만든다.[5]:20 비평가들은 이러한 비밀이 알고리즘 결과물을 생성하거나 처리하는 데 사용되는 비윤리적인 방법을 모호하게 만들 수 있다고 제안한다.[131]:369 변호사이자 활동가인 Katarzyna Szymielewicz와 같은 다른 비평가들은 투명성 부족이 종종 알고리즘 복잡성의 결과로 위장되어 기업이 자체 알고리즘 프로세스를 공개하거나 조사하지 못하도록 보호한다고 주장했다.[132]

민감한 범주에 대한 데이터 부족[편집]

실제로 편견 문제를 이해하는 데 있어 중요한 장벽은 차별 금지법에 의해 보호되는 개인의 인구 통계와 같은 범주가 데이터를 수집하고 처리할 때 명시적으로 고려되지 않는 경우가 많다는 점이다.[133] 장치 지문 인식, 유비쿼터스 컴퓨팅 및 사물 인터넷과 같이 이러한 데이터를 명시적으로 수집할 기회가 거의 없는 경우도 있다. 다른 경우에는 데이터를 제어하는 쪽에서 평판 상의 이유, 또는 책임 및 보안 위험의 증가 때문에 이러한 데이터 수집을 원하지 않을 수 있다. 또한 적어도 유럽 연합의 일반 데이터 보호 규정과 관련하여 이러한 데이터가 '특별 범주' 조항(제9조)에 해당하여 잠재적인 수집 및 처리에 더 많은 제한이 따를 수도 있다.

일부 실무자들은 편향성을 완화하기 위해 이러한 누락된 민감한 분류를 추정하고 대입하려고 시도해왔다. 예를 들자면 이름에서 민족을 추론하는 시스템을 구축하는 것이다.[134] 그러나 이는 신중하게 수행하지 않으면 다른 형태의 편향성을 유발할 수 있다.[135] 기계 학습 연구자들은 안전한 다자간 계산과 같은 암호화 개인 정보 보호 강화 기술을 활용하여 모델러가 이러한 데이터를 명확한 텍스트로 사용할 수 없이 알고리즘 편향을 평가하거나 완화할 수 있는 방법을 제안했다.[136]

알고리즘 편향은 보호되는 범주 뿐만 아니라 정치적 견해와 같이 쉽게 관찰하거나 코드화할 수 없는 특성에도 영향을 줄 수 있다. 이러한 경우 쉽게 접근 가능하거나 논란의 여지가 없는 근거 진실이 거의 없으며 그러한 시스템에서 편향을 제거하는 것은 더 어렵다.[137] 또한, 보호 범주에 대한 이해 부족으로 인해 우연에 의해 소수 민족의 주거 집단과 겹칠 수있는 자동차 사고의 과거 데이터를 기반으로 한 보험 요율과 같이 잘못된 및 우연한 상관 관계가 나타날 수 있다.[138]

해결 방법[편집]

윤리적 AI에 관한 84개의 정책 가이드라인에 대한 연구에 따르면, 공정성과 '원치 않는 편견의 완화'가 공통적인 관심사였고, 기술적 솔루션, 투명성 및 모니터링, 구제 권리 및 감독 강화, 다양성 및 포용성 노력의 조합을 통해 해결된다는 사실을 발견했다.[139]

기술적 해법[편집]

알고리즘 내에서 편향을 감지하고 관찰할 수 있는 방법과 도구를 만들려는 시도가 몇 가지 시도가 있었다. 이러한 새로운 분야는 일반적으로 알고리즘의 내부 프로세스가 아닌 프로그램에서 사용하는 학습 데이터에 일반적으로 적용되는 도구에 중점을 둔다. 이러한 방법은 프로그램의 출력과 유용성을 분석할 수도 있으므로 혼동 행렬 분석을 포함할 수 있다.[140][141][142][143][144][145][146][147][148] 알고리즘의 편향성을 감지하고 위한 설명 가능한 AI 알고리즘 또는 학습 모델에서 편향성의 존재를 감지하는 방법으로 제안되었다.[149] 기계 학습을 사용하여 편향을 감지하는 것을 "AI 감사 수행"이라고 하는데, 여기서 "감사자"는 편향을 식별하기 위해 AI 모델과 학습 데이터를 통과하는 알고리즘이다.[150] 분류기와 같은 AI 도구에 편향이 없는지 확인하는 것은 일반적으로 다른 신호에 내포되어 있기 때문에 입력 신호에서 민감한 정보를 제거하는 것보다 더 어렵다. 예를 들어, 지원자의 취미, 스포츠, 재학 중인 학교는 분석에서 제거하더라도 소프트웨어에 성별을 드러낼 수 있다. 이 문제에 대한 해결책은 딥러닝 네트워크가 동시에 작업을 학습하도록 훈련된 대상에 대한 보호 대상 및 민감한 정보를 재구성하는 데 사용될 수 있는 정보를 지능형 에이전트가 갖지 않도록 하는 동시에 보호 대상에 대해 완전히 무관심하도록 하는 것이다. 단어 임베딩의 맥락에서 더 간단한 방법이 제안되었는데, 보호된 특성과 상관 관계가 있는 정보를 제거하는 것이다.[151][152]

현재 알고리즘 제작자가 편향성 문제를 제거하고 알고리즘의 기능과 가능한 효과에 대해 (당국 또는 최종 사용자에게) 투명성을 명확히 설명하는 데 도움이 되는 방법론을 지정하는 것을 목표로 하는 새로운 IEEE 표준 초안이 작성되고 있다. 이 프로젝트는 2017년 2월에 승인되었으며 IEEE 컴퓨터 학회에서 공인한 위원회인 소프트웨어 및 시스템 엔지니어링 표준 위원회에서 후원하고 있다. 표준 초안은 2019년 6월에 투표를 위해 제출될 것으로 예상된다.[153][154]

투명성 및 모니터링[편집]

<nowiki /> 알고리즘 투명성 문서를 참고하십시오.

AI에 대한 윤리 지침은 책임의 필요성을 지적하며, 결과의 해석 가능성을 개선하기 위한 조치를 취할 것을 권고한다.[155] 이러한 해결책에는 기계 학습 알고리즘에서 "이해할 권리"를 고려하고 결정이 설명되거나 검토될 수 없는 상황에서 기계 학습 배포를 거부하는 것을 포함한다.[156] 이를 위해 편향성 문제를 해결하는 것 이상의 이유로 "설명 가능한 AI"를 위한 움직임이 이미 DARPA와 같은 조직 내에서 진행되고 있다.[157] 예를 들어, 프라이스워터하우스쿠퍼스(PwC)는 결과 결과를 모니터링하는 것이 시스템의 단독 구성 요소가 결과를 왜곡할 경우 격리 및 종료할 수 있도록 시스템을 설계하는 것을 의미한다고 제안한다.[158]

투명성을 향한 초기 접근 방식에는 알고리즘의 오픈 소스화가 포함되었다.[159] 소스 코드 호스팅 시설을 통해 소프트웨어 코드를 조사하고 개선 사항을 제안할 수 있다. 그러나 이러한 접근 방식이 반드시 의도한 효과를 내는 것은 아니다. 기업과 조직은 가능한 모든 문서와 코드를 공유할 수 있지만, 청중이 주어진 정보를 이해하지 못하면 투명성이 확립되지 않는다. 따라서 투명성과 관련하여 관심 있는 비판적 청중의 역할을 살펴볼 가치가 있다. 알고리즘은 비판적 청중 없이는 책임을 질 수 없다.[160]

구제받을 권리[편집]

규제 관점에서 토론토 선언은 알고리즘 편향으로 인한 피해에 인권 프레임워크를 적용할 것을 요구한다.[161] 여기에는 이러한 알고리즘 설계자를 대신하여 실사에 대한 기대를 법제화하고, 사적 행위자가 공익을 보호하지 못할 때 책임을 지는 것을 포함하며, 이러한 권리는 복잡하게 얽혀 있는 프로세스 내에서 책임을 결정하는 복잡성으로 인해 가려질 수 있음을 지적한다.[162] 다른 사람들은 명확한 책임 보험 메커니즘의 필요성을 제안한다.[163]

다양성 및 포용성[편집]

인공지능 시스템의 설계가 주로 백인 남성 엔지니어의 영역이라는 우려 속에서[164] 많은 학자들은 인공지능 시스템을 설계하는 사람들의 범위를 넓혀 알고리즘 편향을 최소화할 수 있다고 제안했다.[156][139] 예를 들어, 기계 학습 엔지니어의 12%만이 여성이며,[165] 흑인 인공지능 리더들은 이 분야의 "다양성 위기"를 지적하고 있다.[166] Black in AI나 Queer in AI 같은 그룹은 AI 커뮤니티보다 포용적인 공간을 만들고 AI 연구의 궤적을 통제하는 기업의 종종 유해한 욕구에 맞서기 위해 노력하고 있다.[167] 단순한 포용성 노력에 대한 비판은 다양성 프로그램이 중복되는 형태의 불평등을 해결할 수 없으며 알고리즘 설계에 보다 신중한 교차 성 렌즈를 적용 할 것을 촉구했다.[168][169]:4 케임브리지 대학의 연구원들은 인종적 다양성을 다루는 것이 인공지능 문화의 "백인성"으로 인해 방해받았다고 주장했다.[170]

학제간 협업 및 협력[편집]

AI 시스템 개발에서 학제간 통합과 협업은 알고리즘 편향을 해결하는 데 중요한 역할을 할 수 있다. 컴퓨터 과학 이외의 분야에서 얻은 통찰, 전문 지식, 관점을 통합하면 데이터 기반 솔루션이 사회에 미치는 영향을 보다 잘 이해할 수 있다. 인공지능 연구에서 이러한 예로는 사회적 영향과 관련된 AI 기반 솔루션을 개발할 때 협업을 촉진하기 위해 제안된 프레임워크인 PACT(Participatory Approach to enable Capabilities in communiTies, 커뮤니티의 역량 강화를 위한 참여적 접근법)가 있다.[171] 이 프레임워크는 AI4SG(AI for Social Good) 프로젝트 작업 시 이해 관계자 참여에 대한 기본 원칙을 식별한다. PACT는 인간 중심의 AI 솔루션 설계에서 탈식민화와 권력 이동 노력의 중요성을 재확인하려고 시도한다. 이와 관련한 학술적 이니셔티브로는 다학제간 협력을 촉진하는 것을 목표로 하는 스탠포드 대학교의 인간 중심 인공지능 연구소(Institute for Human-Centered Artificial Intelligence)가 있다. 이 연구소의 사명은 인간의 조건을 개선하기 위해 인공지능 연구, 교육, 정책 및 실습을 발전시키는 것이다.[172]

외부 전문가 및 다양한 이해 관계자와의 협업을 통해 윤리적이고 포용적이며 책임감 있는 지능형 시스템 개발을 용이하게 한다. 윤리적 고려 사항을 통합하고, 사회적, 문화적 맥락을 이해하고, 인간 중심의 설계를 촉진하고, 기술 전문 지식을 활용하며, 정책 및 법적 고려 사항을 다룬다.[173] AI 시스템의 편향을 효과적으로 완화하고 AI 기술이 공정하고 투명하며 책임감 있게 작동하도록 보장하려면 여러 분야 간의 협업이 필수적이다.

규정[편집]

유럽[편집]

2018년에 시행된 유럽 연합의 개정된 데이터 보호 제도인 일반 데이터 보호 규정(GDPR)은 제22조에서 "프로파일링을 포함한 자동화된 개인 의사 결정"을 다루고 있다. 이 규정은 동의, 계약 또는 회원국 법률에 의해 명시적으로 승인되지 않는 한 개인에게 '중대한' 또는 '법적' 영향을 미치는 자동화된 결정을 '전적으로' 금지하고 있다. 허용되는 경우, 휴먼인더루프(human-in-the-loop)에 대한 권리, 도달한 결정에 대한 설명에 대한 구속력이 없는 권리 등의 안전장치를 마련해야 한다. 이러한 규정은 일반적으로 새로운 규정으로 간주되지만, 1995년부터 유럽 전역에 걸쳐 데이터 보호 지침 제15조에 거의 동일한 조항이 존재해 왔다. 1970년대 후반부터 프랑스 법률에 자동화된 결정 규칙과 안전장치가 존재했다.[174]

GDPR은 프로파일링 시스템에서 알고리즘 편향을 다루며, 71조에서 이를 제거할 수있는 통계적 접근 방식을 직접 다루고 있다.[175]

통제자는 프로파일링에 적절한 수학적 또는 통계적 절차를 사용하고, 특히 출신 인종 또는 민족, 정치적 견해, 종교 또는 신념, 노동 조합 가입, 유전적 또는 건강 상태 또는 성적 지향에 근거하여 자연인에 대한 차별적 영향을 방지하는 적절한 기술적 및 조직적 조치를 시행해야 한다.

71조의 설명을 요구할 권리에 구속력이 없는 것과 마찬가지로, 이 조항의 문제는 구속력이 없다는 것이다.[176] 이는 데이터 보호법 이행에 대해 조언한 29조 작업반에 의해 요구 사항으로 취급되었지만,[175] 실질적인 차원은 분명하지 않다. 고위험 데이터 프로파일링에 대한 데이터 보호 영향 평가(데이터 보호 내의 다른 선제적 조치와 함께)는 소비자가 불만을 제기하거나 변경을 요청하는 대신 알고리즘을 배포하는 사람들의 행동을 제한하기 때문에 알고리즘 차별 문제를 해결하는 더 나은 방법일 수 있다는 주장이 제기되었다.[177]

미국[편집]

미국에는 알고리즘 편향을 통제하는 일반 법률이 없으며 산업과 업종별로 알고리즘 사용 방법에 따라 다를 수 있는 다양한 주 및 연방법을 통해 문제에 접근한다.[178] 많은 정책이 자체적으로 시행되거나 연방거래위원회에 의해 통제된다.[178] 2016년 오바마 행정부는 정책 입안자들이 알고리즘에 대한 비판적 평가를 하도록 안내하기 위한 "국가 인공지능 연구 및 개발 전략 계획"을 발표했다.[179] 이 계획은 연구자들에게 "이러한 시스템의 행동과 의사 결정이 투명하고 인간이 쉽게 해석할 수 있도록 설계하여 이러한 편견을 학습하고 반복하는 것이 아니라 포함할 수있는 편견이 있는지 검사할 수 있도록 설계"할 것을 권장했다. 이 보고서는 지침으로만 활용될 뿐 법적 선례를 만들지는 못했다.[180]:26

2017년 뉴욕시는 미국 최초의 알고리즘 책임 법안을 통과시켰다.[181] 2018년 1월 1일에 발효된 이 법안은 "기관 자동화된 의사 결정 시스템에 대한 정보를 대중과 공유하는 방법과 기관 자동 결정 시스템에 의해 사람들이 피해를 입는 사례를 해결하는 방법에 대한 권고 사항을 제공하는 전문 위윈회의 구성"을 요구했다.[182] 전문 위원회는 2019년에 추가 규제 조치를 위한 조사 결과와 권장 사항을 제시해야 한다.[183]

인도[편집]

2018년 7월 31일, 개인 데이터 법안 초안이 발표되었다.[184] 이 초안은 데이터의 저장, 처리 및 전송에 대한 표준을 제안한다. 알고리즘이라는 용어를 사용하지 않았지만 "수탁자가 수행한 모든 처리 또는 모든 종류의 처리로 인한 피해"에 대한 조항을 규정하고 있다. 또한 부적절한 데이터 사용으로 인해 발생할 수 있는 피해의 원인으로 "데이터 주체에 대한 평가 결정으로 인한 서비스, 혜택 또는 이익의 거부 또는 철회" 또는 "차별적 대우"를 정의하고 있다. 또한 "인터섹스 상태"의 사람들에 대한 특별 조항도 있다.[185]

같이 보기[편집]

각주[편집]

  1. ↑ Jacobi, Jennifer (2001년 9월 13일). “Patent #US2001021914”. 《Espacenet》. 2018년 7월 4일에 확인함. 
  2. ↑ Suresh, Harini; Guttag, John (2021년 11월 4일). 〈A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle〉. 《Equity and Access in Algorithms, Mechanisms, and Optimization》. EAAMO '21. New York, NY, USA: Association for Computing Machinery. 1–9쪽. doi:10.1145/3465416.3483305. ISBN 978-1-4503-8553-4. S2CID 235436386. 
  3. ↑ Striphas, Ted (February 2012). “What is an Algorithm? – Culture Digitally”. 《culturedigitally.org》. 2017년 11월 20일에 확인함. 
  4. ↑ Cormen, Thomas H.; Leiserson, Charles E.; Rivest, Ronald L.; Stein, Clifford (2009). 《Introduction to Algorithms》 3판. Cambridge, Mass.: MIT Press. 5쪽. ISBN 978-0-262-03384-8. 
  5. ↑ 가 나 다 Kitchin, Rob (2016년 2월 25일). “Thinking critically about and researching algorithms” (PDF). 《Information, Communication & Society》 20 (1): 14–29. doi:10.1080/1369118X.2016.1154087. S2CID 13798875. 
  6. ↑ “How Google Search Works”. 2017년 11월 19일에 확인함. 
  7. ↑ Luckerson, Victor. “Here's How Your Facebook News Feed Actually Works”. 《Time》. 2017년 11월 19일에 확인함. 
  8. ↑ Vanderbilt, Tom (2013년 8월 7일). “The Science Behind the Netflix Algorithms That Decide What You'll Watch Next”. 《Wired》. 2017년 11월 19일에 확인함. 
  9. ↑ Angwin, Julia; Mattu, Surya (2016년 9월 20일). “Amazon Says It Puts Customers First. But Its Pricing Algorithm Doesn't — ProPublica”. 《ProPublica》. 2017년 11월 19일에 확인함. 
  10. ↑ Livingstone, Rob (2017년 3월 13일). “The future of online advertising is big data and algorithms”. 《The Conversation》. 2017년 11월 19일에 확인함. 
  11. ↑ Hickman, Leo (2013년 7월 1일). “How algorithms rule the world”. 《The Guardian》. 2017년 11월 19일에 확인함. 
  12. ↑ 가 나 다 라 마 바 Seaver, Nick. “Knowing Algorithms” (PDF). Media in Transition 8, Cambridge, MA, April 2013. 2017년 12월 1일에 원본 문서 (PDF)에서 보존된 문서. 2017년 11월 18일에 확인함. 
  13. ↑ 가 나 다 Graham, Stephen D.N. (July 2016). “Software-sorted geographies” (PDF). 《Progress in Human Geography》 (Submitted manuscript) 29 (5): 562–580. doi:10.1191/0309132505ph568oa. S2CID 19119278. 
  14. ↑ 가 나 다 Tewell, Eamon (2016년 4월 4일). “Toward the Resistant Reading of Information: Google, Resistant Spectatorship, and Critical Information Literacy”. 《Portal: Libraries and the Academy》 16 (2): 289–310. doi:10.1353/pla.2016.0017. ISSN 1530-7131. S2CID 55749077. 2017년 11월 19일에 확인함. 
  15. ↑ Crawford, Kate (2013년 4월 1일). “The Hidden Biases in Big Data”. 《Harvard Business Review》. 
  16. ↑ 가 나 다 라 마 바 사 아 자 차 카 타 파 하 거 너 더 Friedman, Batya; Nissenbaum, Helen (July 1996). “Bias in Computer Systems” (PDF). 《ACM Transactions on Information Systems》 14 (3): 330–347. doi:10.1145/230538.230561. S2CID 207195759. 2019년 3월 10일에 확인함. 
  17. ↑ 가 나 다 라 마 바 Gillespie, Tarleton; Boczkowski, Pablo; Foot, Kristin (2014). 《Media Technologies》. Cambridge: MIT Press. 1–30쪽. ISBN 9780262525374. 
  18. ↑ 가 나 Diakopoulos, Nicholas. “Algorithmic Accountability: On the Investigation of Black Boxes |”. 《towcenter.org》. 2017년 11월 19일에 확인함. 
  19. ↑ Lipartito, Kenneth (2011년 1월 6일). The Narrative and the Algorithm: Genres of Credit Reporting from the Nineteenth Century to Today (PDF) (Submitted manuscript). doi:10.2139/SSRN.1736283. S2CID 166742927. SSRN 1736283. 
  20. ↑ 가 나 Goodman, Bryce; Flaxman, Seth (2017). “EU regulations on algorithmic decision-making and a "right to explanation"”. 《AI Magazine》 38 (3): 50. arXiv:1606.08813. doi:10.1609/aimag.v38i3.2741. S2CID 7373959. 
  21. ↑ 가 나 다 라 마 바 사 Weizenbaum, Joseph (1976). 《Computer Power and Human Reason: From Judgment to Calculation》. San Francisco: W.H. Freeman. ISBN 978-0-7167-0464-5. 
  22. ↑ 가 나 Goffrey, Andrew (2008). 〈Algorithm〉. Fuller, Matthew. 《Software Studies: A Lexicon》. Cambridge, Mass.: MIT Press. 15–20쪽. ISBN 978-1-4356-4787-9. 
  23. ↑ Lowry, Stella; Macpherson, Gordon (1988년 3월 5일). “A Blot on the Profession”. 《British Medical Journal》 296 (6623): 657–8. doi:10.1136/bmj.296.6623.657. PMC 2545288. PMID 3128356. 2017년 11월 17일에 확인함. 
  24. ↑ Miller, Alex P. (2018년 7월 26일). “Want Less-Biased Decisions? Use Algorithms”. 《Harvard Business Review》. 2018년 7월 31일에 확인함. 
  25. ↑ 가 나 다 Introna, Lucas D. (2011년 12월 2일). “The Enframing of Code”. 《Theory, Culture & Society》 28 (6): 113–141. doi:10.1177/0263276411418131. S2CID 145190381. 
  26. ↑ Bogost, Ian (2015년 1월 15일). “The Cathedral of Computation”. 《The Atlantic》. 2017년 11월 19일에 확인함. 
  27. ↑ 가 나 다 라 마 바 사 Introna, Lucas; Wood, David (2004). “Picturing algorithmic surveillance: the politics of facial recognition systems”. 《Surveillance & Society》 2: 177–198. 2017년 11월 19일에 확인함. 
  28. ↑ 가 나 다 라 Introna, Lucas D. (2006년 12월 21일). “Maintaining the reversibility of foldings: Making the ethics (politics) of information technology visible”. 《Ethics and Information Technology》 9 (1): 11–25. CiteSeerX 10.1.1.154.1313. doi:10.1007/s10676-006-9133-z. S2CID 17355392. 
  29. ↑ 가 나 Shirky, Clay. “A Speculative Post on the Idea of Algorithmic Authority Clay Shirky”. 《www.shirky.com》. 2012년 3월 15일에 원본 문서에서 보존된 문서. 2017년 11월 20일에 확인함. 
  30. ↑ 가 나 Ziewitz, Malte (2016년 1월 1일). “Governing Algorithms: Myth, Mess, and Methods”. 《Science, Technology, & Human Values》 41 (1): 3–16. doi:10.1177/0162243915608948. ISSN 0162-2439. S2CID 148023125. 
  31. ↑ Lash, Scott (2016년 6월 30일). “Power after Hegemony”. 《Theory, Culture & Society》 24 (3): 55–78. doi:10.1177/0263276407075956. S2CID 145639801. 
  32. ↑ 가 나 Garcia, Megan (2016년 1월 1일). “Racist in the Machine”. 《World Policy Journal》 33 (4): 111–117. doi:10.1215/07402775-3813015. S2CID 151595343. 
  33. ↑ “ACM FAccT 2021 Registration”. 《fatconference.org》. 2021년 11월 14일에 확인함. 
  34. ↑ Ochigame, Rodrigo (2019년 12월 20일). “The Invention of "Ethical AI": How Big Tech Manipulates Academia to Avoid Regulation”. 《The Intercept》. 2020년 2월 11일에 확인함. 
  35. ↑ Sergot, MJ; Sadri, F; Kowalski, RA; Kriwaczek, F; Hammond, P; Cory, HT (May 1986). “The British Nationality Act as a Logic Program” (PDF). 《Communications of the ACM》 29 (5): 370–386. doi:10.1145/5689.5920. S2CID 5665107. 2017년 11월 18일에 확인함. 
  36. ↑ 가 나 “To stop algorithmic bias, we first have to define it”. 《Brookings》 (미국 영어). 2023년 6월 27일에 확인함. 
  37. ↑ Evans, Melanie; Mathews, Anna Wilde (2019년 10월 24일). “Researchers Find Racial Bias in Hospital Algorithm”. 《Wall Street Journal》 (미국 영어). ISSN 0099-9660. 2023년 6월 27일에 확인함. 
  38. ↑ 가 나 다 Luo, Queenie; Puett, Michael J.; Smith, Michael D. (2023년 5월 23일), 《A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube》, arXiv:2303.16281 
  39. ↑ Busker, Tony; Choenni, Sunil; Shoae Bargh, Mortaza (2023년 11월 20일). 〈Stereotypes in ChatGPT: An empirical study〉. 《Proceedings of the 16th International Conference on Theory and Practice of Electronic Governance》. ICEGOV '23. New York, NY, USA: Association for Computing Machinery. 24–32쪽. doi:10.1145/3614321.3614325. ISBN 979-8-4007-0742-1. 
  40. ↑ Kotek, Hadas; Dockum, Rikker; Sun, David (2023년 11월 5일). 〈Gender bias and stereotypes in Large Language Models〉. 《Proceedings of the ACM Collective Intelligence Conference》. CI '23. New York, NY, USA: Association for Computing Machinery. 12–24쪽. doi:10.1145/3582269.3615599. ISBN 979-8-4007-0113-9. 
  41. ↑ Cheng, Myra; Durmus, Esin; Jurafsky, Dan (2023년 5월 29일), 《Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models》, arXiv:2305.18189 
  42. ↑ Feng, Shangbin; Park, Chan Young; Liu, Yuhan; Tsvetkov, Yulia (July 2023). Rogers, Anna; Boyd-Graber, Jordan; Okazaki, Naoaki, 편집. “From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models”. 《Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)》 (Toronto, Canada: Association for Computational Linguistics): 11737–11762. arXiv:2305.08283. doi:10.18653/v1/2023.acl-long.656. 
  43. ↑ Gillespie, Tarleton (2014년 6월 25일). “Algorithm [draft] [#digitalkeywords] – Culture Digitally”. 《culturedigitally.org》. 2017년 11월 20일에 확인함. 
  44. ↑ Roth, A. E. 1524–1528. (1990년 12월 14일). “New physicians: A natural experiment in market organization”. 《Science》 250 (4987): 1524–1528. Bibcode:1990Sci...250.1524R. doi:10.1126/science.2274783. PMID 2274783. S2CID 23259274. 2017년 11월 18일에 확인함. 
  45. ↑ Kuang, Cliff (2017년 11월 21일). “Can A.I. Be Taught to Explain Itself?”. 《The New York Times Magazine》. 2017년 11월 26일에 확인함. 
  46. ↑ 가 나 Jouvenal, Justin (2016년 11월 17일). “Police are using software to predict crime. Is it a 'holy grail' or biased against minorities?”. 《Washington Post》. 2017년 11월 25일에 확인함. 
  47. ↑ Chamma, Maurice (2016년 2월 3일). “Policing the Future”. 《The Marshall Project》. 2017년 11월 25일에 확인함. 
  48. ↑ Lum, Kristian; Isaac, William (October 2016). “To predict and serve?”. 《Significance》 13 (5): 14–19. doi:10.1111/j.1740-9713.2016.00960.x. 
  49. ↑ Smith, Jack (2016년 10월 9일). “Predictive policing only amplifies racial bias, study shows”. 《Mic》. 2017년 11월 25일에 확인함. 
  50. ↑ Lum, Kristian; Isaac, William (2016년 10월 1일). “FAQs on Predictive Policing and Bias”. 《HRDAG》. 2017년 11월 25일에 확인함. 
  51. ↑ Sun, Wenlong; Nasraoui, Olfa; Shafto, Patrick (2018). 〈Iterated Algorithmic Bias in the Interactive Machine Learning Process of Information Filtering〉. 《Proceedings of the 10th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management》. Seville, Spain: SCITEPRESS - Science and Technology Publications. 110–118쪽. doi:10.5220/0006938301100118. ISBN 9789897583308. 
  52. ↑ Sinha, Ayan; Gleich, David F.; Ramani, Karthik (2018년 8월 9일). “Gauss's law for networks directly reveals community boundaries”. 《Scientific Reports》 8 (1): 11909. Bibcode:2018NatSR...811909S. doi:10.1038/s41598-018-30401-0. ISSN 2045-2322. PMC 6085300. PMID 30093660. 
  53. ↑ Hao, Karen (February 2018). “Google is finally admitting it has a filter-bubble problem”. 《Quartz》. 2019년 2월 26일에 확인함. 
  54. ↑ “Facebook Is Testing This New Feature to Fight 'Filter Bubbles'”. 《Fortune》. 2019년 2월 26일에 확인함. 
  55. ↑ 가 나 Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014년 5월 22일). “Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms” (PDF). 《64th Annual Meeting of the International Communication Association》. 2017년 11월 18일에 확인함. 
  56. ↑ Brin, Sergey; Page, Lawrence. “The Anatomy of a Search Engine”. 《www7.scu.edu.au》. 2019년 7월 2일에 원본 문서에서 보존된 문서. 2017년 11월 18일에 확인함. 
  57. ↑ Epstein, Robert; Robertson, Ronald E. (2015년 8월 18일). “The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections”. 《Proceedings of the National Academy of Sciences》 112 (33): E4512–E4521. Bibcode:2015PNAS..112E4512E. doi:10.1073/pnas.1419828112. PMC 4547273. PMID 26243876. 
  58. ↑ Bond, Robert M.; Fariss, Christopher J.; Jones, Jason J.; Kramer, Adam D. I.; Marlow, Cameron; Settle, Jaime E.; Fowler, James H. (2012년 9월 13일). “A 61-million-person experiment in social influence and political mobilization”. 《Nature》 489 (7415): 295–8. Bibcode:2012Natur.489..295B. doi:10.1038/nature11421. ISSN 0028-0836. PMC 3834737. PMID 22972300. 
  59. ↑ Zittrain, Jonathan (2014). “Engineering an Election” (PDF). 《Harvard Law Review Forum》 127: 335–341. 2021년 3월 4일에 원본 문서 (PDF)에서 보존된 문서. 2017년 11월 19일에 확인함. 
  60. ↑ Day, Matt (2016년 8월 31일). “How LinkedIn's search engine may reflect a gender bias”. 《The Seattle Times》. 2017년 11월 25일에 확인함. 
  61. ↑ 가 나 Crawford, Kate; Schultz, Jason (2014). “Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms”. 《Boston College Law Review》 55 (1): 93–128. 2017년 11월 18일에 확인함. 
  62. ↑ Duhigg, Charles (2012년 2월 16일). “How Companies Learn Your Secrets”. 《The New York Times Magazine》. 2017년 11월 18일에 확인함. 
  63. ↑ Noble, Safiya (2012). “Missed Connections: What Search Engines Say about Women” (PDF). 《Bitch》 12 (4): 37–41. 
  64. ↑ Guynn, Jessica (2017년 3월 16일). “Google starts flagging offensive content in search results”. 《USA TODAY》. USA Today. 2017년 11월 19일에 확인함. 
  65. ↑ Simonite, Tom. “Study Suggests Google's Ad-Targeting System May Discriminate”. 《MIT Technology Review》. Massachusetts Institute of Technology. 2017년 11월 17일에 확인함. 
  66. ↑ Prates, Marcelo O. R.; Avelar, Pedro H. C.; Lamb, Luis (2018). “Assessing Gender Bias in Machine Translation -- A Case Study with Google Translate”. arXiv:1809.02208 [cs.CY]. 
  67. ↑ Prates, Marcelo O. R.; Avelar, Pedro H.; Lamb, Luís C. (2019). “Assessing gender bias in machine translation: A case study with Google Translate”. 《Neural Computing and Applications》 32 (10): 6363–6381. arXiv:1809.02208. doi:10.1007/s00521-019-04144-6. S2CID 52179151. 
  68. ↑ Claburn, Thomas (2018년 9월 10일). “Boffins bash Google Translate for sexism”. 《The Register》 (영어). 2022년 4월 28일에 확인함. 
  69. ↑ Dastin, Jeffrey (2018년 10월 9일). “Amazon scraps secret AI recruiting tool that showed bias against women”. 《Reuters》. 
  70. ↑ Vincent, James (2018년 10월 10일). “Amazon reportedly scraps internal AI recruiting tool that was biased against women”. 《The Verge》. 
  71. ↑ “Reflecting on Spotify's Recommender System – SongData” (미국 영어). October 2019. 2020년 8월 7일에 확인함. 
  72. ↑ Buolamwini, Joy; Gebru, Timnit (2018년 1월 21일). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. 《Proceedings of Machine Learning Research》 81 (2018): 77–91. 2020년 9월 27일에 확인함. 
  73. ↑ Noble, Safiya Umoja (2018년 2월 20일). 《Algorithms of Oppression: How Search Engines Reinforce Racism》. New York: NYU Press. ISBN 978-1479837243. 
  74. ↑ 가 나 Nakamura, Lisa (2009). Magnet, Shoshana; Gates, Kelly, 편집. 《The New Media of Surveillance》. London: Routledge. 149–162쪽. ISBN 978-0-415-56812-8. 
  75. ↑ Marco Marabelli; Sue Newell; Valerie Handunge (2021). “The lifecycle of algorithmic decision-making systems: Organizational choices and ethical challenges”. 《Journal of Strategic Information Systems》 30 (3): 1–15. doi:10.1016/j.jsis.2021.101683. 
  76. ↑ Alexander, Rudolph; Gyamerah, Jacquelyn (September 1997). “Differential Punishing of African Americans and Whites Who Possess Drugs: A Just Policy or a Continuation of the Past?”. 《Journal of Black Studies》 28 (1): 97–111. doi:10.1177/002193479702800106. ISSN 0021-9347. S2CID 152043501. 
  77. ↑ Petersilia, Joan (January 1985). “Racial Disparities in the Criminal Justice System: A Summary”. 《Crime & Delinquency》 31 (1): 15–34. doi:10.1177/0011128785031001002. ISSN 0011-1287. S2CID 146588630. 
  78. ↑ 가 나 Guynn, Jessica (2015년 7월 1일). “Google Photos labeled black people 'gorillas'”. 《USA TODAY》. USA Today. 2017년 11월 18일에 확인함. 
  79. ↑ Rose, Adam (2010년 1월 22일). “Are Face-Detection Cameras Racist?”. 《Time》. 2017년 11월 18일에 확인함. 
  80. ↑ “Alexa does not understand your accent”. 《Washington Post》. 
  81. ↑ Sweeney, Latanya (2013년 1월 28일). “Discrimination in Online Ad Delivery”. arXiv:1301.6822 [cs.IR]. 
  82. ↑ Braun, Lundy (2015). “Race, ethnicity and lung function: A brief history”. 《Canadian Journal of Respiratory Therapy》 51 (4): 99–101. ISSN 1205-9838. PMC 4631137. PMID 26566381. 
  83. ↑ Robinson, Whitney R; Renson, Audrey; Naimi, Ashley I (2020년 4월 1일). “Teaching yourself about structural racism will improve your machine learning”. 《Biostatistics》 21 (2): 339–344. doi:10.1093/biostatistics/kxz040. ISSN 1465-4644. PMC 7868043. PMID 31742353. 
  84. ↑ Johnson, Carolyn Y. (2019년 10월 24일). “Racial bias in a medical algorithm favors white patients over sicker black patients”. 《Washington Post》 (영어). 2019년 10월 28일에 확인함. 
  85. ↑ Bartlett, Robert; Morse, Adair; Stanton, Richard; Wallace, Nancy (June 2019). “Consumer-Lending Discrimination in the FinTech Era”. 《NBER Working Paper No. 25943》. Working Paper Series. doi:10.3386/w25943. S2CID 242410791. 
  86. ↑ Jeff Larson, Julia Angwin (2016년 5월 23일). “How We Analyzed the COMPAS Recidivism Algorithm”. 《ProPublica》 (영어). 2019년 4월 29일에 원본 문서에서 보존된 문서. 2020년 6월 19일에 확인함. 
  87. ↑ “Commentary: Bad news. Artificial intelligence is biased”. 《CNA》 (영어). 2019년 1월 12일. 2019년 1월 12일에 원본 문서에서 보존된 문서. 2020년 6월 19일에 확인함. 
  88. ↑ 가 나 Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren (2016년 5월 23일). “Machine Bias — ProPublica”. 《ProPublica》. 2017년 11월 18일에 확인함. 
  89. ↑ Harcourt, Bernard (2010년 9월 16일). “Risk as a Proxy for Race”. 《Federal Sentencing Reporter》 27 (4): 237. doi:10.1525/fsr.2015.27.4.237. S2CID 53611813. SSRN 1677654. 
  90. ↑ Skeem J, Lowenkamp C, Risk, Race, & Recidivism: Predictive Bias and Disparate Impact, (June 14, 2016). SSRN 2687339
  91. ↑ Thomas, C.; Nunez, A. (2022). “Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race”. 《Law & Inequality》 (영어) 40 (2): 371–407. doi:10.24926/25730037.649. 
  92. ↑ 가 나 Angwin, Julia; Grassegger, Hannes (2017년 6월 28일). “Facebook's Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children — ProPublica”. 《ProPublica》. 2017년 11월 20일에 확인함. 
  93. ↑ Angwin, Julia; Varner, Madeleine; Tobin, Ariana (2017년 9월 14일). “Facebook Enabled Advertisers to Reach 'Jew Haters' — ProPublica”. 《ProPublica》. 2017년 11월 20일에 확인함. 
  94. ↑ Sap, Maarten; Card, Dallas; Gabriel, Saadia; Choi, Yejin; Smith, Noah A. (2019년 8월 2일). 〈The Risk of Racial Bias in Hate Speech Detection〉 (PDF). 《Proceedings of the 57th Annual Meeting of the Association for Computational Linguist》. Florence, Italy: Association for Computational Linguistics. 1668–1678쪽. 2019년 8월 14일에 원본 문서 (PDF)에서 보존된 문서. 
  95. ↑ Ghaffary, Shirin (2019년 8월 15일). “The algorithms that detect hate speech online are biased against black people”. 《Vox》. 2020년 2월 19일에 확인함. 
  96. ↑ Furl, N (December 2002). “Face recognition algorithms and the other-race effect: computational mechanisms for a developmental contact hypothesis”. 《Cognitive Science》 26 (6): 797–815. doi:10.1207/s15516709cog2606_4. 
  97. ↑ Raji, Inioluwa Deborah; Gebru, Timnit; Mitchell, Margaret; Buolamwini, Joy; Lee, Joonseok; Denton, Emily (2020년 2월 7일). 〈Saving Face〉. 《Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society》. Association for Computing Machinery. 145–151쪽. arXiv:2001.00964. doi:10.1145/3375627.3375820. ISBN 9781450371100. S2CID 209862419. 
  98. ↑ “Facial Recognition Is Accurate, if You're a White Guy”. 《The New York Times》. 2018년 2월 9일. 2023년 8월 24일에 확인함. 
  99. ↑ Buolamwini, Joy; Gebru, Timnit (2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification” (PDF). 《Proceedings of Machine Learning Research》 81: 1 – MLR Press 경유. 
  100. ↑ Ananny, Mike (2011년 4월 14일). “The Curious Connection Between Apps for Gay Men and Sex Offenders”. 《The Atlantic》. 2017년 11월 18일에 확인함. 
  101. ↑ Kafka, Peter. “Did Amazon Really Fail This Weekend? The Twittersphere Says 'Yes,' Online Retailer Says 'Glitch.'”. 《AllThingsD》. 2017년 11월 22일에 확인함. 
  102. ↑ Kafka, Peter. “Amazon Apologizes for 'Ham-fisted Cataloging Error'”. 《AllThingsD》. 2017년 11월 22일에 확인함. 
  103. ↑ Matsakis, Louise (2019년 2월 22일). “A 'Sexist' Search Bug Says More About Us Than Facebook”. 《Wired》. ISSN 1059-1028. 2019년 2월 26일에 확인함. 
  104. ↑ “Some AI just shouldn't exist”. 2019년 4월 19일. 
  105. ↑ Samuel, Sigal (2019년 4월 19일). “Some AI just shouldn't exist”. 《Vox》 (영어). 2019년 12월 12일에 확인함. 
  106. ↑ Wang, Yilun; Kosinski, Michal (2017년 2월 15일). “Deep neural networks are more accurate than humans at detecting sexual orientation from facial images.”. 《OSF》 (영어). doi:10.17605/OSF.IO/ZN79K. 
  107. ↑ Levin, Sam (2017년 9월 9일). “LGBT groups denounce 'dangerous' AI that uses your face to guess sexuality”. 《The Guardian》 (영국 영어). ISSN 0261-3077. 2019년 12월 12일에 확인함. 
  108. ↑ Pal, G.C. (2011년 9월 16일). “Disability, Intersectionality and Deprivation: An Excluded Agenda”. 《Psychology and Developing Societies》. 23(2), 159–176. doi:10.1177/097133361102300202. S2CID 147322669 – Sagepub 경유. 
  109. ↑ Brinkman, Aurora H.; Rea-Sandin, Gianna; Lund, Emily M.; Fitzpatrick, Olivia M.; Gusman, Michaela S.; Boness, Cassandra L.; Scholars for Elevating Equity and Diversity (SEED) (2022년 10월 20일). “Shifting the discourse on disability: Moving to an inclusive, intersectional focus.”. 《American Journal of Orthopsychiatry》 (영어) 93 (1): 50–62. doi:10.1037/ort0000653. ISSN 1939-0025. PMC 9951269. PMID 36265035. 
  110. ↑ Whittaker, Meredith (November 2019). “Disability, Bias, and AI” (PDF). 2023년 3월 27일에 원본 문서 (PDF)에서 보존된 문서. 2024년 1월 20일에 확인함. 
  111. ↑ “Mission — Disability is Diversity — Dear Entertainment Industry, THERE'S NO DIVERSITY, EQUITY & INCLUSION WITHOUT DISABILITY”. 《Disability is Diversity》 (미국 영어). 2022년 12월 2일에 확인함. 
  112. ↑ “Microsoft Design”. 《www.microsoft.com》 (미국 영어). 2022년 12월 2일에 확인함. 
  113. ↑ Pulrang, Andrew. “4 Ways To Understand The Diversity Of The Disability Community”. 《Forbes》 (영어). 2022년 12월 2일에 확인함. 
  114. ↑ Watermeyer, Brian; Swartz, Leslie (2022년 10월 12일). “Disability and the problem of lazy intersectionality”. 《Disability & Society》 38 (2): 362–366. doi:10.1080/09687599.2022.2130177. ISSN 0968-7599. S2CID 252959399. 
  115. ↑ “Disability Data Report 2021”. 《Disability Data Initiative》 (영어). 2022년 12월 2일에 확인함. 
  116. ↑ White, Jason J. G. (2020년 3월 2일). “Fairness of AI for people with disabilities: problem analysis and interdisciplinary collaboration”. 《ACM SIGACCESS Accessibility and Computing》 (125): 3:1. doi:10.1145/3386296.3386299. ISSN 1558-2337. S2CID 211723415. 
  117. ↑ “AI language models show bias against people with disabilities, study finds | Penn State University”. 《www.psu.edu》 (영어). 2022년 12월 2일에 확인함. 
  118. ↑ Givens, Alexandra Reeve (2020년 2월 6일). “How Algorithmic Bias Hurts People With Disabilities”. 《Slate Magazine》 (영어). 2022년 12월 2일에 확인함. 
  119. ↑ Morris, Meredith Ringel (2020년 5월 22일). “AI and accessibility”. 《Communications of the ACM》 63 (6): 35–37. arXiv:1908.08939. doi:10.1145/3356727. ISSN 0001-0782. S2CID 201645229. 
  120. ↑ Noble, Safiya Umoja (2018년 2월 20일). 《Algorithms of Oppression: How Search Engines Reinforce Racism》. New York. ISBN 9781479837243. OCLC 987591529. 
  121. ↑ Castelnovo, Alessandro; Inverardi, Nicole; Nanino, Gabriele; Penco, Ilaria; Regoli, Daniele (2023). “Fair Enough? A map of the current limitations to the requirements to have "fair" algorithms”. arXiv:2311.12435 [cs.AI]. 
  122. ↑ Ruggieri, Salvatore; Alvarez, Jose M; Pugnana, Andrea; Turini, Franco (2023). “Can We Trust Fair-AI?”. 《Proceedings of the AAAI Conference on Artificial Intelligence》 37 (13): 5421–15430. doi:10.1609/aaai.v37i13.26798. S2CID 259678387. 
  123. ↑ Friedler, Sorelle A.; Scheidegger, Carlos; Venkatasubramanian, Suresh (2016). “On the (im)possibility of fairness”. arXiv:1609.07236 [cs.CY]. 
  124. ↑ Hu, Lily; Chen, Yiling (2018). “Welfare and Distributional Impacts of Fair Classification”. arXiv:1807.01134 [cs.LG]. 
  125. ↑ Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Rich (2011년 11월 28일). “Fairness Through Awareness”. arXiv:1104.3913 [cs.CC]. 
  126. ↑ 가 나 다 Sandvig, Christian; Hamilton, Kevin; Karahalios, Karrie; Langbort, Cedric (2014). Gangadharan, Seeta Pena; Eubanks, Virginia; Barocas, Solon, 편집. “An Algorithm Audit” (PDF). 《Data and Discrimination: Collected Essays》. 
  127. ↑ LaFrance, Adrienne (2015년 9월 18일). “The Algorithms That Power the Web Are Only Getting More Mysterious”. 《The Atlantic》. 2017년 11월 19일에 확인함. 
  128. ↑ Bruno Latour (1999). 《Pandora's Hope: Essays On the Reality of Science Studies》. Cambridge, Massachusetts: Harvard University Press. 
  129. ↑ Kubitschko, Sebastian; Kaun, Anne (2016). 《Innovative Methods in Media and Communication Research》. Springer. ISBN 978-3-319-40700-5. 2017년 11월 19일에 확인함. 
  130. ↑ McGee, Matt (2013년 8월 16일). “EdgeRank Is Dead: Facebook's News Feed Algorithm Now Has Close To 100K Weight Factors”. 《Marketing Land》. 2017년 11월 18일에 확인함. 
  131. ↑ 가 나 다 Granka, Laura A. (2010년 9월 27일). “The Politics of Search: A Decade Retrospective” (PDF). 《The Information Society》 26 (5): 364–374. doi:10.1080/01972243.2010.511560. S2CID 16306443. 2017년 11월 18일에 확인함. 
  132. ↑ Szymielewicz, Katarzyna (2020년 1월 20일). “Black-Boxed Politics”. 《Medium》 (영어). 2020년 2월 11일에 확인함. 
  133. ↑ Veale, Michael; Binns, Reuben (2017). “Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data”. 《Big Data & Society》 4 (2): 205395171774353. doi:10.1177/2053951717743530. SSRN 3060763. 
  134. ↑ Elliott, Marc N.; Morrison, Peter A.; Fremont, Allen; McCaffrey, Daniel F.; Pantoja, Philip; Lurie, Nicole (June 2009). “Using the Census Bureau's surname list to improve estimates of race/ethnicity and associated disparities”. 《Health Services and Outcomes Research Methodology》 9 (2): 69–83. doi:10.1007/s10742-009-0047-1. ISSN 1387-3741. S2CID 43293144. 
  135. ↑ Chen, Jiahao; Kallus, Nathan; Mao, Xiaojie; Svacha, Geoffry; Udell, Madeleine (2019). 〈Fairness Under Unawareness〉. 《Proceedings of the Conference on Fairness, Accountability, and Transparency》. Atlanta, GA, USA: ACM Press. 339–348쪽. arXiv:1811.11154. doi:10.1145/3287560.3287594. ISBN 9781450361255. S2CID 58006233. 
  136. ↑ Kilbertus, Niki; Gascon, Adria; Kusner, Matt; Veale, Michael; Gummadi, Krishna; Weller, Adrian (2018). “Blind Justice: Fairness with Encrypted Sensitive Attributes”. 《International Conference on Machine Learning》: 2630–2639. arXiv:1806.03281. Bibcode:2018arXiv180603281K. 
  137. ↑ Binns, Reuben; Veale, Michael; Kleek, Max Van; Shadbolt, Nigel (2017년 9월 13일). 〈Like Trainer, Like Bot? Inheritance of Bias in Algorithmic Content Moderation〉. 《Social Informatics》. Lecture Notes in Computer Science. 10540. 405–415쪽. arXiv:1707.01477. doi:10.1007/978-3-319-67256-4_32. ISBN 978-3-319-67255-7. S2CID 2814848. 
  138. ↑ Claburn, Thomas (2016년 7월 18일). “EU Data Protection Law May End The Unknowable Algorithm – InformationWeek”. 《InformationWeek》. 2017년 11월 25일에 확인함. 
  139. ↑ 가 나 Jobin, Anna; Ienca, Marcello; Vayena, Effy (2019년 9월 2일). “The global landscape of AI ethics guidelines”. 《Nature Machine Intelligence》 1 (9): 389–399. arXiv:1906.11668. doi:10.1038/s42256-019-0088-2. S2CID 201827642. 
  140. ↑ https://research.google.com/bigpicture/attacking-discrimination-in-ml/ Attacking discrimination with smarter machine learning
  141. ↑ Hardt, Moritz; Price, Eric; Srebro, Nathan (2016). “Equality of Opportunity in Supervised Learning”. arXiv:1610.02413 [cs.LG]. 
  142. ↑ https://venturebeat.com/2018/05/25/microsoft-is-developing-a-tool-to-help-engineers-catch-bias-in-algorithms/ Microsoft is developing a tool to help engineers catch bias in algorithms
  143. ↑ “Facebook says it has a tool to detect bias in its artificial intelligence”. 《Quartz》. 2018년 5월 3일. 2023년 3월 5일에 원본 문서에서 보존된 문서. 
  144. ↑ open source Pymetrics audit-ai
  145. ↑ https://venturebeat-com.cdn.ampproject.org/c/s/venturebeat.com/2018/05/31/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/amp/ Pymetrics open-sources Audit AI, an algorithm bias detection tool
  146. ↑ https://github.com/dssg/aequitas open source Aequitas: Bias and Fairness Audit Toolkit
  147. ↑ https://dsapp.uchicago.edu/aequitas/ open-sources Audit AI, Aequitas at University of Chicago
  148. ↑ https://www.ibm.com/blogs/research/2018/02/mitigating-bias-ai-models/ Mitigating Bias in AI Models
  149. ↑ S. Sen, D. Dasgupta and K. D. Gupta, "An Empirical Study on Algorithmic Bias", 2020 IEEE 44th Annual Computers, Software, and Applications Conference (COMPSAC), Madrid, Spain, 2020, pp. 1189-1194, doi 10.1109/COMPSAC48688.2020.00-95.
  150. ↑ Zou, James; Schiebinger, Londa (July 2018). “AI can be sexist and racist — it's time to make it fair”. 《Nature》 (영어) 559 (7714): 324–326. Bibcode:2018Natur.559..324Z. doi:10.1038/d41586-018-05707-8. PMID 30018439. 
  151. ↑ Jia, Sen; Welfare, Thomas; Cristianini, Nello (2018). 《Right for the right reason: Training agnostic networks.》. International Symposium on Intelligent Data Analysis. Springer. 
  152. ↑ Sutton, Adam; Welfare, Thomas; Cristianini, Nello (2018). 《Biased embeddings from wild data: Measuring, understanding and removing.》. International Symposium on Intelligent Data Analysis. Springer. 
  153. ↑ Koene, Ansgar (June 2017). “Algorithmic Bias: Addressing Growing Concerns [Leading Edge]” (PDF). 《IEEE Technology and Society Magazine》 36 (2): 31–32. doi:10.1109/mts.2017.2697080. ISSN 0278-0097. 2018년 7월 19일에 원본 문서 (PDF)에서 보존된 문서. 2024년 1월 20일에 확인함. 
  154. ↑ “P7003 - Algorithmic Bias Considerations”. 《standards.ieee.org》. 2018년 12월 3일에 확인함. 
  155. ↑ The Internet Society (2017년 4월 18일). “Artificial Intelligence and Machine Learning: Policy Paper”. 《Internet Society》. 2020년 2월 11일에 확인함. 
  156. ↑ 가 나 “White Paper: How to Prevent Discriminatory Outcomes in Machine Learning”. 《World Economic Forum》. 2018년 3월 12일. 2020년 2월 11일에 확인함. 
  157. ↑ “Explainable Artificial Intelligence”. 《www.darpa.mil》. 2020년 2월 11일에 확인함. 
  158. ↑ PricewaterhouseCoopers. “The responsible AI framework”. 《PwC》 (영국 영어). 2020년 2월 11일에 확인함. 
  159. ↑ Heald, David (2006년 9월 7일). 《Transparency: The Key to Better Governance?》 (영어). British Academy. doi:10.5871/bacad/9780197263839.003.0002. ISBN 978-0-19-726383-9. 
  160. ↑ Kemper, Jakko; Kolkman, Daan (2019년 12월 6일). “Transparent to whom? No algorithmic accountability without a critical audience”. 《Information, Communication & Society》 22 (14): 2081–2096. doi:10.1080/1369118X.2018.1477967. ISSN 1369-118X. 
  161. ↑ “The Toronto Declaration: Protecting the rights to equality and non-discrimination in machine learning systems”. 《Human Rights Watch》 (영어). 2018년 7월 3일. 2020년 2월 11일에 확인함. 
  162. ↑ 《The Toronto Declaration: Protecting the Right to Equality and Non-Discrimination in Machine Learning Systems》 (PDF). Human Rights Watch. 2018. 15쪽. 
  163. ↑ Floridi, Luciano; Cowls, Josh; Beltrametti, Monica; Chatila, Raja; Chazerand, Patrice; Dignum, Virginia; Luetge, Christoph; Madelin, Robert; Pagallo, Ugo; Rossi, Francesca; Schafer, Burkhard (2018년 12월 1일). “AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations”. 《Minds and Machines》 (영어) 28 (4): 703. doi:10.1007/s11023-018-9482-5. ISSN 1572-8641. PMC 6404626. PMID 30930541. 
  164. ↑ Crawford, Kate (2016년 6월 25일). “Opinion | Artificial Intelligence's White Guy Problem”. 《The New York Times》 (미국 영어). ISSN 0362-4331. 2020년 2월 11일에 확인함. 
  165. ↑ “AI Is the Future—But Where Are the Women?”. 《Wired》 (영어). ISSN 1059-1028. 2020년 2월 11일에 확인함. 
  166. ↑ Snow, Jackie. “"We're in a diversity crisis": cofounder of Black in AI on what's poisoning algorithms in our lives”. 《MIT Technology Review》 (미국 영어). 2020년 2월 11일에 확인함. 
  167. ↑ Hao, Karen (2021년 6월 14일). “Inside the fight to reclaim AI from Big Tech's control”. 《MIT Technology Review》 (미국 영어). 2021년 6월 21일에 확인함. 
  168. ↑ Ciston, Sarah (2019년 12월 29일). “Intersectional AI Is Essential”. 《Journal of Science and Technology of the Arts》 (영어) 11 (2): 3–8. doi:10.7559/citarj.v11i2.665. ISSN 2183-0088. 
  169. ↑ D'Ignazio, Catherine; Klein, Lauren F. (2020). 《Data Feminism》. MIT Press. ISBN 978-0262044004. 
  170. ↑ Cave, Stephen; Dihal, Kanta (2020년 8월 6일). “The Whiteness of AI”. 《Philosophy & Technology》 (영어) 33 (4): 685–703. doi:10.1007/s13347-020-00415-6. ISSN 2210-5441. 
  171. ↑ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021). 〈Envisioning Communities: A Participatory Approach Towards AI for Social Good〉. 《Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society》. 425–436쪽. arXiv:2105.01774. doi:10.1145/3461702.3462612. ISBN 9781450384735. S2CID 233740121. 2023년 4월 6일에 확인함 – ezpa.library.ualberta.ca 경유. 
  172. ↑ University, Stanford (2019년 3월 18일). “Stanford University launches the Institute for Human-Centered Artificial Intelligence”. 《Stanford News》 (영어). 2023년 4월 6일에 확인함. 
  173. ↑ Bondi, Elizabeth; Xu, Lily; Acosta-Navas, Diana; Killian, Jackson A. (2021년 7월 21일). 〈Envisioning Communities: A Participatory Approach Towards AI for Social Good〉. 《Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society》. 425–436쪽. arXiv:2105.01774. doi:10.1145/3461702.3462612. ISBN 9781450384735. S2CID 233740121. 
  174. ↑ Bygrave, Lee A (2001). “Automated Profiling”. 《Computer Law & Security Review》 17 (1): 17–24. doi:10.1016/s0267-3649(01)00104-2. 
  175. ↑ 가 나 Veale, Michael; Edwards, Lilian (2018). “Clarity, Surprises, and Further Questions in the Article 29 Working Party Draft Guidance on Automated Decision-Making and Profiling” (PDF). 《Computer Law & Security Review》 34 (2): 398–404. doi:10.1016/j.clsr.2017.12.002. S2CID 4797884. SSRN 3071679. 
  176. ↑ Wachter, Sandra; Mittelstadt, Brent; Floridi, Luciano (2017년 5월 1일). “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”. 《International Data Privacy Law》 7 (2): 76–99. doi:10.1093/idpl/ipx005. ISSN 2044-3994. 
  177. ↑ Edwards, Lilian; Veale, Michael (2017년 5월 23일). “Slave to the Algorithm? Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For”. 《Duke Law & Technology Review》 16: 18–84. SSRN 2972855. 
  178. ↑ 가 나 Singer, Natasha (2013년 2월 2일). “Consumer Data Protection Laws, an Ocean Apart”. 《The New York Times》. 2017년 11월 26일에 확인함. 
  179. ↑ Obama, Barack (2016년 10월 12일). “The Administration's Report on the Future of Artificial Intelligence”. 《whitehouse.gov》. National Archives. 2017년 11월 26일에 확인함. 
  180. ↑ and Technology Council, National Science (2016). 《National Artificial Intelligence Research and Development Strategic Plan》 (PDF). US Government. 2017년 11월 26일에 확인함. 
  181. ↑ Kirchner, Lauren (2017년 12월 18일). “New York City Moves to Create Accountability for Algorithms — ProPublica”. 《ProPublica》. 2018년 7월 28일에 확인함. 
  182. ↑ “The New York City Council - File #: Int 1696-2017”. 《legistar.council.nyc.gov》. New York City Council. 2018년 7월 28일에 확인함. 
  183. ↑ Powles, Julia. “New York City's Bold, Flawed Attempt to Make Algorithms Accountable”. 《The New Yorker》. 2018년 7월 28일에 확인함. 
  184. ↑ “India Weighs Comprehensive Data Privacy Bill, Similar to EU's GDPR”. 《Insurance Journal》. 2018년 7월 31일. 2019년 2월 26일에 확인함. 
  185. ↑ “The Personal Data Protection Bill, 2018” (PDF). Ministry of Electronics & Information Technology, Government of India. 2018. 2022년 4월 29일에 확인함. 
원본 주소 "https://ko.wikipedia.org/w/index.php?title=알고리즘_편향&oldid=36752399"