알고리즘의 사회적 결과, feat.코세라 데이터 사이언스 윤리학

사회적 결과(Societal impacts)

2012년, 보스턴은 도로에 움푹 패인 곳(pathole)을 점검하기 위해 어플리케이션을 개발하여 시민들이 직접 불편을 겪은 곳을 보고하면 보상을 하는 식으로 보수작업을 진행했다. 그러나 도로를 이용하는 사람들은 대부분 차와 스마트폰을 소유하고 있는 부유한 사람들로 결국 부자동네의 도로만 보수작업이 진행되는 결과를 낳았다. 상대적으로 빈곤한 지역 사람들은 혜택을 받지 못한 것이다. 이에 보스턴 시는 공무원들이 직접 차를 운영하면서 모든 지역을 돌아보고 보수작업을 완료했다. 

세관 신고나 입국 심사 같은 경우 관련 직원들은 모든 사람들에 대해 신상을 조사하고 짐을 검사할 권리를 가진다. 하지만 우리는 그들이 모두를 조사하지 않는다는 사실을 알고 있다. 그렇다면 누구를 조사하고 누구를 조사하지 않을까? 왠지 마약을 가지고 있을 것 같은, 범죄를 저지를 것 같은 사람의 짐을 검사할 것이다. 하지만 조사당한 사람들이 모두 아무런 죄가 없는 평범한 사람들이라면? 딱히 그렇다 할 기준이 없는데 어떻게 알고리즘이 이를 분류할 수 있을까? 

인간은 편견이나 고정관념(stereotypes)을 가지기 쉽고 충분한 사고를 거치지 않고 결론으로 확 넘어가는 경우가 많다. 알고리즘 역시 인간과 똑같이 작동한다.

<출처: skatequeen>

미국에 1000명의 테러리스트가 있다고 하자. 900명이 무슬림이고 100명은 무슬림이 아니다. 이는 테러리스트의 90%가 무슬림이라는 의미이지 무슬림의 90%가 테러리스트라는 소리가 아니다. 알고리즘으로 범죄를 예측하고 방지한다는 것은 사실상 확률(그럴 것 같다는 likelihood)이지 절대 정확할 수는 없다. 범죄율이 높은 지역 혹은 범죄 기록이 많은 사람들을 대상으로 경찰의 사전 출동(predictive policing)은 오히려 범죄율을 증가시킨다. 이 때, 범죄율 증가는 실제 중대한 범죄 사건의 수가 증가한 것이 아니라 경찰의 블랙(?) 리스트에 올려진 사람들은 조그마한 실수 하나라도 범죄로 낙인찍히기 때문에 증가한 것이다. 

통계학에서 다루는 제 1종 오류와 제 2종 오류가 있다. 제 1종 오류는 범죄를 저지르지 않았는데 잘못 판단하여 범죄자로 낙인을 찍는 것이고 제 2종 오류는 범죄를 저질렀는데 무죄라고 판단한 실수에 속한다. 일반적으로 제 1종 오류를 더 심각한 오류로 보는데 알고리즘은 제 2종 오류가 아닌 제 1종 오류를 범할 가능성이 높다. 이는 결국 알고리즘을 작성하는 사람들이 가중치를 어디에 더 둬야 할지 모르기 때문에 발생하는 것이다. 우리 모두 제 1종 오류의 사회적 비용이 더 큰 것을 알지만 그렇다고 어떻게 전체 확률 1을 제 1종, 2종 오류에 나누어 부여할지 모른다. 결국 반반으로 가정하고 0.5씩 부여하는 무책임한 프로그래밍을 하는 것이다. 

<출처: 키자드>

인간은 깊은, 무의식적인 편향 및 편견을 가지고 있고 자신과 비슷하거나 잘 맞는 사람들만 골라 친하게 지내려는 경향이 있다. 고용 혹은 면접 알고리즘은 이를 극복하기 위해 작성되었으며 다양성을 보장할 수 있다. 그러나 그 알고리즘에도 기존의 인간 사고방식과 똑같은 코드가 들어간다면 이 때는 문제가 심각해질 수 있다. 

공공 데이터는 누구에게나 개방되어 있어 자유롭게 활용할 수 있다. 이 때, 데이터는 속임수나 기만이 없는 깨끗한 데이터지만 정말 100%의 진실을 말하는 것일까? 사람들이 실제로 대답한 그대로 작성했지만 사람들의 대답이 선의의 거짓말이었다면? 이전에 범죄를 저질렀지만 시간이 오래 지나 정부에서 공식적으로 기록을 없애준 사람은 범죄 기록이 없다고 대답해야 할까? 또한 사회의 생활, 문화 데이터를 수치화해서 손실되는 정보도 조심해야 한다. 수치에 과도한 의존을 해서는 안된다. 

케이스 스터디 : 사회적 신용 점수(social credit score) 

과거의 행적, 기록이 굉장히 중요하다. 신용 점수 시스템 안에서는 무엇을 사는지 자체도 중요하고 그 물건을 가지고 무엇을 하는지도 중요하게 평가된다. 사회적 신용은 구매, 판매 행위에만 관련된 것이 아니라 디지털 플랫폼에서 무엇을 하는지, 내 행동과도 관련이 있다. 정부가 생각하는 올바른 시민의식을 함양한 기사나 글에 의견을 남긴다면 내 신용 점수는 높아진다. 반대로 정부에 반하는 글에 찬성하기라도 한다면 신용 점수는 낮아질 것이다. 사실 이는 이미 정당화된 방법이다. 자동차 보험사를 예로 들면, 처음 사고가 나면 다음 보험 비용은 처음보다 높아지게 된다. 내가 하는 모든 행동들이 알고리즘에 의해 분류되고, 점수가 매겨지면서 내가 어떤 사람인지가 자동으로 결정되는 것이다. 

케이스 스터디 : 마이너리티 리포트(범죄 예측 방지 시스템)

아무리 좋은 알고리즘으로 범죄를 일으킬 것 같은 사람을 예측하여 방지한다고 하더라도 여전히 그 확률은 너무 낮다. 예를 들어, 살인자가 100만 명 중 1명 꼴로 나타난다고 하자. 살인자가 살인을 저지를 확률이 다른 일반 사람들보다 1000배 높다고 하더라도 여전히 살인할 확률은 1000분의 1이다. 알고리즘의 기반은 확률이다. 경찰 인력 배치, 작업 효율은 확실히 높일 수 있다 하더라도 그들은 확률이 무엇을 의미하는지 또 절대적이지 않다는 사실을 깨달아야 한다.