AI를 통한 사소한 오류가 치명적인 위협으로 나타나는 사례들

- 카드 한도가 왜 이럴까?
“우리는 아무도 차별하지 않습니다!
알고리즘이 그렇게 결정했을 따름이죠!”
위의 애플과 골드만삭스 직원들의 항변은, 이 책에 등장하는 데이비드 핸슨이 그의 아내 제이미와 동시에 애플기기를 통해 신청한 애플카드가 자신의 한도는 1,000달러인 것에 비해 아내의 한도는 50달러에 불과한 상황에 대한 해명을 요구했을 때 들은 답변이다. 제이미는 백만장자였고 심지어 남편 데이비드보다 신용등급이 높았음에도 불구하고 카드의 한도가 무려 20배나 차이가 났다. 이에 대하여 문제를 제기하자, 애플사와 이 애플사에 협력해 카드를 발급하는 골드만삭스가 이구동성으로 내놓은 답이 ‘AI 때문’이라는 것이다. 수많은 사람들의 돈과 신용을 관리하는 대기업들의 답변이라고 보기엔 너무 궁색하지 않은가?
결국 데이비드는 ‘성별에 따라 AI가 차별’을 하는 알고리즘을 택하고 있지는 않은지를 의심했다. 하지만, 이 문제를 파고들수록 데이비드는 더 당혹스러운 경험을 하게 된다. “알고리즘에 정확히 어떤 자료를 입력했는지, 혹시 그 과정에서 잘못된 정보들이 끼어들지는 않았는지 물어볼 수 있는 곳이 아무 데도 없다”는 것이다! 즉 AI에 누군가의 데이터를 입력하면 정확히 AI가 어떻게 결정을 하는지, 어떤 차이 때문에 신용한도가 달라지는지 아무도 설명하지 못한 것이다. 그도 그럴 것이, 그 누구도 데이터 입력 이후 AI 내부에서 어떤 일이 벌어지는지를 정확하게 알지 못했다. 결국 이것이 사람들이 앵무새처럼 ‘AI 때문’이라고 둘러대기만 할 뿐 시원하게 설명하지 못하는 근본적인 이유이기도 했었다.

- AI가 범인으로 지목한 남자
“이건 내가 아니에요.”
“하지만 컴퓨터가 이게 당신이래요.”
AI의 오해로 억울하게 체포된 로버트 윌리엄스의 이야기다. 시계를 훔쳤다는 이유였는데, 현장의 CCTV에 찍힌 흐릿한 화면이 그 근거였다. 영상에는 체구가 크고 흑인인지 단순히 피부가 가무잡잡한 것인지도 식별이 어려운 범인의 옆모습이 찍혔는데, 그 영상을 토대로 흑인이고 체구가 비교적 컸던 윌리엄스가 체포된 것이다. 명확한 알리바이가 있음에도 불구하고 그의 항변은 받아들여지지 않았고 구금된 지 30시간 뒤 겨우 풀려날 수 있었다. 이후 윌리엄스는 경찰을 고소했고, 이 고소를 통해 밝혀진 내막은 당황스러웠다. 소프트웨어에 무엇을 입력하든, 누군가는 ‘가장 유사한 사람’이 되어야 하도록 프로그래밍되어 있었기 때문에 입력되는 데이터 중 누군가는 범인이 되어야만 했다는 것이다! 모든 가능성을 고려할 것이라고 인간들이 지레짐작해서 범인 색출에까지 활용되고 있던 기술이, 사실은 ‘범인 없음’이라는 선택지는 설정하지 않아 생사람을 잡도록 프로그래밍되어 있었다.
프로그래밍의 태생적인 한계에 더해 이 사태를 더 키운 원인은 이러한 기술을 현장에 투입하면서도 그것을 사용하는 사람들에게 소프트웨어의 결과를 어떻게 다루는지와 관련된 어떤 교육도 진행되지 않았다는 점이다. 심지어 이 프로그램의 결과가 수사의 단서로만 고려될 수 있을 뿐, 증거 효력이 없다는 가이드라인이 존재했음에도 불구하고 말이다. 모범 시민을 범죄자로 낙인찍을 수도 있는 중대한 사안에서 어떻게 이런 말도 안 되는 해프닝이 벌어진 것일까? 결국 ‘AI’ 때문일까?

- 자율주행차의 첫 사망자
“우버의 세상에서는 왜
모든 보행자가 공식적인 횡단보도로만 길을 건너는가?”
자율주행차량으로 인해 사망한 첫 보행자인 일레인 허츠버그의 이야기를 들여다보자. 이것은 현대의 자동차처럼 굉장히 복잡한 시스템에 자동화된 의사결정 시스템이 사용될 때 무슨 일이 일어날 수 있는지를 단적으로 보여주는데, 개발팀의 가장 작은 모델링 결정조차도 얼마나 중요한지에 대한 경종을 울리는 사례이기도 하다.
보통 차보다 훨씬 많은 센서를 장착하고 인간보다 훨씬 빠른 속도로 반응할 수 있는 최첨단의 우버 차량이, 늦은 밤 자전거를 끌고 귀가하던 한 여성을 친다. 심지어 이 차량 안에는 ‘휴먼 인 더 루프(인간이 기계를 감독하고 문제 시 바로 개입하도록 한 시스템)’의 일환으로 인간 운영자가 차량에 탑승하고 있었다.
차량 시스템은 그 물체의 속도와 예상 운동 방향을 측정해 물체의 경로를 예측한다. 보고서에 따르면, 자전거와 자동차에 대해서는 첫 경로 예측에서 차선 방향으로 이동할 것이라는 점이 자연스런 ‘목표’로 할당되어 있었다. 즉 기계에게 자동차와 자전거는 도로를 주행하는 것이지, 도로를 ‘횡단’하는 것이 아니다. 보행자의 경우, 횡단보도가 있지 않은 한 그런 목표가 없었다. 즉 기계에게 ‘무단횡단하는 보행자’라는 선택지는 없었다. 이런 모델링 결정은 전체적으로 ‘차량 시스템이 임의의 지점에서 도로를 횡단하는 보행자를 고려하는 것은 불가능’하게끔 했다.
그럼 차량 안 인간 운영자는 무엇을 했는가? 차량 설계자들이 ‘인간 운영자는 시종일관 도로를 주시할 것’이라는 가정을 깨고 계속 무릎에 있는 핸드폰을 보고 있었던 것으로 드러났다. 하지만 엔지니어들이 극단적 상황에서는 인간 운영자가 개입하리라고 가정해 1초간 브레이크를 실행하지 않도록 해놓은 것이 운영자에게는 고지되어 있지 않았다는 사실 역시 드러났다.
그렇다면 누가 허츠버그의 죽음에 책임이 있을까? 인공지능일까?

사이버 공간에서 인간의 주도권 찾기: 인공지능의 맹점 정확히 알기

- 알고리즘과 휴리스틱, 그리고 ‘블랙박스’
많은 사람이 ‘알고리즘’이라고 부르는 기계의 절차는 사실 대부분 휴리스틱에 의존한다. 알고리즘이란 명확히 정의된 문제를 최적의 해로 풀어내는 절차지만, 현실의 문제는 불완전하고 복잡하다. 그래서 인공지능, 특히 머신러닝은 대규모 데이터에서 패턴을 찾아 규칙을 만들고, 이를 기반으로 결정을 내린다. 이 과정에서 데이터 선정, 측정 방법, 모델 설계 등 수많은 주관적 모델링 결정이 개입되며, 결과적으로 시스템은 외부에서 들여다보기 어려운 ‘블랙박스’가 된다.
언론이 흔히 ‘알고리즘’이라는 단어를 코드나 소프트웨어의 동의어로 쓰지만, 츠바이크 교수가 주목하는 진짜 문제는 훈련 데이터와 휴리스틱 과정에서 형성된 의사결정 규칙이다. 계산 절차를 아는 것만으로는 ‘왜’라는 질문에 충분히 답할 수 없다.

- 잘못된 결정을 만드는 긴 사슬
책은 이어서 잘못된 인공지능 결정의 사례를 풍부하게 제시한다. 얼굴 인식에서 나타난 성별·인종 편향, 데이터 혼입으로 인한 무고한 사람의 체포, 자율주행차의 보행자 인식 실패 등은 모두 ‘책임성의 긴 사슬’ 속에서 발생한다. 데이터 수집, 알고리즘 선택, 품질 측정, 결과 해석, 실행 등 모든 단계에서 오류 가능성이 존재한다.
여기서 중요한 사실은, 인공지능 자체는 의식도 의도도 없다는 점이다. 오류의 근원은 사람 ― 즉 시스템을 설계하고 운영한 인간의 선택과 결정 ― 에 있다. 그러나 일부 오류는 데이터와 방법이 상호작용하며 예기치 않게 발생하는 창발적 현상이어서 원인을 단일하게 특정하기 어렵다.

- 검증 가능성과 불가능성 사이
츠바이크 교수는 자동화된 결정을 검증 가능성에 따라 세 가지 유형으로 구분한다. 첫째, 발생 빈도가 너무 적어 학습 자체가 불가능한 결정. 둘째, 개별·집단 수준에서 정확성과 공정성을 평가할 수 있는 결정. 셋째, 가치판단이 포함되거나 개인 단위에서는 즉시 검증이 불가능하지만, 집단 통계로는 사후 검증이 가능한 결정이다.
츠바이크는 특히 마지막 유형에서 중요한 질문을 던진다. “기계의 판단이 인간보다 더 나은가?” 완전히 이해할 수 없어도, 기계가 더 일관되고 공정하다면 활용 가능성이 있다. 하지만 “원칙적으로 검증 가능하다”는 범주가 현실에서는 명확하지 않으며, 비용과 시간이 과도하게 소요되면 사실상 검증이 불가능하다는 점을 경고한다.

AI라는 보이지 않는 불을 손에 넣은 프로메테우스, 인간
유토피아냐, 디스토피아냐는 결국 인간의 선택에 달려 있다

AI가 상용화된 지 불과 3년 남짓, 이제 인간은 커다란 결정을 강요받고 있다. AI는 해악인가? 아니면 AI는 마술지팡이인가? 양극단을 오가는 설전 속에서 인간이 진정으로 원하는 미래를 얻기 위해 이제 무엇을 해야 하는가?
카타리나 츠바이크는 수년간의 숙고 끝에 하나의 통일된 해법이 아니라, 모든 경우에 적용할 수 있는 기본 원칙을 제시한다. 검증이 가능한 결정이라면 정기적인 품질 점검, 데이터 사용의 투명성, 신속한 이의제기 절차가 필요하다. 동시에 인간과 기계가 함께 의사결정을 내릴 때의 사회적·기술적 결과를 이해하고 설계하기 위해 학제 간 연구가 필수적이다.
심리학, 윤리학, 철학, 사회학, 법학 등 다양한 분야가 협력해야 하며, 정보과학자가 제도 설계에 적극 참여해야 기술적 요구가 의미 있게 반영될 수 있다. 2024년 3월 유럽의회가 통과시킨 세계 최초의 포괄적 ‘인공지능법’은 이러한 방향성을 제도화하는 첫걸음이다.

독자가 던져야 할 질문들
츠바이크 교수는 독자들에게도 역할을 부여한다. 새로운 인공지능 기반 의사결정 시스템이 등장한다면 이렇게 물어야 한다.
- 이 결정은 검증 가능한가?
- 검증하기 위해 무엇이 필요한가?
- 결과는 공정하며, 특정 집단에 차별적이지 않은가?
- 통계적으로만 검증 가능하다면, 기계의 결정은 인간보다 확실히 뛰어난가?
- 인간과 기계가 함께 결정하는 구조는 어떻게 설계되어야 하는가?

저자는 “각각의 사례에서 이 질문에 답할 수 있다면, 우리는 더 나은 결정을 내릴 가능성이 높아진다”고 강조한다.

《무책임한 AI》는 단순히 기술 비판서가 아니다. 알고리즘과 데이터, 모델링과 검증의 과학적 구조를 낱낱이 분석하면서, 인공지능이 사회에 끼치는 실제 영향을 보여준다. 츠바이크 교수의 문장은 과학자의 엄밀함과 시민의 책임 의식을 함께 담아, AI 시대를 살아가는 이들이 스스로를 보호하고 더 나은 의사결정 구조를 만들어갈 수 있는 지침서가 된다. 기계와 함께 더 나은 결정을 내리는 법은, 우리가 지금 어떤 질문을 던지는가에서 시작된다.