바야흐로 AI와 로봇이 인간을 대신하는 시대다. 구글, 페이스북, 애플 등 소프트웨어 기업뿐만 아니라 삼성, 현대, 테슬라 등 글로벌 제조사 역시 AI를 생산 최일선에 배치하는 등 AI가 통제하는 로봇은 그 활용도가 우리의 상상을 넘어서고 있다.

컴퓨터 발명 이후 집약적인 기술 발전을 통해 다양한 산업 분야에서 AI와 로봇이 인간을 대신함으로써 우리 생활에 일부분이 됐다고 해도 과언이 아니다. 그러나 AI를 통해 우리의 생활은 효율성이 극대화되는 반면, 새로운 위기도 함께 도래했다.

세계 최대 전자상거래기업 아마존은 수년간 개발한 인공지능 채용 프로그램을 최근 폐기했다. 원인은 AI가 10년간 아마존 지원자 데이터를 분석한 결과 남성 지원자가 압도적으로 많았던 탓에 아마존 자체 AI 채용시스템이 여성 지원자를 차별했기 때문이다.

이와 유사한 문제는 국내에서도 발생했다. AI챗봇 이루다는 동성애나 장애인 또는 인종에 대한 차별적 단어를 사용해 문제가 됐다. 이루다는 학습을 위해 실제 사용자들의 대화 데이터를 사용했는데 이 데이터에 혐오와 차별적인 단어가 다수 포함되어 있었던 것이 원인이다.

사례는 더 있다. 미국 법원에서 피의자에게 실시한 설문조사를 바탕으로 재범 위험성을 점수화해 제시하는 컴파스는 절도와 마약 소지 등의 이력이 있던 백인보다 저항하지 않았던 흑인이 더 위험하다고 판단하는 오류를 보여주기도 했다.

문제는 이러한 AI 오류에 대해 진짜 원인을 찾기가 점점 더 어려워진다는 것이다. 예시처럼 일반적인 원인은 아직 완전하지 않은 기술 수준과 제공되는 데이터의 문제 등으로 알려져 있지만 조금 더 깊이 분석해 들어가면 AI 블랙박스가 보인다.

AI 블랙박스는 수백만 가지의 모델 매개변수가 존재하고 많은 매개변수를 사용하는 여러 모델의 조합이 예측하기 때문에 AI가 내 놓은 정보에 대해 왜 그런 판단을 했는지 인과관계를 설명할 수 없다. 뿐만 아니라 그 결과에 대해 인간이 사실 여부를 확인하기에는 너무나 많은 시간과 비용이 발생한다.

AI가 만들어내는 뉴스의 사실 여부를 인간이 판단하기에는 이미 그 수준을 넘어 섰으며 그 피해가 바로 우리 옆에서 일어나고 있는 것이다. 이제 우리가 환상에 사로 잡혀 있는 AI에 대해 좀 더 냉정하게 바라봐야 할 시점이다. AI가 더 이상 기계적인 판단을 하도록 내버려두는 것이 아니라 판단에 대해 인과관계를 설명할 수 있는 근거를 제시할 수 있도록 해야 한다.

AI는 "이러한 결과에 대해서 AI가 판단한 기준은 뭐지? 이것이 방석이 아니고 왜 도너츠지?"라는 우리의 질문에 대답해줘야 한다. 우리는 이러한 기술을 '설명가능한 인공지능(XAI, eXplainableAI)'이라고 부른다. 다음 편에서는 "XAI는 어떻게 로봇의 반란을 제어할 수 있는 것인가?"에 대해서 이야기하겠다.

XAI전문기업 가치랩스 안기옥 대표

(*이 칼럼은 Nextdaily의 편집방향과 다를 수 있습니다.)