AI 편향성, 마이크로소프트는 어떻게 바라볼까?

AI 편향성에 대처하는 마이크로소프트의 전략

 

2016년 3월 마이크로소프트(MS)는 인공지능(AI) 챗봇 ‘테이(Tay)’를 트위터에 공개했다. 하지만 내놓은 지 16시간 만에 폐기해야 했다. 애초 MS는 트위터, 그룹미(GroupMe), 킥(Kik) 같은 소셜 메신저를 통해 사용자와 대화할 수 있는 ‘소셜 AI 챗봇’을 기대하며 테이를 만들었다. 텍스트로 질문을 입력하면 그에 알맞은 답을 하는 식이다.

 

테이가 일반 웹사이트에서 볼 수 있는 챗봇과 다른 점은 ‘감정 부분’을 추가했다는 사실이다. 테이는 재치있는 유머를 구사하고, 사람들과 친구처럼 농담을 주고받을 수 있게 설계했다. 테이를 만든 엔지니어들은 테이가 귀여운 10대 소녀처럼 말하도록 설계했다고 설명했다. 예를 들어 “오늘 하루 어땠어?”라고 영어로 질문하면 테이는 “OMG! totes exhausted”라고 대답한다.

 

‘OMG’는 ‘Oh my God’, ‘totes’는 ‘totally’의 줄임말로 주로 10대들이 많이 쓰는 표현이다. 테이는 사람들과 대화하면서 배우는 신경망 기반 AI이기 때문에 더 많은 대화를 나눌수록 자연스럽고 개인화한 대답을 내놓는다.

 

 

하지만 이런 점이 오히려 독이 됐다. 트위터에서 몇몇 사람들이 테이에게 인종차별과 동성애 혐오, 그리고 다른 공격적이고 폭력적인 언어들을 학습시킨 것이다. 흑인에 대한 차별적 발언이나 나치를 두둔하는 것처럼 정치적인 성향이 담긴 내용도 있었다.

 

테이는 영국 코미디언 릭키 제바이스에 대해 “그는 무신론을 창시한 나치로부터 전체주의를 배웠다”고 말하기도 했다. 결국 MS는 테이를 공개한 지 16시간 만에 모든 서비스를 중단하고 사과하는데 이르렀다. 에릭 호르비츠 MS 리서치 연구원은 포츈과 인터뷰에서 “우리는 테이가 세상 밖으로 나갔을 때 어떻게 행동할지에 대한 계획을 세우지 못했다”고 말했다.

 

테이가 무너진 뒤 MS는 원인을 찾아 나섰다. 그 결과 가장 기본적인 AI도 갖추고 있는 ‘방어체계’를 테이가 갖고 있지 못했던 것이 원인이었다. 보통 AI는 공격적인 언어에 대해 블랙리스트를 세우고 이를 방어하는 프로토콜을 갖고 있다. 하지만 테이는 그렇지 못했다. 

 

테이가 실패한 이후 호르비츠는 MS에서 ‘에더(Aether)’라는 내부 조직을 만들고 이끌었다. 그는 공학과 연구, 정책, 법률 각 팀 대표를 모아 AI 윤리에 대해 함께 논의했다. AI 편향성도 주요 논의 분야 중 하나였다. 예를 들어 “안면 인식 AI를 범죄 예방이나 치안 유지 같은 민감한 영역에 적용해야 하는가?” 같은 것이다.

 

그 결과 현재 MS는 2016년 테이보다 훨씬 정교한 AI 챗봇을 세계에 서비스하고 있다. 인도의 루(Ruuh), 일본과 인도네시아에는 린나(Rinna), 그리고 미국에는 테이의 동생뻘인 조(Zo)가 있다. MS가 중국에서 서비스하고 있는 AI 챗봇 샤오이스(Xiaoice)는 TV 프로그램을 진행하고, 편의점 손님들에게 구매 팁을 알려주기도 한다.

 

호로비츠는 이런 성공사례에도 여전히 MS가 아주 조심스럽고 천천히 AI를 개발하고 있다고 설명했다. 개발한 AI를 세상에 내놓는 것에 그치는 것이 아니라, 데이터가 점점 쌓이면서 이것이 더 발전했을 때 초래할 결과도 미리 생각해야 하기 때문이다.

 

AI 만든 개발자가 책임감 가져야

 

지난 11월 8일 한국을 방문한 사티아 나델라 MS 최고경영자(CEO)도 ‘윤리적인 AI’ 필요성을 강조했다. AI는 사람이 주입하는 데이터를 기반으로 결정을 내리는데, 이때 모든 데이터가 중립적일 수는 없다. 따라서 AI를 만드는 사람이 지속적으로 모니터링하며 AI가 편향된 판단을 최소화할 수 있게 노력해야 한다는 설명이다. 나델라 CEO는 “AI는 사람으로부터 편견을 함께 배우므로 이렇게 배운 편견을 없애야 한다”고 말했다. 나델라 CEO가 한국을 방문하기 4일 전인 11월 4일, MS 본사는 ‘책임지는 봇: 대화형 AI 개발자를 위한 10가지 지침(Responsible bots: 10 guidelines for developers of conversational AI)’을 발표했다. 해당 가이드라인은 AI 개발자가 알아야 할 10가지 핵심 윤리 원칙과 세부 내용으로 구성돼 있다. 10가지 핵심을 정리하면 다음과 같다.

 

1. 봇이 중요한 사례를 지원하는 것이라면 그 목적을 분명히 명시하고 주의를 기울여라.

2. 당신 제품과 서비스에 봇이 사용되고 있음을 투명하게 공개하라.

3. 봇이 가진 역량을 넘어 발생하는 상호작용은 인간에게 매끄럽게 넘기도록 하라.

4. 봇이 관련 문화 규범을 존중하고 오용을 방지하도록 설계하라.

5. 믿음직스러운 봇을 만들어라.

6. 공정한 봇을 만들어라.

7. 봇이 사용자 프라이버시를 지킬 수 있도록 하라.

8. 봇이 보안을 유지하며 안전하게 데이터를 다룰 수 있도록 하라.

9. 접근성이 좋은 봇을 만들어라.

10. 책임을 받아 들여라.

 

특히 마지막 사항은 나델라 CEO가 방한했을 때도 강조했던 부분이다. 당시 그는 “AI 발전은 개발자들에게 엄청난 기회를 제공하지만, 동시에 그만큼 책임도 요구한다”고 강조했다.

 

MS는 만약 개발자가 자체적으로 사용할 AI를 개발한다면 스스로가 운영에 대한 모든 책임이 있음을 인지해야 하고, 이것이 회사에 불러올 영향도 고려해야 한다고 말한다. 만약 제3자를 위한 AI를 개발하고 있다면, 누가 궁극적으로 해당 AI에 대해 책임질 것인지 함께 정하고 이를 문서화해야 한다고 설명한다.

 

지난 11월 8일 한국을 방문한 사티아 나델라 MS CEO는 ‘윤리적인 AI’의 필요성을 강조했다.

 

이 모든 위험성에도 AI가 매우 큰 잠재력을 가진 기술임은 분명하다. MS나 구글 같은 대기업 뿐 아니라 AI를 도입하는 작은 기업 사례도 점차 증가하고 있다. 헬스케어와 제조, 언론, 보험 같이 활용할 수 있는 분야도 다양하다. 기업 내에서도 인사, 재무, 마케팅 같은 전반적인 과정에서 AI가 업무 효율을 높여 줄 것으로 전망된다. 한편 MS에서 알고리즘 윤리학을 연구해온 팀니트 제브루 연구원은 올해 6월 포츈과 인터뷰에서, 이렇게  AI 활용 분야가 세분화되는 것이 사회 소수계층에게는 좋지 않은 영향을 끼칠 수 있다고 우려했다.

 

 

예를 들어 AI가 자동차 사고 보험 청구에 대해 결정한다고 가정해보자. 일반적으로 인구 밀도가 높아 접촉사고가 잦은 시내 중심 지역에서 사고 발생 확률이 더 높다. 이때 시내는 소수계층 거주 비율이 높은 지역이기도 하다.

 

결국 AI는 데이터에 따라 소수계층에서 자동차 사고가 일어날 확률이 더 높다고 스스로 학습한다. 이렇게 편견을 가진 보험사 AI로 발전한다. 문제는 이런 학습 결과를 모든 운전자에게 적용한다는 데 있다. 이 AI는 다중 추돌사고가 발생했을 때 그 과실을 소수계층 운전자에게 돌릴 가능성이 높아진다. 그리고 이들에게 보험료를 더 높이라고 조언할 것이다.

 

AI편향성 잡는 AI

 

한편 IBM은 ‘AI편향성을 검증해 줄 AI’를 발표해 주목받았다. IBM이 올해 세계 기업 임원 5000명을 대상으로 조사한 바에 따르면 기업이 AI 도입을 꺼리는 이유로 약 60%가 ‘데이터 신뢰성 부족’을 말했다. 이에 IBM은 AI편향성을 최소화하고 신뢰성을 높이는 것을 최우선 과제로 생각했다. 그리고 지난 10월 서울 여의도 한국IBM 본사에서 기자간담회를 열고 ‘AI 오픈스케일’을 공개했다. 

 

AI오픈스케일은 AI 알고리즘이 가진 편향성을 모니터링하고 바로잡을 수 있는 개방형 플랫폼이다. 편향성이 발견되면 자동으로 이를 제거한다. 또 기업이 유럽연합 일반개인정보보호법(EU GDPR) 같은 법률을 준수할 수 있도록 돕는다. 최안나 한국IBM 왓슨 기술 영업 총괄 실장은 “AI는 마치 블랙박스 같다. 그 안의 내용에 대해 확신을 가질 수 없기 때문이다”며 “AI오픈스케일은 기업 AI를 지속적으로 모니터링하기 위한 솔루션으로, AI편향성으로 인한 판단 오류를 줄여줄 수 있다”고 말했다.

 

호로비츠는 그가 MS에서 이끄는 에더팀과 같은 그룹이 많아지면 AI편향성 해결에 많은 도움이 될 것이라 확신한다고 말했다. 그러면서 그는 “아무것도 하지 않는 것”에 대한 윤리적 의미를 고민하고 있다고 말했다. 예를 들어 AI는 병원에서 발생할 수 있는 의료 사고를 줄이는데 기여할 수 있다. 하지만 AI편향성이 우려돼 AI를 도입하지 못하는 사람도 있을 것이다. 호로비츠는 “어떤 것이 많은 생명을 구할 수 있다고 했을 때, 우려가 되는 한 요인 때문에 이를 도입하지 않는 것이 윤리적인가?”라고 질문을 던졌다.

 

[테크M = 곽예하 기자(yeha1798@techm.kr)]

출처 : http://techm.kr/bbs/board.php?bo_table=article&wr_id=5413