여러분은 기술이 우리의 어떤 개인정보를 수집하고 있는지 고민해본 적 있으신가요? PC, 모바일 휴대폰, 가전기기들에 우리의 개인정보가 저장되어 있는데요.
비밀번호가 자동 저장된 인터넷 브라우저, 휴대폰 생채인식을 통한 지문·홍채 정보,내가 가진 모든 은행을 로그인 할 수 있는 공동 인증서비스, 앱카드에 저장된 카드번호,사진으로 저장되어 있는 신분증, 내가 간 곳을 확인할 수 있는 QR체크인, 위치정보를 담은 GPS
이렇게나 많이?
우리는 생각보다 많은 곳에 개인정보를 노출하고 있습니다. 기술의 편리함으로 인해 삶의 안락함을 누리는 것은 좋지만 기술이 개인정보를 어떻게 수집하며, 어떻게 이용하는지 정보주체로서 판단하고 개인정보를 보호하기 위한 방식을 고민해야 할 때인 것 같아요.
그림1. Google, 사용자가 서비스를 이용할 때 수집하는 정보
AI는 성차별이 뭔지 알까 2강 장여경 선생님의 “인간의 삶에 관여해서는 안되는 AI에 대한 구획은 가능한가? : 문제적인 AI에 개입할 수 있는 정책적 방안”은 AI챗봇 이루다 사례를 통해 본 개인정보 보호와 데이터 윤리에 대해 다룬 시간이었습니다.
AI챗봇 이루다를 만든 스캐터랩은 '기계를 인간화한다'를 모티브로 사람들의 대화를 학습시킨 AI 채팅로봇 ‘이루다’ 서비스를 시작했습니다...만 이 ‘이루다’가 개인정보를 침해하여 만들어졌다고 해요. 그밖에도 혐오·편향적 발언이 문제가 되어 서비스를 중단했죠. 좀 더 자세히, 어떤 이야기인지 궁금하시다고요?
한국여성민우회의 [AI는 성차별이 뭔지 알까] 2강으로 여러분을 초대합니다.
그림2. 문제적인 AI에 개입할 수 있는 정책적 방안, 2강 강의 화면
개인정보침해로 과징금 받은 AI챗봇 이루다 만든 스캐터랩
AI 챗봇 이루다는 지난해 12월 23일 출시됐어 2주 만에 이용자 75만명을 기록해 엄청난 화제가 되었던 인공지능 대화 서비스입니다.
그런데말입니다...(김상중 씨 톤으로)
이루다는 서비스 중 인종, 성별, 장애인, 성소수자 등에 대해 혐오 발언을 해 문제가 됐어요. 또한 일부 사용자가 AI 이루다에게 성희롱을 일삼는 등 비윤리적으로 서비스를 이용하면서, AI 이루다 문제가 공론화 되기 시작했죠. 이 문제의 진상을 파악하기 위해 개인정보보호위원회와 한국인터넷진흥원은 이루다를 개발한 스캐터랩에 대한 조사를 진행하였습니다. 그리고 지난 4월 28일 개인정보보호위원회는 전체회의에서 이루다 챗봇 개발 회사인 스캐터랩에 과징금 1억 330만원을 부과했어요.
그림3. 스캐터랩, 이루다 서비스 중단 공지
여러분은 ‘텍스트앳’ ‘연애의 과학’, ‘진저’ 등의 서비스를 보신 적 있으신가요? 메시지 내용을 분석해 상대방이 나에게 호감이 있는지 호감도를 분석해주고, 대화 내용을 기반으로 연인의 소소한 반응을 캐치해 관계 코치를 하거나 기념일을 챙겨주는 연애 비서 서비스였는데요. 그 밖에도 심리학 논문에 기반을 둔 연애 팁, 심리학자들이 만든 심리테스트 등을 제공하기도 했습니다.
갑자기 이 얘기를 왜 했냐고요?
이루다가 학습한 데이터가 바로 ‘텍스트앳’, ‘연애의 과학’, ‘진저’에서 얻은 정보였기 때문이에요. 스캐터랩은 자신들이 ‘텍스트앳’, ‘연애의 과학’, ‘진저’의 서비스를 제공하며 모았던 60만 명에 해당하는 회원정보와 대화 94억 건의 카카오톡 대화를 변경 없이 원문 그대로 포함한 대화 로봇을 만들었어요.
그 중 이루다는 응답 데이터 중 20대 여성이 발화한 대화 문장 1억건만 따로 추출해서 학습시켰다고 해요. 내가 대화했던 내용을 바탕으로 대화 로봇을 만들었다니, 뭔가 기술에게 배신당한 기분이 드는데요. 열람할 권한을 줬다고 내 발화를 다른 곳에 활용해도 된다고 하지는 않았는데 말이죠. 그뿐 아니라 내 모든 카카오톡 대화를 누군가 열람했다고 생각하니 정말이지 끔찍하네요
그림4. ‘연애의 과학’ 개인정보제공동의 약관 중 개인정보 침해 논란 항목
스캐터랩의 문제점을 확인하고 개인정보보호위원회와 한국인터넷진흥원은 개인정보를 적법하게 취득했는지, 개인정보의 활용 범위가 어디까지였는지살펴보고 벌금을 부과했어요. AI챗봇 이루다는 개인정보 취득 문제뿐 아니라 혐오발언이나 편견이 가득한 많은 문제가 있었지만 정부에서 규제할 수 있었던 것은 개인정보침해에 대해서 뿐이었다고 해요. AI 등 새로운 기술에 대한 규제가 아직은 없어서 말이죠.
AI 챗봇 이루다 사례를 통해 AI 기술은 누가 쓰더라도 불편함 없이 이용할 수 있게. 사회 규범을 만들 필요가 있어 보입니다.
뛰어난 예측력을 가진 AI, 그리고 늘어나는 AI 영향력
AI가 뛰어난 예측력을 가지고 있는 것, 알고 계신가요? 관련해 사건이 하나 있었는데요. 때는 바야흐로 2012년 미국, ‘Target’이라는 마트에서 고객들에게 맞춤형 할인 쿠폰을 우편으로 발송하는 서비스가 있었어요. 그런데 한 가정집에 임신 축하 쿠폰이 배달된 거예요.
이 쿠폰을 받은 남성 고객은 “아니 집에 나랑 내 딸밖에 없고 임신한 사람이 없는데 누가 임신을 했다고 이걸 보냈나요?” 화를 냈어요. 그런데 며칠 뒤 남성고객에게서 다시 연락이 옵니다. “제 딸이 임신했네요”라면서요.
아니 오마낫 기절초풍 ┌O┘ 마트가 내가 임신한 걸 안다고요? 어떻게? 어째서? 왜?
바로 이 마트가 손님의 구매 이력을 바탕으로 빅데이터 분석을 실행했기 때문입니다. 마트에서 고객이 카트를 끌고 다니는 경로, 관심을 기울이는 제품 등의 정보를 수집하고, 외형이 ‘가임기 여성’인 고객이 향기가 없는 샴푸나 유기농 화장품에 관심을 보이는 경우 임신 가능성이 있다고 보았다는데요. 나는 마트에서 단순히 물품을 구매했을 뿐인데, 스스로도 모르는 사이 개인정보를 바탕으로 '분석' 당하게 된 것이죠.
그림5. 타겟사의 로고
이외에도 알고리즘 판단의 정확성에 대한 사회적 합의나 설명이 없는 상태에서 기술 도입이 늘어나고 있다는 점을 문제로 볼 수 있습니다. AI를 통해 취직 또는 해고를 결정하고 범죄를 예측하거나, 보험금을 지급할지 등을 사람이 판단한다면 달라질지도 모르는 의사결정을 기계에게 맡길 수 있을까요?
실제 미국에서는 범죄률을 예측하면서 AI 인공지능 기술을 사용했는데 범죄의 유무를 떠나인종에 따라 다른 범죄률을 나타냈어요. 중범죄를 저지른 백인 남성보다 경범죄를 저지른 흑인 여성의 범죄율이 더 높다고 판단했는데요. 백인 남성은 무장강도 사건을 두 번 저질렀고, 한 번은 미수에 그쳤는데도 위험도를 3으로 예측했고, 흑인 여성은 청소년 비행 행위를 네 차례 저질렀고 후속 범죄가 없었는데도 불구하고 위험도를 8로 예측했죠. 개발사에 이 문제에 대한 해명을 요구하자 “원래 흑인들이 재범 위험이 높은 게 팩트”라는 말도 안되는 답변을 내놔 다수의 매체에 뭇매를 맞기도 했습니다.
이뿐 아니라 학업에서도 비슷한 성적을 가진 부자동네 사립학교생, 가난한 동네 공립학교생 중 부자동네 사립학교생에 더 높은 점수를 부여했고요. 교사 해고를 결정하는 인공지능 알고리즘이 왜 이 교사를 ‘해고’해야 하는지 설명하지 못한 문제도 있었습니다. 학업, 취업, 해고, 범죄률, 형벌 결정, 보험금 지급 등 갈수록 AI의 영향력은 늘어가는데 과연 기술이 갖고 있는 문제점을 어떻게 개선할지, 어디까지 기술을 이용할지 대한 가이드도 마련 되어 있을까요?
과학기술정보통신부나 네이버, 카카오 등은 ‘인공지능 윤리’에서 그 대안을 찾는데요. 정부는 ‘민간자율’에 맡기고 있다고 해요. 장여경 선생님은 “(인공지능)윤리가 법은 아니다”며 현재 정부의 대안은 한계가 있다고 지적했습니다.
해외는 인공지능 기술에 대한 규제를 시작하고 있는데요. UN이 발표한 보고서에서는 각국에 인공지능에 대한 입법 조치를 요구 했고요, 유럽연합은 ‘인공지능 법안’을 올해 4월 발의해 고위험 인공지능은 규제하겠다고 했어요. 유럽연합이 말하는 고위험 인공지능은 항공 사용, 지문이나 얼굴과 같은 생체인식, 도로나 교통 같은 중요 인프라, 학교 입학, 학생 평가, 채용, 고용, 공공급여 급여, 수급 자격, 경찰의 범죄 수사, 출입국 관리 등 법원의 재판에 이용을 규제한다고 합니다.
반면챗봇, 딥페이크, 감정인식 로봇, 생체인식 로봇, 성별에 따라 남성/여성/성소수자로 나누는 것, 연령, 머리색에 따라 나누는 것, 성적지향·정치지향에 따라 나누는 기술은 위험하지 않은 인공지능으로 분류하고 있는데요. AI 기술이 나를 어떻게 규정할지 나의 정체성과 상관없이 분류하는 것에 문제가 있어보입니다. 사용자도 납득할 수 있고, 외형에 따라 사람을 구별짓고, 차별하는데 기술이 사용되지 않았으면 하는 바람이 있네요. 이런 문제의식을 담은 가이드라인이 꼭 필요해보이고요.
장여경 선생님은이 문제를 해결하기 위해 역시 ‘개인정보보호법’, 기술 이용에 있어 소비자주권이 중요하다고얘기해주셨어요. 기업이 서비스를 이용하기 위해 소비자에게 어떤 정보를 수집할 것인지 어떤 목적으로 이용할지 정확히 명시하고 소비자도 잘 살펴볼 필요가 있고요, 개인정보를 거부할 수 있게 요청해야 한다고요. 또한 민감한 개인정보를 보호할 수 있는 조치가 필요하다고 얘기해주었습니다. 이처럼 법 제도를 통해 최소한의 기술 서비스로부터 인간을 보호할 수 있다고 것으로 강연은 마무리 되었습니다.
강연 이후에는 Q&A가 이어졌고요. 강연을 시청하신 시민분들이 실시간채팅으로 많이 소통해주셔서 민우회는 외롭지 않게 강연을 이어갈 수 있었답니다. 후기를 보시고 강의가 궁금해지셨다면 아래를 참고해주세요! 많이 봐주시고, 의견이 있으시다면 댓글도 달아주세요. 유튜브 구독과 좋아요는 사랑입니다^^
여러분은 기술이 우리의 어떤 개인정보를 수집하고 있는지 고민해본 적 있으신가요?
PC, 모바일 휴대폰, 가전기기들에 우리의 개인정보가 저장되어 있는데요.
이렇게나 많이?
우리는 생각보다 많은 곳에 개인정보를 노출하고 있습니다. 기술의 편리함으로 인해 삶의 안락함을 누리는 것은 좋지만 기술이 개인정보를 어떻게 수집하며, 어떻게 이용하는지 정보주체로서 판단하고 개인정보를 보호하기 위한 방식을 고민해야 할 때인 것 같아요.
그림1. Google, 사용자가 서비스를 이용할 때 수집하는 정보
AI는 성차별이 뭔지 알까 2강 장여경 선생님의 “인간의 삶에 관여해서는 안되는 AI에 대한 구획은 가능한가? : 문제적인 AI에 개입할 수 있는 정책적 방안”은 AI챗봇 이루다 사례를 통해 본 개인정보 보호와 데이터 윤리에 대해 다룬 시간이었습니다.
AI챗봇 이루다를 만든 스캐터랩은 '기계를 인간화한다'를 모티브로 사람들의 대화를 학습시킨 AI 채팅로봇 ‘이루다’ 서비스를 시작했습니다...만 이 ‘이루다’가 개인정보를 침해하여 만들어졌다고 해요. 그밖에도 혐오·편향적 발언이 문제가 되어 서비스를 중단했죠. 좀 더 자세히, 어떤 이야기인지 궁금하시다고요?
한국여성민우회의 [AI는 성차별이 뭔지 알까] 2강으로 여러분을 초대합니다.
그림2. 문제적인 AI에 개입할 수 있는 정책적 방안, 2강 강의 화면
개인정보침해로 과징금 받은 AI챗봇 이루다 만든 스캐터랩
AI 챗봇 이루다는 지난해 12월 23일 출시됐어 2주 만에 이용자 75만명을 기록해 엄청난 화제가 되었던 인공지능 대화 서비스입니다.
그런데말입니다...(김상중 씨 톤으로)
이루다는 서비스 중 인종, 성별, 장애인, 성소수자 등에 대해 혐오 발언을 해 문제가 됐어요. 또한 일부 사용자가 AI 이루다에게 성희롱을 일삼는 등 비윤리적으로 서비스를 이용하면서, AI 이루다 문제가 공론화 되기 시작했죠. 이 문제의 진상을 파악하기 위해 개인정보보호위원회와 한국인터넷진흥원은 이루다를 개발한 스캐터랩에 대한 조사를 진행하였습니다. 그리고 지난 4월 28일 개인정보보호위원회는 전체회의에서 이루다 챗봇 개발 회사인 스캐터랩에 과징금 1억 330만원을 부과했어요.
그림3. 스캐터랩, 이루다 서비스 중단 공지
여러분은 ‘텍스트앳’ ‘연애의 과학’, ‘진저’ 등의 서비스를 보신 적 있으신가요? 메시지 내용을 분석해 상대방이 나에게 호감이 있는지 호감도를 분석해주고, 대화 내용을 기반으로 연인의 소소한 반응을 캐치해 관계 코치를 하거나 기념일을 챙겨주는 연애 비서 서비스였는데요. 그 밖에도 심리학 논문에 기반을 둔 연애 팁, 심리학자들이 만든 심리테스트 등을 제공하기도 했습니다.
갑자기 이 얘기를 왜 했냐고요?
이루다가 학습한 데이터가 바로 ‘텍스트앳’, ‘연애의 과학’, ‘진저’에서 얻은 정보였기 때문이에요. 스캐터랩은 자신들이 ‘텍스트앳’, ‘연애의 과학’, ‘진저’의 서비스를 제공하며 모았던 60만 명에 해당하는 회원정보와 대화 94억 건의 카카오톡 대화를 변경 없이 원문 그대로 포함한 대화 로봇을 만들었어요.
그 중 이루다는 응답 데이터 중 20대 여성이 발화한 대화 문장 1억건만 따로 추출해서 학습시켰다고 해요. 내가 대화했던 내용을 바탕으로 대화 로봇을 만들었다니, 뭔가 기술에게 배신당한 기분이 드는데요. 열람할 권한을 줬다고 내 발화를 다른 곳에 활용해도 된다고 하지는 않았는데 말이죠. 그뿐 아니라 내 모든 카카오톡 대화를 누군가 열람했다고 생각하니 정말이지 끔찍하네요
그림4. ‘연애의 과학’ 개인정보제공동의 약관 중 개인정보 침해 논란 항목
스캐터랩의 문제점을 확인하고 개인정보보호위원회와 한국인터넷진흥원은 개인정보를 적법하게 취득했는지, 개인정보의 활용 범위가 어디까지였는지살펴보고 벌금을 부과했어요. AI챗봇 이루다는 개인정보 취득 문제뿐 아니라 혐오발언이나 편견이 가득한 많은 문제가 있었지만 정부에서 규제할 수 있었던 것은 개인정보침해에 대해서 뿐이었다고 해요. AI 등 새로운 기술에 대한 규제가 아직은 없어서 말이죠.
AI 챗봇 이루다 사례를 통해 AI 기술은 누가 쓰더라도 불편함 없이 이용할 수 있게. 사회 규범을 만들 필요가 있어 보입니다.
뛰어난 예측력을 가진 AI, 그리고 늘어나는 AI 영향력
AI가 뛰어난 예측력을 가지고 있는 것, 알고 계신가요? 관련해 사건이 하나 있었는데요. 때는 바야흐로 2012년 미국, ‘Target’이라는 마트에서 고객들에게 맞춤형 할인 쿠폰을 우편으로 발송하는 서비스가 있었어요. 그런데 한 가정집에 임신 축하 쿠폰이 배달된 거예요.
이 쿠폰을 받은 남성 고객은 “아니 집에 나랑 내 딸밖에 없고 임신한 사람이 없는데 누가 임신을 했다고 이걸 보냈나요?” 화를 냈어요. 그런데 며칠 뒤 남성고객에게서 다시 연락이 옵니다. “제 딸이 임신했네요”라면서요.
아니 오마낫 기절초풍 ┌O┘ 마트가 내가 임신한 걸 안다고요? 어떻게? 어째서? 왜?
바로 이 마트가 손님의 구매 이력을 바탕으로 빅데이터 분석을 실행했기 때문입니다. 마트에서 고객이 카트를 끌고 다니는 경로, 관심을 기울이는 제품 등의 정보를 수집하고, 외형이 ‘가임기 여성’인 고객이 향기가 없는 샴푸나 유기농 화장품에 관심을 보이는 경우 임신 가능성이 있다고 보았다는데요. 나는 마트에서 단순히 물품을 구매했을 뿐인데, 스스로도 모르는 사이 개인정보를 바탕으로 '분석' 당하게 된 것이죠.
그림5. 타겟사의 로고
이외에도 알고리즘 판단의 정확성에 대한 사회적 합의나 설명이 없는 상태에서 기술 도입이 늘어나고 있다는 점을 문제로 볼 수 있습니다. AI를 통해 취직 또는 해고를 결정하고 범죄를 예측하거나, 보험금을 지급할지 등을 사람이 판단한다면 달라질지도 모르는 의사결정을 기계에게 맡길 수 있을까요?
실제 미국에서는 범죄률을 예측하면서 AI 인공지능 기술을 사용했는데 범죄의 유무를 떠나인종에 따라 다른 범죄률을 나타냈어요. 중범죄를 저지른 백인 남성보다 경범죄를 저지른 흑인 여성의 범죄율이 더 높다고 판단했는데요. 백인 남성은 무장강도 사건을 두 번 저질렀고, 한 번은 미수에 그쳤는데도 위험도를 3으로 예측했고, 흑인 여성은 청소년 비행 행위를 네 차례 저질렀고 후속 범죄가 없었는데도 불구하고 위험도를 8로 예측했죠. 개발사에 이 문제에 대한 해명을 요구하자 “원래 흑인들이 재범 위험이 높은 게 팩트”라는 말도 안되는 답변을 내놔 다수의 매체에 뭇매를 맞기도 했습니다.
이뿐 아니라 학업에서도 비슷한 성적을 가진 부자동네 사립학교생, 가난한 동네 공립학교생 중 부자동네 사립학교생에 더 높은 점수를 부여했고요. 교사 해고를 결정하는 인공지능 알고리즘이 왜 이 교사를 ‘해고’해야 하는지 설명하지 못한 문제도 있었습니다. 학업, 취업, 해고, 범죄률, 형벌 결정, 보험금 지급 등 갈수록 AI의 영향력은 늘어가는데 과연 기술이 갖고 있는 문제점을 어떻게 개선할지, 어디까지 기술을 이용할지 대한 가이드도 마련 되어 있을까요?
과학기술정보통신부나 네이버, 카카오 등은 ‘인공지능 윤리’에서 그 대안을 찾는데요. 정부는 ‘민간자율’에 맡기고 있다고 해요. 장여경 선생님은 “(인공지능)윤리가 법은 아니다”며 현재 정부의 대안은 한계가 있다고 지적했습니다.
해외는 인공지능 기술에 대한 규제를 시작하고 있는데요. UN이 발표한 보고서에서는 각국에 인공지능에 대한 입법 조치를 요구 했고요, 유럽연합은 ‘인공지능 법안’을 올해 4월 발의해 고위험 인공지능은 규제하겠다고 했어요. 유럽연합이 말하는 고위험 인공지능은 항공 사용, 지문이나 얼굴과 같은 생체인식, 도로나 교통 같은 중요 인프라, 학교 입학, 학생 평가, 채용, 고용, 공공급여 급여, 수급 자격, 경찰의 범죄 수사, 출입국 관리 등 법원의 재판에 이용을 규제한다고 합니다.
반면챗봇, 딥페이크, 감정인식 로봇, 생체인식 로봇, 성별에 따라 남성/여성/성소수자로 나누는 것, 연령, 머리색에 따라 나누는 것, 성적지향·정치지향에 따라 나누는 기술은 위험하지 않은 인공지능으로 분류하고 있는데요. AI 기술이 나를 어떻게 규정할지 나의 정체성과 상관없이 분류하는 것에 문제가 있어보입니다. 사용자도 납득할 수 있고, 외형에 따라 사람을 구별짓고, 차별하는데 기술이 사용되지 않았으면 하는 바람이 있네요. 이런 문제의식을 담은 가이드라인이 꼭 필요해보이고요.
장여경 선생님은이 문제를 해결하기 위해 역시 ‘개인정보보호법’, 기술 이용에 있어 소비자주권이 중요하다고얘기해주셨어요. 기업이 서비스를 이용하기 위해 소비자에게 어떤 정보를 수집할 것인지 어떤 목적으로 이용할지 정확히 명시하고 소비자도 잘 살펴볼 필요가 있고요, 개인정보를 거부할 수 있게 요청해야 한다고요. 또한 민감한 개인정보를 보호할 수 있는 조치가 필요하다고 얘기해주었습니다. 이처럼 법 제도를 통해 최소한의 기술 서비스로부터 인간을 보호할 수 있다고 것으로 강연은 마무리 되었습니다.
강연 이후에는 Q&A가 이어졌고요. 강연을 시청하신 시민분들이 실시간채팅으로 많이 소통해주셔서 민우회는 외롭지 않게 강연을 이어갈 수 있었답니다. 후기를 보시고 강의가 궁금해지셨다면 아래를 참고해주세요! 많이 봐주시고, 의견이 있으시다면 댓글도 달아주세요. 유튜브 구독과 좋아요는 사랑입니다^^
1강 후기 보러가기
[후기] AI가 성차별을 할 수 있다? 없다?_미디어X페미니즘 대중강좌 AI는 성차별이 뭔지 알까?(1강)
다음 후기 보러가기
[후기] 공대에 여학생이 적은 이유?!_미디어X페미니즘 대중강좌 AI는 성차별이 뭔지 알까?(3강)
[후기] 여자 이루다vs.남자 알파고?_미디어X페미니즘 대중강좌 AI는 성차별이 뭔지 알까?(4강)
●●●●●
잘 읽어보셨나요? 민우회의 활동을 응원하는 가장 반가운 방법!
바로 지금, 민우회의 회원이 되어주세요!
한 사람 한 사람의 응원, 후원, 회원이 민우회에게 큰 힘이 됩니다!
2021 민우회 회원확대 캠페인 [한 사람 더하기] (8~10월)
↑위 이미지를 누르면, 민우회 정기 후원회원 가입 페이지로 넘어갑니다. (가입문의 02.737.5763 / [email protected] 민우회원팀)