챗GPT를 필두로 한 생성형 AI(인공지능)가 급속도로 확산되면서 '윤리적인 AI'에 대한 요구도 높아지고 있다. LLM(거대언어모델)을 기반으로 AI를 학습시킬 때 필요한 데이터의 저작권 관련 논란이 일어나고, 사람처럼 답변하는 AI가 인종과 성별 등에 대해 차별적인 태도를 보이는 편향성 문제까지 발생해서다. 거짓된 정보를 진실처럼 알려주는 '할루시네이션'도 사용자들의 혼란을 가중시키고 있다.

3년 전 AI챗봇 '이루다 1.0'은 이 같은 AI윤리 문제를 선제적으로 경험하며 우리 사회에 AI윤리 확립이 얼마나 시급한 과제인지 화두를 던졌다. 머니투데이는 이루다를 서비스하는 스캐터랩의 윤리담당 하주영 변호사, 서울대 AI연구원에서 AI의 윤리적·법적·사회적 이슈(Ethical, Legal, Social Issue)를 연구하는 천현득 ELSI센터장을 만나 당면한 AI윤리의 과제와 해법에 대해 들었다.

-최근 생성형 AI가 사람처럼 대화하고 답변을 내놓는 과정에서 잘못된 정보, 편향된 의견을 내놓는 등의 문제가 발생한다. 현재의 AI에게 윤리성을 요구할 수 있는가.

▶(천현득, 이하 천)할 수 없다. 윤리적·법적 행위자는 권한을 갖고 책임을 지는 존재인데 아직 AI가 그 단계까지 발전하진 않았다. 미국 윤리 철학자 해리 프랭크퍼트의 개념을 빌자면 챗GPT와 같은 생성형 AI는 '헛소리(Bullshit) 생성기'다. 거짓말쟁이(Liar)는 참과 거짓을 구분하고 이에 기반해 거짓말을 하는데, 헛소리쟁이(Bullshitter)는 미국 정치현상의 '트럼피즘'처럼 이목을 끄는 게 중요하지 자신이 뱉은 말의 진실 여부에는 관심이 없다. LLM은 데이터를 처리해 답변을 내놓는 탁월한 언어처리 기계일 뿐, 뭔가를 평가하지 않는다는 면에서 '헛소리 생성기'다. 행위성을 가진 존재처럼 대우하는 건 착각이다. 답변의 일관성이 없다는 데서도 행위성의 부존재 근거를 찾을 수 있다.

▶(하주영, 이하 하)실제 챗GPT는 자기 자신에 대해 명확히 모른다. 일부 사람들은 현재의 AI를 영화 아이언맨에 나오는 '자비스'(스스로 판단하는AI 비서) 수준으로 생각하는데, AI 최고 석학인 얀 르쿤 교수는 "아직 AI는 개보다 지능이 낮다"고 평한다. 현재의 AI가 할 수 있는 수준을 감안해서 너무 과대평가하고 과의존하지 않아야 한다. 그런 면에서 지금 가장 시급한 게 'AI 리터러시'다.

-AI에 윤리성을 요구하기 어렵다면, 현재 AI서비스들이 일으키는 윤리적 문제들의 해결책은 어떻게 찾을 수 있나.

▶(천)개발 단계부터 윤리성을 확보해야 한다. 최근 국내외 민간과 공공부문에서 다양한 윤리 가이드라인이 나오는데 최종 목표는 크게 신뢰성(Trustworthy)과 책임감(Responsibility)이다. AI 서비스 주체가 믿을만한 대상인지가 핵심이다. 사람들이 AI 시스템에 주는 신뢰가 정당하고 타당하다는 보증이 필요하다. 자동차나 신약을 개발하면 안전 테스트나 임삼시험 해서 시장에 내놓고, 사람들은 관련 기술을 몰라도 잘 쓴다. AI와 기존 제품들의 차별점은 '의사결정'에 쓰일 수 있다는 것이다. 앞으로 채용면접이나 재판, 승진심사 등 사람의 인생을 결정하는 중요한 영역에 활용된다면 그 프로세스에 대한 신뢰가 특히 중요하다. 그 결과가 성별이나 인종 등에 휘둘리지 않았다는 확신이 있어야 한다.

▶(하)과거 신기술들이 어떻게 사회에 수용되고 신뢰를 구축해 나갔는지 참고해 규범을 잘 만들어야 한다. 비행기가 나는 원리를 정확히 이해하는 사람이 많지는 않지만, 항공 기술과 규제를 비롯한 산업의 환경 전체에 대한 신뢰가 있기에 사람들이 비행기를 탄다. 항공은 고도의 기술과 안전성이 요구되고, 전 세계적 협력이 필요하다. 사고 발생 시 피해가 막대하지만 잘 활용하면 인류의 후생이 크게 증진된다. AI산업이 당면한 과제를 100여년 전에 걸었다는 생각이 든다.

- AI 학습에 필요한 데이터 저작권 문제가 쟁점이다. 원인과 해법을 알려달라.

▶(하)2020년 출시했던 챗봇 이루다1.0은 기존 서비스인 '연애의과학' 등에서 고객들이 제공한 카카오톡 대화 데이터를 사용해 비판을 받았다. 당시 업계에서 일반적으로 쓰이던 '신규 서비스 출시를 위해 이용할 수 있다'는 동의 권고를 받았지만, 모호하다는 비판을 받고 개인정보보호위원회에서 행정 처분을 받았다. 전 세계적으로 대화와 같은 비정형데이터 처리에 대한 가이드라인도 부족한 편이었다. 이후 가명처리 프로세스를 고도화하고 외부 전문가들로부터 적정성 평가를 받는 등의 장치를 마련했다. 지난해 출시한 이루다2.0은 정부에서 발간한 국가 AI 윤리기준이나 유네스코 AI 윤리 권고 등 국내외 논의를 충분히 반영해 챗봇 서비스에 필요한 윤리를 빠짐 없이 담기 위해 노력했다. 사실 AI산업이 빅테크들의 각축전이지만 관련 스타트업도 굉장히 많이 생기는데 기술기반 스타트업들이 저작권 등 윤리 담당 인력을 따로 두기 힘든 구조라, 과학기술정보통신부의 AI윤리 정책포럼 등에서 가이드라인을 만들어주는 게 큰 도움이 된다. 정부와 학계, 법조계 전문가들이 논의하고 결과물을 내면 스타트업이 이를 보고 따라할 수 있으면 깔끔하다.

▶(천)어디까지 개인정보나 저작물 활용이 허용되는지 아직도 논란이다. 챗GPT는 위키피디아 등 전 세계의 데이터를 다 긁어서 학습하는데 여러 가지 소송이 들어오고 있다. 공개된 데이터의 경우에도 이를 가공해 다른 분야에 활용해도 되는지에 대한 동의가 불분명한 경우가 많다. 공개된 데이터에 대해서도 저작권을 인정하면서, 이를 활용해 생긴 수익을 저작권자와 공유하는 방법도 고민해볼만 하다. 앞으로 텍스트 데이터뿐만 아니라 이미지나 영상 데이터에 대해서도 같은 논쟁이 이어질 것이다.

-생성형 AI의 편향성 문제는 어떻게 극복해야하나.

▶(하)딥러닝 방식의 AI 특성상 출력물이 학습데이터의 영향을 많이 받는다. 다만 이후에 파인튜닝(Fine Tuning)이라는 추가 학습 단계를 통해 상당 부분 제어가 가능하다. 이루다2.0은 여기에 더해 편향적이거나 선정적, 공격적인 문장은 답변 문장 생성 과정에서 출력되지 않도록 필터링한다. 과거 (인종차별 논란을 일으킨) MS Tay처럼 유저와의 대화를 실시간 학습해서 업데이트하는 기능은 없다. 직전의 대화상황보다는 폭넓은 맥락을 참고하는 게 중요하다는 판단에서다. Tay 이후 업계에서 같은 실수를 반복하진 않을 것이다. 또 실시간 대화에서는 어뷰징이 검출되지 않더라도 일정 기간 대화가 누적되면 이를 정제해 다시 AI에 학습시키는 전(前)처리 프로세스를 통해 편향성을 극복하고 있다.

▶(천)학습 과정에서 문제가 될 수 있는 변수들을 사용하지 않는 게 중요하다. 성별이나 인종 등에 대한 편향적 데이터 입력을 금지해야 하는데 이를 간접적으로 추론하는 변수도 존재해 쉽진 않다. 그걸 풀어내는 게 기술적인 과제다. 사후 감사를 통해 들여다볼 가능성도 열어놔야 한다. 아울러 (구글에서 문제가 된) '고스트 워커'처럼 AI서비스에서 편향적 대화를 걸러내기 위해 하루 종일 악담에 시달리는 저임금 인력들에 대한 윤리적 문제 역시 고민해야 할 과제다.

-사용자들도 AI 학습 과정에서 데이터를 오염시키지 않도록 주의해야 하나.

▶(천)챗GPT 등을 이용해 다른 서비스를 제공하는 사업자들은 책임의식을 강제할 수 있겠지만 일반 사용자에게는 관여할 여지가 거의 없다. 당연히 데이터 오염시키거나 어뷰징하지 말라고 권고는 할 수 있지만, 법적으로나 윤리적으로 문제삼을 수는 없다. 소비자를 탓하기 보다는 악성 사용자가 나타나지 못하도록 데이터가 실시간으로 반영되지 않는 알고리즘을 잘 짜는 게 현명한 방법이다. 이를 어느 정도 예상하고 제대로 반응하려는 기업의 입장이 중요하다.

▶(하)이루다1.0 때도 베타테스트는 했는데, 필드에서 들어오는 실제 어뷰징은 차원이 다른 수준이었다. 대신 이루다1.0에서 부적절한 대화 샘플을 워낙 많이 수집해 이를 통해 AI로 어뷰징을 판단하는 모델을 만들 수 있었다. 선정적, 공격적이며 편향적인 대화를 카테고리별로 나누고, 이러한 대화를 시도하는 걸 즉각 판단하고 누적되면 이용을 차단하고 있다.

-AI윤리가 강력한 규제로 작용해 초기단계 산업 발전을 저해할 수 있다는 우려도 있다.

▶(천현득)자동차가 개발됐다고 그대로 다니게 할 수는 없다. 도로와 주유소를 깔고 사람과 가는 길을 분리하는 교통법규도 만들고 보험 시스템도 구축해야 하는데 그게 규제다. 규제 없이 차를 다니게 하면 사람이 다치고 혼란이 생긴다. AI는 자동차 이상으로 큰 영향을 미친다. 무작정 기술 개발이 좋은 건 아니고 좋은 목적에 잘 쓰일 수 있도록 인프라를 깔아야 한다. 그 인프라는 비단 기술 인프라만이 아니라 사회적, 문화적, 제도적 인프라까지 수반해야 한다. 그래서 연구자들은 '기술시스템'이 아닌, '사회기술시스템'이라는 표현을 강조한다.

규제를 무작정 두려워하기보다 이를 염두에 둔 기술활용 계획을 세워야 한다. 당연히 속도조절의 효과는 있을 테지만 그게 무조건 나쁜 건 아니다. 기업 입장에서도 성공하려면 소비자 수용성이 있어야 하고, 이는 서비스가 윤리적일 때 더 높아진다. 이루다의 경우도 윤리적 문제가 발생하니 시장에서 실패를 겪지 않았나. 경제적인 문제뿐 아니라 사회문화적인 요구에도 부합해야 수용성이 생긴다. 최근 구글, 메타 등 빅테크 기업들이 내세우는 윤리경영과도 맞닿아 있다.

▶(하주영)윤리와 기술 발전 사이 균형도 중요하다. 기술 발전에 대한 열망이 과도해도 안되지만 과도한 윤리 준수 압력이 기술발전을 저해해서도 안된다. AI윤리의 범위가 모호하다 보니, 경우에 따라 AI윤리를 과도하게 확장하는 실수가 생길 수 있다. 우리 모두가 지향하는 바는 윤리성을 갖춘 고성능 AI이지, 윤리적인 저성능 AI가 아니다. 지난 5월 MS 개발자 컨퍼런스에서 사티아 나델라 CEO는 AI를 "인간정신의 증기기관"으로 비유했다. 산업혁명에 버금간다는 얘기다.

처음 적용된 증기기관은 탄광의 배수펌프였지만, 산업혁명의 실제 아이콘은 기관차와 자동차, 선박과 방직기다. 증기 기관차나 방직기가 나오면 이에 대해 규제를 해야지, 증기기관 자체를 규제한다면 산업혁명은 없었을 것이다. 영국에서 증기 자동차가 나오자 너무 위험하다며 차 앞에서 빨간 깃발을 든 이가 미리 신호를 주도록 한 '적기조례' 때문에 지금까지 영국 자동차산업이 몰락했다는 의견도 있다. 챗GPT를 서비스하는 오픈AI의 지난해 적자가 8000억원이고, 아직 돈 버는 AI프로젝트도 없는데 규제를 너무 과도하게 세운다면 배수펌프를 넘어선 증기 기관차나 증기 선박의 등장을 가로막을까 우려된다.

-전반적인 AI윤리의 정립에 현재 필요한 부분은?

▶(천현득)아직은 아니지만 조만간 AI가 인간 수준에 비견되는 '초지능'에 도달할 거라고 보는 사람들이 꽤 있다. 저작권, 편향성, 고스트 워커 같은 현재의 단기 과제들과 함께 장기적인 관점에서의 대비도 필요하다. AI가 자율무기 시스템에 적용돼 인명 살상에 쓰일 우려도 대비해야 한다. 수년 전 카이스트가 군수업체 한화시스템과 협업을 시도하자 전 세계 연구진들이 카이스트 보이콧을 선언했던 게 이 같은 우려의 모습이다. 이러한 다양한 과제들에 대한 연구가 필요한데, 국내 연구진도 많지 않고 지원도 부족한 실정이다.

글로벌 AI윤리 거버넌스 논의에서 목소리를 낼 수 있는 채널, 이에 대한 연구 지원이 더 필요하다. 국가에서 각 대학의 AI윤리 연구를 체계적으로 지원하는 미국이나 영국에 비해 우리나라는 전문성 갖고 깊이 연구하는 분들이 굉장히 적다. 기술개발과 더불어 사회에 미칠 영향을 분석하는 데 대한 뒷받침이 있으면 좋겠다.

▶(하주영)항공산업이 산업화 과정에서 1, 2차 세계대전 등의 변곡을 겪으면서도 사회에 수용되고 신뢰를 구축했듯이 AI 역시 윤리적인 문제 등의 진통을 겪더라도 종국에는 사회와 잘 적응할 것이라고 믿는다.