[스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
AI(인공지능)의 취약점에 대한 탐지·최소화 솔루션을 운영하는 에임인텔리전스가 AI 서비스 '클로드'(Claude) 운영사 앤트로픽의 비공개 AI 모델 정밀 진단 작업에 참여했다고 26일 밝혔다.
앤트로픽은 챗GPT 개발사인 오픈AI에서 퇴사한 인물들이 설립한 미국 스타트업으로, 최신 AI 모델인 클로드3는 오픈AI의 GPT-4와 구글 제미나이(Gemini)를 제치고 뛰어난 성능을 보여준 바 있다. 누적 투자유치 금액은 10조원 규모에 달한다.
지난해 7월 설립된 에임인텔리전스는 서울대 전기정보공학 석사 출신의 유상윤 대표가 이끌고 있다. 최근 앤트로픽이 AI 보안 강화를 위해 발표한 버그 바운티(Bug Bounty) 프로그램에 선발돼 보안 취약점을 찾아내는 작업을 진행했다.
에임인텔리전스는 CBRN(화학·생물학·방사능·핵) 관련 10개의 금지 질문에 대해 AI 모델이 얼마나 정확하게 대응하는지 평가했다. 전세계 해커 중 20명만 2개 이상의 문제를 우회하는데 성공했고, 에임인텔리전스의 박하언 연구원도 여기에 포함돼 보안 분석 능력을 입증했다.
에임인텔리전스 관계자는 "AI 모델이 내장한 보안 기능을 우회할 수 있는 방법을 탐색하며 기존의 방어 체계를 뚫는 새로운 기법을 실험했다"며 "그 연구 결과는 AI 보안성 강화를 위한 중요한 참고자료로 활용됐다"고 했다.
앤트로픽은 이를 기반으로 AI 안전성을 높이기 위한 '헌법적 분류기'(Constitutional Classifier) 논문을 발표했다. 이 논문은 AI 모델이 보다 정교하게 위험한 질문을 감지하고 대응하는 방안을 제시했다.
에임인텔리전스는 AI 보안 점검을 자동화하는 솔루션 'AIM Supervisor'로 기업들이 자사 AI 서비스의 신뢰성을 손쉽게 검증할 수 있도록 돕고 있다. 레드팀 공격(취약성을 찾는 모의 테스트)을 자동 수행해 보안 취약점을 사전에 탐지하는 기능이 강점이다.
에임인텔리전스 관계자는 "기존 보안 전문가들이 수작업으로 점검해야 했던 부담을 대폭 줄였다"며 "탐지된 취약점 유형을 자동 차단하는 기능을 통해 기업들이 보다 강력한 보안 체계를 구축할 수 있도록 지원하겠다"고 말했다.
