[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.]
국내 AI(인공지능) 스타트업 업스테이지가 새롭게 개발한 생성AI 모델이 벤치마크 기관에서 GPT-3.5보다 높은 점수를 기록했다고 1일 밝혔다.
머신러닝 플랫폼 허깅페이스에서 운영하는 '오픈 LLM(거대언어모델) 리더보드'에서 업스테이지가 신규 개발한 70B(700억개)규모 매개변수의 생성AI 모델은 72.3점을 기록했다. 챗GPT의 기반모델인 GPT-3.5(71.9점)보다 높은 점수다.
허깅페이스의 오픈 LLM 리더보드는 오픈소스 생성AI 모델들의 성능을 평가하는 지표다. 100B(1000억개) 이하의 매개변수를 가진 오픈소스 LLM 500여개가 참여하고 있다.
허깅페이스는 △추론 △상식 능력 △언어이해 종합능력 △환각현상(할루시네이션) 방지 등 네 가지 지표를 평가한 뒤 점수를 내고 있다. GPT-3.5는 매개변수가 175B(1750억개)개로 오픈 LLM 리더보드의 평가대상은 아니지만 평가조건에 맞게 환산할 경우 71.9점이 된다.
앞서 업스테이지는 지난달 30B(300억개) 매개변수 모델을 제출해 64.7점을 얻었고, 지속적으로 업데이트해 이를 72.3점까지 끌어올렸다.
업스테이지의 LLM은 누구나 사용할 수 있도록 공개된 메타의 라마2 모델을 파인튜닝한 LLM이다. 업스테이지 측은 이를 통해 본격적인 '프라이빗 AI' 시장 개척에 나선다는 계획이다.
프라이빗AI는 기업 내부 데이터만 학습해 정보 유출을 막고 잘못된 정보를 생성하는 환각 현상을 방지하는데 특화된 솔루션으로 보안 이슈 등으로 생성 AI 도입을 주저하는 기업들에게 매력적인 대체재로 각광받고 있다.
김성훈 업스테이지 대표는 "업스테이지의 생성 AI 모델이 챗GPT를 능가하는 성능으로 세계 최고 수준의 기술력을 확인해 기쁘다"며 "앞으로 압도적인 기술력을 바탕으로 국내외 프라이빗AI 시장 지배력 강화에 박차를 가할 것"이라고 말했다.
