[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] AI(인공지능) 및 반도체 통합 솔루션 개발 스타트업 디노티시아가 한양대학교 AIHA연구실과 공동 개발한 AI 양자화(경량화·Quantization) 알고리즘 평가 플랫폼 'QLLM-INFER'를 공개했다고 8일 밝혔다. 해당 플랫폼은 깃허브(GitHub)에 오픈소스로 공개돼 누구나 사용할 수 있다.
AI 양자화는 데이터를 더 작은 표현으로 변환해 AI 모델의 크기를 줄이고 계산량을 감소시키는 기술이다. LLM(거대언어모델)을 개인용 컴퓨터나 스마트폰에서 작동할 수 있도록 하는 데 사용된다.
다만 AI 양자화는 다양한 알고리즘이 서로 다른 환경과 조건에서 평가돼 비교가 쉽지 않았다. 디노티시아와 한양대는 이런 문제를 해결하기 위해 표준화된 환경에서 알고리즘 성능을 정확히 비교할 수 있는 플랫폼을 만들었다. 더불어 최근 3년간 가장 많이 주목받은 양자화 기술 8가지를 선정해 동일한 조건에서 객관적으로 평가했다.
특히 이 플랫폼은 △가중치와 활성화 값 (모델의 기억과 계산을 담당하는 값)을 모두 줄이는 방식 △가중치만 줄이는 방식 △AI가 긴 입력을 처리할 때 임시 저장하는 공간(KV 캐시)을 줄이는 방식 등 세 가지 유형을 나눠 알고리즘 성능을 분석했다.
정무경 디노티시아 대표는 "L LM 서비스가 널리 상용화되기 위해서는 양자화를 통한 모델 경량화가 필수적"이라며 "QLLM-INFER'는 양자화 알고리즘의 성능을 객관적이고 투명하게 비교해 최적의 양자화 솔루션을 선택하거나 새로운 양자화 기술을 개발하는 데 도움을 줄 것"이라고 말했다.
최정욱 한양대학교 융합전자공학과 교수는 "이번 플랫폼은 AI 연구에 처음으로 표준화된 평가 기준을 제시했다는 점에서 학문적으로 의미가 있다"며 "AI 연구자들이 이 플랫폼을 통해 더욱더 객관적이고 신뢰성 높은 연구 성과를 낼 수 있을 것으로 기대한다"고 말했다.
