[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] AI(인공지능) 경량화·최적화 스타트업 스퀴즈비츠가 기업 고객들이 자사의 서비스에 대규모언어모델(LLM)을 손쉽게 연동할 수 있는 솔루션인 '핏츠 온 칩스(Fits on Chips)'를 출시했다고 4일 밝혔다.
핏츠 온 칩스는 기업이 LLM을 활용해 서비스를 제공하는 'LLM 서빙'의 전 과정을 단순·최적화하는 솔루션이다. 모델 선택 단계부터 서빙 옵션 조정, 장치 및 프레임워크 설정, 성능 평가, 배포까지 필요한 모든 단계를 지원한다.
스퀴즈비츠 측은 "허깅페이스 등 오픈소스 라이브러리와 연동해 다양한 LLM 모델을 손쉽게 통합하고 성능을 비교 평가해 최적의 LLM 서빙 설정 값을 찾아 적용하는 방식"이라며 "이를 통해 엔지니어의 작업 시간을 10분의 1로, 비용은 약 2배 이상 절약할 수 있다"고 설명했다.
스퀴즈비츠는 최근 인텔, 네이버와 함께 인텔의 가우디 하드웨어에서 LLM을 효율적으로 작동시키기 위한 협업 프로젝트를 진행하고 있다. 이번 협업을 통해 엔비디아의 GPU에 이어 인텔의 가우디까지 핏츠 온 칩스의 지원 범위를 확장했다. 추후 다양한 하드웨어를 비용, 속도 관점에서 비교할 수 있도록 제공할 방침이다.
하드웨어뿐 아니라 vLLM, TensorRT-LLM과 같은 프레임워크를 다각도로 비교 분석하는 기능도 제공한다. 사용자는 분석 결과를 바탕으로 최적화된 LLM 서빙 환경을 구축해 인프라의 전체적인 효율을 극대화할 수 있다. 추후 AI 에이전트를 연동하고 AMD, 아마존, 구글 등 하드웨어 지원 범위를 확장할 계획이다.
김형준 스퀴즈비츠 대표는 "누구나 쉽게 LLM 서빙을 시뮬레이션하고 분석해볼 수 있도록 제품을 설계하고 개발했다"며 "앞으로도 LLM 서빙 솔루션을 비롯한 다양한 기술 개발을 통해 AI 서비스 기업의 성능 최적화와 비용 절감을 적극 지원하겠다"고 말했다.
