[이 기사에 나온 스타트업에 대한 보다 다양한 기업정보는 유니콘팩토리 빅데이터 플랫폼 '데이터랩'에서 볼 수 있습니다.] 망고부스트는 AI(인공지능) 추론 성능과 효율성을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트'(Mango LLMBoost™)를 출시했다고 17일 밝혔다.
망고부스트는 AI 데이터 센터 효율성을 극대화하기 위한 첨단 시스템 솔루션을 제공하는 스타트업이다. 카드, 서버, 랙을 포함한 다양한 솔루션의 핵심인 망고부스트의 데이터센터용 데이터처리가속기(DPU)는 범용 그래픽처리장치(GPU), 가속기, 스토리지 제품과 호환돼 비용 효율적이고 표준화된 AI 인프라를 구현하는 게 특징이다.
망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 사전패칭(Prefetching) 기술 및 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 기반으로 개발됐다. 회사에 따르면 해당 모델을 적용하고 거대언어모델(LLM)을 구동한 경우, 최대 12.6배의 상대적 성능이 향상되고 92%의 비용이 절감됐다.
망고부스트 관계자는 "망고부스트 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하고 있다"며 "정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다.
특히, 해당 제품은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포와 오픈 응용프로그램 인터페이스(API) 호환성 등이 강점이다. 망고 LLM부스트는 엔비디아와 AMD의 주요 GPU와 모두 호환이 가능하다. 라마, 믹스트랄, 젬마, 큐웬2, 라바, 파이3, 카멜레온, 미니CPM, GLM-버전4 등 다양한 채팅·멀티모달 모델에서 검증됐다.
김장우 망고부스트 대표는 "망고부스트의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔다"며 "망고부스트 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화해 AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다. 이를 통해 고객들이 기존 인프라로 더 많은 성과를 이룰 수 있도록 지원하겠다"고 밝혔다.
