2024년의 막바지인 지금 단순히 LLM(Large Language Model·거대언어모델)의 놀라운 성능에 감탄하던 시기는 이미 지났다. 이제는 LLM이 실제 문제를 얼마나 효과적으로 해결할 수 있는지, 실제 어떤 효용성이 있는지 등이 LLM을 평가하는 핵심기준이 되고 있다.

AI(인공지능)기술이 예상을 뛰어넘는 속도로 발전하면서 기업들도 AI를 어떻게 효율적으로 활용하느냐가 경쟁력 확보를 위한 필수요소가 돼가고 있다. 특히 기업 내부의 방대한 문서를 활용하는데 초점을 맞춘 기술들이 주목받고 있다. 여기에 사용되는 기술 가운데 하나가 RAG(Retrieval-Augmented Generation·검색증강생성)이다. RAG는 LLM이 학습하지 않은 지식에도 답을 할 수 있도록 외부에서 적절한 데이터를 검색해 LLM에 제공하는 기술이다. LLM의 고질적 문제인 환각현상 등을 막는다.

예컨대 기업이 LLM을 활용하면서 기업 내부의 정보에 대해 물으면 부정확한 정보를 기반으로 틀린 답을 생성해낸다. 이때 RAG는 내부문서를 검색해 LLM에 필요한 지식을 제공한다. 이에 올거나이즈 등 테크 스타트업이 개발하는 RAG는 LLM을 실효성 있는 도구로 만드는 핵심적인 역할을 한다.

최근 들어 RAG는 AI 에이전트라는 새로운 솔루션에 접목되고 있다. AI 에이전트는 사람이 아닌 AI가 사용자의 문제를 자율적으로 해결하는 솔루션이다. LLM과 달리 단순히 주어진 질문에 답을 하는 데서 더 나가 답변에 맞춰 실제 행동까지 수행할 수 있는 것이 특징이다.

RAG는 여기에 접목돼 AI 에이전트가 최적의 답변을 내놓고 행동할 수 있도록 지원한다. 이에 AI 에이전트에 접목되는 RAG는 정보검색을 넘어 사용자와의 상호작용을 기반으로 질문의 의도를 더 명확히 파악한다. 이를 통해 유사하거나 모순된 정보를 기반으로 사용자가 질의했을 때 맥락에 어긋난 응답을 내놓는 경우를 막는다. 적합한 정보를 선별하고 최적의 답변과 행동을 수행하도록 하는 것이다.

세부적으로 보면 먼저 AI 에이전트에 접목된 '에이전트 RAG'는 모순된 정보들이 입력될 경우 사용자에게 필요한 부가정보를 물어보며 정보를 재확인한다.

LLM은 이를 통해 어떤 정보를 활용해야 할지를 결정하고 사용자의 의도에 최적화한 답변을 내놓게 된다. 기존 RAG가 그렇듯이 오늘자 환율이나 주가처럼 실시간 정보가 필요한 경우 검색을 통해 실시간으로 정보를 가져와 최적의 답변을 제공하는 역할을 하는 것은 물론이다.

AI 에이전트와 에이전트 RAG 같은 기술들은 기업의 생산성을 획기적으로 향상하고 고객경험을 완전히 새롭게 정의할 잠재력을 가지고 있다. 앞으로의 AI는 더욱 지능화돼 인간을 대신해 스스로 문제를 해결하고 더 나가 스스로를 혁신하는 방향으로도 발전할 것이다.

이러한 변화는 기업들에 기회인 동시에 도전과제를 제시한다. 비록 초기에는 시행착오를 겪을 수 있겠지만 이러한 기술적 변화를 빠르게 수용하는 기업일수록 경쟁에서 격차를 더 크게 벌려나갈 것이다. 한국의 많은 기업이 적극적으로 기술을 채택하면서 변화에 앞장설 수 있기를 기대해본다.



[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]