대규모 언어 모델과 RAG 기술의 진화

1. 요약

• 이 리포트는 대규모 언어 모델(LLM)과 검색 보강 생성(RAG) 기술의 최근 발전과 그에 따른 기업 적용 현황을 조사합니다. 특히, Tecton, OpenAI, Google, Microsoft, F5, NetApp 등의 기업이 이 기술을 활용하여 AI 애플리케이션의 실시간 데이터 활용과 신뢰성을 강화하는 방법을 분석합니다. 또한 RAG와 LLM의 결합을 통해 고객 서비스와 데이터 분석에서 혁신을 가져오고 있는 사례를 소개합니다. 각 기업의 LLM 솔루션 특징을 살펴보고, 현재 AI 기술의 시장에서의 영향력을 조사하여, LLM과 RAG 기술의 최신 경향을 이해하고자 하는 독자에게 유용한 정보를 제공합니다.

2. Tecton의 플랫폼 개선

• 2-1. Tecton의 LLM 애플리케이션 생산화 지원

• Tecton은 Generative AI를 활용하려는 기업을 대상으로 플랫폼을 확장하여 실험적 AI 프로젝트에서 신뢰할 수 있는, 맥락 인지 애플리케이션으로의 전환을 지원합니다. 이 노력은 조직이 실시간 데이터를 효과적으로 활용하는 견고한 AI 시스템을 구축하는 데 필요한 도구를 제공하는 것을 목표로 합니다. Gartner의 최근 조사에 따르면 AI 이니셔티브의 단지 53%만이 프로토타입 단계에서 진행되며, 이는 비즈니스 가치를 전달하는 데 큰 격차가 존재함을 나타냅니다. LLM의 기업 환경 내 제한적인 채택은 주로 동적인 상황에서의 예측 불가능한 행동과 현재의 도메인 전문 정보에 대한 접근 부족 때문에 발생하고 있습니다. Tecton의 새로운 기능은 이러한 문제를 해결하기 위해 AI 애플리케이션 내에 상세한 실시간 맥락 데이터를 통합하여 신뢰성을 향상시키고 있습니다.

• 2-2. 실시간 데이터 활용 및 신뢰성 향상

• Tecton의 플랫폼 확장은 기업이 데이터를 활용하여 생산 AI 애플리케이션을 구축하는 방식을 혁신적으로 변화시키고 있습니다. 데이터 양이 아닌 데이터의 질을 중시함으로써, 기업들이 신뢰할 수 있는 임무-critical 시나리오에서 사용할 수 있는 더 스마트하고 회복력 있는 AI 애플리케이션을 배치할 수 있도록 지원합니다. RAG (검색 보강 생성) 기술을 도입하여 기업의 데이터를 LLM과 결합하여 더욱 정보에 기반한 결정을 내릴 수 있도록 합니다. 이러한 접근 방식은 전자상거래 AI 시스템이 고객의 브라우징 기록, 재고 상태, 진행 중인 프로모션을 평가하여 매우 관련성 높은 제품 추천을 제공할 수 있도록 합니다. 또한, Tecton은 관리되는 임베딩과 실시간 데이터의 확장 가능 통합을 포함한 기능 세트를 롤아웃하여 LLM이 쿼리를 처리하고 응답하는 방식을 최적화하고 있습니다.

3. 주요 LLM 솔루션 제공 기업

• 3-1. OpenAI의 GPT 모델

• OpenAI는 GPT-3와 최신 모델인 GPT-4를 포함한 혁신적인 언어 모델을 제공하는 가장 두드러진 기업입니다. 이 모델들은 자연어 이해, 기계 번역, 콘텐츠 생성 등 다양한 분야에 적용되며, 콘텐츠 제작 자동화, 가상 비서 개선, 고객 서비스 향상에 매우 유용한 도구로 평가받고 있습니다. OpenAI는 여러 산업과 협력하여 실제 응용 프로그램에 모델을 통합하며, 맞춤형 LLM 솔루션을 기업에 제공하여 최신 AI 기술을 다양한 분야에서 활용할 수 있도록 지원하고 있습니다.

• 3-2. Google DeepMind의 LLM 솔루션

• Google DeepMind는 대규모 언어 모델을 제공하는 또 다른 선도 기업으로, 강력한 데이터 통찰력을 지원하며 산업 전반에 걸쳐 AI를 접근 가능하게 만드는 데 집중하고 있습니다. Google의 LLM 솔루션은 고객 경험 개선, 연구 진행 및 운영 효율성 증대에 기여하고 있으며, 종합적인 AI 모델을 통해 더욱 정확하고 유연한 서비스 제공을 목표로 합니다.

• 3-3. Microsoft Azure AI의 통합 서비스

• Microsoft Azure AI는 Azure OpenAI 서비스를 통해 강력한 LLM 솔루션을 제공합니다. Microsoft는 클라우드 플랫폼에 LLM 기능을 통합하여 기업이 AI의 힘을 쉽고 빠르게 활용할 수 있도록 지원합니다. Azure의 LLM 솔루션은 업무 자동화, 의사 결정 과정 개선 및 AI 기반 응용 프로그램의 손쉬운 배포를 가능하게 합니다. OpenAI와 협력하여 GPT 모델을 제공함으로써, Microsoft는 시장에서 상위 LLM 제공업체 중 하나로 자리 잡고 있습니다.

• 3-4. Anthropic의 윤리적 AI 모델

• Anthropic은 상대적으로 젊은 기업이지만 LLM 솔루션 제공업체로서 주목받고 있습니다. 이 회사는 안전하고 공정한 대규모 언어 모델을 구축하는 데 힘쓰고 있으며, AI에 관련된 윤리적 문제를 해결하고자 합니다. Anthropic의 LLM 솔루션은 정확하고 해석 가능하며 인간의 가치와 일치하도록 설계되어 있어, 많은 기업들이 윤리적 AI를 활용하려는 노력에 적합한 솔루션으로 떠오르고 있습니다.

• 3-5. Cohere의 고성능 자연어 처리

• Cohere는 고성능 자연어 처리를 제공하는 선도적인 LLM 서비스 공급업체로, IT 지원 인공지능을 통해 언어 이해 및 생성 관련 서비스를 기업에 제공합니다. Cohere는 마케팅, 고객 관계, 연구 등 다양한 분야에서 콘텐츠 제작 및 고객 관계 향상을 위해 활용될 수 있는 LLM 서비스를 저렴한 가격으로 제공하여 스타트업과 예산이 한정된 조직에서도 액세스할 수 있도록 지원하고 있습니다.

4. RAG와 LLM 기술의 융합

• 4-1. RAG의 개념 및 적용

• 검색 보강 생성(Retrieval-Augmented Generation, RAG)와 대규모 언어 모델(LLM)은 고객 서비스 운영 및 대화 자동화에서 중요한 기술로 자리 잡고 있습니다. 이 기술들은 고객 상호작용을 자동화하고 대규모 데이터셋을 분석하는 새로운 기준을 설정하고 있습니다. RAG 및 LLM을 비즈니스 전략에 통합하는 데 드는 비용이 상당할 수 있지만 올바른 전략을 통해 품질을 유지하면서 비용을 관리할 수 있습니다. RAG의 핵심은 필요한 정보를 검색하고 이를 기반으로 응답을 생성하여 사용자 경험을 향상시키는 것입니다.

• 4-2. 고객 서비스 자동화와 데이터 분석의 혁신

• RAG와 LLM 기술의 결합은 고객 서비스의 자동화와 데이터 분석에서 혁신을 가져왔습니다. 대화형 AI는 정확도 및 효율성을 통해 신뢰성 있는 정보를 제공합니다. 예를 들어, Teneo의 자연어 이해(NLU) 엔진은 95% 이상의 정확도 비율을 기록하고 있습니다. 이러한 높은 정확도는 고객의 인식에 긍정적인 영향을 미치며, 고객 만족도를 증가시킵니다.

• 4-3. 비용 효율성을 통한 AI 통합

• AI 기술의 도입은 비용 효율성을 중시해야 합니다. Teneo는 RAG 봇을 구축하여 기업들이 최신 AI 기술을 효과적으로 활용할 수 있도록 돕고 있습니다. 이 플랫폼은 복잡한 고객 서비스 기능을 지원하며, 비용을 최대 98%까지 절감할 수 있는 방법을 제공합니다. 이는 기업들이 RAG와 LLM 기술을 도입할 때의 재정적 부담을 최소화합니다.

5. AI의 진화 및 기업 환경에서의 적용

• 5-1. AI 채택의 증가 및 규제 필요성

• 최근 AI의 채택이 급증하고 있으며, OpenAI의 ChatGPT는 주간 2억 명이 넘는 활성 사용자를 기록하고 있습니다. 이는 작년 1억 명에서 두 배로 증가한 수치입니다. AI 도구에 대한 의존도가 높아짐에 따라 기업 환경에서도 AI 활용이 증가하고 있으며, 고객 지원, 콘텐츠 생성, 비즈니스 인사이트 등 다양한 분야에서 AI가 활용되고 있습니다. 이에 따라 AI 기술에 대한 규제 필요성이 제기되고 있습니다.

• 5-2. LLM의 다목적 활용 사례

• 대규모 언어 모델(LLM)의 활용 사례는 다양합니다. OpenAI는 GPT-4를 통해 데이터 요약, 대화형 AI, 고급 문제 해결 등 복잡한 업무를 처리할 수 있는 모델을 제공하고 있습니다. 특히 Multimodal 기능을 통해 이미지를 텍스트와 동시에 처리할 수 있어 더욱 활용도가 높아졌습니다. Google Cloud Vertex AI는 문서 처리 자동화, 이커머스 개인화 검색 및 추천 기능 구현 등 다양한 산업에 적용됩니다. Cohere는 RAG(검색 보강 생성) 및 장기 컨텍스트 작업에 최적화된 모델을 제공하여 연구 및 보고서 생성 또는 고객 상호작용 관리와 같은 업무에서도 활용됩니다.

• 5-3. 미래의 기업 AI 환경

• 앞으로 기업의 AI 환경은 LLM 및 RAG 기술의 발전에 따라 변화할 것으로 예상됩니다. 예를 들어, Anthropic의 Claude 3.0는 최대 200,000개의 토큰을 지원하며, 이는 계약서나 연구 논문과 같은 장기간의 콘텐츠 처리에 적합합니다. 이러한 AI 기술은 기업의 혁신 및 자동화 기회를 제공하며, 동시에 데이터의 프라이버시 및 보안 측면에서 강력한 준수 기준을 요구하고 있습니다. 기술의 발전이 지속됨에 따라 기업들은 효율성을 높이기 위한 혁신적인 방법을 모색할 필요가 있습니다.

6. RAG의 평가 및 한계

• 6-1. RAG 시스템의 평가 기준

• RAG 시스템의 평가 기준에는 retrieval 평가와 generation 평가가 포함됩니다. retrieval에 대한 평가는 적절한 정보를 얼마나 잘 검색했는지를 판단하는 것에 중점을 두고 있습니다. 이에 따라 context relevancy(검색된 정보의 관련성)와 context recall(검색된 정보의 완전성)을 중요한 지표로 설정합니다.

• 6-2. 데이터 품질과 시스템 복잡성

• RAG 시스템에서 데이터 품질은 필수적이며, 인간의 피드백을 통해 시스템의 수행 능력을 평가하는 것이 중요합니다. 사용자는 검색된 정보가 질문에 얼마나 잘 부합하는지, 내용의 정확성, 유창성을 평가할 수 있습니다. 이 과정에서 평가 기준을 사전에 명확히 설정하는 것이 유용합니다.

• 6-3. 인간의 피드백을 통한 평가

• 인간 전문가의 피드백을 통해 RAG 시스템을 평가하는 방법은 전통적인 방식으로 지나치게 주관적이지 않도록 평가 기준을 정하는 것이 필요합니다. 전문가들이 평가한 결과의 상관 관계를 확인하여 피드백의 질을 검증할 수 있고, 여러 평가자의 결과를 평균 내어 시스템의 전반적인 성능을 평가할 수 있습니다.

7. 구글의 LLM 정확도 향상 기술

• 7-1. DataGemma와 Data Commons의 통합

• 구글은 LLM의 정확도를 향상시키기 위해 DataGemma라는 새로운 기능을 도입하였으며, 이를 통해 공공 데이터와 연결하여 모델 출력의 정확성을 높이고 있습니다. DataGemma는 데이터 커먼스(Data Commons) 플랫폼의 정보를 활용하여 사실 기반의 응답 생성을 지원합니다. 데이터 커먼스는 유엔, 세계보건기구, 미국 질병통제예방센터 등 믿을 수 있는 기관에서 제공하는 240조 개 이상의 데이터 포인트를 포함하고 있는 방대한 글로벌 데이터베이스입니다.

• 7-2. RIG 기술의 활용

• 구글은 Retrieval-Interleaved Generation (RIG) 기술을 통해 DataGemma에서 LLM의 응답 생성을 개선하고 있습니다. RIG 기술은 기존 데이터의 검색과 이를 인터리브하여 LLM 출력을 생성하는 방식으로 작동하며, DataGemma 프레임워크에서의 적용이 독특하다고 평가되고 있습니다. 이 기술은 통계 및 관련 배경 정보를 자동으로 검색하여 보다 정확하고 정보에 기반한 응답을 생성할 수 있도록 지원합니다.

• 7-3. LLM의 사실 기반 응답 생성

• 사실 기반의 LLM 출력을 생성하는 것은 기술의 발전에 있어 중요한 요소입니다. 구글은 LLM이 때때로 잘못된 정보를 자신감 있게 제공하는 문제, 즉 'Hallucination' 현상을 해결하기 위해 노력을 기울이고 있습니다. LLM이 실시간 데이터나 수치 정보를 처리할 때 이러한 오류가 빈번히 나타나며, 이를 개선하기 위해 RAG(검색 보강 생성) 기술과 RIG 기술을 결합하여 LLM의 정확도를 크게 향상시키고 있습니다. 이러한 접근 방식은 연구자와 개발자에게 더 나은 데이터 기반 출력을 생성할 수 있는 기회를 제공합니다.

8. LangChain 및 LLM 애플리케이션 구축

• 8-1. LangChain의 주요 기능 및 활용

• LangChain은 다양한 언어 모델을 지원하며, 사용자가 쉽게 전환할 수 있도록 돕습니다. 예를 들어, OpenAI의 GPT-4 모델을 사용할 수 있습니다. 이와 함께 LangChain은 다양한 구성 요소로 이루어져 있어, 각 구성 요소를 연결하여 복잡한 애플리케이션을 제작할 수 있습니다.

• 8-2. LLM 애플리케이션 개발 과정

• LLM 애플리케이션을 개발하기 위해 먼저 Jupyter Notebook을 설정해야 하며, 이는 LLM 작업에 적합한 환경입니다. LangChain을 설치한 후, 언어 모델을 인스턴스화 하고, 이를 통해 간단한 텍스트 번역 작업을 수행할 수 있습니다. 예를 들어, 다음과 같은 메시지를 사용하여 영어에서 이탈리아어로 번역하는 작업을 실행할 수 있습니다.

• 8-3. 서버리스 아키텍처에서의 LLM 구현

• 서버리스 아키텍처에서 LLM 애플리케이션을 구현하기 위해 LangServe를 사용할 수 있습니다. LangServe는 LangChain 애플리케이션을 REST API로 노출할 수 있도록 돕습니다. 이를 통해 개발자는 사용자가 상호작용할 수 있는 서버를 쉽게 설정하고 운영할 수 있습니다.

9. F5와 NetApp의 협력

• 9-1. 기업 AI 및 LLM 채택 촉진

• F5와 NetApp은 대규모 언어 모델(LLM)의 기업 배치를 촉진하기 위한 파트너십을 발표하였습니다. 이 협력은 F5의 안전한 다중 클라우드 네트워킹 솔루션과 NetApp의 데이터 관리 도구를 결합하여 이루어졌습니다. 이를 통해 하이브리드 클라우드 환경에서 LLM 사용을 촉진하며, AI 통합을 보다 용이하게 만들고 있습니다.

• 9-2. RAG 기술의 기업 환경에서의 통합

• 검색 보강 생성(RAG) 기술은 인공지능이 더 정확하고 맥락에 맞춘 응답을 제공할 수 있도록 돕습니다. 이는 관련된 데이터와 독점 데이터를 통합하여 생성된 답변에 포함함으로써 이루어집니다. F5와 NetApp의 파트너십은 이러한 RAG 기술의 구현을 개선하고, 기업 데이터의 단편화 문제를 해결하여 LLM과의 통합을 용이하게 합니다.

• 9-3. 데이터 관리의 혁신

• F5와 NetApp의 협력은 데이터를 안전하게 접근할 수 있도록 하여 기업이 데이터를 이동하고 활용하는 데 있어 혁신을 가져옵니다. F5는 자사의 높은 성능을 자랑하는 다중 클라우드 네트워킹 기능을 NetApp의 강력한 데이터 관리 솔루션과 통합하여 기업의 AI 채택을 가속화하고 있습니다. 이 통합된 솔루션은 기업이 ZONE과 지역 간에 데이터를 원활하게 마이그레이션할 수 있는 기능을 제공합니다.

결론

• 리포트는 LLM과 RAG 기술의 지속적인 발전과 이에 대한 주요 기업들의 향상된 AI 적용 방식을 분석합니다. Tecton을 비롯한 다양한 기업들이 LLM의 실시간 데이터 통합과 신뢰성 향상을 목표로 하고 있으며, OpenAI, Microsoft Azure AI, Google DeepMind는 그들만의 LLM 솔루션으로 다양한 산업에 기여하고 있습니다. 특히 F5와 NetApp의 협력은 AI 도입을 가속화하여 기업의 효율성을 극대화합니다. 이러한 기술 발전은 기업에 새로운 경쟁 우위를 제공하지만, 규제와 윤리적 측면이 수반되어야 합니다. 향후 기술과 책임 있는 AI 사용이 공존하는 방향으로 발전할 것이며, 이는 혁신과 규제의 균형을 맞추는 것이 필수적임을 제언합니다.

용어집

• Tecton [회사]: Tecton은 기업들이 LLM 애플리케이션을 생산화할 수 있도록 지원하는 플랫폼을 제공하는 회사로, 실시간 데이터 활용 및 AI 시스템의 신뢰성을 향상시키는 데 중점을 두고 있습니다.

• OpenAI [회사]: OpenAI는 GPT 모델을 통해 다양한 산업에서 AI 솔루션을 제공하는 선도적인 AI 기업이며, 그 모델들은 자연어 이해, 기계 번역, 콘텐츠 생성 등 다양한 분야에 활용됩니다.

• Google DeepMind [회사]: Google DeepMind는 대규모 언어 모델 및 AI 솔루션을 통해 여러 산업에서 데이터 인사이트를 제공하며, 고객 경험을 향상하는 데 기여하고 있습니다.

• Microsoft Azure AI [회사]: Microsoft Azure AI는 클라우드 기반의 LLM 솔루션을 제공하며, 기업들이 AI 기반 애플리케이션을 쉽게 구현할 수 있도록 지원합니다.

• F5 [회사]: F5는 안전한 멀티 클라우드 네트워킹 솔루션을 제공하는 기업으로, AI 통합을 위한 인프라 구축에 중점을 두고 있습니다.

• NetApp [회사]: NetApp은 데이터 관리 솔루션을 제공하여 기업들이 LLM을 안전하게 활용할 수 있도록 지원하며, 데이터 이동 및 최적화를 도모합니다.

출처 문서

• Tecton Unveils Platform Upgrade to Help Enterprises Productionise LLM Applicationshttps://techeconomy.ng/tecton-unveils-platform-upgrade-to-help-enterprises-productionise-llm-applications/
• Top Companies Offering LLM Solutionshttps://www.analyticsinsight.net/llm/top-companies-offering-llm-solutions
• RAG and LLM Technologies: A Practical Guide - Teneo.aihttps://www.teneo.ai/blog/rag-and-llm-technologies-a-practical-guide
• Lot of money to be made in this Cambrian explosion of AI - Times of Indiahttps://timesofindia.indiatimes.com/technology/times-techies/lot-of-money-to-be-made-in-this-cambrian-explosion-of-ai/articleshow/113507261.cms
• Enterprise LLM APIs: Top Choices for Powering LLM Applications in 2024 - Unite.AIhttps://www.unite.ai/enterprise-llm-apis-top-choices-for-powering-llm-applications/
• How to Evaluate RAG If You Don’t Have Ground Truth Data | by Jenn J. | Sep, 2024https://towardsdatascience.com/how-to-evaluate-rag-if-you-dont-have-ground-truth-data-590697061d89?source=rss----7f60cf5620c9---4
• Building a Simple LLM Application with LangChainhttps://medium.com/@scaibu/building-a-simple-llm-application-with-langchain-a-quickstart-guide-dc741c881314
• Google hallucination-proofing LLM: DataGemma to boost accuracy through Data Commonshttps://www.digitimes.com/news/a20240918PD213/google-gemma-llm-data-rag.html
• F5 & NetApp join forces to boost enterprise AI & LLM adoptionhttps://securitybrief.eu/story/f5-netapp-join-forces-to-boost-enterprise-ai-llm-adoption