생성형 AI 시대의 환각 극복법: RAG 전략 총정리

1. 요약

• 생성형 AI의 눈부신 발전은 다양한 산업 분야에서 사용자들의 요구에 부응하고 있지만, 이를 구현하는 과정에서 발생하는 '환각(Hallucination)' 현상은 신뢰성 문제로 이어지고 있습니다. LLM 기반의 시스템에서 주로 발생하는 환각 문제는 AI가 비현실적인 정보나 사실이 아닌 내용을 생성하게 만드는 요인으로, 고객의 신뢰를 상실할 위험이 존재합니다. 이를 해결하기 위한 핵심 전략으로 주목받고 있는 검색 증강 생성(RAG)의 개념은 LLM의 정보 처리 한계를 극복하고, 보다 정확하고 신뢰할 수 있는 응답을 제공할 수 있습니다. RAG는 기존의 대규모 언어 모델(LLM)이 지도학습 데이터 외부의 정보를 검색하여 활용하는 과정을 통해 실시간으로 신뢰성 있는 지식을 전달하는 방식으로 작동합니다.

• AWS 아키텍트들의 추천 및 실제 기업들(배민, 야놀자, 정육각, 쏘카)의 사례를 통해 RAG 전략의 구체적인 구현 방법 및 효과를 살펴볼 수 있습니다. 배민의 경우, 사용자 맥락을 이해하여 적절한 음식을 추천하는 방향으로 RAG를 적용하여 직접적인 고객의 요구를 충족시키고 있습니다. 야놀자는 방대한 숙소 리뷰를 활용하여 AI가 필요 정보를 자동 요약할 수 있도록 하여, 고객의 의사결정을 돕고 있습니다. 정육각과 쏘카는 각각 사용자 리뷰 작성 효율성을 높이고 고객 지원의 품질을 강화하는 방식으로 RAG를 활용하고 있습니다. 이러한 전략은 기업들이 신뢰성과 효율성을 극대화할 수 있는 여지를 제공합니다.

• RAG의 도입은 단순히 AI 기술의 발전을 넘어서, 기업의 고객 경험과 비즈니스 모델 혁신을 여는 열쇠입니다. 고객이 필요로 하는 정보를 실시간으로 제공할 수 있는 능력을 갖춘 기업은 경쟁 시장에서 보다 두드러진 위치를 차지하게 될 것으로 예상됩니다.

2. RAG 개념과 필요성

• 2-1. RAG의 정의

• RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 생성형 AI 시스템에서 정보의 정확성과 신뢰성을 극대화하기 위해 고안된 기법입니다. RAG는 대규모 언어 모델(LLM)이 기존에 학습한 데이터 외부의 신뢰할 수 있는 지식 베이스를 참고하여 보다 정확하고 풍부한 응답을 생성하는 과정을 포함합니다. 이는 이미 강력한 LLM의 기능을 특정 도메인 또는 조직의 내부 지식으로 확장하는 효과를 가져다주며, 별도의 재교육 없이도 실행할 수 있는 비용 효율적인 방법으로 평가받고 있습니다.

• RAG의 작동 방식은 기존 LLM 모델이 생성하는 결과물이 최신 정보나 특정 기업과 관련된 정보가 부족할 때 발생하는 문제를 해결하기 위해, 독립적으로 존재하는 정보 저장소에서 타기팅된 정보를 검색하여 이를 답변 생성에 활용하는 것입니다. 이러한 방법은 생성형 AI 서비스가 보다 시의적절하고 정확한 정보를 제공하는 데 핵심적인 역할을 합니다.

• 2-2. 생성형 AI의 환각 이슈

• 환각(Hallucination) 현상은 생성형 AI가 실제로 존재하지 않는 정보를 사실처럼 서술하거나, 비현실적인 답변을 생성하는 문제를 의미합니다. 이는 LLM이 과거의 학습 데이터를 기반으로 응답을 생성하기 때문에 발생하는 한계 중 하나로, 최신 정보나 특정 전문 지식이 부족한 경우 더욱 두드러집니다. 특히, 사용자가 기대하는 정확한 정보를 제공하지 못할 경우, 이는 고객의 신뢰를 낮추고, 최악의 경우 비즈니스적 손실로 이어질 수 있습니다.

• RAG는 이러한 환각 현상을 최소화하는 데 기여할 수 있는 기술로, LLM이 내부 데이터 소스에서 신뢰할 수 있는 최신 정보를 검색하고 이를 포함하여 응답을 생성하도록 돕습니다. 이를 통해 LLM이 알고 있는 일반화된 지식과는 비교할 수 없는 정확성 높은 답변을 제공할 수 있으며, 이는 고객에게 신뢰를 구축하는 데 필수적입니다.

• 2-3. RAG 도입 배경

• RAG의 도입 배경에는 기업들이 직면한 정보의 신뢰성과 최신성 문제에 대한 해답이 있습니다. 기업에서 생성형 AI를 활용하는 목적 중 하나는 고객 문의에 대한 빠르고 정확한 응답을 제공하는 것이지만, 전통적인 LLM만으로는 지속적인 정보 업데이트가 어려운 상황에서 이들이 의존할 수 있는 현실적인 대안이 필요해졌습니다.

• 또한, 데이터 보안 및 개인정보 보호 문제가 점차 중요성이 커지면서, RAG는 기업 내부 데이터 소스를 활용하여 생성형 AI의 학습 과정에서 외부의 불필요한 정보에 의존하는 것을 줄이고, 기업의 고유 데이터에 기반하여 보다 안전하고 신뢰할 수 있는 AI 서비스를 구축할 수 있도록 돕습니다. 이러한 배경에서 RAG는 기업들이 정보의 신뢰성을 확보하고, 고객 경험을 향상시키는 데 효과적이라는 점에서 각광받고 있습니다.

3. LLM 한계와 RAG의 역할

• 3-1. 소규모 LLM의 환각 문제

• 소규모 LLM(sLLM)은 대규모 언어 모델(LLM)보다 파라미터 수가 적어, 결과적으로 정보 처리 및 기억 용량이 제한적입니다. 이는 소규모 LLM이 사용자의 질의에 대해 환각(Hallucination)이라 불리는 비정상적인 오류를 일으키는 원인 중 하나가 됩니다. 환각이란 모델이 실제 데이터나 사실과 일치하지 않는 정보를 생성하는 현상으로, 예를 들어 존재하지 않는 사실을 만들어 내거나 잘못된 정보를 제시하는 경우를 의미합니다. 특히, LLM이 특정 도메인에 대해 충분한 사전 학습을 받지 않은 경우 이러한 현상이 더욱 빈번하게 발생할 수 있습니다. 이러한 문제를 해결하기 위해, 환각을 줄이기 위한 다양한 접근 방법이 모색되고 있으며, 그 중 하나가 RAG입니다.

• 3-2. 사전 학습 데이터의 제약

• 사전 학습 데이터를 구성하는 정보는 일반적으로 수집된 시점에 한정되어 있으며, 시간이 지남에 따라 그 유효성은 감소합니다. 예를 들어, 특정 주제에 대한 오래된 데이터를 기반으로 해서 생성된 답변은 현재 시점에서의 실질적인 정보와 다를 수 있습니다. 이로 인해 기업들이 최신 정보를 반영하지 못한 채 응답을 생성하게되는 경우 신뢰도가 저하될 우려가 있습니다. 초기 LLM은 이러한 한계 때문에 실시간 동적인 정보에 대한 접근이 어려웠습니다. 그러나 RAG 기법을 활용하면 이런 문제를 극복할 수 있습니다. RAG는 외부 데이터 소스에서 최신 정보를 검색해와 LLM의 응답을 보강함으로써 상황에 맞는 신뢰할 수 있는 정보를 제공하게 됩니다.

• 3-3. RAG를 통한 정보 신뢰성 강화

• 검색 증강 생성(RAG)은 LLM의 기존 구조를 최대한 활용하면서, 외부 데이터베이스와 통합하여 정보를 검색하는 기능을 추가함으로써 LLM의 신뢰성을 높이는 혁신적인 접근 방법입니다. 이 프로세스는 크게 세 단계로 나눌 수 있습니다. 첫째, 사용자의 질의를 처리하여 관련된 정보의 검색을 수행하고, 둘째, 검색된 정보를 기반으로 LLM의 응답을 생성하며, 마지막으로, 생성된 응답에 신뢰성을 부여하기 위해 원본 데이터의 출처를 인용하는 것입니다. 이렇게 RAG를 통한 정보의 증강은 LLM이 더 많은 맥락적이고 관련성 높은 정보를 제공할 수 있게 하여, 궁극적으로 사용자에게 정확하고 신뢰성 높은 결과를 제공합니다.

4. 기업들의 RAG 활용 사례

• 4-1. 배민의 RAG 적용

• 배달의민족을 운영하는 우아한형제들은 생성형 AI와 사용자 리뷰를 결합하여 새로운 추천 서비스를 제공하고자 하였습니다. 현재 송파 지역에서 테스트 중인 이 서비스는 유저의 맥락, 즉 실제적인 사용자 상황에 따라 적절한 배달 음식을 추천하는 기능을 포함하고 있습니다. 예를 들어, 부모가 자녀와 함께 음식을 주문할 때, 매운 음식은 피해야 한다는 특수한 요구를 인지하고 이를 기반으로 추천을 하게 됩니다.

• 이러한 서비스의 핵심은 유저의 리뷰 데이터 분석에 있습니다. 배민 팀은 유저 리뷰에서 '아이와 즐길 수 있는' 등의 중요한 컨텍스트를 파악하고, 이를 생성형 AI로 분석하여 맥락에 맞는 추천을 생성하는 방식입니다. 이에 따라, 리뷰의 클러스터링과 유사성 분석을 통해 구체적인 키워드를 추출하고, 이를 기반으로 AI가 추천 결과를 도출해내는 구조입니다. 이 과정은 사용자에게 배달 음식을 선택하는 데 있어 큰 도움을 줄 수 있는 혁신적 접근으로 평가됩니다.

• 4-2. 야놀자·정육각·쏘카 사례

• 야놀자는 방대한 숙소 리뷰 데이터를 기반으로 생성형 AI 기술을 활용하여 유저에게 필요한 정보를 추출하고 요약하는 서비스를 제공하고 있습니다. 사용자는 특정 숙소에 대한 리뷰를 보고자 할 때, 높은 평점의 리뷰와 낮은 평점의 리뷰를 요약하여 제시받습니다. 이를 통해 유저는 숙소의 장단점을 손쉽게 비교하고, 의사결정에 필요한 정보를 빠르게 파악할 수 있게 되었습니다.

• 정육각은 차별화된 접근으로, 유저 리뷰 작성의 효율성을 높이고자 '리뷰 작성 도우미' 기능을 도입합니다. 이 기능은 유저가 간단한 키워드만 입력하면, 기존의 리뷰 데이터를 학습한 생성형 AI가 유저의 개성과 스타일에 맞는 리뷰를 자동으로 생성해 주는 방식입니다. 이로 인해 유저는 리뷰 작성의 번거로움에서 해방될 수 있으며, 일정 수준 이상의 리뷰 데이터를 확보할 수 있게 되어 서비스의 척도를 높일 수 있습니다.

• 쏘카는 고객 센터의 24시간 운영에 생성형 AI를 도입하여 고객 문의 대응을 개선하였습니다. 과거 축적된 고객 응대 데이터를 기반으로 고객의 의도를 분석하고, RAG 방식을 통해 고객 요청에 정확하고 신뢰성 높은 정보를 제공하고자 하였습니다. 이를 통해 쏘카는 고객 응대의 품질을 한층 높이며 서비스를 향상시키고 있습니다.

• 4-3. 도입 효과와 시사점

• 기업들이 RAG 방식을 활용해 생성형 AI를 도입함으로써 얻은 가장 큰 효과는 유저 경험의 질적 향상이었습니다. 특히, 사용자 맞춤형 추천 시스템과 자연어 처리 기술의 융합은 더 나은 서비스를 제공하는 기초로 작용하고 있습니다.

• 또한, 이 같은 사례들은 생성형 AI가 다양한 산업 분야에서 효율성을 극대화할 수 있음을 보여줍니다. 각 기업은 RAG 전략을 활용하여 데이터의 가치와 활용도를 높임으로써, 경쟁력을 한층 강화할 수 있는 기회를 맞이하고 있습니다. RAG의 도입은 단순한 기술적 진보에 그치지 않고, 회사의 비즈니스 모델 혁신에도 기여하고 있습니다.

5. AWS 아키텍트가 제안하는 RAG 전략

• 5-1. 검색 증강 생성 전략

• 검색 증강 생성(Retrieval-Augmented Generation, RAG)은 대규모 언어 모델(LLM)과 외부 지식 기반을 결합하여 신뢰성이 높은 정보를 생성하는 접근법입니다. RAG는 모델의 출력을 최적화함으로써 환각 현상을 방지할 수 있으며, 특히 기업 환경에서 신뢰할 수 있는 데이터 기반의 서비스를 제공하는 데 중요합니다. 이러한 전략은 기업의 요구에 맞춰 내부 지식과 외부 데이터를 효율적으로 활용함으로써, 높은 수준의 정보 정확성을 보장합니다.

• 5-2. 구현 시 고려사항

• RAG 전략을 성공적으로 구현하기 위해서는 몇 가지 핵심 요소를 고려해야 합니다. 첫째, 데이터를 저장하고 관리할 수 있는 적절한 인프라가 필요합니다. AWS에서는 아마존 오픈서치 서비스(Amazon OpenSearch Service), 아마존 오로라 포스트그레SQL(Amazon Aurora PostgreSQL), 아마존 RDS 포 포스트그레SQL(Amazon RDS for PostgreSQL)과 같은 다양한 벡터 데이터베이스를 제공하여 기업이 요구하는 데이터 관리와 검색 환경을 마련할 수 있습니다.

• 둘째, 데이터의 품질과 최신성을 확보하는 것이 중요합니다. 모델이 사용하는 데이터가 정확하고 신뢰할 수 있어야 하며, 정기적으로 업데이트되어야 합니다. AWS의 데이터 품질 관리 도구인 AWS Glue Data Quality를 활용하면 데이터의 품질을 지속적으로 모니터링하고 개선할 수 있습니다.

• 셋째, 보안과 프라이버시를 고려해야 합니다. 고객의 데이터에 대한 제어 권한은 고객에게 있으며, AWS는 고객 데이터의 보안을 유지하기 위한 다양한 암호화 및 접근 관리 기능을 제공합니다.

• 5-3. 기업 맞춤형 RAG 설계

• 기업 맞춤형 RAG 설계는 각 기업의 고유한 요구 사항과 데이터 환경을 반영해야 합니다. 예를 들어, 기업이 운영하는 특정 산업에 대한 데이터셋을 기반으로 모델을 미세 조정(fine-tuning)함으로써, 더 높은 정확도를 달성할 수 있습니다. 이러한 맥락에서, AWS는 아마존 베드록(Amazon Bedrock)과 같은 관리형 서비스를 통해 사용자화된 모델을 구축할 수 있도록 지원하고 있습니다.

• 또한, RAG 기반 시스템은 고객의 기존 데이터와 비즈니스 프로세스를 통합 함으로써 실제 비즈니스 환경에서 효과적으로 작동할 수 있습니다. 예를 들어, 내부 문서와 외부 정보를 결합해 고객 요청에 대한 정확한 답변을 제공함으로써 고객 서비스 품질을 향상시킬 수 있습니다.

결론

• RAG는 생성형 AI의 가장 우려스러운 한계인 환각 현상을 효과적으로 억제하며, 기업이 최신 정보 기반으로 신뢰도 높은 응답을 제공할 수 있도록 돕는 핵심적인 기술입니다. AWS 아키텍트들이 제안하는 RAG 전략은 데이터 소스 설계 및 인덱싱, 쿼리 최적화등의 단계를 체계적으로 구축하는 데 중점을 두고 있습니다. 이를 통해 기업은 정확하고 신뢰성 있는 AI 서비스를 구현할 수 있는 기반을 마련하게 됩니다.

• 향후 RAG의 적용 범위는 멀티모달 데이터 통합, 실시간 정보 업데이트 파이프라인 강화 등으로 확장될 것입니다. 이는 기업이 복잡한 정보를 처리하고 신속하게 대응할 수 있는 능력을 높일 뿐 아니라, 고객의 요구를 정확히 파악하고 이를 기반으로 서비스를 제공하는 데 필수적입니다. RAG는 단순한 기술적 진보를 넘어서 기업의 비즈니스 모델 혁신에 기여할 것이므로, 향후 AI 서비스의 신뢰성과 경쟁력 확보를 위해 더욱 중요한 전략으로 자리잡을 것입니다.

용어집

• RAG: RAG(검색 증강 생성, Retrieval-Augmented Generation)는 생성형 AI 시스템에서 정보의 신뢰성과 정확성을 높이기 위해 설계된 기법으로, 대규모 언어 모델(LLM)이 기존 학습 데이터 외부의 신뢰할 수 있는 지식 베이스를 참고하여 보다 풍부한 응답을 생성하는 방식을 포함합니다. 이를 통해 AI의 기능을 특정 도메인 또는 조직의 내부 지식으로 확장할 수 있습니다.

• 환각(Hallucination): 환각은 생성형 AI가 실제로 존재하지 않는 정보를 사실처럼 전달하거나 비현실적인 답변을 생성하는 현상을 의미합니다. LLM의 학습 데이터에 한계가 있는 경우에 이러한 현상이 발생하며, 이는 고객 신뢰도 저하와 비즈니스적 손실로 이어질 수 있습니다.

• LLM: LLM(대규모 언어 모델, Large Language Model)은 방대한 양의 텍스트 데이터를 기반으로 학습한 AI 모델로, 자연어를 이해하고 생성하는 데 사용됩니다. 그러나 최신 정보에 대한 접근성이 부족하여 신뢰할 수 없는 답변을 생성할 수 있는 한계가 있습니다.

• sLLM: sLLM(소규모 LLM, Small Language Model)은 대규모 언어 모델 대비 파라미터 수가 적고, 정보 처리 및 기억 용량이 제한적입니다. 이러한 특성 때문에 사용자의 질의에 대해 환각 현상이 발생할 가능성이 높습니다.

• 검색 증강 생성: 검색 증강 생성(RAG)은 기존의 대규모 언어 모델을 기반으로 하여 외부 데이터베이스에서 필요한 정보를 검색한 뒤 이를 활용해 더욱 신뢰성 높은 응답을 생성하는 방법론입니다. 이를 통해 AI는 더 정확한 정보와 맥락을 제공할 수 있습니다.

• AWS: AWS(Amazon Web Services)는 클라우드 컴퓨팅 서비스를 제공하는 아마존의 자회사로, 데이터 관리, 분석 및 AI 기술에 특화된 다양한 서비스를 제공합니다. RAG 전략의 구현 시 주요 인프라로 활용됩니다.

• 기업 사례: 보고서에 등장하는 기업들(배민, 야놀자, 정육각, 쏘카)은 각각 RAG 전략을 통해 사용자 맞춤형 서비스를 개발하거나 고객 경험을 향상시키는 데 성공적인 사례를 보여줍니다.

출처 문서

• AWS코리아 3인의 아키텍트가 전하는 생성형 AI 시대에 대응하는 RAG 전략https://techsuda.com/awskorea-rag-230626/
• 당신의 LLM이 잘 동작하지 않는 이유http://www.itdaily.kr/news/articleView.html?idxno=223730
• 배민, 야놀자, 정육각, 쏘카의 AI 활용과 RAGhttps://brunch.co.kr/@ericpm/5
• 검색 증강 생성(RAG)이란 무엇인가요?https://www.oracle.com/kr/artificial-intelligence/generative-ai/retrieval-augmented-generation-rag/