현재 SK텔레콤은 AX(Artificial Intelligence Transformation) 전략을 통해 AI 기반 고객 대응 시스템의 혁신을 모색하고 있습니다. 이 과정에서 ChatGPT, Claude, Perplexity 등 다양한 멀티 LLM(대형 언어 모델)을 통합 활용함으로써 각 모델의 장점을 극대화하고 있습니다. AX 전략의 핵심은 데이터 활용으로, 기업은 데이터를 분석하여 AI가 적절한 결정을 내릴 수 있도록 지원합니다. 손정의 소프트뱅크그룹 회장이 강조한 바와 같이, AI의 혁신력은 데이터 없이는 발휘될 수 없습니다. 이러한 AX 전환을 통해 SK텔레콤은 경쟁력 있는 고객 서비스를 제공하고 있습니다.
특히, 멀티 LLM 오케스트레이션 모델은 각기 다른 사용자의 요구를 충족시키는 데 있어 중요한 역할을 합니다. 고객 서비스 운영에 적합한 ChatGPT는 신속한 응답을 지원하고, Claude는 복잡한 데이터 분석에 강점을 가지고 있습니다. Perplexity는 주제별 질의응답의 신속성을 제공하며 정보 검색에 최적화되어 있습니다. 이러한 LLM 활용은 다양한 산업에서 고객 맞춤형 서비스를 제공하고, 비즈니스 시나리오에 대한 적시 대응을 가능하게 하고 있습니다.
또한, 한국전력공사는 2024년 7월부터 Private LLM 기반의 RAG 챗봇 구축 프로젝트를 진행하고 있습니다. 이 프로젝트의 목적은 신속하고 정확한 정보 제공을 통해 고객 경험을 향상시키는 것이며, 내부 문서와 외부 데이터의 연계를 통해 더욱 신뢰성 높은 대응을 실현하려고 합니다. 아울러, 데이터 보안을 최우선적으로 고려하여 특정 정보를 안전하게 보호하는 시스템을 구축하고 있습니다.
마지막으로, AI 서비스의 발전에 따라 API 연동 및 에이전트 오케스트레이션, MCP 프로토콜 사용 등 기술적 고려사항이 기업의 비즈니스 환경 내에서 중요해지고 있습니다. 이에 따라, 기업들은 AI의 잠재력을 극대화하기 위한 다양한 전략을 지속적으로 마련해야 할 것입니다.
AX, 즉 인공지능 전환은 기존의 디지털 전환(DX)에서 한 단계 나아간 개념으로, 기업과 조직의 운영 구조, 업무 프로세스, 그리고 고객 경험을 AI 기술로 혁신하는 것을 목표로 합니다. AI의 잠재력은 방대한 양의 데이터를 분석하고 학습하여 최적의 결정을 내리는 것에 있으며, 이는 산업 전반에 혁신적인 변화를 추구하는 기업들에게 필수적인 전략으로 자리잡고 있습니다.
특히, AX의 핵심 요소는 데이터입니다. 데이터는 AI의 학습과 추론의 기초이며, 이는 인공지능 시스템이 더욱 정확하고 신뢰할 수 있는 결과를 제공할 수 있게 합니다. 손정의 소프트뱅크그룹 회장은 '추론에 빠질 수 없는 것이 데이터'라는 말을 통해 데이터의 중요성을 강조하며, AI가 미래를 예측하고 산업의 생산성을 비약적으로 높일 수 있다고 밝힌 바 있습니다.
AX의 추진 과정에서 기업들은 기본적으로 인프라 재정비, 인력 재교육, 그리고 각종 규제와 정책을 고려해야 합니다. 이를 통해 기존의 비즈니스 모델을 혁신하고 새로운 가치를创造할 수 있는 기회를 마련할 수 있습니다.
멀티 LLM(대형 언어 모델) 오케스트레이션은 여러 개의 LLM을 효과적으로 조합하고 관리하는 방식을 의미합니다. SK텔레콤은 ChatGPT, Claude, Perplexity 등 다양한 LLM을 동시 활용하여 하나의 통합된 시스템을 구축하고 있습니다. 이 과정에서 각 모델의 특성과 장점을 이해하고, 이를 최적화하여 다양한 비즈니스 환경에 맞춤형 서비스를 제공합니다.
오케스트레이션의 주요 목표는 다양한 사용자의 요구를 충족시키고, 각 모델의 강점을 결합함으로써 더 나은 성능과 결과를 도출하는 것입니다. 예를 들어, 특정 작업에는 언어 이해에 특화된 모델을 사용하면서, 또 다른 작업에는 다른 모델의 생성 능력을 활용한다는 방식입니다. 이러한 접근 방식은 AI 서비스의 질을 높이고, 기업의 경쟁력을 강화하는 데 기여합니다.
또한, AX 전략의 일환으로 SK텔레콤은 이러한 멀티 LLM 환경의 구축을 통해 데이터 분석, 고객 맞춤형 서비스 제공, 신속한 의사결정 지원 등 다양한 비즈니스 시나리오에 더욱 효과적으로 대응할 수 있습니다.
ChatGPT, Claude, Perplexity는 각각의 특성과 장점을 가진 LLM으로, SK텔레콤의 AX 전략에 따라 각기 다른 역할을 수행합니다. ChatGPT는 자연어 처리에 뛰어난 성능을 발휘하며, 대화형 AI 및 고객 응대 시스템에 적합합니다.
Claude는 고급 자연어 이해와 더불어 복잡한 질문에 대한 분석적 사고 능력을 요구하는 분야에서 강점을 보입니다. 이러한 특성은 비즈니스 데이터 분석이나 기술 지원 쿼리 등과 같은 영역에서 최적의 성능을 발휘하도록 할 수 있습니다.
마지막으로, Perplexity는 정보 검색 및 주제별 질의응답에 적합하며, 데이터베이스 접근성과 결합하여 고객이 즉각적으로 필요한 정보를 제공하는 데 기여합니다. 이러한 역할 분담은 각 모델의 강점을 극대화하여 통합적인 LLM 생태계를 구성하는 데 필수적입니다.
실제 비즈니스에서는 AX 전략과 멀티 LLM의 융합 활용이 여러 산업 분야에서 실증되고 있습니다. 예를 들어, 고객 서비스 운영에서 ChatGPT를 활용하여 고객의 문의에 신속하게 대응함으로써 고객 만족도를 높이고 있습니다. 이 과정에서 데이터 분석을 통해 고객의 선호도를 이해하고, 맞춤형 서비스를 제공함으로써 유의미한 성과를 도출하고 있습니다.
또한, B2B(기업 간 거래) 시장에서는 Claude가 데이터 분석과 리포팅 작업에 투입되어, 복잡한 데이터를 처리하고, 인사이트를 도출하는 데 활용되고 있습니다. 이를 통해 기업들은 신속하게 의사결정을 내릴 수 있으며, 업무 효율성을 대폭 높일 수 있습니다.
Perplexity를 사용하여 고객의 정보 검색 요구를 충족시키는 사례도 증가하고 있습니다. 각 분야의 기업들은 AI 기반의 솔루션을 통해 운영 비용을 절감하고, 시장 변화에 보다 민첩하게 반응할 수 있는 체계를 마련하고 있습니다.
한국전력공사는 2024년 7월부터 Private LLM 기반의 RAG 챗봇 구축 프로젝트를 추진하고 있습니다. 이 프로젝트의 기본적인 목적은 직원과 고객에게 신속하고 정확한 정보를 제공함으로써 서비스 효율성을 높이고, 고객 경험을 개선하는 것입니다. 이를 위해 한국전력공사는 최신 AI 기술을 활용하여 업무 프로세스를 자동화하고, 사용자 요청에 대한 보다 정교한 응답을 생성하는 시스템을 개발하고자 하였습니다.
Private LLM은 특정 기업의 데이터를 전용으로 학습하여 생성된 모델로, 일반 외부 데이터와는 분리되어 보안 측면에서 안전함을 보장합니다. 이 프로젝트에서 RAG(정보 검색을 통한 생성) 기술을 활용하는 이유는 내부 문서와 외부 데이터의 연계를 통해 보다 신뢰할 수 있는 정보를 제공하고, 실시간 고객 응대를 가능하게 하여 운영 효율성을 극대화하기 위함입니다.
해당 프로젝트의 아키텍처는 RAG 기술과 Private LLM을 결합하여 구성됩니다. RAG는 대규모 언어 모델이 외부 데이터베이스에서 정보를 실시간으로 검색한 후, 이를 기반으로 응답을 생성하는 방식입니다. 이를 통해 한국전력공사는 고객이 질문한 내용을 정확히 이해하고, 적절한 답변을 생성할 수 있게 됩니다.
아키텍처 설계에서 중요한 요소는 챗봇이 수집하는 데이터의 보안성을 확보하는 것입니다. Private LLM을 사용함으로써, 기업 내敏感한 정보가 외부로 유출될 염려를 줄이고, 정보 접근과 사용에 대한 명확한 가이드라인을 마련할 수 있습니다.
데이터 준비 단계에서는 한국전력공사가 보유한 다양한 내부 문서 및 외부 리소스를 수집하여 인덱싱하는 작업이 진행됩니다. 이때, 특정 문서는 중요 정보로 간주되고, 이를 통해 고객의 질문에 맞춤형으로 대응할 수 있는 기초 데이터가 마련됩니다.
인덱싱 전략으로는 메타데이터 기반의 문서 카테고리를 설정하고, 자주 묻는 질문(FAQ)을 그룹화하여 관리하는 방식이 주를 이룹니다. 이러한 인덱싱 작업은 RAG 시스템에서 더 빠르게 정확한 응답을 생성하는 데 기여합니다.
모델 학습 단계에서는 수집된 데이터를 사용해 Private LLM을 훈련시키고, 이를 바탕으로 검색-생성 워크플로우를 설계합니다. 이때 LLM이 인간 언어의 복잡성을 이해하고, 다양한 사용자 요청에 대한 적절한 응답을 생성할 수 있도록 세심하게 설계해야 합니다.
검색-생성 워크플로우는 기본적으로 사용자의 입력을 받아 이를 분석하고, 필요한 외부 데이터를 검색하여 최종 응답을 생성하는 구조입니다. 이를 통해 한국전력공사는 끊임없이 변화하는 사용자 요구에 유연하게 대응할 수 있습니다.
API(Application Programming Interface)는 멀티 LLM 환경에서 필수적인 요소로, 다양한 데이터 소스와 응용 프로그램 간의 상호작용을 가능하게 한다. 이를 통해 LLM 모델은 외부 정보를 실시간으로 받아들이고, 이를 기반으로 응답을 생성할 수 있다. 예를 들어, 회사의 고객 관계 관리(CRM) 시스템과 LLM을 연동하면 고객의 요청에 신속하게 대응할 수 있으며, 고객 데이터를 활용하여 보다 개인화된 서비스를 제공할 수 있다. 이러한 API 연동은 많은 기업들이 멀티 LLM을 도입하는 이유 중 하나로, 엔드투엔드 작업 자동화의 핵심을 형성한다.
에이전트 오케스트레이션은 여러 대의 AI 에이전트 간의 협업을 관리하는 과정으로, 각 AI 에이전트가 특정 기능을 맡아 작업을 수행하도록 한다. 이러한 체계적인 접근은 작업의 효율성을 높이고, 전체 작업 흐름에서의 의사 결정을 지원한다. 기업은 멀티 LLM을 활용하여 각 에이전트를 최적 배치하고, 그들이 제공하는 서비스를 원활하게 연결하여 최종 사용자에게 고도화된 서비스를 제공해야 한다.
MCP(Multi-Channel Processing) 프로토콜은 다양한 외부 도구와의 연결성을 제공하여 멀티 LLM 환경의 확장을 가능하게 한다. MCP는 LLM 모델이 외부 데이터 소스와 통신할 수 있도록 하여, 실시간 데이터 통합 및 분석을 지원한다. 이는 데이터 기반 의사 결정을 즉각적으로 수행할 수 있게 해 주며, 특히 비즈니스 환경에서의 변화에 즉시 반응할 수 있는 능력을 부여한다.
예를 들어, MCP를 통해 영업팀은 고객 미팅 내용을 자동으로 CRM 시스템에 기록하고, 후속 연락을 위한 이메일을 자동으로 생성할 수 있으며, 이를 통해 영업 업무의 부담을 경감하고 생산성을 극대화할 수 있다. 이러한 방식은 기업들이 다양한 소스에서 활용 가능한 정보를 결합하여 보다 풍부한 사업 기회를 만들어내는 데 기여한다.
멀티 LLM을 운영하는 동안 기업은 보안 위험에 직면하게 된다. 기존의 보안 도구는 AI 모델과 의도 간의 복잡한 트랜잭션 흐름을 제대로 처리하지 못할 수 있으며, 이로 인해 다양한 보안 위협에 노출될 수 있다. 따라서, 기업들은 새로운 유형의 AI 보안 도구를 도입하여 이와 같은 위협을 관리해야 한다.
최근 아카마이와 같은 기업은 LLM 및 에이전틱 AI 워크플로우를 위한 새로운 보안 솔루션을 제출하였다. 이러한 보안 도구는 사용자와 AI 모델 간의 트래픽을 검사하고, 잠재적 위험 요소를 탐지하여 민감한 데이터 유출을 방지하는데 초점을 맞춘다. AI가 생성하는 결과물의 유해성을 모니터링하고, 정책상 요구되는 프라이버시 보호를 강제하기 위해서는 각 기업이 이러한 기술적 고려사항을 반드시 반영해야 한다.
LLM을 활용하는 과정에서는 지속적인 모니터링이 필수적이다. 기업은 AI 에이전트의 성능과 기능을 정기적으로 분석하여 문제가 발생하기 전에 조치를 취해야 한다. 이는 특정 행동 패턴에서 문제가 발생하는 경우, 신속하게 시스템을 조정하고 수정할 수 있는 기회를 제공한다.
거버넌스는 AI 시스템이 윤리적 기준을 준수하며, 조직의 비즈니스 목표에 부합하는 방향으로 작동하도록 보장하는 것이다. 이를 위해서는 명확한 정책 수립 및 준수를 위한 체계적인 접근이 요구된다. 기업은 AI의 결정 과정, 데이터 사용, 그리고 최종 결과물에 대한 투명성을 확보하여 법적 요건 및 윤리적 규제를 준수해야 한다. 이는 또한 고객과의 신뢰를 구축하는 데 기여할 것이다.
AI 기술의 급속한 발전과 더불어, 기업들은 데이터 기반의 의사결정과 고객 대응 방식을 변화시키기 위해 AI 서비스를 확장할 가능성이 매우 높습니다. 특히, RAG(검색 기반 생성) 챗봇과 같은 AI 모델은 실시간 데이터 접근성을 제공하여 기업의 운영 효율성을 극대화할 수 있는 강력한 도구로 자리잡고 있습니다. RAG 기술을 활용하는 기업은 고객에게 보다 정확하고 신뢰할 수 있는 실시간 정보를 제공함으로써, 경쟁력을 높이고 서비스 품질을 향상시키는 데 기여할 것입니다. 이와 관련하여, 연구에 따르면 글로벌 AI 시장 규모는 2025년까지 1900억 달러를 초과할 것으로 예상되며, 이러한 트렌드는 한국의 기업에서도 지속적으로 나타날 것으로 보입니다.
RAG와 전통적인 LLM이 가진 특징을 비교했을 때, RAG는 실시간 데이터 검색 능력을 통해 더욱 정확하고 적시에 정보를 제공합니다. 반면, Fine-Tuning은 특정 도메인에 최적화된 성능을 발휘할 수 있지만, 수동적인 데이터 업데이트 및 재훈련의 필요성이 있습니다. RAG는 외부 지식 소스를 이용하여 동적으로 정보를 통합함으로써 업무 환경의 변화에 신속하게 대응할 수 있는 반면, Fine-Tuning은 지속적인 리소스를 요구하여 비용 측면에서도 부담이 큽니다. 따라서 기업은 RAG와 Fine-Tuning을 필요에 맞게 적절히 조합하여 사용하는 전략을 고려해야 할 것입니다.
AI 서비스의 운영 비용은 현재와 미래의 중요한 고려 사항 중 하나입니다. RAG 모델은 데이터 검색과 업데이트를 통한 운영 효율성을 제공할 뿐만 아니라, Fine-Tuning에 비해 약 20% 저렴하게 운영할 수 있는 가능성을 제시합니다. 이는 기업들이 AI 서비스를 좀 더 경제적으로 유지할 수 있도록 도와줍니다. 또한, 적절한 모니터링 시스템을 설계하여 AI 모델의 성능과 비용을 동시에 관리하는 것이 중요하며, 이러한 과정에서 사이버 보안 문제와 데이터 프라이버시를 고려하는 방향으로 전략을 세워야 합니다.
AI 기술의 발전에 따른 정책 및 규제는 기업 운영에서 무시할 수 없는 요소입니다. RAG와 같은 AI 시스템이 실제로 적용됨에 따라 발생할 수 있는 데이터 보안 문제는 물론, 윤리적 사용도 중요한 이슈로 떠오르고 있습니다. 예를 들어, 고객 데이터의 처리 및 활용에서 GDPR과 같은 개인정보 보호 법규를 준수하는 것이 필수적입니다. 기업은 이러한 법적 요구사항을 충족시키며 AI 기술을 적용해야 하며, 이를 통해 고객의 신뢰를 유지하는 것이 중요합니다. 따라서 기업의 AI 전략은 기술적인 측면 뿐만 아니라, 윤리와 규제 측면에서의 준수도 반드시 반영해야 할 것입니다.
2025년 현재, SK텔레콤은 멀티 LLM을 병렬·계층적으로 운영하여 이에 맞춤형 AI 서비스를 다양한 비즈니스 영역에 적용하고 있으며, 이는 고객과의 상호작용을 혁신적으로 변화시키고 있습니다. 한국전력공사의 Private LLM 기반 RAG 챗봇 프로젝트는 금융권 RAG 구축 사례를 벤치마킹하여, 안전한 외부 데이터 연동을 위한 MCP 프로토콜의 활용을 통해 보안 제어를 강화하며 긍정적인 발전 가능성을 보여주고 있습니다.
향후 기업들은 AI와 관련된 다양한 전략적 요소들을 통합하여 이를 에이전트 오케스트레이션 및 프라이버시 보호와 함께 균형 있게 관리해야 할 필요성이 커질 것입니다. RAG와 Fine-Tuning 기술을 각 기업의 목표에 따라 적절히 조합하여 사용할 경우 AI 도입 효과를 극대화하고, 운영 효율성을 향상시키며, 동시에 거버넌스와 보안성을 확보하는 것이 핵심 과제가 될 것입니다.
AI 기술의 발전과 적극적인 활용은 기업 경쟁력 강화를 위해 필수적이며, 이를 통해 고객에게 더욱 혁신적이고 신뢰할 수 있는 서비스를 제공할 수 있을 것입니다. 따라서 기업들은 현재의 기술 변화에 적극 대응하고, 지속적인 혁신을 추구해야 할 것입니다.
출처 문서