Your browser does not support JavaScript!

서울시 AI 행정지원 ‘챗봇 2.0’ 및 LLM 기반 행정 플랫폼: AI 사업자 지원 방안

일반 리포트 2025년 08월 17일
goover

목차

  1. 사업 개요 및 추진 일정
  2. 기술 요구 사항 및 핵심 과제
  3. AI 사업자 지원 방안
  4. 국내외 성공 사례 벤치마크
  5. 제언 및 향후 일정
  6. 결론

1. 요약

  • 2025년 8월 7일, 서울시는 공무원의 반복적이고 비효율적인 행정업무를 개선하기 위해 생성형 인공지능(AI) 시스템인 ‘챗봇 2.0’ 사업을 시작했습니다. 이 사업은 특히 AI 비서 시스템 도입을 통해 공무원이 문서 검색, 규정 확인, 보고서 작성 등을 보다 효율적으로 수행할 수 있도록 지원합니다. 서울시는 기존 시민 대상 챗봇인 '서울톡'의 한계를 극복하고, 방대한 데이터와 최첨단 AI 기술을 활용하여 행정 서비스의 품질을 지속적으로 개선하고자 합니다.

  • 아울러, 서울시는 2025년 8월 14일에 범정부적으로 추진되는 '범정부 초거대 AI 공통 기반' 사업을 통해 모든 정부 부처의 AI 도입을 통합하고, 지능형 업무 관리 플랫폼을 구축하겠다고 발표했습니다. 이는 공공기관의 효율성을 높이고, AI 시스템 도입에 따른 보안 문제를 해결하는 데 기여할 것으로 기대됩니다. 현재 첫 번째 단계로 90억원의 예산이 책정되었으며, 향후 2027년까지 사업이 확대될 가능성도 큽니다.

  • 더불어 서울시는 하반기에 행정 전용 LLM 기반 플랫폼을 도입할 계획을 가지고 있으며, 이는 17억원의 예산이 투입됩니다. 이 플랫폼은 공공 행정의 디지털 전환을 가속화하고, 공무원들이 반복 업무에서 벗어나 더 높은 창의성과 전략적 업무에 집중할 수 있는 기회를 제공할 것입니다. 이러한 노력은 시민들에게 더욱 나은 서비스 제공으로 이어지며, 행정의 정확도와 속도 또한 크게 향상되는 결과를 가져올 것입니다.

2. 사업 개요 및 추진 일정

  • 2-1. 챗봇 2.0 사업 착수 배경

  • 서울시는 2025년 8월 7일 공무원의 반복적인 행정업무를 효율적으로 처리하기 위해 생성형 인공지능(AI) 시스템인 ‘챗봇 2.0’ 사업을 착수하였습니다. 이 사업은 공무원이 문서를 찾거나 규정을 확인하고 보고서를 작성하는 데 있어 AI를 지원하는 'AI 비서' 시스템의 도입을 핵심으로 하고 있습니다. 기존의 시민용 챗봇 '서울톡'과 직원용 챗봇의 한계를 극복하고, 방대한 데이터와 AI 기술을 활용하여 행정 서비스의 질을 높이려는 노력이 반영된 것입니다.

  • 서울시는 이번 사업을 통해 내부적으로 초거대 언어모델(LLM)을 설치하고, 2026년부터는 이를 행정 시스템과 연계하여 점진적으로 확장할 계획입니다. 이 과정에서 공공부문의 데이터 보안과 프라이버시 확보를 중시하여 민감한 공공데이터를 안전하게 처리할 수 있는 독립적인 인프라를 구축할 것입니다. 이는 단순히 기술 도입을 넘어, 다시 말해 효율성 향상에 그치지 않고 공무원의 업무 처리 방식을 혁신하는 계기가 될 것입니다.

  • 2-2. 범정부 AI 공통 기반 구축 계획

  • 2025년 8월 14일, 정부는 범정부적으로 생성형 AI를 활용하기 위한 '범정부 초거대 AI 공통 기반' 사업을 추진한다고 발표했습니다. 이는 모든 정부 부처가 각각 AI 모델을 도입하는 것을 방지하고, 공통된 기반을 마련해 지능형 업무 관리 플랫폼을 공동으로 사용하겠다는 취지에서 출발하였습니다. 이를 통해 공공기관의 기능이 개선되고, AI 도입에 따른 보안 문제 해결에도 기여할 것으로 기대하고 있습니다.

  • 현재 이 사업의 첫 번째 단계로 90억원의 사업비가 책정되어 있으며, 향후 2027년까지 확대될 가능성이 큽니다. 이 과정에서 서울시는 다른 지방자치단체와 협력하여 AI 솔루션의 실질적 적용 가능성을 타진하고 있으며, 공공의 이익을 최우선으로 하는 방향으로 사업을 진행하고 있습니다.

  • 2-3. 서울시 행정용 LLM 플랫폼 도입 계획

  • 서울시는 하반기 AI 행정 전용 LLM 기반 플랫폼을 도입할 계획을 밝혔습니다. 이는 내부적으로 운영될 LLM이 관리하는 플랫폼을 통해 공공 행정 전반의 디지털 전환을 가속화하려는 노력의 일환입니다. 특히, 방대한 양의 공공 데이터를 기반으로 AI가 지원하는 행정 서비스는 예산 17억원을 투입하여 이루어질 예정입니다.

  • 이 시스템이 도입되면, 공무원들은 반복적인 행정업무에서 벗어나 더 창의적이고 전략적인 업무에 집중할 수 있는 기회를 가지게 됩니다. AI는 자료 정리 및 문서 검색을 신속하게 처리할 수 있으며, 이는 궁극적으로 행정의 정확도와 속도를 모두 높이는 결과를 초래할 것입니다. 서울시의 이러한 노력은 공공 행정의 효율성을 높이는 것뿐만 아니라, 시민들이 더욱 나은 서비스를 받을 수 있도록 하는 긍정적인 변화를 촉진하게 될 것입니다.

3. 기술 요구 사항 및 핵심 과제

  • 3-1. 초거대 언어모델(LLM) 커스터마이징

  • 서울시는 '챗봇 2.0'을 통해 공공 행정업무를 AI로 대체하고 있으며, 이는 초거대 언어모델(LLM)의 커스터마이징을 통해 실현됩니다. LLM은 방대한 양의 데이터로 학습하여 자연어 처리 및 이해 능력을 갖춘 딥러닝 기반의 언어 모델로, 특히 공공의 특성을 고려한 맞춤형 개발이 필수적입니다. 이러한 커스터마이징 과정에서는 조직의 특정 요구에 맞는 데이터를 선택하고, 이를 통해 모델의 성능을 극대화하는 전략이 필요합니다. 이로 인해 공무원들은 반복적인 업무에서 벗어나 보다 창의적이고 가치 있는 업무에 집중할 수 있게 됩니다.

  • 3-2. 행정망 보안·프라이버시 확보

  • AI 도입의 가장 큰 우려 중 하나는 데이터 보안 및 프라이버시 문제입니다. 서울시는 민감한 공공 데이터를 처리할 때는 반드시 안전성이 담보된 인프라를 사용해야 합니다. 이를 위해 복잡한 보안 프로토콜을 마련하고, 데이터 암호화, 사용자 접근 관리 및 로그 기록 등 다양한 보안 조치를 수립할 필요가 있습니다. 또한, AI 시스템이 생성하는 데이터 결과물에 대해서도 프라이버시를 고려한 처리 방안이 마련되어야 하며, 공공 정보를 안전하게 보호할 수 있도록 최선의 노력을 기울여야 합니다.

  • 3-3. GPU·인프라 확장

  • LLM 기반 시스템의 운영을 위해서는 계산 능력이 중요한데, 특히 GPU 자원의 확보가 필수적입니다. GPU는 대량의 데이터를 병렬 처리할 수 있는 능력이 뛰어나기 때문에 고도화된 AI 서비스 구현에 필수적입니다. 따라서, 서울시는 GPU를 포함한 클라우드 기반 인프라의 확장을 계획해야 하며, 필요시 전용 인프라를 구축하여 더욱 안정적인 데이터 처리 환경을 조성해야 합니다. 이 과정에서 효율적인 자원 관리 및 최적화 전략 수립이 요구됩니다.

  • 3-4. 기존 행정 시스템 연계

  • 새로운 AI 시스템을 구축하는 것만큼이나 중요한 것은 기존의 행정 시스템과의 원활한 연계입니다. 서울시는 챗봇 2.0을 통해 문서 작성, 규정 조회와 같은 다양한 행정 업무를 자동화하고 있으며, 기존 시스템과의 통합을 통해 AI의 효율성을 최대로 끌어올려야 합니다. 이는 전통적인 행정 방식과 AI 기반 전환이 충돌하지 않도록 하는 중요한 요소입니다. 따라서, 기존 시스템의 API를 활용하여 AI 시스템과 연결하고, 데이터 흐름을 원활히 처리할 수 있는 구조를 마련하는 것이 중요합니다.

4. AI 사업자 지원 방안

  • 4-1. 맞춤형 LLM 개발 및 튜닝

  • 서울시의 ‘챗봇 2.0’ 및 LLM 기반 행정 플랫폼을 위해서는 맞춤형 언어모델(LLM) 개발과 튜닝이 필수적입니다. AI 사업자는 서울시의 특정 요구사항을 반영하여 언어모델을 최적화해야 합니다. 이는 데이터의 특성과 행정 서비스의 실제 사용 사례에 기반하여 이루어져야 하며, 특히 공공기관의 특수성을 반영한 정책과 지침의 수립이 중요합니다. 맞춤형 LLM을 통해 사용자가 더 나은 경험을 할 수 있도록 대화형 인터페이스의 품질을 향상시키고, 사용자의 요청에 대한 응답의 정확성을 높이는 데 초점을 맞춰야 합니다.

  • 4-2. GPU 클라우드 인프라 제공

  • 효과적인 LLM 운용을 위해서는 GPU 기반의 클라우드 인프라가 필수적입니다. AI 사업자는 이러한 인프라를 제공하여 서울시가 대규모 데이터 처리를 실시간으로 수행할 수 있도록 지원해야 합니다. 클라우드 인프라를 통해 데이터의 저장, 처리, 분석을 효율적으로 진행할 수 있으며, 특히 GPU를 활용한 머신러닝 훈련은 높은 성능을 요구합니다. 이는 AI 모델의 성능을 극대화하여, 공공 행정 서비스의 품질을 향상시키는 데 기여할 것입니다.

  • 4-3. 데이터 보안·개인정보 보호 솔루션

  • 공공 분야에서 AI를 도입하는 데 있어 가장 중요한 문제 중 하나는 데이터 보안과 개인정보 보호입니다. AI 사업자는 서울시의 요구에 맞춘 데이터 보안 및 개인정보 보호 솔루션을 제공하여야 합니다. 이는 국가 및 국제적인 규정을 준수하면서도 효율적으로 데이터를 보호하는 시스템을 마련하는 것을 포함합니다. 예를 들어, 데이터 암호화 기술, 접근 통제 시스템, 실시간 모니터링 및 사고 대응 계획 수립 등이 포함될 수 있습니다. 이를 통해 시민의 개인정보가 안전하게 관리되며, 정부의 신뢰도를 높일 수 있습니다.

  • 4-4. API 연계·플러그인 모듈 개발

  • AI 기반의 다양한 서비스들이 통합되고 상호작용할 수 있도록 하기 위해서는 강력한 API 연계와 플러그인 모듈 개발이 필요합니다. 서울시는 여러 공공서비스와 AI 솔루션 간의 원활한 데이터flow를 보장하기 위해 API를 통합해야 합니다. AI 사업자는 이러한 API를 설계 및 개발하여 시스템 간의 연결성을 높이고, 사용자 경험을 향상시키는 데 도움을 줄 수 있습니다. 또한 모듈 형식으로 구축된 플러그인은 타 서비스와의 스케일업에도 유연하게 대응할 수 있도록 합니다.

  • 4-5. 운영·유지보수 및 교육 컨설팅

  • AI 기반의 시스템이 도입된 이후에는 효과적인 운영과 유지보수가 필수적입니다. AI 사업자는 서울시의 공무원들에게 교육과 컨설팅 서비스를 제공할 수 있어야 합니다. 이는 사용자가 AI 시스템을 효과적으로 활용하도록 돕고, 시스템이 지니는 기술적 문제를 조기에 발견하고 해결할 수 있도록 지원하는 데 중점을 두어야 합니다. 교육 프로그램은 사용자가 실질적인 상황에서 AI 도구를 활용하는 방법, 데이터 분석 결과 해석 등 다양한 내용을 포함해야 하며, 정기적인 피드백을 통해 지속적으로 개선될 수 있도록 해야 합니다.

5. 국내외 성공 사례 벤치마크

  • 5-1. 미국 정부 대상 AI 자동화 사례

  • 미국 정부는 AI 자동화 기술을 활용하여 공공 서비스의 효율성을 크게 향상시키고 있습니다. 특히, 데이터 기반의 의사결정을 가능하게 하는 자동화 시스템을 도입함으로써 서비스 제공 속도 및 품질이 향상되었습니다. 예를 들어, 청구서 처리 및 고객 문의 대응을 자동화하여 인적 자원의 부담을 줄이고, 시민들에게 보다 빠르고 일관된 서비스를 제공하고 있습니다. 이와 같은 성공 사례는 데이터 관리와 AI 결합의 중요성을 강조하며, 이를 통해 얻어진 긍정적인 결과는 국내 공공기관들이 벤치마킹할 만한 훌륭한 모델이 될 것입니다.

  • 5-2. IBM의 공공부문 AI·자동화 적용

  • IBM은 공공부문에서 AI와 자동화 기술을 효과적으로 적용하여 정부 운영 방식을 혁신하고 있습니다. 특히, 인도 정부와 협력하여 복잡한 서류 작업을 간소화하고, 대규모 데이터셋을 분석하는 데 필요한 플랫폼을 제공합니다. IBM의 솔루션은 OCR(광학 문자 인식) 기술을 사용하여 다양한 언어에서 수집된 데이터를 정리하고, 이를 통해 정확한 데이터 플랫폼을 구축합니다. 이 밖에도 IBM의 통합 데이터 관리 도구를 통해 각 부처는 더 높은 정확성을 가진 의사결정을 할 수 있게 되었으며, 정부 서비스 제공이 더욱 투명하고 효율적으로 변모하고 있습니다.

6. 제언 및 향후 일정

  • 6-1. 9월 범정부 AI 공통 기반 구축 대응

  • 2025년 9월에는 정부의 범정부 초거대 AI 공통 기반 구축 사업이 주요 일정으로 예정되어 있습니다. 이 사업은 과학기술정보통신부와 행정안전부의 공동 추진 아래, AI 모델을 공통적으로 활용할 수 있는 기반을 마련하는 것을 목표로 합니다. 공공부문에서의 AI 서비스를 보다 안전하고 양질로 제공하기 위한 노력이 이뤄질 것으로 기대됩니다. 서울시는 이러한 범정부 사업에 적극 협력하여 자치단체의 AI 전환을 가속화할 계획입니다. 기존의 개별 부처와 기관들이 독자적으로 AI를 도입하는 경향을 지양하고 통합된 AI 시스템을 통한 업무 수행을 강조할 것입니다.

  • 6-2. 연내 LLM 안정화 및 2026년 확대 적용

  • 서울시는 하반기 중에 도입되는 행정용 LLM 플랫폼의 안정화 작업에 착수할 예정입니다. 이는 AI 기반 행정 서비스를 실효성 있게 운영하기 위한 필수 단계입니다. LLM의 안정화가 완료되면, 2026년에는 보다 넓은 범위와 다양한 분야로의 확대 적용이 계획되고 있습니다. 이러한 과정을 통해 서울시는 AI 기술을 적용하여 행정의 효율성과 품질을 전반적으로 향상시키는 동시에, 주민들에게 더 나은 서비스를 제공할 수 있는 기반을 마련할 것입니다.

  • 6-3. 민간협업 체계 구축 방안

  • AI 사업자와의 민간협업 체계 구축은 서울시의 AI 행정 혁신 추진에 있어 매우 중요한 요소입니다. 서울시는 관계기관 및 민간 기업과의 긴밀한 협의를 통해 AI 기술 개발과 운용에 있어 필요한 인프라를 공유하고 협력 방안을 마련할 계획입니다. 이는 AI 기술의 발전뿐만 아니라, 다양한 민간의 참여로 공공부문에서도 경쟁력 있는 AI 해결책을 확보할 수 있는 기회를 제공합니다. 또한, 이러한 협업을 통해 AI 기술이 공공 서비스에 효율적으로 접목되고, 사용자의 피드백을 반영한 체계적인 개선이 가능해질 것입니다.

결론

  • 서울시의 ‘챗봇 2.0’ 및 하반기 행정용 LLM 플랫폼 도입은 현재 진행 중인 AI 전환에서 매우 중요한 터닝 포인트가 되고 있습니다. 공공부문에서의 AI 활용이 본격화됨에 따라, AI 사업자들은 LLM의 맞춤형 커스터마이징, GPU 기반 인프라 제공, 보안 및 개인정보 보호 솔루션 제안 등을 통해 안정적인 시스템 운영을 지원해야 합니다.

  • 특히 AI 연동 모듈 개발과 사용자 교육은 서비스의 정착 및 안정적 운영을 도모하는 데 필수적입니다. 서울시는 이러한 정책적 방향성을 유지하며, 2025년 9월 예정된 범정부 AI 공통 기반 구축 일정에 맞춰 AI 사업자와의 협업 체계를 더욱 구체화해야 합니다. 민간과 공공부문 간의 협력은 AI 기술 발전을 촉진하고, 공공 서비스의 품질 향상에 기여하는 중요한 요소가 될 것입니다.

  • 이러한 방향성을 바탕으로, 서울시는 AI 행정 혁신을 선도하는 전략을 추진하며, 향후 자치단체의 서비스 개선을 목표로 해야 합니다. AI 기반의 다양한 서비스가 통합되고 상호작용할 수 있는 체계를 마련함으로써, 서울시는 효율적이고 혁신적인 행정 서비스를 구현할 가능성을 높이고 있습니다.

용어집

  • 챗봇 2.0: 서울시가 2025년 8월 7일에 착수한 생성형 인공지능(AI) 시스템으로, 공무원의 반복적이고 비효율적인 행정업무를 개선하기 위해 설계되었습니다. AI 비서 시스템을 통해 문서 검색, 규정 확인 등 다양한 행정 업무를 효율적으로 수행할 수 있도록 지원합니다.
  • 생성형 AI: 대량의 데이터를 학습하여 새로운 정보를 생성할 수 있는 인공지능의 한 형태로, 특히 자연어 처리 및 이해 능력이 뛰어나서 다양한 언어 기반의 응용 프로그램에 활용됩니다. 서울시의 ‘챗봇 2.0’ 사업은 이 기술을 활용하여 행정 업무를 지원합니다.
  • LLM(초거대 언어모델): 방대한 양의 데이터를 기반으로 학습하여 자연어 처리 기능을 갖춘 Deep Learning 기반의 언어 모델을 의미합니다. 서울시는 ‘챗봇 2.0’을 위해 LLM을 커스터마이징하고, 이를 공공 행정 시스템에 통합하여 효율성을 극대화할 계획입니다.
  • 행정지원: 공공부문에서 제공하는 다양한 서비스와 지원 시스템을 포괄하는 개념으로, AI 기술을 통해 공무원들의 효율적인 업무 수행을 돕는 것에 중심을 두고 있습니다. 서울시는 이를 위해 행정 전용 LLM 플랫폼과 챗봇 시스템을 도입하고 있습니다.
  • 데이터 보안: 정보 보호와 개인정보 관리를 위한 기술적·행정적 조치를 포함하는 개념으로, 서울시는 AI 시스템을 통해 민감한 공공 데이터를 안전하게 처리하고, 보안 문제를 해결하기 위한 독립적인 인프라 구축을 목표로 하고 있습니다.
  • 정부업무망: 각 정부 기관의 정보와 데이터를 안전하게 교류할 수 있도록 관리하는 네트워크를 의미합니다. 서울시는 AI 플랫폼을 기존 행정 시스템과 연계할 때 정부업무망을 활용하여 데이터 흐름과 보안을 강화하고자 합니다.
  • 시스템 통합: 서로 다른 시스템이나 플랫폼을 하나의 통합된 시스템으로 구성하여 효율성을 극대화하는 프로세스를 말합니다. 서울시는 AI 기반 챗봇과 LLM 시스템이 기존 행정 시스템과 통합되어 효율적으로 운영될 수 있도록 하는 것이 중요합니다.
  • 협업: 여러 기관, 부서, 또는 기업이 공동의 목표를 달성하기 위해 팀워크를 발휘하는 활동을 뜻합니다. 서울시는 AI 사업자와의 협업을 통해 행정 시스템 혁신을 이루고, 다양한 민간의 참여를 통해 공공의 이익을 최우선으로 하는 사업을 추진하고 있습니다.
  • GPU: 그래픽 처리 장치로, 대량의 데이터와 복잡한 연산을 병렬 처리하는 데 최적화된 컴퓨팅 리소스를 제공합니다. 서울시는 AI 시스템의 효과적인 운영을 위해 GPU 기반 클라우드 인프라의 확장을 계획하고 있습니다.
  • 프라이버시: 개인의 정보 보호와 관련된 개념으로, AI 시스템 도입 시에는 반드시 사용자 정보와 개인 데이터의 안전한 처리가 중요합니다. 서울시는 AI 도입 시 프라이버시를 고려한 보안 프로토콜을 반드시 구축해야 합니다.

출처 문서