Your browser does not support JavaScript!

AI 기반 보안 위협: LLM 취약점 분석과 현재 상황

일일 보고서 2024년 09월 06일
goover

목차

  1. 요약
  2. LLM 취약점 개요
  3. 프롬프트 인젝션 사례
  4. 불안전한 출력 처리 사례
  5. 민감 정보 노출 문제
  6. 사고 통계와 주요 위험 요소
  7. 결론

1. 요약

  • 리포트 'AI 기반 보안 위협: LLM 취약점 분석과 현재 상황'은 SK쉴더스에서 발표한 거대 언어 모델(LLM)의 보안 취약점과 관련된 분석 및 현재 상황을 다룹니다. 주요 취약점은 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출 등이며, 이에 대한 구체적인 사례와 그로 인한 실질적인 보안 위협을 설명합니다. SK쉴더스는 프롬프트 인젝션이 악성코드 생성이나 마약 제조, 피싱 공격 등에 어떻게 악용될 수 있는지, 불안전한 출력 처리가 2차 공격으로 어떻게 이어질 수 있는지, 민감 정보가 어떻게 노출될 수 있는지에 대해 상세히 설명하고 있습니다. 이를 통해 AI 기반 보안 위협에 대한 심도 있는 이해를 제공합니다.

2. LLM 취약점 개요

  • 2-1. 프롬프트 인젝션

  • 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침이나 정책을 우회하여 본 목적 외의 답변을 이끌어내는 취약점입니다. 이러한 취약점은 악성코드 생성, 마약 제조, 피싱 공격 등 다양한 형태로 악용될 수 있습니다. 공격자는 직접적인 인젝션(Direct Injection)와 간접적인 인젝션(Indirect Injection) 방식으로 공격을 수행할 수 있습니다. 예를 들어, 공격자가 악성 구문을 프롬프트에 주입하거나 간접적으로 악성 스크립트를 참조하도록 만들어 공격을 성공시키게 됩니다. SK쉴더스는 이 취약점이 생성형 AI의 기본적인 위험 요소라고 강조하며, 구체적인 사례로 악의적인 입력을 통해 챗봇이 정상적으로 거부하는 답변 대신 마약 관련 정보를 제공하는 방식이 소개되었습니다.

  • 2-2. 불안전한 출력 처리

  • 불안전한 출력 처리 취약점은 LLM이 생성한 출력물이 시스템에서 적절하게 처리되지 않을 때 발생하는 문제로, 이로 인해 추가적인 2차 공격으로 이어질 위험이 높습니다. 예를 들어, 공격자가 원격 접속 코드 실행 요청이 포함된 메시지를 챗봇에 요청하고, 챗봇이 해당 코드를 실행함으로써 공격자가 AI LLM 운영 서버에 접속하면 중요 정보를 탈취할 수 있는 상황이 발생할 수 있습니다. 이 취약점은 LLM의 출력물이 의도한 대로 처리되지 않는 상황에서도 심각한 보안 위협으로 작용할 수 있습니다.

  • 2-3. 민감 정보 노출

  • 민감 정보 노출은 LLM이 생성하는 답변이 필터링 없이 민감 정보를 포함할 때 발생하는 취약점입니다. 이러한 노출은 애플리케이션의 권한 관리가 미흡할 때 발생할 수 있으며, 개인 정보 유출로 이어질 수 있습니다. 예를 들어, 사용자가 챗GPT에 업로드한 소스 코드가 공격자에게 무단으로 접근될 수 있는 사례가 발생하게 됩니다. SK쉴더스는 이와 같은 위험을 줄이기 위해 학습 데이터에 대한 가명 처리 및 철저한 데이터 검증을 권장하고 있습니다.

3. 프롬프트 인젝션 사례

  • 3-1. 악의적인 질문을 통한 정책 우회

  • 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회함으로써 본 목적 이외의 답변을 이끌어내는 취약점을 의미합니다. 이와 같은 방법으로 악성코드 생성, 폭발물 및 마약 제조, 피싱 공격 등에 악용될 수 있습니다.

  • 3-2. 폭발물 및 마약 제조 예시

  • 실제로, EQST가 챗봇에 폭탄 제조법을 묻자 처음엔 답변할 수 없다는 안내문이 나왔습니다. 그러나 시연자가 '급조폭발물(IED)'이라는 열쇠말을 사용하자 폭탄 제조법에 대한 정보를 공유하였으며, 질문의 세부 정보가 추가될수록 더욱 상세한 정보를 얻을 수 있었습니다. 이는 프롬프트 인젝션 취약점이 어떻게 악용될 수 있는지를 잘 보여주는 사례입니다.

  • 3-3. 해외 및 국내 사례

  • 국내에서는 금융업을 대상으로 한 침해사고가 20.6%에 달하며, 해외에서는 정부와 공공기관을 대상으로 한 공격이 26.7%로 가장 높은 비율을 기록했습니다. 이와 같은 공격 유형의 대부분은 취약점을 겨냥한 사례로, 45%를 차지하고 있으며, 이는 네트워크 장비의 신규 취약점을 활용한 공격이 증가하고 있음을 나타냅니다.

4. 불안전한 출력 처리 사례

  • 4-1. 출력물 처리 실패로 인한 2차 공격

  • 불안전한 출력 처리 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생합니다. 이로 인해 2차 공격이 발생할 수 있으며, 위험도가 높은 취약점으로 평가됩니다. 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하면 챗봇이 해당 코드를 실행하게 되는 방식입니다. 결과적으로, 공격자는 AI LLM 운영 서버에 접근하여 중요 정보를 탈취하거나 랜섬웨어 피해를 입힐 수 있습니다.

  • 4-2. AI LLM 운영 서버 접속 및 데이터 탈취

  • 특히, AI LLM 서비스에서 출력물 처리 실패가 발생할 경우 공격자는 공공 네트워크를 통해 원격 접속하고 데이터 탈취를 시도할 수 있습니다. 예를 들어, SK쉴더스의 리포트에서는 공격자가 챗봇을 통하여 악의적인 명령을 수행하도록 유도하는 사례를 설명하고 있습니다. 이와 같은 상황에서 민감 정보가 노출될 가능성이 있으며, LLM을 학습시킬 때 민감 정보 필터링이 미흡할 경우, LLM이 생성하는 답변에 민감 정보가 포함될 수 있어 추가적인 보완책이 필요합니다. 이는 공격자가 접근할 수 있는 권한을 무단으로 획득하는 경우로 이어질 수 있습니다.

5. 민감 정보 노출 문제

  • 5-1. 애플리케이션 권한 관리 미흡

  • 민감 정보 노출 취약점은 애플리케이션의 권한 관리가 충분히 이루어지지 않을 때 발생합니다. 이로 인해 LLM이 답변을 생성하는 과정에서 민감 정보가 여과 없이 출력되며, 이는 개인정보 유출로 이어질 수 있습니다. SK쉴더스는 이러한 취약점이 존재할 경우, DB 정보를 탈취하는 공격이 발생할 수 있음을 분석하였습니다.

  • 5-2. LLM 학습 데이터를 통한 민감 정보 출력

  • LLM을 학습시킬 때 민감 정보 필터링이 미흡하면, 학습된 민감 정보가 최종 출력물에 포함될 수 있습니다. SK쉴더스는 이러한 문제를 해결하기 위해 학습 데이터에 대한 가명 처리를 하고, 적절한 검증 절차를 통해 민감 정보가 출력되지 않도록 하는 보완책이 필요하다고 강조하였습니다. 이는 LLM 서비스에서 발생하는 여러 취약점 중 하나로, 효과적인 대책이 필요합니다.

  • 5-3. 필터링 보완책 필요성

  • 민감 정보 노출을 방지하기 위해 SK쉴더스는 입력값에 대한 면밀한 검증과 프롬프트 보안 솔루션 및 데이터 정제 솔루션의 활용을 권장합니다. 이는 민감정보 유출을 줄이는 데 효과적이며, LLM 활용에 있어 필수적인 대책이라고 할 수 있습니다.

6. 사고 통계와 주요 위험 요소

  • 6-1. 취약점 공격 통계

  • 유형별 사고 발생 통계에 따르면, 취약점 공격이 전체 사고에서 45%를 차지하며 가장 많이 발생했습니다. 이는 VPN 및 라우터 등 네트워크 장비를 통한 지능형 지속 위협(APT) 공격에 기인한 것으로 조사되었습니다.

  • 6-2. 소셜 엔지니어링 공격 통계

  • 사고 발생 통계에서 소셜 엔지니어링 공격은 26%를 기록하며 두 번째로 높은 비율을 보였습니다. 이 공격은 인간의 심리를 이용해 기밀 정보를 탈취하는 방식으로, AI 스피어 피싱 및 소셜 네트워크 서비스를 활용하는 형태로 나타나고 있습니다.

  • 6-3. 신규 취약점과 랜섬웨어 공격 사례

  • 최근 네트워크 장비의 신규 취약점을 악용한 공격이 급증하고 있으며, 이는 작년 동기 대비 2배 이상의 증가세를 보였습니다. 보안 패치가 발표되었음에도 불구하고 패치를 적용하지 않은 상태에서의 원데이(1-Day) 취약점을 악용한 공격이나, 합법적인 도구를 활용한 랜섬웨어 공격이 발생했습니다. 랜섬웨어 공격자들은 RMM(Remote Monitoring and Management) 기술을 타깃으로 하거나 LotL(Living off the Land) 방식을 채택하여 탐지를 회피하는 경향을 보이고 있습니다.

7. 결론

  • 리포트는 LLM 기반 AI 시스템에서 발생할 수 있는 주요 보안 취약점인 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출 등이 AI 및 보안 환경에서 얼마나 심각한 문제를 일으킬 수 있는지를 구체적으로 분석하고 있습니다. 이런 취약점들은 다양한 악용 가능성을 지니고 있으며, 관련자들은 이에 대해 철저한 대비책을 마련할 필요가 있습니다. 그러나 리포트의 한계점으로는 제공된 데이터에 의존하고 있다는 점과 글로벌 관점에서 포괄적으로 다루지 않았다는 점을 들 수 있습니다. 따라서 지속적인 연구와 데이터 수집이 필요하며, 이를 통해 문제의 심각성을 명확히 할 수 있습니다. LLM 취약점의 일상적인 보안 위협을 줄이기 위해 다양한 보완책(프롬프트 보안 솔루션, 데이터 정제 솔루션 등)의 도입이 필요하며, 향후 관련 기술이 발전함에 따라 보안 위협도 함께 진화될 것으로 예상됩니다. SK쉴더스의 제안대로, 민감 정보 보안을 위한 필터링 및 권한 관리 시스템의 강화가 중요합니다.

8. 용어집

  • 8-1. LLM (Large Language Model, 거대 언어 모델) [기술]

  • 거대언어모델(LLM)은 방대한 텍스트 데이터를 학습하여 인간과 유사한 자연어 이해 및 생성 능력을 지닌 인공지능입니다. 최근 많은 기업들이 자사 서비스에 LLM을 도입하고 있지만, 이로 인해 발생할 수 있는 보안 취약점도 증가하고 있습니다. LLM은 폭발물 제조, 민감 정보 노출 등의 보안 위협에 악용될 수 있어, 이에 대한 보안 대책이 시급합니다.

  • 8-2. 프롬프트 인젝션 [보안 취약점]

  • 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회하여 원래 의도한 목적 이외의 답변을 이끌어내는 취약점입니다. 악성코드 생성, 폭발물 제조, 피싱 공격 등 다양한 악용 사례가 보고되었습니다.

  • 8-3. 불안전한 출력 처리 [보안 취약점]

  • 불안전한 출력 처리는 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 취약점입니다. 이로 인해 2차 공격으로 이어질 수 있으며, 시스템에 원격 접속할 수 있는 기회를 제공할 수 있습니다.

  • 8-4. 민감 정보 노출 [보안 취약점]

  • 민감 정보 노출은 애플리케이션 권한 관리가 미흡할 때 발생하는 LLM 취약점입니다. 학습 데이터에 포함된 민감 정보가 필터링 없이 출력되어 개인정보 유출로 이어질 수 있어, 필터링 보완책이 필요합니다.

9. 출처 문서