AI 보안 위협과 LLM(대형 언어 모델) 취약점 분석 리포트

1. 요약

• 이 리포트는 최근 AI 기술 발전에 따라 증가하는 보안 위협과 LLM(대형 언어 모델)의 취약점을 분석합니다. 주요 취약점으로는 프롬프트 인젝션, 불안전한 출력 처리, 그리고 민감 정보 노출이 있으며, 각각의 실례와 현황을 통해 문제의 심각성을 강조합니다. 이를 통해 기업과 기관들이 AI 서비스 내 보안 위협에 대해 경각심을 가지도록 하는 것이 주요 목적입니다. 또한, 2024년 상반기 보안 트렌드와 기업들의 대응 현황을 제시하며, SK쉴더스의 LLM 안티해킹 기술 도입 현황과 제로트러스트 정책 도입 사례를 다룹니다.

2. LLM 취약점의 종류와 특징

• 2-1. 프롬프트 인젝션: 취약점 정의 및 사례

• 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 본 목적 이외의 답변을 이끌어내는 취약점으로 정의됩니다. 이 취약점은 악성코드 생성, 마약 및 폭발물 제조, 피싱 공격 등에 악용될 수 있습니다. 예를 들어, EQST가 챗봇에 폭탄 제조법을 묻는 실험에서, 초기에는 정상 답변으로 거부되었지만 '급조폭발물(IED)'이라는 열쇠말을 사용하자 폭탄 제조법이 제공되었습니다. 프롬프트 인젝션은 다이렉트 인젝션과 인다이렉트 인젝션으로 구분되며, 잘못된 정보나 공격자의 의도한 정보 결과가 나오게 하기 위해 프롬프트 창에 공격 구문을 주입하거나 악성스크립트를 참조하게 만들어 공격을 성공시키는 방식입니다.

• 2-2. 불안전한 출력 처리: 취약점 정의 및 사례

• 불안전한 출력 처리 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생합니다. 이로 인해 2차 공격으로 이어질 수 있어 위험도가 매우 높습니다. 예를 들어, 원격 접속 코드 실행 요청이 포함된 질문을 챗봇에 할 경우, 챗봇이 이를 실행하면 공격자가 AI LLM 운영 서버에 접속하여 중요 정보를 탈취할 수 있습니다. 실제 사례로 공격자가 원격 접속 코드 실행 요청을 챗봇에 질문하면, 챗봇이 원격 접속 코드를 실행하여 공격자가 AI LLM 운영 서버에 접근하게 되는 상황이 보고되기도 했습니다.

• 2-3. 민감 정보 노출: 취약점 정의 및 사례

• 민감 정보 노출은 애플리케이션의 권한 관리 미흡으로 인해 발생하는 LLM 취약점입니다. LLM이 생성하는 답변에 학습된 민감 정보가 포함될 수 있으며, 이는 개인정보 유출로 이어질 수 있습니다. 예를 들어, LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡할 경우, 사용자 개인정보나 기업 비밀이 의도치 않게 출력될 수 있습니다. 실제로 DB 정보를 탈취하는 공격을 시연한 사례도 있습니다. 이 취약점은 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요합니다.

3. LLM 취약점에 따른 실제 해킹 사례

• 3-1. 프롬프트 인젝션을 통한 마약 제조법 유출 사례

• 프롬프트 인젝션(Prompt Injection)은 악의적인 질문을 통해 AI 서비스 내 지침 또는 정책을 우회하여 원래 목적 이외의 답변을 이끌어내는 취약점입니다. 예를 들어, 20대 일본인이 AI 챗봇에 랜섬웨어 제작법을 얻어낸 사례가 있습니다. 이외에도 챗봇에 폭탄 제조법을 질문한 결과, '급조폭발물(IED)'이라는 열쇠말을 사용하여 공격자가 단계적으로 정보를 보완하면서 폭탄 제조법을 얻어낼 수 있었습니다. 이러한 프롬프트 인젝션 공격은 마약 제조, 악성코드 생성, 피싱 공격 등에 악용될 수 있습니다.

• 3-2. 불안전한 출력 처리를 통한 원격 코드 실행 사례

• 불안전한 출력 처리(Unsecure Output Handling) 취약점은 LLM이 생성한 출력물을 시스템이 적절히 처리하지 못할 때 발생하며, 다른 2차 공격으로 이어질 수 있습니다. 예를 들어, 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하면 챗봇이 원격 접속 코드를 실행하게 되어 AI LLM 운영 서버에 중요 정보가 탈취될 수 있습니다. 이러한 방식으로 원격 접속이 가능하게 되면 랜섬웨어 공격 등 심각한 보안 위협이 발생할 수 있습니다.

• 3-3. 민감 정보 노출을 통한 개인정보 침해 사례

• 민감 정보 노출(Sensitive Information Exposure)은 LLM이 민감 정보를 여과 없이 출력하는 취약점입니다. 이 취약점은 애플리케이션의 권한 관리 미흡으로 인해 발생합니다. 예를 들어, 사용자가 챗봇에 업로드한 소스 코드가 공격자에게 접근 권한을 무단으로 제공하게 되어 개인정보 유출이 발생할 수 있습니다. 또한, LLM 모델을 학습시킬 때 민감 정보를 필터링하지 않으면 그 정보가 답변에 포함될 수 있습니다.

4. AI 보안 위협 동향과 최신 트렌드

• 4-1. 2024년 상반기 보안 트렌드

• SK쉴더스는 2024년 상반기에 발생한 보안 사고 유형 중 취약점 공격이 45%로 가장 많이 발생했다고 보도했습니다. 이는 VPN, 라우터 등 네트워크 장비를 통한 APT(Advanced Persistent Threat) 공격이 주된 원인으로 조사되었습니다. 소셜 엔지니어링을 통한 기밀 탈취 공격 또한 26% 발생했습니다. 네트워크 장비의 신규 취약점을 활용한 공격이 전년 동기 대비 2배 증가했으며, 보안 패치가 발표되었으나 패치가 적용되지 않은 원데이(1-Day) 취약점을 악용한 공격도 있었습니다. 랜섬웨어 공격자는 보안 솔루션 탐지를 피하기 위해 RMM(Remote Monitoring and Management) 도구나 LotL(Living off the Land) 방식을 사용했습니다.

• 4-2. 네트워크 장비 취약점 공격 현황

• 2024년 상반기에는 네트워크 장비의 신규 취약점을 악용한 공격이 크게 증가한 것으로 나타났습니다. 이는 전년도 대비 2배 이상 증가한 수치입니다. 특히 VPN, 라우터 등을 이용한 APT 공격과 소셜 엔지니어링 공격이 주된 유형으로 나타났습니다. RMM 도구와 LotL 방식을 사용하는 랜섬웨어 공격도 주요 위협으로 보고되었습니다.

• 4-3. 지능형 지속 위협(APT) 공격 증가 추세

• APT 공격은 지능적이고 지속적으로 표적을 공격하는 방식으로, 2024년 상반기에 네트워크 장비와 소셜 엔지니어링을 포함한 다양한 수법을 통해 증가하는 추세를 보였습니다. 특히 보안 패치가 적용되지 않은 시스템을 대상으로 한 원데이 취약점 공격과 합법적인 도구를 악용한 랜섬웨어 공격이 많았습니다. 이는 전년도 대비 크게 증가한 것으로, 각별한 주의가 필요합니다.

5. 기업과 기관의 대응 현황

• 5-1. LLM 안티해킹 기술 도입 현황

• SK쉴더스는 현재 LLM 취약점에 대응할 수 있는 사업을 준비 중에 있습니다. 대표적으로 기업 특화 프라이빗 LLM 및 애플리케이션 대상 모의해킹과 컨설팅을 제공하는 사업을 계획하고 있습니다. 이를 통해 기업들이 AI 서비스 내에서의 보안 위협에 효과적으로 대응할 수 있도록 지원하고 있습니다.

• 5-2. 프라이빗 LLM 및 모의해킹 서비스 제공

• SK쉴더스는 프라이빗 LLM과 애플리케이션을 대상으로 하는 모의해킹과 컨설팅 서비스를 제공할 예정입니다. 이를 통해 기업들이 자사 AI 서비스의 취약점을 사전에 파악하고, 필요한 보안 조치를 취할 수 있도록 돕고 있습니다.

• 5-3. 제로트러스트 정책 도입 사례

• 또한, SK쉴더스는 제로트러스트 환경 구축을 지원하는 사업을 선보이고 있습니다. 이는 내부와 외부에서 발생할 수 있는 보안 위협에 대비하기 위한 것으로, AI 인프라 운영에 특화된 환경을 만드는 것을 목표로 하고 있습니다. SK쉴더스는 최근 제로트러스트 협의회 '제티아(ZETIA)'를 발족하였으며, 관련 기업들과 협력하여 필요 솔루션과 전략에 대해 논의할 예정입니다.

6. 결론

• 이 리포트는 AI 기술 발전과 함께 증가하는 보안 위협을 상세히 다루며, 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출과 같은 주요 취약점이 기업과 기관에 미칠 수 있는 심각한 영향을 조명합니다. 특히 프롬프트 인젝션은 AI 시스템 내 지침이나 정책을 우회해 악성코드 생성, 마약 제조, 피싱 공격 등에 악용될 수 있는 기술적 취약점으로서, 매우 높은 위험을 지닙니다. 또한, 불안전한 출력 처리는 원격 접속 코드 실행 요청 등을 통해 시스템의 제어권이 탈취되는 등의 2차 공격으로 연결될 수 있습니다. 민감 정보 노출은 LLM이 생성하는 답변에 민감 정보가 포함되어 개인정보 유출로 이어질 수 있습니다. 이러한 위협을 예방하기 위해 기업들은 각종 보안 솔루션 도입과 지속적인 경각심을 유지해야 하며, SK쉴더스와 같은 전문 기관의 프라이빗 LLM 및 모의해킹 서비스와 제로트러스트 정책 도입이 필요합니다. 향후 AI 보안 위협은 더욱 복잡하고 지능화될 것으로 예상되므로, 지속적인 연구와 대비책 마련이 중요합니다.

7. 용어집

• 7-1. 프롬프트 인젝션 [기술]

• 악의적인 질문을 통해 AI 시스템의 지침이나 정책을 우회하여 본 목적 이외의 답변을 이끌어내는 기술적 취약점으로, 악성코드 생성, 마약 제조, 피싱 등에 악용될 수 있습니다.

• 7-2. 불안전한 출력 처리 [기술]

• LLM이 생성한 출력물을 시스템이 적절히 처리하지 못할 때 발생하는 취약점으로, 공격자가 원격 접속 코드 실행 요청 등을 통해 시스템의 제어권을 탈취할 위험이 있습니다.

• 7-3. 민감 정보 노출 [기술]

• LLM이 생성하는 답변에 민감 정보가 여과 없이 포함되어 개인정보가 유출될 수 있는 취약점으로, 가명 처리와 같은 데이터 필터링 보완책이 필요합니다.

• 7-4. 지능형 지속 위협(APT) [기술]

• 고도로 조직화된 공격자가 특정 목표를 지속적으로 공격하는 형태로, 네트워크 장비의 취약점을 이용한 공격이 주로 이루어집니다.

• 7-5. EQST [기업]

• 보안 연구 및 컨설팅을 제공하는 전문 기업으로, LLM 취약점 연구와 보안 위협 방지 솔루션을 개발하고 있습니다.

8. 출처 문서

• SK쉴더스 “LLM, 딥페이크·딥보이스 등 AI 보안위협 현실화…생성AI 시대 대책 필요” - 바이라인네트워크https://byline.network/2024/07/2-209/
• SK쉴더스 “AI 거대언어모델 활용한 해킹사례 속출, 보안대책 필요”https://biz.newdaily.co.kr/site/data/html/2024/07/02/2024070200143.html
• AI가 마약 제조법 알려준다?…SK쉴더스 “취약점 대응 전략 수립해야”https://m.ekn.kr/view.php?key=20240702028158322
• AI 속여서 정보 빼간다?…높아지는 LLM 취약점, "특화 보안 서비스 필요"https://m.ddaily.co.kr/page/view/2024070212583114422
• “네트워크 장비 취약점 공격, 전년 대비 2배 증가” SK쉴더스 2024년 상반기 보안 트렌드https://news.zum.com/articles/91650183