AI 보안 위협: 생성형 AI와 LLM 취약점 분석

1. 요약

• 본 리포트는 생성형 AI와 LLM(거대언어모델)에서 발생 가능한 보안 위협과 주요 취약점을 분석합니다. 이 리포트는 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출 등의 사례를 중심으로 이러한 취약점들이 AI 기술의 활용에 미치는 영향을 종합적으로 검토합니다. SK쉴더스의 데이터와 연구를 통해, 다양한 보안 위협의 현황과 실제 사례를 제시하고 있으며, 기업들이 이러한 위협에 어떻게 대응하고 있는지에 대한 정보를 제공합니다. 주로 AI와 LLM의 정의와 보안 위협의 증가 배경, 주요 보안 취약점의 분석, 실제 사례, 그리고 SK쉴더스의 대응 전략에 대해 다루고 있습니다.

2. AI 및 LLM의 보안 위협 개요

• 2-1. 생성형 AI와 LLM의 정의

• 생성형 AI는 데이터를 기반으로 새로운 콘텐츠를 생성하는 인공지능 기술을 말하며, LLM(거대언어모델)은 방대한 데이터셋을 학습해 인간과 유사한 언어 이해와 생성 능력을 갖춘 모델입니다. 이러한 AI 기술들은 주로 자연어 처리(NLP)와 생성적 적대 신경망(GAN) 기술을 기반으로 하여 텍스트 생성, 번역, 요약 등을 수행합니다.

• 2-2. AI 보안 위협의 증가 배경

• AI와 LLM의 발전과 함께, 이 기술들을 악용한 보안 위협도 증가하고 있습니다. SK쉴더스의 조사에 따르면, VPN, 라우터 등 네트워크 장비를 통한 지능형지속위협(APT) 공격이 증가하여 전체 보안 사고의 45%를 차지했습니다. 소셜 네트워크 서비스(SNS)를 이용한 소셜 엔지니어링 공격이 뒤를 이어 26%를 기록했습니다. 네트워크 장비의 신규 취약점을 악용한 공격도 성행했으며, 이는 전년 동기 대비 2배 이상 증가한 수치를 보였습니다.랜섬웨어 공격자들이 보안 솔루션 탐지를 피하기 위해 RMM(Remote Monitoring and Management) 기술 및 LotL(Living off the Land) 방식을 사용하고 있다는 점도 눈여겨볼 만합니다. 이 외에도 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출 등 LLM 취약점은 AI 보안 위협에서 중요한 부분을 차지합니다. 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스의 지침을 우회해 공격자가 의도한 답변을 이끌어내는 공격 방식으로, 마약 제조나 피싱 공격 등에 악용될 수 있습니다. 불안전한 출력 처리는 LLM이 생성한 출력물을 시스템이 적절히 처리하지 못하는 경우 발생하며, 이는 2차 공격으로 이어질 수 있습니다. 실제로, 일본에서는 IT 지식이 없는 20대가 생성형 AI를 이용해 랜섬웨어 제작법을 알아냈다는 사례가 있었습니다.

3. 주요 보안 취약점 분석

• 3-1. 프롬프트 인젝션

• 프롬프트 인젝션은 악의적인 입력을 통해 AI 서비스 내 정책을 우회하여 의도하지 않은 답변을 이끌어내는 취약점입니다. SK쉴더스에 따르면, 공격자가 마약 제조, 사제 폭탄 제조, 악성코드 생성 등 해롭고 불법적인 정보를 얻기 위해 프롬프트 인젝션을 악용할 수 있습니다. 실제로, EQST가 챗봇에 폭탄 제조법을 묻자 처음에는 답변할 수 없다는 안내문이 나왔으나, '급조폭발물(IED)'이라는 열쇠말을 사용하자 정확한 폭탄 제조법을 얻을 수 있었습니다. 이러한 사례는 AI의 설정된 지침을 피해가며 악용될 가능성을 보여줍니다.

• 3-2. 불안전한 출력 처리

• 불안전한 출력 처리는 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 취약점입니다. 이로 인해 2차 공격으로 이어질 위험이 있습니다. SK쉴더스에서는 공격자가 원격 접속 코드 실행 요청을 포함한 질문을 챗봇에 입력하고 해당 코드가 실행될 수 있는 예를 시연했습니다. 이에 따라 공격자는 AI LLM 운영 서버를 장악하여 주요 정보를 탈취하거나 랜섬웨어 피해를 입힐 수 있습니다. 이러한 취약점은 특히 원격 코드 실행과 같은 공격을 통해 치명적인 피해를 초래할 수 있습니다.

• 3-3. 민감 정보 노출

• 민감 정보 노출은 애플리케이션 권한 관리가 미흡할 때 발생하는 취약점입니다. LLM이 학습 데이터를 필터링하지 못하면, 학습된 민감 정보가 생성된 답변에 포함될 수 있습니다. SK쉴더스는 학습 데이터에 가명 처리를 하는 등 필터링 보완책이 필요하다고 강조했습니다. 예를 들어, 이용자가 챗GPT에 업로드한 소스 코드를 공격자가 무단으로 접근하는 사례가 있으며, 이를 통해 DB 정보를 탈취할 수 있습니다. 이러한 취약점은 개인정보 유출로 이어질 수 있어 매우 중요한 보안 문제가 됩니다.

4. 보안 취약점의 실제 사례

• 4-1. 네트워크 장비 취약점 공격 사례

• 네트워크 장비의 신규 취약점을 이용한 공격이 크게 증가했습니다. 2024년 상반기 보안 트렌드 보고서에 따르면, VPN 및 라우터와 같은 네트워크 장비를 통한 APT(지능형 지속 위협) 공격이 작년 동기에 비해 2배 증가하였습니다. 네트워크 장비 취약점을 악용한 공격 유형은 전체의 45%를 차지하며, 이는 가장 높은 비율입니다. 또한 이러한 공격은 보안 패치가 발표되었지만 아직 적용되지 않은 상태를 노린 원데이(1-Day) 취약점 악용과, 합법적인 도구를 이용한 랜섬웨어 공격이 포함됩니다. RMM(Remote Monitoring and Management, 원격 모니터링 및 관리) 기술과 LotL(Living off the Land, 설치된 정상 프로그램을 악의적으로 활용하는 기법) 방식을 사용한 공격도 확인되었으며, 이로 인해 한층 더 고도화된 보안 대응이 필요합니다.

• 4-2. 소셜 엔지니어링을 통한 보안 위협

• 소셜 엔지니어링 공격은 사람의 심리를 이용해 기밀을 탈취하는 수법으로, 전체 공격 유형의 26%를 차지합니다. 이는 AI 스피어 피싱을 통해 소셜 네트워크 서비스(SNS)를 이용한 공격으로 나타나는데, 이러한 공격은 점점 더 정교해지고 있습니다. 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스의 지침이나 정책을 우회하여 목적 외의 답변을 이끌어내는 취약점으로, 악성코드 생성, 마약 제조, 피싱 공격 등에 악용될 수 있습니다. 두 번째로는 불안전한 출력 처리가 있습니다. 이는 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하며, 원격 접속 코드 실행 요청이 포함된 문의를 챗봇에 하여 공격자가 AI LLM 운영 서버에 접속하고 중요한 정보를 탈취할 수 있게 되는 식입니다. 마지막으로 민감 정보 노출 취약점도 있습니다. 학습 데이터의 가명 처리나 데이터 검증 등 추가적인 보완책이 필요합니다.

5. 기업의 보안 대응 현황

• 5-1. SK쉴더스의 대응 전략

• SK쉴더스는 AI와 LLM 보안 위협에 대응하기 위해 다양한 전략을 수립하고 있습니다. 이재우 SK쉴더스 EQST사업그룹장은 글로벌 단위로 AI의 관심이 증가함에 따라 보안 위협도 늘고 있는 추세라고 밝혔습니다. 특히 기존 물리적인 공격이나 해킹 방식과 다르게, AI 기술의 발전에 따라 파괴적인 영향을 미칠 수 있는 보안 위협이 증가하고 있습니다. SK쉴더스는 기업 특화 프라이빗 LLM 및 애플리케이션 대상 모의해킹과 컨설팅 서비스를 제공할 예정입니다. 이는 LLM 취약점에 대응하기 위한 방안으로, 기업들이 보안 위협을 최소화할 수 있도록 지원합니다. 이 외에도 제로트러스트에 특화된 사업을 선보이며, AI 인프라 운영에 특화된 환경을 구축하는 서비스를 지원합니다. 최근 발족된 제로트러스트 협의회 '제티아(ZETIA)'를 통해 다양한 기업들과 협력하며 솔루션과 전략을 논의하고 있습니다.

• 5-2. 프라이빗 LLM 및 모의해킹 서비스

• SK쉴더스는 기업 특화 프라이빗 LLM 및 애플리케이션 대상 모의해킹 서비스를 제공하여 LLM 취약점에 대응하고자 합니다. 이는 기업들이 AI 및 LLM 기반 시스템에서 발생할 수 있는 보안 위협을 사전에 발견하고 대응할 수 있도록 돕는 서비스입니다. 이러한 대응 전략은 내부적으로 위해 정보를 답변하지 않도록 설정한 AI 시스템이 프롬프트 인젝션 등을 통해 민감한 정보를 유출하는 사례를 방지하는 데 큰 역할을 할 것입니다. 또한, SK쉴더스는 데브섹옵스(DevSecOps) 구축 컨설팅과 소프트웨어자재명세서(SBOM) 및 머신러닝(ML)-BOM을 통한 AI 모델 관리 사업도 추진하고 있습니다. 이를 통해 AI 기반 클라우드 및 데이터 보안 자동화와 모니터링을 수행하는 시스템 관리 솔루션 클라우드보안형상관리(CSPM)를 강화하고 있습니다. 이와 같은 다양한 보안 대응 전략을 통해 기업들이 AI와 LLM 기술을 안전하게 사용할 수 있도록 지원하고 있습니다.

6. 결론

• 본 리포트에서는 생성형 AI와 LLM에서 발생 가능한 다양한 보안 위협과 그 사례를 심도 있게 분석하였습니다. 대표적인 취약점으로는 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출이 있으며, 이는 AI 서비스의 보안과 신뢰성을 저해할 수 있습니다. 이러한 취약점을 악용한 보안 사고는 증가 추세에 있으며, 특히 네트워크 장비와 소셜 엔지니어링을 통한 공격이 두드러집니다. SK쉴더스와 같은 보안 기업들은 기업 특화 프라이빗 LLM, 모의해킹 서비스를 제공하고 있으며, 데브섹옵스와 CSPM 등을 통해 보안 대응을 강화하고 있습니다. 그러나, AI와 LLM의 보안 위협은 지속적으로 진화하고 있어 지속적인 모니터링과 방어 전략이 필요합니다. 향후에는 더 고도화된 보안 솔루션과 데이터 정제 솔루션의 도입이 중요하며, 이를 통해 실제 기업 환경에서도 이러한 기술들이 안전하게 활용될 수 있도록 보장해야 합니다.

7. 용어집

• 7-1. 프롬프트 인젝션 [취약점]

• 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 지침이나 정책을 우회하여 원래 목적 이외의 답변을 이끌어내는 취약점입니다. 예를 들어 악성코드 생성, 마약 제조법, 피싱 공격 등에 악용될 수 있습니다.

• 7-2. 불안전한 출력 처리 [취약점]

• 불안전한 출력 처리는 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 취약점입니다. 이러한 취약점은 원격 접속 코드 실행을 통한 주요 정보 탈취로 이어질 수 있습니다.

• 7-3. 민감 정보 노출 [취약점]

• 민감 정보 노출은 LLM이 생성하는 답변에서 민감 정보가 필터링 되지 않고 출력되는 취약점을 말합니다. 애플리케이션 권한 관리 미흡도 주 원인 중 하나입니다.

• 7-4. SK쉴더스 [회사]

• SK쉴더스는 AI와 LLM 취약점 연구 및 보안 대응을 선도하는 기업입니다. 다양한 보안 솔루션과 대응 전략을 제공하며 기업과 기관의 보안을 강화하는 역할을 합니다.

• 7-5. 1-Day 취약점 [취약점]

• 1-Day 취약점은 이미 알려진 보안 패치가 적용되지 않은 상태를 노린 취약점입니다. 네트워크 장비나 시스템 소프트웨어의 패치 미적용 상태에서 공격이 발생합니다.

8. 출처 문서

• SK쉴더스 “LLM, 딥페이크·딥보이스 등 AI 보안위협 현실화…생성AI 시대 대책 필요” - 바이라인네트워크https://byline.network/2024/07/2-209/
• SK쉴더스 “AI 거대언어모델 활용한 해킹사례 속출, 보안대책 필요”https://biz.newdaily.co.kr/site/data/html/2024/07/02/2024070200143.html
• AI가 마약 제조법 알려준다?…SK쉴더스 “취약점 대응 전략 수립해야”https://m.ekn.kr/view.php?key=20240702028158322
• AI 속여서 정보 빼간다?…높아지는 LLM 취약점, "특화 보안 서비스 필요"https://m.ddaily.co.kr/page/view/2024070212583114422
• “네트워크 장비 취약점 공격, 전년 대비 2배 증가” SK쉴더스 2024년 상반기 보안 트렌드https://news.zum.com/articles/91650183