‘AI LLM의 보안 취약점과 대응 방안 분석’ 리포트는 AI의 중심 기술인 거대 언어 모델(LLM)의 보안 취약점에 대해 분석하며, 이로 인한 실제 해킹 사례들을 제시하여 현재의 보안 위협 상황을 설명합니다. SK쉴더스의 조사 결과를 기반으로, 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출 등 주요 취약점을 다루며, 이러한 취약점이 어떻게 악용될 수 있는지 사례를 통해 구체적으로 설명합니다. 주요 취약점들은 VPN 및 라우터 등 네트워크 장비를 통한 지능형 지속 위협(APT) 공격이나 소셜 엔지니어링 등의 방식으로 주로 발생하며, LLM의 민감정보 필터링 미흡이 문제로 지적됩니다. 리포트는 기업과 기관의 LLM 보안 인식을 높이고, 이에 따른 대응 방안을 제시하는 것을 목표로 합니다.
이 리포트의 목적은 AI의 핵심 기술인 거대 언어 모델(LLM)의 보안 취약점을 분석하고, 이러한 취약점이 실제로 활용된 사례들을 통해 현재 발생하고 있는 보안 위협을 시사하는 것입니다. SK쉴더스의 분석을 기반으로 LLM의 주요 취약점과 그로 인한 해킹 사례를 정리함으로써, 기업과 기관이 LLM 보안의 중요성을 인식하도록 돕고자 합니다.
LLM 보안은 점점 더 중요해지고 있습니다. 최근 조사에 따르면, 취약점 공격이 45%로 가장 많이 발생하며 이는 VPN 및 라우터와 같은 네트워크 장비를 통한 지능형 지속 위협(APT) 공격으로 인한 것으로 분석되었습니다. 사람의 심리를 이용하여 기밀 정보를 탈취하는 소셜 엔지니어링 공격은 26%를 차지하며, 이는 단순한 보안 문제를 넘어서 심각한 위협으로 대두되고 있습니다. AI LLM 서비스에서 발생 가능한 주요 취약점으로는 ▲프롬프트 인젝션 ▲불안전한 출력 처리 ▲민감 정보 노출이 지적되었습니다. 각각의 취약점은 악의적인 질문을 통해 AI 서비스의 지침을 우회하거나, 생성된 출력을 적절하게 처리하지 못하여 발생하며, 심지어 민감 정보를 유출시킬 수도 있습니다. 따라서 LLM의 사이버 보안 위협을 식별하고 이에 대한 체계적인 대응이 시급히 요구됩니다. 현재 기업들은 LLM과 내부 데이터를 활용하여 언어 모델을 구축하고 있으나, 이 과정에서 민감정보 필터링이 미흡할 경우 답변에 학습된 민감정보가 포함되어 문제가 될 수 있습니다. 이러한 이유로 추가적인 보완책 및 전문적인 보안 솔루션이 필수적입니다.
프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침이나 정책을 우회하여 본래의 목적 이외의 답변을 이끌어내는 취약점입니다. 이 취약점은 악성코드 생성, 마약 및 폭발물 제조, 피싱 공격 등에 악용될 수 있습니다. 예를 들어, 공격자는 챗봇에 암호화된 질문을 제시함으로써 정상적인 답변을 회피하고, 필요로 하는 정보를 얻는 방식으로 프롬프트 인젝션을 이용할 수 있습니다. 실제로 최근 일본에서는 무지한 사용자가 생성형 AI 서비스에 질문하여 랜섬웨어 제작법을 얻었다는 사례가 있습니다.
불안전한 출력 처리 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 것입니다. 이로 인해 다른 2차 공격이 이어질 수 있으며, 예를 들어 공격자가 원격 접속 코드 실행 요청을 포함한 질문을 챗봇에 하여 원격 코드가 실행되면, 공격자는 AI LLM 운영 서버에 접근하여 중요한 정보를 탈취하게 될 수 있습니다.
민감 정보 노출은 애플리케이션의 권한 관리 미흡으로 인해 발생하는 취약점입니다. LLM이 생성하는 답변에 민감 정보가 필터링 없이 노출될 경우, 사용자 개인정보가 유출될 수 있습니다. 예를 들어, 사용자가 챗GPT에 업로드한 소스 코드에 대한 접근 권한을 공격자가 무단으로 획득함으로써 데이터베이스 정보를 탈취할 수 있는 식입니다. 이러한 위험을 줄이기 위해 학습 데이터에 대한 가명 처리와 검증이 필요하며, 효과적인 민감 정보 필터링이 요구됩니다.
프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침이나 정책을 우회하여 본래의 목적 이외의 답변을 이끌어내는 취약점입니다. 이러한 공격은 악성코드 생성, 마약 제조, 피싱 공격 등에 악용될 수 있습니다. 예를 들어, EQST의 시연에서 악의적인 입력을 주입하여 챗봇이 본래의 안전 지침을 무시하고 마약과 관련된 정보를 제공하는 모습을 확인하였습니다. 이와 관련하여 SK쉴더스의 분석에 따르면 먼저, 정보기술(IT)에 대한 지식이 없는 사용자가 생성형 AI를 사용해 랜섬웨어 제작법을 얻은 사례도 드러났습니다.
불안전한 출력 처리 취약점은 LLM이 생성한 출력물이 올바르게 처리되지 못할 경우 발생합니다. 이 취약점은 다른 2차 공격으로 이어질 수 있어 위험도가 높습니다. 예를 들어, 공격자가 챗봇에 원격 접속 코드 실행 요청이 포함된 내용을 질문하였고, 챗봇이 이를 실행하게 되는 상황이 발생할 수 있습니다. 이로 인해 공격자는 AI LLM 운영 서버에 접속하여 중요 정보를 탈취할 수 있게 됩니다. SK쉴더스의 보고서에서는 이러한 공격 방식이 실제로 발생할 수 있으며, 시스템의 적절한 출력 처리의 필요성이 강조되고 있습니다.
민감 정보 노출은 주로 애플리케이션의 권한 관리가 미흡할 때 발생하는 취약점입니다. 이 경우 LLM이 생성하는 출력에 민감 정보가 여과 없이 포함될 수 있어 개인정보 유출로 이어질 수 있습니다. 예를 들어, 사용자가 챗GPT에 개인 소스를 업로드할 경우, 공격자가 무단으로 접근할 수 있는 상황이 발생할 수 있다는 분석이 있었습니다. SK쉴더스는 이러한 취약점에 대해 학습 데이터에서 민감 정보를 필터링하는 추가적인 보완책이 필요하다고 강조하였습니다.
본 리포트는 AI LLM의 보안 취약점에 대한 주요 통계를 제공하고, 이에 따른 대응 방안의 필요성을 강조합니다. SK쉴더스의 발표에 의하면, 전체 사고 발생 중 취약점 공격이 45%로 가장 많이 발생하였으며, 이는 VPN, 라우터 등의 네트워크 장비를 통한 지능형 지속 위협(APT) 공격 때문으로 나타났습니다. 또한, 사람의 심리를 이용하는 소셜 엔지니어링 공격이 26%를 차지하였습니다. 이러한 통계는 AI 보안의 시급한 대책 마련이 필요함을 시사합니다. 신규 네트워크 장비의 취약점을 악용한 공격이 작년 동기 대비 2배 증가하였고, 보안 패치가 발표되었음에도 불구하고 이를 적용하지 않은 상태를 노린 원데이(1-Day) 취약점과 합법적인 도구를 사용한 랜섬웨어 공격 또한 발생하였습니다. 최근 랜섬웨어 공격자들은 보안 솔루션 탐지를 피하기 위해 RMM(Remote Monitoring and Management) 기술이나 LotL(Living off the Land) 방식을 타깃으로 삼는 경우가 많아 주의가 요구됩니다. AI LLM과 관련하여 발생할 수 있는 취약점으로는 ‘프롬프트 인젝션’, ‘불안전한 출력 처리’, ‘민감 정보 노출’이 있습니다. 이러한 취약점들은 악의적인 활용이 가능하며, 이를 방지하기 위한 보안 솔루션 필요성이 강화됩니다.
SK쉴더스는 생성형 AI의 보안 위협에 대해 다양한 대응 전략을 준비하고 있습니다. SK쉴더스의 발표에 따르면, 기업에서는 LLM을 학습시킬 때 민감정보 필터링이 미흡한 경우, 답변에 학습된 민감정보가 출력될 수 있어 추가적인 보완책이 필요합니다. 프롬프트 인젝션과 불안전한 출력 처리 같은 주요 취약점에 대한 시연 및 атака 사례가 presented 되었으며, 이에 대해 SK쉴더스는 화학폭탄 제조, 마약 제조 등 harmful 분야에서 악용 가능성을 지적하고 있습니다. 이에 따라 SK쉴더스는 프롬프트 보안 솔루션과 데이터 정제 솔루션을 도입하여 민감정보 유출을 방지하기 위한 방안을 제안합니다. AI 서비스 운영 시, 민감정보 필터링의 필요성이 강조되며, 학습 데이터에 가명 처리를 적용하거나 데이터를 검증하는 등의 추가 보완책이 필요하다는 분석이 나왔습니다. SK쉴더스는 LLM 취약점에 대응할 수 있는 사업을 준비 중이며, 고객 맞춤형 프라이빗 LLM 및 모의 해킹과 컨설팅 서비스를 제공할 계획을 세우고 있습니다.
본 리포트는 AI LLM의 주요 보안 취약점을 다룸으로써, 현재 발생하고 있는 보안 위협의 심각성을 강조합니다. 프롬프트 인젝션, 불안전한 출력 처리, 민감 정보 노출과 같은 취약점이 실제 해킹 공격에 악용되는 사례들이 증가하고 있으며, 이로 인해 AI LLM의 보안 대책 마련이 시급해졌습니다. SK쉴더스는 이러한 취약점을 방지하기 위해 다양한 솔루션과 대응 전략을 제안하며, 특히 프롬프트 보안 솔루션과 데이터 정제 솔루션을 통해 민감정보 유출을 방지하는 방안을 제시합니다. 향후 더 많은 연구가 필요하며, 기업은 이러한 보안 솔루션을 적극 활용하여 보안 체계를 강화해야 합니다. 추가적으로, 학습 데이터의 철저한 가명 처리와 효과적인 검증을 통해 개인정보 유출을 예방하는 것이 중요합니다. AI LLM의 보안 문제에 대한 체계적이고 지속적인 관심과 노력이 요구됩니다.
프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 지침 및 정책을 우회하고, 본래 목적 이외의 답변을 이끌어내는 기술입니다. 이는 악성코드 생성, 마약 제조, 피싱 공격 등의 악용 사례로 이어질 수 있습니다.
불안전한 출력 처리는 LLM이 생성한 출력물의 시스템 처리 과정에서 발생하는 취약점으로, 결과적으로 다른 2차 공격이 이어질 수 있습니다. 예를 들어, 시스템이 원격 접속 코드를 실행하게 되면 중요 정보 탈취가 가능합니다.
민감 정보 노출은 애플리케이션 권한 관리 미흡으로 인해 LLM이 생성하는 답변에 학습된 민감 정보가 여과 없이 출력되는 취약점입니다. 이는 개인정보 유출 등의 문제로 이어질 수 있습니다.
SK쉴더스는 LLM 보안 취약점 대응을 위한 솔루션과 전략을 제공하는 기업입니다. 다양한 취약점 분석 및 보안 대책을 통해 기업과 기관의 보안 체계를 강화하는 역할을 수행하고 있습니다.
EQST는 AI LLM 서비스에서 발생할 수 있는 보안 취약점을 분석하고 이에 대한 연구를 수행하는 비영리단체입니다. 주요 LLM 취약점에 대해 연구하고, 위험도를 평가하여 시연 결과를 발표한 바 있습니다.