Your browser does not support JavaScript!

글로벌 생성형 AI 보안·규제 현황과 주요 기술 트렌드

일반 리포트 2025년 04월 24일
goover

목차

  1. 요약
  2. LLM 보안 위협과 기업 대응
  3. 글로벌 및 국내 정책·규제 동향
  4. 신기술 동향: AI 에이전트와 플랫폼
  5. 생성형 AI 핵심 용어 정리
  6. 결론

1. 요약

  • 2024년 하반기부터 생성형 AI(Generative AI), 특히 거대언어모델(LLM)은 기업, 국방 및 정책 분야에서 급속히 확산되며, 동시에 보안 위협과 규제에 관한 논의가 극심해지고 있습니다. LLM의 훈련 과정에서 발생할 수 있는 데이터 조작 및 오염의 위험은 한국국방연구원과 과실연 AI미래포럼에 의해 경고되었으며, 이는 AI의 출력 신뢰성에 심각한 위협 요인이 되고 있습니다. 미국과 멕시코의 연구진은 이를 악용하는 '매쓰프롬프트'(Math Prompt) 공격 기법을 발표하며, 보안 체계가 취약해질 가능성을 시사하였습니다.

  • 기업들은 이러한 보안 위험을 mitigate하기 위해 삼성SDS가 개발하는 AI 기반 사이버보안 솔루션과 같은 방안을 모색하고 있습니다. 이 솔루션은 실시간 데이터 모니터링 및 침해 감지 기능을 갖추고 있어 기업 환경에서 LLM 활용을 안전하게 만들어줍니다. 정책적 측면에서도 일본 공정거래위원회는 글로벌 빅테크의 시장 독점 실태조사를 시작하였고, 한국 국회 과학기술정보방송통신위원회는 AI 기본법 제정을 위한 공청회를 개최하여 AI의 건강한 발전을 도모하고 있습니다. 이러한 정책적 노력은 공정한 경쟁과 신뢰를 기반으로 하는 AI 환경을 조성하는 데 기여할 것입니다.

  • 기술적인 측면에서도 AI 에이전트와 기업용 플랫폼 '게일' 같은 혁신적인 도구가 출시되어 주목받고 있습니다. AI 에이전트는 업무의 자동화 및 효율화를 통해 기업의 생산성을 급속히 향상시키고 있으며, 게일은 사용자들이 AI 애플리케이션을 저항 없이 배포할 수 있도록 돕고 있습니다. 이러한 동향은 생성형 AI가 기업의 서비스 및 운영 방식을 근본적으로 변화시키는 데 중요한 역할을 하고 있습니다. 전체적으로, 본 분석에서는 이러한 동향을 LLM의 보안 위협, 정책 및 규제 토대, 기술 트렌드 및 용어 이해의 네 가지 관점에서 심도 있게 다루었습니다.

2. LLM 보안 위협과 기업 대응

  • 2-1. LLM 훈련 데이터 조작 및 오염 위험

  • 거대언어모델(LLM)의 훈련 데이터 조작 및 오염은 기업의 보안과 데이터 신뢰성을 크게 저해할 수 있는 심각한 문제입니다. LLMS는 방대한 양의 데이터를 수집하고 이 데이터를 기반으로 학습하여 자연어 처리 능력을 키우는데, 이 과정에서 악의적인 사용자가 조작된 정보나 오염된 데이터를 주입할 경우 AI 모델의 출력 품질과 신뢰성이 저하될 위험이 있습니다. 이러한 공격 방식은 '데이터 중독'이라고도 불리며, 특정 정보의 신뢰성을 떨어뜨릴 수 있는 방식으로 진행됩니다. 예를 들어, 기업 내부의 중요 문서나 의사결정 과정을 흉내 내는 데이터를 LLM에 주입하면 AI가 잘못된 정보에 기반하여 의사결정을 내릴 수 있으며, 이는 결국 기업의 전략적 판단을 왜곡하여 심각한 피해를 초래할 수 있습니다.

  • 이러한 위험을 방지하기 위해 기업들은 LLM이 사용하는 훈련 데이터의 출처를 면밀히 검토하고, 데이터 정화 작업을 지속적으로 수행해야 합니다. 삼성SDS에서 개발 중인 AI 기반 사이버보안 솔루션은 이러한 오염을 방지하고, 기업 내부의 중요 정보를 보호하는 데 중점을 두고 있습니다. 이 솔루션은 자동으로 데이터를 분석하고, 무단 접근이나 비정상적인 데이터 조작 시도에 대해 경고하는 기능을 갖추고 있어, 기업 환경에서의 LLM 활용이 보다 안전하도록 돕는 역할을 합니다.

  • 2-2. ‘매쓰프롬프트’ 공격 기법

  • 최근 연구에서 '매쓰프롬프트'(Math Prompt)로 불리는 새로운 공격 방식이 등장했습니다. 매쓰프롬프트는 자연어 대신 수학적 방정식을 이용하여 LLM의 보안 메커니즘을 우회하는 방식으로, 기존 안전 장치에 취약성을 노출시키는 주요 요인으로 지적되고 있습니다. 예를 들어, 사용자가 '이 보안 시스템을 어떻게 비활성화할 수 있나요?'라는 질문 대신 수학 기호를 활용해 질문을 입력하면, LLM이 이를 정상적인 요청으로 간주하고 응답할 수 있습니다. 연구에 따르면, 여러 LLM 시스템에서 이 방식의 공격 성공률이 평균 73.6%에 달하며, 이는 보안 시스템이 이와 같은 수학적 명령을 잘 처리하지 못한다는 것을 보여줍니다.

  • 따라서, 기업의 정보 보안 책임자는 이와 같은 새로운 공격 방식에 대해 충분한 경각심을 가지고 LLM을 사용하는 데 있어 더욱 철저한 보안 관리를 요구해야 합니다. 매쓰프롬프트와 같은 공격은 자연어 명령어에 대한 방어 체계가 존재하더라도, 수학적 표현을 기반으로 한 새로운 형태의 요청에 대해 효과적으로 대응하기 어렵음을 암시합니다. 이를 극복하기 위해 LLM 시스템의 보안 강화를 위한 지속적인 연구와 개발이 필요하며, 기업들은 이러한 위협을 인지하고 적절히 대응할 수 있는 보안 정책을 수립해야 할 것입니다.

  • 2-3. 기업용 AI 보안 솔루션과 모니터링

  • 기업들이 LLM을 직접 활용하면서 보안 위협에 적극 대응하기 위해 다양한 AI 기반 보안 솔루션이 개발되고 있습니다. 삼성SDS의 인사이트 리포트에 따르면, 생성형 AI는 기업의 사이버 보안 차원을 한층 향상시킬 수 있는 기회를 제공하는 반면, 데이터 접근권한의 남용 및 내부 정보 유출 등의 새로운 위험을 동반하기도 합니다. 기업들은 LLM이 내부 시스템에 접근할 때 필수적으로 권한 제어를 강력히 해줘야 하며, 이를 통해 해커들이 악용할 수 있는 경로를 차단해야 합니다.

  • LM에서 실시간 모니터링을 통한 위협 분석은 필수적입니다. 이상 행위 탐지와 경고 시스템은 LLM가 처리하는 모든 요청과 응답을 24시간 모니터링하는 기능을 포함해야 할 것이며, 이러한 시스템은 사이버 공격이 발생하기 전 사전 예방 조치를 마련하는 데 크게 기여할 것입니다. 이러한 보안 솔루션들이 LLM 기술과 결합되면 기업들은 사이버 위험에 훨씬 효과적으로 대응할 수 있으며, 보안 인식 제고 및 교육 측면에서도 LLM을 활용한 솔루션이 큰 도움이 될 것입니다.

3. 글로벌 및 국내 정책·규제 동향

  • 3-1. 일본 공정위의 AI시장 독점 실태조사

  • 일본 공정거래위원회는 2024년 9월 30일, 미국 거대 기술기업들이 장악한 생성형 인공지능(AI) 시장의 독점 문제를 조사하기 위한 실태조사에 착수한다고 발표했습니다. 이는 일본 내에서 AI의 경쟁상 문제를 해결하며 건전한 시장 경쟁을 촉진하기 위한 조치로, 조사 결과는 곧 공개될 예정입니다.

  • 조사 내용에는 우월적 지위를 이용하여 데이터 접근을 제한하거나 신생 기업의 우수 인재를 자사로 유인하는 행위가 포함됩니다. 특히 구글, 마이크로소프트, 메타와 같은 기업들이 AI 기술 개발 시 필수적인 데이터와 반도체 자원의 이용을 독점하는 문제가 심각하게 다루어질 것입니다. 예를 들어, 현재 엔비디아는 AI 반도체 부문에서 90%의 시장 점유율을 기록하고 있으며, 이는 경쟁 기업들의 시장 진입을 더욱 어렵게 만들고 있습니다.

  • 일본 공정위의 이번 조치는 독점금지법 기존 문제점을 조기에 파악하여, AI 시장 내에서의 동등한 경쟁 기회를 보장하려는 목표를 가지고 있습니다. 이러한 규제가 적용될 경우, 일본의 AI 시장은 건강한 경쟁 환경을 조성하고, 소비자에게 더 나은 서비스를 제공할 수 있는 기반을 마련할 것으로 기대됩니다.

  • 3-2. 한국 국회 과방위의 AI 기본법 공청회

  • 2024년 9월 24일, 한국 국회 과학기술정보방송통신위원회가 AI 기본법 제정을 위한 공청회를 개최하였습니다. 이번 공청회는 AI 기술의 건전한 발전을 지원하고, 신뢰 기반의 AI 사회를 조성하기 위한 초석을 다지기 위한 과정으로, AI 기본법의 주요 내용과 방향성에 대한 논의가 이뤄졌습니다.

  • AI 기본법은 특히 생성형 AI 저작물에 대한 안전한 이용을 규정하며, 필요한 경우 AI 콘텐츠에 대한 워터마크 부착 의무화를 포함하고 있습니다. 과방위는 법안의 제정이 AI 기술의 발전과 함께 사회적 신뢰를 확보하는 데 있어 필수적이라는 점에 공감대를 형성하였습니다.

  • 공청회에서는 AI 규제와 진흥 사이의 균형을 어떻게 잡아야 할지가 주요 쟁점으로 부각되었습니다. 참석자들은 AI 기술의 신속한 적용과 글로벌 경쟁력을 확보하는 동시에, 불법 AI 생성물에 대한 규제를 강화할 필요성도 강조하였습니다. 이러한 논의는 앞으로의 AI 정책 수립 과정에서 큰 영향을 미칠 것으로 예상됩니다.

4. 신기술 동향: AI 에이전트와 플랫폼

  • 4-1. 자율형 AI 에이전트 개념과 사례

  • 자율형 AI 에이전트는 특정 목표를 달성하기 위해 독립적으로 작업을 수행할 수 있는 인공지능 시스템을 의미합니다. 일반적으로 대화형 AI와 비교할 때, 이들은 더 높은 수준의 자동화와 자율성을 가지고 있으며, 사용자가 설정한 임무를 효과적으로 수행하는 데 필요한 데이터 수집과 계획을 스스로 할 수 있는 능력을 갖추고 있습니다. 예를 들어, 사용자가 특정 시간에 치과 예약을 요청하면, AI 에이전트는 사용자의 캘린더를 확인하고 치과 예약 시스템에 접속하여 예약을 완료한 후 결과를 통보합니다. 이러한 과정은 사용자의 개입없이 이루어지므로 업무 효율성이 크게 향상될 수 있습니다.

  • 현대의 AI 에이전트는 다양한 산업에서 활용되고 있으며, 특히 보험 및 금융 분야에서 두드러진 사례로 볼 수 있습니다. 예를 들어, 삼성SDS의 AI 서비스는 보험금 청구 프로세스를 자동화하여 2주 걸리는 절차를 3일 이내로 줄이는 성과를 보여주고 있습니다. 각기 다른 AI 에이전트가 업무를 나누어 맡음으로써 전체 과정을 간소화하고 시간을 단축할 수 있습니다. 이러한 변화는 내부 업무 효율성을 개선하는 동시에 사용자의 경험을 향상시키는 데 기여하고 있습니다.

  • AI 에이전트는 '자비스'와 같은 개념으로 널리 알려져 있으며, 이는 대중문화의 영향을 받았음을 의미합니다. 예를 들어, 영화 아이언맨에서 등장하는 자비스는 복잡한 작업을 수행하고, 사용자 데이터를 활용하여 필요한 정보를 제공하는 AI 비서의 전형을 보여줍니다. 이러한 AI 에이전트의 발전은 실질적으로 업무 자동화를 가능하게 하여 여러 산업에서의 경쟁력 강화를 이끌고 있습니다.

  • 4-2. 기업용 생성형 AI 플랫폼 ‘게일’ 출시

  • 코어에이아이는 2024년 9월 24일, 기업용 생성형 및 대화형 AI 플랫폼인 '게일(GALE)'을 출시했습니다. 이 플랫폼은 기업이 AI 애플리케이션을 신속하게 개발하고 배포할 수 있도록 설계되었으며, 특히 노코드(no-code) 도구와 직관적인 인터페이스를 제공하여 AI 전문 지식이 없는 사용자도 활용할 수 있도록 하기 위해 개발되었습니다.

  • 게일의 주요 기능에는 노코드 플로우 빌더, 모델 허브, AI 에이전트 및 프롬프트 스튜디오가 포함됩니다. 노코드 플로우 빌더는 드래그 앤 드롭 인터페이스를 통해 복잡한 워크플로우와 애플리케이션을 빠르게 생성할 수 있도록 지원하며, AI 에이전트는 복잡한 작업과 프로세스를 자동화시키는 데 중점을 두고 있습니다. 이를 통해 기업은 시간이 많이 소요되는 업무를 단순화하고 효율성을 높일 수 있습니다.

  • 코어에이아이는 게일을 통해 기업이 보다 쉽게 대규모 AI 솔루션을 구현할 수 있으며, 사전 구축된 템플릿과 즉시 사용 가능한 통합 기능을 활용하여 비즈니스 프로세스를 혁신적으로 변화시킬 수 있다고 강조했습니다. 이러한 플랫폼의 출시는 AI 에이전트의 발전과 함께, 기업들이 경쟁력 있는 AI 솔루션을 빠르게 도입할 수 있는 기회를 제공하고 있습니다.

5. 생성형 AI 핵심 용어 정리

  • 5-1. 주요 생성형 AI 용어 23가지

  • 생성형 AI(Generative AI)는 데이터로부터 새로운 콘텐츠를 생성하는 인공지능 기술입니다. 기존 데이터를 학습하여 그 데이터를 바탕으로 텍스트, 이미지, 음악 등 다양한 형태의 콘텐츠를 만들어내는 데 사용됩니다. 이는 특히 기계학습의 한 분야로, 자연어 처리(NLP)와 컴퓨터 비전 등의 기술이 결합되어 강력한 성능을 발휘합니다.

  • 에이전틱 시스템(Agential Systems)은 자율적으로 결정을 내리거나 특정 작업을 수행하는 AI 모델을 말합니다. 이러한 시스템은 여러 개의 AI 에이전트가 협력하여 공동의 목표를 달성할 수 있도록 설계되어 있고, 이러한 에이전트는 생성형 AI를 통해 더욱 복잡한 작업을 수행할 수 있습니다. 특히, 이러한 시스템은 저장되거나 처리되는 데이터에 대해 안전성을 보장하는 것이 매우 중요합니다.

  • AI 정렬(AI Alignment)이란, AI 시스템이 특정 목표에 맞게 작동하도록 훈련하는 방법을 가리킵니다. 이는 가치 체계 또는 윤리적 기준을 기준으로 AI의 행동을 조정하는 것을 의미합니다. 비록 많은 기업들이 AI의 윤리를 고려하지만, 여전히 여러 기업 간 기준과 목표가 일치하지 않기 때문에 다양한 논란이 존재합니다.

  • 블랙박스(Black Box)는 내부 프로세스가 명확하게 설명되지 않거나 투명하지 않은 AI 모델을 의미합니다. 이는 AI의 결정 과정이나 학습 방식의 불투명함이 기업의 의사 결정에 심각한 영향을 미칠 수 있으며, 이러한 블랙박스 문제를 해결하기 위한 노력이 증가하고 있습니다.

  • 컨텍스트 창(Context Windows)은 주어진 프롬프트에 대해 AI 모델이 처리할 수 있는 특정 양의 정보(토큰 수)를 나타냅니다. 모델의 컨텍스트 창이 클수록 더 많은 정보와 예시를 포함시킬 수 있어 AI의 답변 품질을 개선할 수 있습니다. 예를 들어, 오픈AI의 챗GPT는 최대 128, 000개의 토큰을 처리할 수 있습니다.

  • 증류(Distillation)란, 기존의 대형 모델을 작은 모델로 축소하여 특정 작업에 최적화하는 과정을 말합니다. 이 과정은 모델의 크기를 줄이면서도 성능 손실을 최소화하여, 상당한 비용 절감과 더불어 실행 속도의 향상을 가져옵니다.

  • 임베딩(Embeddings)은 텍스트, 이미지 등 다양한 데이터 유형을 벡터 형태로 변환하여 표현하는 방법입니다. 이 방법은 유사한 데이터끼리 거리상 가까이 위치하게 하여, AI 모델이 관련된 정보를 더 효과적으로 검색하고 처리할 수 있도록 도와줍니다.

  • 미세 조정(Fine-tuning)은 사전 훈련된 AI 모델을 특정 작업에 맞도록 추가 훈련하는 과정을 말합니다. 회사들은 일반적으로 대규모 데이터 세트를 사용해 처음 훈련된 모델을 바탕으로 자신들의 데이터로 모델을 미세하게 조정하여 더 높은 정확도를 얻고자 합니다.

  • 파운데이션 모델(Foundation Models)은 대규모 데이터셋에서 학습한 AI 모델로, 주로 특정한 작업에 적용 가능하도록 설계됩니다. 이는 다양한 분야에서 활용되며, 대개 VOC 데이터 등에 기반하여 초기 교육이 이루어집니다.

  • 그라운딩(Grounding)은 AI가 학습한 데이터를 바탕으로 보다 정확한 응답을 생성하는 과정을 말합니다. AI는 학습 데이터에서 수집한 패턴을 기억하지만, 실제 데이터를 저장하지 않기 때문에 적절한 컨텍스트를 제공함으로써 응답의 정확성을 높이는 것이 중요합니다.

  • 환각(Hallucinations)은 AI가 그럴듯하지만 사실과는 전혀 다른 잘못된 정보를 생성하는 현상을 말합니다. 이를 방지하기 위해 여러 방안을 모색하고 있지만, 여전히 사용자의 검증이 필요한 경우가 많습니다.

  • 휴먼 인 더 루프(Human in the Loop)는 생성형 AI의 결과물이 안전성이나 정확성이 부족할 경우, 전문가가 결과물을 검토하는 절차를 포함하는 접근 방식을 의미합니다.

  • 추론(Inference)은 훈련된 모델을 활용하여 입력된 질문에 대한 답변을 생성하는 과정을 의미합니다. 이때 발생하는 비용은 모델의 복잡성, 요청량 등에 따라 달라질 수 있습니다.

  • 탈옥(Jailbreaking)은 AI 시스템의 기본적인 제한을 우회하여 원치 않는 응답을 생성하게 만드는 행위를 의미합니다. 이러한 사례는 AI의 보안을 심각하게 위협하며, 각 AI 모델의 안정성과 안전성을 저해합니다.

  • 대규모 언어 모델(Large Language Models, LLM)은 수십억 개에서 수조 개에 이르는 파라미터로 구성된 텍스트 기반 AI 모델입니다. 이는 자연어 처리와 생성에 특히 강력한 성능을 발휘하여 대화형 AI 등 다양한 용도로 활용됩니다.

  • 멀티모달 AI(Multimodal AI)는 텍스트, 이미지, 비디오 등 다양한 데이터 유형을 동시에 처리하는 능력을 가진 AI입니다. 이는 사용자와의 상호작용을 보다 풍부하고 자연스럽게 해주며, 최근 AI 분야의 주요 트렌드로 대두되고 있습니다.

  • 프롬프트(Prompt)는 AI 모델에 입력되는 질문 또는 지시사항을 의미하며, 이는 모델이 어떠한 방식으로 응답할지를 결정짓는 중요한 요소입니다. 프롬프트 설계는 AI 성능을 극대화하는 데 매우 중요합니다.

  • 프롬프트 엔지니어링은 AI 모델에서 원하는 응답을 얻기 위해 효과적인 프롬프트를 작성하는 과정입니다. 이는 모델의 답변 품질을 향상시키는 데 필수적이며, 좋은 프롬프트는 사용자 경험을 획기적으로 개선할 수 있습니다.

  • 검색 증강 생성(Research-Augmented Generation, RAG)은 정보의 질과 적시성을 향상시키기 위해 AI가 관련 데이터를 기반으로 응답을 생성하는 과정을 말합니다. 이는 특히 마케팅, 고객 서비스 등 다양한 분야에서 활용되고 있습니다.

  • 책임감 있는 AI(Responsible AI)란, AI 개발과 시행과정에서 윤리적 판단, 사회적 책임 등을 고려하는 접근 방식을 의미합니다. 이는 기업이 사회적 신뢰를 구축하고, 규제를 준수하는 데 중요한 역할을 합니다.

  • 소규모 언어 모델(Small Language Models)은 대규모 모델에 비해 상대적으로 적은 수의 파라미터를 가진 모델로, 특정 응용에 더 적합하며, 비용 효율성이 뛰어난 장점이 있습니다.

  • 합성 데이터(Synthetic Data)는 실제 데이터를 기반으로 인위적으로 생성된 데이터로, AI 모델의 학습 및 훈련 시 활용됩니다. 이는 데이터 부족 또는 개인정보 보호 문제를 해결하는데 도움을 주지만, 지나친 사용은 새로운 편향을 초래할 수 있습니다.

  • 벡터 데이터베이스(Vector Databases)는 데이터의 유사성을 기반으로 정보를 신속하게 검색하고 분석할 수 있도록 설계된 데이터 저장소입니다. 이는 AI가 필요한 정보를 조작하는 데 매우 유용합니다.

  • 제로 샷 프롬프트(Zero-shot Prompting)는 사용자가 AI 모델에 특정 예시 없이 질문하는 방식을 의미합니다. 이는 매우 직관적이고 사용이 간편하다는 장점이 있지만 때로는 결과의 품질이 떨어질 수 있습니다.

결론

  • 2024년 하반기 생성형 AI 생태계는 그 뛰어난 혁신 잠재력과 함께 보안 위협, 시장 독점 우려, 정책·법제 정비 필요성이 혼재하는 복합적인 양상을 나타내고 있습니다. 연구 결과에 따르면, LLM의 오염이나 매쓰프롬프트와 같은 새로운 공격 기법은 기업들이 보안을 강화해야 할 시급성을 부각시켰으며, 이를 위해 AI 모니터링 및 침해 탐지 솔루션의 강화가 필수적입니다.

  • 정책 측면에서, 일본과 한국은 AI 시장의 공정성과 책임성을 확보하기 위해 제도 정비에 적극 나서고 있으며, 이러한 변화는 국제적인 공조와 민관 협력을 통해 이루어질 필요가 있습니다. 규제 조율과 관련하여 각국의 정책은 기업의 기술 안전성을 높이는 동시에, 시장의 신뢰도 확보를 위한 방안으로 작용해야 할 것입니다.

  • 앞으로의 전망은 기업과 연구 기관들이 기술의 안정성을 확보하는 동시에, 정책 변화에 신속히 대응해야 할 필요성을 내포하고 있습니다.政府는 균형 잡힌 진흥과 규제 전략을 통해 신뢰 기반의 AI 생태계를 조성하는 데 집중해야 하며, 이는 기업이 지속적으로 변화하는 환경에 효과적으로 대응할 수 있도록 돕는 중요한 요소로 작용할 것입니다. 따라서, 올바른 정책 및 기술적 접근 방식을 통해 향후 AI 분야에서의 지속 가능한 성장을 이끌어내는 것이 중요합니다.

용어집

  • 생성형 AI(Generative AI): 데이터로부터 새로운 콘텐츠를 생성하는 인공지능 기술로, 기존 데이터를 학습하여 텍스트, 이미지, 음악 등 다양한 형태의 콘텐츠를 만들어내는 데 사용된다. 이는 기계학습의 한 분야로, 자연어 처리(NLP)와 컴퓨터 비전 기술이 결합된 형태이다.
  • 거대언어모델(LLM): 수십억에서 수조 개의 파라미터로 구성된 대규모 텍스트 기반 AI 모델로, 자연어 처리와 생성에 특화되어 있어 대화형 AI 등 다양한 용도로 활용된다. LLM은 방대한 양의 데이터를 학습하여 언어 이해 및 생성 능력을 강화한다.
  • AI 보안(AI Security): AI 시스템과 관련된 보안에 대한 모든 측면을 포함하는 개념으로, 데이터 보호, 시스템의 무결성 유지, 그리고 악의적인 공격으로부터 방어하는 방법을 설명한다. 이는 AI 활용이 증가함에 따라 더욱 중요해지고 있는 분야이다.
  • 매쓰프롬프트(Math Prompt): 수학적 표현을 통해 LLM의 보안 메커니즘을 우회하는 공격 기법으로, 자연어 대신 수학적 방정식을 사용하여 AI가 정상 요청으로 간주하도록 유도하는 방식이다. 최근 연구에 따르면, 여러 LLM 시스템에서 이 방식의 성공률이 평균 73.6%에 달하는 것으로 드러났다.
  • AI 에이전트(AI Agent): 특정 목표를 달성하기 위해 독립적으로 작업을 수행할 수 있는 인공지능 시스템을 말한다. 사용자가 설정한 임무를 스스로 수행하는 능력을 갖추고 있어, 다양한 산업에서 업무의 자동화 및 효율화를 일으킨다.
  • AI 기본법(AI Basic Law): AI 기술의 안전한 발전과 신뢰 기반 사회 조성을 위해 제정되는 법률로, 생성형 AI 저작물의 안전한 이용을 규정하며 워터마크 부착 등의 조항을 포함할 수 있다. 한국에서 2024년 9월 24일 공청회를 개최하여 논의가 이뤄졌다.
  • 시장 독점(Market Monopoly): 특정 기업이나 조직이 시장에서 독점적인 지위를 점하는 현상을 말하며, 이는 경쟁의 제한과 소비자 선택의 감소로 이어질 수 있다. 일본 공정거래위원회는 이를 조사하기 위한 실태조사에 착수할 예정이다.
  • 데이터 조작(Data Manipulation): 훈련 데이터의 신뢰성을 저하시켜 AI 모델의 출력 품질을 저하시키는 행위를 의미한다. 기업의 보안 위협 요소로 작용할 수 있으며, '데이터 중독'이라는 공격 방식으로도 알려져 있다.
  • 투명성(Transparency): AI 시스템의 결정 과정이나 작동 방식이 명확하고 이해할 수 있도록 하는 속성을 의미한다. 이는 블랙박스 문제를 해결하기 위한 주요 요소로, 신뢰성을 확보하는 데 중요한 역할을 한다.
  • 책임감 있는 AI(Responsible AI): AI 개발과 시행 과정에서 윤리적 판단 및 사회적 책임을 고려하는 접근 방식을 뜻한다. 기업이 사회적 신뢰를 구축하고 규제를 준수하는 데 중요한 요소로 작용한다.

출처 문서