AI, 책임의 외투를 입다: 윤리, 기술, 규제의 융합으로 빚는 미래
목차
- 요약
- 서론
- 책임 있는 AI의 핵심 가치와 필요성
- 기술적·제도적 보장 장치
- 법적 규제와 책임 경계
- 개발자와 조직의 책임 확보
- 사회적 영향과 신뢰 증진
- 종합 의견과 미래 방향
- 결론
1. 요약
본 리포트는 책임 있는 AI 구현을 위한 핵심 요소들을 분석하고, 혁신과 사회적 책임 간의 균형점을 모색합니다. 주요 국제기구의 윤리 원칙, 고위험 AI 규제, 그리고 개발자 책임 강화를 통해 지속 가능한 AI 생태계를 구축하는 방안을 제시합니다. 특히, EU AI Act 위반 시 최대 3,500만 유로의 벌금이 부과될 수 있다는 점은 AI 윤리 준수의 중요성을 강조합니다. 본 리포트는 윤리적 AI 구현을 위한 통합적 접근 방식을 제시하며, 기술 혁신과 사회적 가치 보호의 조화를 추구합니다.
2. 서론
인공지능(AI)은 우리 사회의 모든 측면을 혁신할 잠재력을 지니고 있지만, 동시에 예측 불가능한 위험을 내포하고 있습니다. OECD, UNESCO, EU AI Act 등 주요 국제기구들은 AI의 윤리적 문제에 대한 심각한 우려를 표명하며, 공정성, 책임성, 투명성, 인간의 자율성 존중이라는 네 가지 핵심 가치를 강조하고 있습니다. 이러한 윤리적 원칙들은 AI 기술이 사회적 정당성과 권리 보호의 틀 안에서 발전해야 함을 시사합니다.
본 리포트는 책임 있는 AI 구현을 위한 핵심 구성 요소를 심층적으로 분석하고, 기술적, 제도적, 법적 측면에서의 구체적인 실행 방안을 제시합니다. AI 시스템의 투명성을 확보하고, 개발자와 조직의 책임을 강화하며, 사회 전반의 신뢰를 증진하기 위한 다각적인 접근 방식을 모색합니다. 특히, 의료 AI 오진, 고용 AI 차별 등 AI 오용 사례를 통해 윤리적 AI의 중요성을 강조합니다.
본 리포트는 책임 있는 AI 구현을 위한 다섯 가지 핵심 요소를 제시합니다. 첫째, 윤리적 원칙의 내재화, 둘째, 기술적 설명 가능성의 확보, 셋째, 법제도적 규제 강화, 넷째, 개발자 감사 프레임워크 구축, 다섯째, 사회 신뢰 증진입니다. 이러한 요소들은 상호 유기적으로 연결되어 있으며, 어느 하나라도 소홀히 할 경우 전체 시스템의 신뢰성이 훼손될 수 있습니다.
3. 책임 있는 AI의 핵심 가치와 필요성
3-1. 윤리적 원칙의 내재화
본 서브섹션은 책임 있는 AI 구현을 위한 윤리적 토대를 다루며, 다음 서브섹션에서는 이러한 윤리적 원칙을 실질적으로 구현하기 위한 기술적, 제도적 장치들을 구체적으로 살펴본다. 특히, 본 섹션에서는 주요 국제기구 및 정책 당국이 제시하는 AI 윤리 원칙들을 비교 분석하여 책임 있는 AI 구현의 첫 단추를 꿴다.
OECD, EU, UNESCO 등 주요 국제기구들은 AI 윤리 가이드라인을 통해 AI의 책임 있는 개발과 활용을 장려하고 있다. OECD는 경제 성장과 사회적 신뢰 구축에 기여하는 AI를 강조하며 46개국 이상이 채택한 정부 간 가이드라인을 제시한다. EU는 AI 시스템의 위험도에 따라 규제를 차등화하는 AI Act를 통해 공공 안전과 기본권 보호에 초점을 맞추고 있다. UNESCO는 인권 중심의 접근을 강조하며 사회적 정의를 최우선 가치로 내세우고 있다.
OECD는 투명성, 책임성, 인간 중심 가치, 혁신 촉진을 주요 원칙으로 제시하며, AI가 경제 성장과 사회적 신뢰 구축에 기여해야 함을 강조한다. EU AI Act는 AI 시스템을 위험도에 따라 4단계로 분류하여 규제 수준을 차등화하고 있다. 예를 들어, 생체 인식 시스템이나 사회적 점수 평가 시스템과 같이 용인할 수 없는 위험을 초래하는 AI 시스템은 전면 금지되며, 고위험 AI 시스템은 엄격한 요구 사항을 준수해야 한다. UNESCO는 포용성, 다양성, 환경 보호를 강조하며, AI가 사회적 불평등을 심화시키거나 환경 파괴를 초래하지 않도록 하는 데 중점을 두고 있다.
각 가이드라인은 유사한 목표를 추구하지만, 강조하는 가치와 규제 수준에는 차이가 있다. OECD는 권고 사항 중심으로 자율 규제를 강조하는 반면, EU는 법적 구속력을 가진 규제를 통해 AI 시스템의 안전성과 신뢰성을 확보하고자 한다. UNESCO는 기술적 측면보다는 인류 공동체 관점에서 AI 윤리를 접근하며, 사회적 약자 보호와 글로벌 불평등 해소에 기여하는 AI를 강조한다. 이러한 차이점은 각 기구가 추구하는 가치와 우선순위가 반영된 결과이며, AI 개발자와 사용자는 이러한 차이점을 고려하여 AI 시스템을 설계하고 활용해야 한다.
AI 윤리 가이드라인은 AI 기술의 발전 방향을 제시하고 사회적 합의를 도출하는 데 중요한 역할을 한다. AI 개발자와 사용자는 각 가이드라인의 내용을 숙지하고, 자신의 AI 시스템이 윤리적 기준에 부합하는지 지속적으로 검토해야 한다. 또한, 정부와 기업은 AI 윤리 교육을 강화하고, AI 시스템의 윤리적 위험을 평가하고 관리할 수 있는 전문가를 양성해야 한다. 더불어, AI 윤리 관련 국제 협력을 강화하여 글로벌 표준을 수립하고, AI 기술의 책임 있는 발전을 위한 노력을 지속해야 한다.
EU AI Act는 AI 시스템의 위험 수준에 따라 규제를 차등화하고 있으며, 위반 시 막대한 벌금을 부과할 수 있도록 규정하고 있다. 예를 들어, '용인할 수 없는 위험'으로 분류된 AI 시스템을 사용하는 경우, 최대 3,500만 유로 또는 전 세계 연간 매출액의 7% 중 더 큰 금액을 벌금으로 부과할 수 있다. 이는 AI 기술의 윤리적 문제를 간과하고 무분별하게 사용하는 기업에게 강력한 경고를 보내는 것이다.
EU AI Act는 고위험 AI 시스템에 대한 의무 사항 위반 시 최대 1,500만 유로 또는 전 세계 연간 매출액의 3% 중 더 큰 금액을 벌금으로 부과한다. 또한, 인증 기관이나 관할 당국에 부정확하거나 오해의 소지가 있는 정보를 제공한 경우에도 최대 750만 유로 또는 전 세계 연간 매출액의 1% 중 더 높은 금액을 벌금으로 부과할 수 있다. 이러한 벌금은 AI 시스템 개발 및 배포 과정에서 윤리적 고려 사항을 소홀히 하거나 규정을 준수하지 않는 기업에게 상당한 재정적 부담을 줄 수 있다.
EU AI Act는 중소기업(SME)과 스타트업의 경우 위반 시 부과되는 과징금 금액을 감경할 수 있도록 규정하고 있다. 이는 혁신적인 AI 기술을 개발하는 중소기업의 부담을 완화하고, AI 생태계의 다양성을 확보하기 위한 조치이다. 그러나 중소기업 역시 AI 시스템의 윤리적 위험을 간과해서는 안 되며, EU AI Act의 규정을 준수하기 위해 노력해야 한다.
EU AI Act의 시행은 AI 기술 개발 및 활용에 대한 기업의 책임성을 강화하고, 윤리적 AI 시스템 개발을 촉진하는 데 기여할 것으로 기대된다. 기업은 EU AI Act의 규정을 준수하기 위해 AI 윤리 전문가를 채용하고, AI 시스템의 윤리적 위험을 평가하는 프로세스를 구축해야 한다. 또한, AI 시스템의 투명성을 확보하고, 사용자의 권리를 보호하기 위한 노력을 기울여야 한다.
OECD, EU, 미국 등 주요국은 AI 윤리 가이드라인을 발표하며 AI의 윤리적 발전을 위한 노력을 기울이고 있지만, 실제 현장에서의 적용은 아직 미흡한 상황이다. 가이드라인의 추상적인 원칙들이 실제 AI 시스템 설계 및 개발에 어떻게 적용되어야 하는지에 대한 구체적인 지침이 부족하고, AI 개발자와 사용자가 윤리적 문제를 식별하고 해결할 수 있는 실질적인 도구와 교육이 부족하기 때문이다.
AI 윤리 가이드라인이 실천적인 효과를 거두기 위해서는 가이드라인의 내용을 구체화하고, AI 시스템 개발 단계별로 적용할 수 있는 체크리스트나 평가 도구를 개발해야 한다. 예를 들어, 데이터 편향 문제를 해결하기 위해 데이터 수집 단계에서 다양한 인구 통계적 그룹을 포함하고, 모델 학습 단계에서 편향 완화 알고리즘을 적용하는 등의 구체적인 방법을 제시할 수 있다. 또한, AI 개발자와 사용자를 위한 윤리 교육 프로그램을 개발하고, AI 윤리 전문가를 양성하여 현장에서 윤리적 문제를 해결할 수 있도록 지원해야 한다.
AI 윤리 가이드라인의 실천적 적용을 위해서는 정부, 기업, 학계 등 다양한 이해관계자 간의 협력이 필수적이다. 정부는 AI 윤리 가이드라인 준수를 위한 인센티브를 제공하고, 기업은 AI 윤리 실천 사례를 공유하며, 학계는 AI 윤리 관련 연구를 활성화하여 실천적인 지침을 개발해야 한다. 또한, AI 시스템 개발 초기 단계부터 윤리적 고려 사항을 반영하고, AI 시스템의 개발, 배포, 활용 전 과정에서 윤리적 책임을 다하는 문화를 조성해야 한다.
AI 윤리 가이드라인의 실천적 적용을 위한 노력은 AI 기술의 사회적 수용성을 높이고, AI 기술이 인류의 삶에 긍정적인 영향을 미칠 수 있도록 하는 데 기여할 것이다. 윤리적인 AI 시스템 개발은 기업의 경쟁력을 강화하고, 사회적 신뢰를 구축하며, 지속 가능한 발전을 가능하게 할 것이다.
3-2. 사회적 정당성과 권리 보호
본 서브섹션에서는 책임 있는 AI 구현의 필요성을 강조하며, AI가 사회 전반에 미치는 영향과 그에 따른 책임 문제를 구체적으로 설명한다. 특히, 의료, 교육, 고용, 공공안전 등 다양한 영역에서 발생할 수 있는 AI의 잠재적 악영향을 분석하고, AI 시스템이 개인의 권리와 사회 질서를 침해하지 않으면서 혁신을 저해하지 않는 균형점을 찾는 방법을 제시한다.
의료 분야에서 AI의 활용이 증가하면서 오진 및 잘못된 치료로 인한 환자 안전 문제가 심각하게 대두되고 있다. 세계보건기구(WHO)는 AI가 생성한 허위 정보가 '돌팔이 의사'처럼 환자에게 해를 끼칠 수 있다고 경고하며, AI 의료 기술의 엄격한 검증 필요성을 강조했다. 특히, 대규모 언어 모델(LLM) 기반 AI가 통계적 빈도에 따라 말을 생성하므로, 내용의 맥락을 이해하지 못하고 편향된 데이터를 학습할 경우 환자에게 잘못된 정보를 제공할 위험이 있다.
오진으로 인한 의료 사고 발생 시 법적 책임 소재 또한 불분명하다. 세계적인 의학 학술지 JAMA의 보고서는 AI가 가져올 혁신의 이면에 책임 소재의 불분명함이 가장 큰 난제라고 지적했다. AI 개발사, 병원, 의사 중 누구에게 책임을 물어야 하는지에 대한 명확한 기준이 없어 법적 분쟁이 발생할 가능성이 크다. 실제로 미국 의료 시스템의 90%가 영상 데이터 활용 AI를 도입했지만, 사고 발생 시 책임 소재는 여전히 불확실한 상황이다.
이러한 문제를 해결하기 위해 의료 AI 시스템의 투명성을 확보하고, 의사의 최종 판단을 지원하는 방향으로 AI를 활용해야 한다. 또한, AI 오진으로 인한 피해를 보상할 수 있는 제도적 장치를 마련하고, AI 개발사, 병원, 의사 간의 책임 범위를 명확히 규정해야 한다. 예방적 차원에서 의료 AI의 윤리적 사용을 위한 가이드라인을 마련하고, 의료인과 정책 당국이 AI의 잠재적 위험성을 충분히 인지하고 대처할 수 있도록 교육해야 한다.
AI 의료 기술의 신뢰성을 확보하기 위해 PCO(환자 중심 결과) 평가지표를 활용하는 방안도 고려할 수 있다. AI 기술의 역할 및 목적에 따라 환자의 편의성, 질병 진단 정확도, 방사선 노출 감소 등 다양한 지표를 활용하여 AI 시스템의 효과를 평가하고 개선해야 한다. 오사카 공립대학 의학 연구팀이 흉부 X선 사진만으로 폐 기능을 고정밀도로 추정할 수 있는 의료 AI 모델을 개발한 사례처럼, AI 기술을 통해 검사가 어려운 환자나 감염병 유행 시 대체 수단을 제공하고 검사 효율을 향상시킬 수 있다.
AI 채용 시스템이 성별, 연령, 인종 등에 따른 차별을 심화시켜 공정한 구직 기회를 박탈하는 사례가 증가하고 있다. 미국 빅테크 기업 B사는 자체 개발한 AI 채용 시스템이 여성 지원자를 차별하는 결과를 도출하여 시스템을 폐기했다. 이 시스템은 과거 지원자 데이터를 기반으로 이력서를 평가하는 알고리즘을 사용했는데, 소프트웨어 개발자와 같은 기술직에 지원한 여성들의 점수를 낮게 책정하는 경향을 보였다. 이는 AI가 기존 성별 고용 격차를 학습한 결과로, AI 시스템의 편향성 문제를 보여주는 대표적인 사례다.
미국 고용기회평등위원회(EEOC)는 온라인 교육 업체 iTutorGroup이 55세 이상 여성과 60세 이상 남성 지원자를 자동으로 거부하도록 설정한 채용 소프트웨어를 사용하여 고용 연령 차별법(ADEA)을 위반했다고 판단했다. 법원은 iTutorGroup에게 차별 피해자들에게 총 36만 5,000달러의 합의금을 지불하고 차별 방지 대책을 마련할 것을 선고했다. 아마존 또한 AI 채용 시스템 개발 과정에서 여성 관련 단어가 포함된 이력서에 낮은 점수를 주는 문제를 발견하고 시스템을 폐기한 바 있다.
AI 채용 시스템의 차별 문제를 해결하기 위해 알고리즘의 투명성을 확보하고, 정기적인 편향성 감사를 실시해야 한다. 또한, AI 채용 시스템 개발 시 윤리적 고려 사항을 반영하고, 다양한 데이터셋을 활용하여 AI의 공정성을 확보해야 한다. 캘리포니아는 알고리즘 차별을 방지하기 위해 고용과 같은 중요한 의사 결정에서 AI 사용을 규제하는 개정을 추진하고 있으며, AB 2930 법안을 통해 다양한 부문에서 AI 사용을 규제하고 위반 시 민사 책임을 묻도록 할 계획이다.
영국 과학혁신기술부(DSIT)는 채용 관련 책임 있는 AI 가이드(Responsible AI in Recruitment Guide)를 발표하여 채용 절차 전반에 걸쳐 AI가 활용될 때 발생할 수 있는 차별 위험을 경고하고, 각 단계별 고려 사항과 대처 방법을 제시했다. 채용 AI 도입 전에는 도입 목적, 예측되는 결과물, 차별 등 지원자에 대한 불이익 여부, 개인정보보호 여부를 점검하도록 하고, AI 채용 도구를 실제 사용하기 전에는 공급업체와 성능, 공정성, 영향 평가 등에 대한 확인이 필요하다고 강조했다.
4. 기술적·제도적 보장 장치
4-1. 설명 가능성과 투명성 확보
이 서브섹션에서는 고위험 AI 환경에서 설명 가능성과 투명성을 확보하는 기술적·제도적 도구를 제시하며, 특히 설명 가능한 인공지능(XAI) 도구와 시각화 기반 모니터링 시스템의 구체적 사례를 소개하여 앞 섹션에서 제시된 윤리적 원칙을 실질적으로 구현하는 방안을 모색합니다.
LIME(Local Interpretable Model-agnostic Explanations)과 SHAP(SHapley Additive exPlanations)는 AI 모델의 예측 결과를 설명하는 대표적인 XAI 기법이지만, 각기 다른 방식으로 작동하여 결과 해석에 차이를 보입니다. LIME은 특정 데이터 포인트 주변에서 샘플 데이터를 생성하고, 단순 모델을 학습시켜 해당 포인트에서의 예측에 영향을 미치는 특징을 식별합니다. 반면 SHAP은 게임 이론의 Shapley 값을 활용하여 각 특징이 예측값에 기여한 정도를 정량적으로 측정합니다.
LIME은 직관적인 설명을 제공하고 다양한 모델에 적용 가능하지만, 샘플링 방식에 따라 결과가 달라질 수 있다는 단점이 있습니다. 반면 SHAP은 수학적으로 공정한 기여도를 계산하고 전체 모델과 개별 예측 모두 설명 가능하지만, 계산량이 많고 설명이 복잡할 수 있습니다. 최근 연구에서는 LIME과 SHAP의 장점을 결합하여 상호 보완적인 해석을 제공하는 방식이 주목받고 있으며, 실제 적용 시 두 가지 방법을 모두 사용해 결과를 비교하는 것이 좋습니다.
보안 이상 행위 분석, 침입 탐지 해석력 강화 등에 기여하는 설명 기법으로 Grad-CAM++과 Occlusion Map을 융합한 Combined Heatmap 기법이 제안되기도 합니다. Combined Heatmap 기법은 CNN 기반 모델의 주목 영역을 시각화하고, 입력 데이터의 영향을 정량적으로 분석하여 판단 근거를 강화합니다. 이처럼 다양한 XAI 기법을 융합하여 사용하는 것은 AI 모델의 신뢰도를 높이고, 예측 결과에 대한 사용자의 이해도를 높이는 데 효과적입니다.
XAI는 블랙박스 AI의 의사결정 과정을 투명하게 만들어 사용자가 결과를 신뢰할 수 있도록 돕는 기술입니다. 예를 들어, 대출 심사에서 AI가 '거절' 결정을 내렸을 때, 단순히 결과를 통보하는 대신 신청자의 소득 변동, 부채 비율, 최근 결제 이력 등이 어떻게 점수에 반영되었는지를 시각화하여 설명합니다. 이렇게 하면 비전문가도 AI의 판단을 이해하고 수용할 수 있습니다.
실제로 금융, 제조, 도소매, 공공서비스 등 다양한 산업에서 XAI를 도입한 결과, 의사결정 신뢰성이 평균 15~20% 향상되고, 불필요한 비용이 최대 10% 절감되는 효과가 나타났습니다. 미국의 한 금융기관은 복잡한 신용평가 기준을 고객이 이해할 수 있도록 시각화·설명하는 XAI 시스템을 도입하여 승인율을 20% 높였고, 고객 신뢰도와 만족도 역시 크게 향상되었습니다.
이러한 효과는 XAI가 산업별 특성에 맞는 맞춤형 의사결정을 지원하고, 기업 경쟁력 향상에 기여하기 때문입니다. 따라서 기업은 XAI 도입을 통해 AI 시스템의 투명성을 확보하고, 사용자의 신뢰를 얻음으로써 AI 활용을 더욱 확대할 수 있습니다.
4-2. 문서화 도구와 해석 가능성
이 서브섹션에서는 앞서 논의된 설명 가능성과 투명성을 확보하는 기술적·제도적 장치들을 구체화하여, AI 시스템의 작동 방식과 데이터 처리 과정을 명확히 문서화하는 데 필수적인 데이터시트와 모델 카드에 대해 심층적으로 분석합니다.
데이터시트는 AI 모델 학습에 사용된 데이터의 출처, 구성, 수집 방법 등을 상세히 기록하는 문서로, AI 모델의 잠재적 편향이나 위험을 사전에 식별하는 데 필수적인 역할을 수행합니다. 이는 데이터의 품질과 적절성에 대한 투명성을 높여 모델의 신뢰도를 향상시키는 데 기여합니다.
실제로 서비스산업 기업의 73%가 제품 및 서비스 개발을 위해 데이터를 활용하고자 하지만, 데이터 관련 인력의 전문성 부족 및 부재를 가장 큰 장벽으로 꼽고 있습니다. 데이터시트 표준을 채택한 기업들은 데이터 관리에 대한 명확한 기준을 제시하고, 이를 통해 데이터 활용의 효율성을 극대화하고 있습니다.
데이터시트 도입은 단순한 문서 작성을 넘어, AI 모델 개발 전반에 걸친 품질 관리 프로세스를 구축하는 것을 의미합니다. 데이터의 특성을 명확히 이해하고 잠재적 위험을 평가함으로써, 보다 안전하고 신뢰할 수 있는 AI 시스템을 구축할 수 있습니다. 특히 EU AI Act와 같이 고위험 AI에 대한 규제가 강화되는 상황에서 데이터시트의 중요성은 더욱 부각될 것입니다.
모델카드는 학습된 AI 모델의 성능, 한계, 윤리적 고려 사항 등 필수 정보를 담은 표준화된 문서 형식입니다. 모델의 개발자와 사용자 간의 투명한 정보 공유를 통해 AI 모델의 책임 있는 사용을 유도하고, 잠재적 위험을 사전에 방지하는 데 목적이 있습니다.
구글은 머신러닝 실무자를 위해 모델카드 작성을 간소화할 수 있는 모델카드툴킷(MCT)을 공유하고 있으며, Hugging Face 역시 모델 카드를 생성, 공유, 업데이트할 수 있는 파이썬 인터페이스를 제공하는 등 모델 카드 공개를 위한 기술적 지원이 확대되고 있습니다. Llama 3와 같은 최신 AI 모델은 모델 카드에 프롬프트 형식을 명시하여 사용자가 모델의 작동 방식을 정확히 이해하도록 돕고 있습니다.
모델카드 공개는 AI 모델의 성능을 객관적으로 검증하고, 발생 가능한 문제에 대한 책임 소재를 명확히 하는 데 중요한 역할을 합니다. 모델의 한계를 명확히 제시하고, 특정 데이터에 대한 성능 저하 가능성을 알림으로써 사용자가 AI 모델을 안전하게 활용하도록 유도할 수 있습니다. 앞으로 모델카드 공개 비율이 높아짐에 따라, AI 모델의 신뢰성과 안전성이 더욱 강화될 것으로 기대됩니다.
5. 법적 규제와 책임 경계
5-1. 새로운 권리 입법의 필요성
이 서브섹션에서는 AI 시스템의 불투명성으로 인해 발생하는 문제점을 해결하기 위한 법적 권리 입법의 필요성을 제시하며, 다음 서브섹션에서는 고위험 AI에 대한 사전·사후 규제를 분석하여 책임 있는 AI 구현을 위한 법적 토대를 구축합니다.
AI 시스템의 불투명성은 이용자가 AI의 결정에 대해 책임을 묻기 어렵게 만드는 근본적인 원인입니다. 따라서 AI 시스템 존재 자체를 알리는 것만으로는 충분한 권리 구제가 어렵습니다. 설명 요구권과 이의 제기권은 이러한 문제점을 해결하고, 사용자의 권익을 실질적으로 보호하기 위한 핵심적인 입법 수단으로 부상하고 있습니다.
설명 요구권은 AI 시스템의 의사결정 과정을 이해할 수 있도록 정보를 제공하는 것을 의미합니다. 이때 '모델 관련 설명'과 '개별 결정 관련 설명'을 구분하는 것이 중요합니다. 모델 관련 설명은 AI 시스템의 학습 목적, 사용된 변수, 성능 지표 등을 포괄하며, 개별 결정 관련 설명은 특정 입력 데이터에 대한 민감도, 유사 사례, 인구통계 기반 정보 등을 제공합니다. 이러한 정보를 통해 이용자는 AI의 판단 근거를 파악하고, 불합리한 결정에 대해 이의를 제기할 수 있습니다.
설명 요구권은 단순히 기술적인 투명성을 넘어 사회적 신뢰 구축에 기여합니다. AI 시스템의 작동 방식을 이해함으로써 이용자는 AI를 더욱 신뢰하고, 긍정적인 활용을 기대할 수 있습니다. 또한 설명 요구권은 기업이 AI 시스템을 개발하고 운영하는 과정에서 윤리적 고려사항을 반영하도록 유도하는 효과도 있습니다. 다만 AI 시스템 유형별로 활용 정도와 위험성이 다르므로, 설명의 내용과 범위는 개별 시스템의 특성을 고려하여 설계되어야 합니다. 예를 들어, 온라인 플랫폼에서 콘텐츠 게재가 제한될 경우, 이용자는 해당 결정에 대한 구체적인 설명을 요구할 수 있어야 합니다.
2024년, 국회에서는 AI 기본법 제정을 통해 알고리즘 설명 의무를 법제화하려는 움직임이 활발했습니다. 이는 AI 시스템의 책임성을 강화하고, 이용자의 권익을 보호하기 위한 중요한 진전으로 평가됩니다. 다만 법안 내용의 주요 쟁점과 원칙적 측면에서 다양한 입장이 존재했으며, 산업계는 규제의 최소화, 비례원칙에 따른 적절한 규제를 주장하는 반면, 인권 시민단체들은 고위험/고영향 AI의 금지 조항 신설, 사업자 책임 강화 등을 요구했습니다.
AI 기본법 제정 과정에서 과학기술정보방송통신위원회(과방위)와 법제사법위원회(법사위)는 정책 중개인으로서 중요한 역할을 수행했습니다. 이들은 입법안들의 병합과 내용의 중재 과정에서 연합 A(산업계)와 연합 B(인권 시민단체)가 제기한 대립적 쟁점들을 조정했습니다. 그 결과 연합 B의 요구였던 알고리즘 설명 의무나 딥페이크 표시 의무 등 일부 조항은 삽입되었으며, A연합의 '우선 허용' 입장은 국회 전문위원과 여야 간사 간 비공식 협의를 통해 제거되도록 조정되었습니다.
2025년 현재, AI 기본법은 2026년 1월 시행을 목표로 하위 법령과 가이드라인 마련이 추진되고 있습니다. 하지만 AI 정의의 광범위성, 규범적 연구개발 의무, 중소기업 편향, 비효율적 규제 메커니즘 등 혁신을 저해할 수 있는 구조적 결함에 대한 우려도 제기되고 있습니다. 따라서 국회는 이러한 결함을 개정하고, 과학기술정보통신부는 과도한 행정 부담이나 경쟁 왜곡을 최소화하는 균형 잡힌 규제를 제시해야 합니다. AI 시스템의 정의를 명확히 하고, 규제 변경 권한을 각 분야의 전문성을 보유한 부처에 위임하는 것이 합리적인 방안으로 제시됩니다.
5-2. 고위험 AI에 대한 사전·사후 규제
이 서브섹션에서는 AI 시스템의 불투명성으로 인해 발생하는 문제점을 해결하기 위한 법적 권리 입법의 필요성을 제시하며, 다음 서브섹션에서는 고위험 AI에 대한 사전·사후 규제를 분석하여 책임 있는 AI 구현을 위한 법적 토대를 구축합니다.
EU AI Act는 고위험 AI 시스템이 시장에 출시되기 전에 준수해야 할 7가지 핵심 의무사항을 명시하고 있습니다. 이는 위험 평가 및 완화 시스템 구축, 고품질 데이터 구축 및 관리, 활동 기록 로깅, 상세한 문서화, 사용자 정보 제공, 인간 감독 조치, 높은 수준의 견고성, 보안 및 정확성을 포함합니다. 이러한 의무사항은 AI 시스템의 안전성과 신뢰성을 확보하고, 잠재적인 위험을 최소화하기 위한 것입니다.
EU AI Act는 AI 시스템을 둘러싼 이해관계자를 제공자, 배포자, 공인 대리인, 수입업자 등으로 분류하고, 각 주체에 대한 의무를 구체적으로 명기하고 있습니다. 예를 들어, 제공자에게는 유럽연합 적합성 선언 작성, CE 마크 작성 등 17개의 의무가 부과됩니다. 사회보장 영역에서 작동하는 다수의 AI 시스템은 이러한 규제 대상이 될 가능성이 높습니다. EU에서 서비스를 제공하는 경우, AI 시스템을 출시하거나 적용하는 업체는 국적을 불문하고 규제의 대상이 됩니다.
EU AI Act 위반 시에는 최대 1,500만 유로(약 218억 원) 또는 전년 회계연도 기준 전 세계 매출액의 최대 3% 중 더 높은 금액이 부과될 수 있습니다. 중소기업이 고위험 관련 조항을 위반하면 두 기준 가운데 더 낮은 금액이 부과됩니다. 유럽연합의 기관, 에이전시, 기구의 경우, 과징금은 최대 75만 유로(약 10억 원)로 한정됩니다. EU AI Act는 제한적인 위험성이란 AI 사용에 있어 투명성이 부족한 것에 기인하는 위험성을 뜻하며, 인공지능법은 인간에게 정보를 제공하거나 신뢰를 높이기 위한 목적으로 투명성에 관한 구체적인 의무를 규정합니다.
한국의 AI 기본법은 고위험 AI에 해당되는 영역으로 에너지, 먹는물, 보건의료, 의료기기, 원자력, 범죄수사용, 생체인식, 채용, 대출 등 개인의 권리 의무 관계에 중대한 영향을 미치는 영역을 제시하고 있습니다. 뿐만 아니라 사람의 생명, 신체의 안전 및 기본권 보호에 중대한 영향을 미치는 영역으로서 대통령령으로 정하는 영역으로 추가될 수 있음을 위임하고 있습니다. 하지만 고위험 인공지능에서 제외되는 절차와 방법은 제시하고 있지 않습니다.
AI 기본법은 고위험 인공지능 또는 이를 이용한 제품 서비스를 제공하는 경우 고위험 인공지능의 안전성 신뢰성을 확보하기 위하여 필요한 조치를 대통령령으로 정하는 바에 따라 이행하여야 합니다. AI 기본법 시행령 초안은 고영향 AI 해당 여부에 대한 판단기준을 구체화하였으며, 고위험 AI 해당 여부는 ①사용영역, ②기본권에 대한 위험의 영향ㆍ중대성ㆍ빈도, ③활용 영역별 특수성 등을 종합적으로 고려하여 과기정통부 장관이 판단합니다. 인공지능사업자가 고영향 AI를 이용한 제품, 서비스를 제공하는 경우 위험관리정책및 조직체계등 AI 기본법제34조 제1항 제1호에 따른 위험관리방안의 주요 내용, AI 기본법제34조 제1항 제2호에따른 기준 및 설명 방안의 주요 내용, 이용자 보호 방안, 해당 고영향인공지능을 관리ㆍ감독하는 사람의 성명 및 연락처 등을 자신의 홈페이지 등에 게시하여야 합니다.
현재 대한민국 인공지능법안은 인공지능 사업자에 대한 제재보다는 인공지능 산업 진흥에 초점을 맞추고 있는 것으로 보입니다. 이는 인공지능 기술 발전이 국가 경쟁력 제고와 직결되는 상황에서 규제보다는 산업 촉진이 필요하다는 생각을 반영한 결과로 보입니다. 다만, 제21대 국회에서 발의된 인공지능법안들에 대하여도 지나치게 산업 진흥에 중심을 두고 있다는 비판이 제기된 적이 있는바, 향후 입법 과정에서 안전성 확보조치, 인증제도 등 규제에 해당하는 내용이 더 강화될 가능성이 있어 보입니다.
6. 개발자와 조직의 책임 확보
6-1. 코드 레벨에서의 윤리 반영
이 서브섹션에서는 책임 있는 AI 구현을 위해 개발자와 조직이 코드 레벨에서 윤리적 원칙을 반영하는 구체적인 방법들을 제시하고, AI 개발 과정 전반에 걸쳐 윤리적 고려사항을 내재화하는 방안을 모색한다. 이전 섹션에서 다룬 기술적, 제도적 보장 장치들을 실제 개발 현장에 적용하는 방안을 구체화한다.
Microsoft는 대화형 AI 시스템 설계 시 영향, 투명성, 포용성, 신뢰성, 개인 정보 보호, 보안 및 편견 배제 감지 등 10가지 지침을 제시하며, 이는 실제 애플리케이션이 배포되기 전부터 공정성과 개인정보보호, 포용성 등을 코드 레벨에서 반영하도록 요구한다. 이는 AI 시스템 개발의 모든 단계에서 윤리적 고려 사항을 통합하려는 노력의 일환이며, 개발 초기부터 윤리적 가치를 내재화하는 것이 중요하다는 점을 강조한다.
Microsoft의 설계 지침은 실제 코드 작성 단계에서 고려해야 할 구체적인 요소들을 제시한다. 예를 들어, AI가 내린 결정에 대한 설명 가능성을 확보하기 위해 모델 아키텍처와 학습 과정을 문서화하고, 사용자에게 필요한 정보를 명확하게 제공하는 시스템을 설계해야 한다. 또한, 다양한 사용자의 요구를 충족시키기 위해 데이터셋의 편향성을 최소화하고, 포용적인 사용자 인터페이스를 개발해야 한다.
이러한 지침을 준수함으로써 개발자는 AI 시스템이 사회적 가치를 존중하고, 사용자에게 긍정적인 영향을 미치도록 설계할 수 있다. 윤리적 코드 리뷰, 편향 탐지 알고리즘 등의 프로세스를 개발 초기부터 도입하여 AI 시스템의 공정성, 투명성, 책임성을 확보해야 한다. 궁극적으로 이러한 노력은 AI 기술에 대한 사회적 신뢰를 높이고, 지속 가능한 AI 혁신을 가능하게 할 것이다.
AI 시스템 개발 과정에 윤리 코드 리뷰를 도입하는 것은 코드 레벨에서 윤리적 원칙을 효과적으로 반영하는 핵심 전략이다. 이는 단순히 코드를 검토하는 것을 넘어, AI 시스템이 윤리적 기준을 준수하는지 체계적으로 점검하는 프로세스를 의미한다. 코드 리뷰 체크리스트는 이러한 윤리적 점검을 위한 구체적인 가이드라인을 제공하며, 개발자들이 개발 과정에서 윤리적 문제점을 식별하고 해결할 수 있도록 돕는다.
윤리 코드 리뷰 체크리스트는 개인 정보 보호, 공정성, 투명성, 책임성 등 다양한 윤리적 가치를 포괄해야 한다. 예를 들어, 개인 정보 보호와 관련하여 데이터 수집 및 사용 목적의 적절성, 데이터 암호화 및 익명화 적용 여부, 사용자 동의 절차의 명확성 등을 점검할 수 있다. 공정성 측면에서는 데이터셋의 편향성, 알고리즘의 차별적 영향, 결과의 공정한 분배 등을 평가해야 한다. 투명성을 위해서는 모델의 작동 방식에 대한 설명 가능성, 의사 결정 과정의 추적 가능성, 오류 발생 시 책임 소재의 명확성 등을 검토해야 한다.
체크리스트 기반의 윤리 코드 리뷰는 개발자들이 윤리적 문제에 대한 인식을 높이고, 코드 작성 단계에서부터 윤리적 고려 사항을 반영하도록 유도한다. 또한, 코드 리뷰 과정에서 다양한 관점을 가진 전문가들이 참여하여 잠재적인 윤리적 위험을 식별하고, 해결 방안을 모색하는 것이 중요하다. 궁극적으로 윤리 코드 리뷰는 AI 시스템의 신뢰성을 높이고, 사회적 가치를 증진하는 데 기여할 것이다.
CI/CD(Continuous Integration/Continuous Delivery) 파이프라인에 윤리 검증 도구를 통합하는 것은 AI 시스템 개발 과정에서 발생할 수 있는 윤리적 문제를 사전에 예방하는 효과적인 방법이다. CI/CD 파이프라인은 코드 변경 사항을 자동으로 빌드, 테스트, 배포하는 프로세스를 의미하며, 이 과정에 윤리 검증 단계를 추가함으로써 개발 초기부터 윤리적 고려 사항을 지속적으로 점검할 수 있다.
CI/CD 파이프라인에 통합될 수 있는 윤리 검증 도구는 다양하다. 예를 들어, IBM의 AI Fairness 360, Microsoft의 Fairlearn, Google의 What-If Tool 등은 AI 모델의 공정성을 평가하고, 편향을 완화하는 데 도움을 줄 수 있다. 또한, 데이터 프라이버시를 보호하기 위한 차등 정보 보호(Differential Privacy) 기술, 모델 설명 가능성을 높이기 위한 XAI(Explainable AI) 도구 등도 CI/CD 파이프라인에 통합될 수 있다.
CI/CD 파이프라인에 윤리 검증 단계를 추가함으로써 개발자는 코드 변경 사항이 윤리적 기준을 충족하는지 지속적으로 확인할 수 있다. 만약 윤리적 문제가 발견되면, 자동으로 빌드 프로세스를 중단하고, 개발자에게 문제 해결을 위한 피드백을 제공할 수 있다. 이러한 사전 예방적 접근 방식은 AI 시스템의 윤리적 위험을 최소화하고, 개발 비용을 절감하는 데 기여할 것이다.
코드 변경사항에 대한 자동 윤리 리뷰를 위해 'Review this code change' 프롬프트와 함께 잠재적 버그, 성능 영향, 보안 문제, 코딩 스타일, 테스트 커버리지 등을 분석하는 템플릿을 활용할 수 있다. Claude-3-Opus 와 같은 고성능 언어 모델을 이용하면, 사람이 일일이 검토하기 어려운 방대한 코드 변경사항에 대해서도 자동화된 분석 및 리뷰가 가능하다.
6-2. 지속적인 모니터링과 피드백 루프
AI 시스템 개발 후에도 지속적인 감시와 피드백 과정을 통해 책임성을 강화하는 방법을 제시하며, 이전 섹션에서 논의된 코드 레벨 윤리 반영을 넘어 시스템 운영 전반의 책임성을 확보하는 방안을 구체화한다.
협력 감사(cooperative audit)는 AI 시스템의 문제점을 발견했을 때 개발자가 즉시 수정할 기회를 제공하는 상호 개선 프로세스다. 일방적인 감사와 달리 문제 발견 시 개선 기간을 부여함으로써 책임 소재를 명확히 하고 실질적인 시스템 개선을 유도한다. 파이메트릭스의 경우, 감사팀은 5가지 질문을 통해 공정성 약속 준수 여부를 평가했고, 문제 발견 시 30일의 개선 기간을 부여하여 AI 시스템의 신뢰성을 높였다.
협력 감사는 정보 요청과 답변을 주고받는 과정을 통해 진행되며, 감사 결과 발표 전에 AI를 개선할 기회를 제공한다. 이러한 과정을 통해 감사 대상은 단순히 평가 대상이 아닌 개선 파트너로서 감사에 참여하게 되며, 감사 결과에 대한 수용도를 높일 수 있다. 감사는 감사 대상의 운영 프로세스를 이해하고, 잠재적인 문제점을 식별하며, 개선 방안을 제안하는 데 초점을 맞춘다.
협력 감사의 성공적인 수행을 위해서는 감사팀의 전문성과 독립성이 중요하다. 감사팀은 AI 시스템의 기술적, 윤리적 측면을 모두 이해하고 있어야 하며, 객관적인 시각으로 문제점을 평가할 수 있어야 한다. 또한, 감사 과정의 투명성을 확보하고, 감사 결과를 공개적으로 공유함으로써 신뢰성을 높여야 한다. 협력 감사는 AI 시스템의 책임성을 확보하고 지속적인 개선을 유도하는 데 효과적인 방법이다.
ISO/IEC 27001은 정보 보안 관리 시스템(ISMS)에 대한 국제 표준으로, 조직이 소유하거나 처리하는 데이터의 보안과 관련된 위험을 관리하는 시스템을 구축하고 유지하기 위한 지침을 제공한다. F5 분산 클라우드 서비스, 아마존 웹 서비스(AWS) 등은 ISO/IEC 27001 인증을 획득하여 클라우드 환경에서 정보 보안을 강화하고 있다. AWS의 안티바이러스 및 악성 소프트웨어 관리 프로그램은 ISO 27001 표준을 준수하며, 독립적인 감사 기관으로부터 인증을 받았다.
ISO/IEC 27001은 정보 보안에 대한 종합적인 접근 방식을 장려하며, 사람, 정책, 기술을 검토하여 위험 관리, 사이버 복원력 및 운영적 우수성을 보장한다. 이 표준은 4개 도메인으로 구분된 다양한 보안 통제를 포함하며, 조직은 이러한 통제를 통해 AI 시스템의 보안을 강화할 수 있다. 예를 들어, 강력한 접근 통제, 암호화, 추적 메커니즘 등을 구현하여 허가된 사용자만 민감한 정보에 접근할 수 있도록 해야 한다.
ISO/IEC 27001 인증은 AI 시스템의 개발 및 운영 과정에서 보안 위협을 식별하고 관리하는 데 도움이 되며, 사고 발생 시 신속하게 대응하고 복구할 수 있도록 지원한다. 또한, 제3자 공급업체의 보안 위협을 식별하고 통제하여 외부 파트너가 엄격한 보안 표준을 준수하도록 보장한다. ISO/IEC 27001은 AI 시스템의 보안을 강화하고 지속적인 개선을 유도하는 데 중요한 역할을 한다. 에이아이트릭스는 ISO/IEC 27001과 ISO/IEC 27701 인증을 동시에 획득하여 의료 데이터 전주기에서의 보안성과 신뢰성을 글로벌 기준에 맞춰 강화했다.
7. 사회적 영향과 신뢰 증진
7-1. AI 신뢰성 부족이 초래하는 위험
이 서브섹션에서는 AI 신뢰성 부족이 초래할 수 있는 사회 전반의 위험을 심층적으로 분석하고, 이어지는 서브섹션에서는 AI 혁신을 지속하기 위한 접근성과 포용성의 중요성을 강조한다.
미국 국립표준기술연구소(NIST)는 AI 위험 관리의 벤치마크가 되는 프레임워크를 개발하여 AI 시스템의 신뢰성 부족이 초래할 수 있는 광범위한 위험을 경고한다. AI 시스템이 예측 불가능한 상황에서 안정성을 잃거나, 예기치 않은 피해를 발생시킬 가능성을 지적하며 사회 전반의 안전망을 위협할 수 있음을 시사한다.
특히 AI 시스템의 '신뢰성'은 단순히 기술적 문제가 아닌, 사회적 안정과 직결되는 핵심 요소임을 강조한다. AI 시스템 오작동으로 인해 발생하는 경제적 손실, 사회 서비스 중단, 안전 문제 등은 사회 시스템 전반에 대한 신뢰를 약화시키는 요인으로 작용할 수 있다. 예를 들어 자율주행 시스템의 오류는 교통 체계 마비와 인명 피해로 이어질 수 있으며, 금융 AI의 잘못된 판단은 대규모 투자 실패와 시장 혼란을 초래할 수 있다.
따라서 AI 시스템 개발 및 배포 시, NIST 프레임워크와 같은 위험 관리 체계를 준수하고 잠재적 위험 요소를 사전에 식별 및 제거하는 노력이 필수적이다. 또한 AI 시스템의 투명성과 설명 가능성을 높여 오류 발생 시 원인 파악 및 책임 소재 규명을 용이하게 하고, 사회적 신뢰를 확보해야 한다. 만약 이러한 노력이 미흡할 경우, AI 기술 발전은 사회적 불안과 불신을 심화시키는 역효과를 초래할 수 있다.
수익 확보를 위해 AI 성공 사례를 만들고 더 많은 사용자를 모으는 것도 중요하지만, AI가 대중으로부터 '신뢰'를 얻을 수 있는가가 더욱 중요한 문제로 부상하고 있다. AI의 '환각 현상'은 생성형 AI가 만들어내는 그럴듯한 거짓말로, AI에 대한 기대와 함께 중요 업무 도입에 대한 의문을 동시에 낳고 있다.
생성형 AI는 많은 매개변수로 학습한 후 확률적으로 가장 자연스러운 답변을 제공하지만, '자연스러운' 답변이 정보의 참, 거짓과 무관하다는 점이 문제다. 즉 잘못된 정보로 만들어진 거짓까지도 사실인 양 만들어내는 일이 발생할 수 있다. 개인 사용자의 일상적 AI 사용에서는 환각 현상이 큰 문제가 되지 않을 수 있지만, 기업 환경에서는 생성형 AI가 만들어낸 교묘한 거짓 정보가 업무에 적용되어 큰 피해를 초래할 수 있다.
따라서 기업들은 AI 관련 개념검증(PoC)을 적극적으로 진행하면서도, 내부 시스템에 AI를 도입하는 데 주저하고 있다. '데이터 편향성' 또한 주요 문제점으로 지적된다. AI 모델은 학습 데이터에 의존해 판단을 내리거나 결과물을 생성하기 때문에 특정한 경향으로 쏠리는 답변을 제공할 수 있으며, 이는 AI 시스템에 대한 신뢰도를 하락시키는 주요 원인으로 작용한다.
건설 현장 사고 발생 시 안전교육 강화, 점검 체계 개선 등 대책이 반복되지만 현실은 냉혹하며, 2025년 상반기 건설업 산업재해 사망자는 전체 산업재해 사망자의 40%를 차지하며 전년 동기 대비 증가했다. 이는 단순한 안전교육과 점검만으로는 근본적인 예방이 어렵고 AI 기반 안전 관리가 선택이 아닌 필수임을 시사한다.
한국건설산업연구원의 보고서에 따르면 건설 현장 사고 원인의 32%가 '관리적 요인'으로, 시공 기술 문제(24%)보다 높다. 관리적 요인이란 실시간 현장 감시 체계 부재, 미흡한 작업 구역별 통제, 예측 가능한 위험에 대한 사전 대응 부족 등 '알 수 있었는데 모른 채 넘어간 위험'을 의미한다. 더욱이 전체 건설 현장 사고 중 23%는 정확한 원인조차 파악되지 않은 '미입력' 항목으로 분류되어 사고 예방 시스템의 허술함을 드러낸다.
따라서 체계적이고 선제적인 관리 시스템 구축을 통해 상당수의 사고를 예방할 수 있으며, AI 기반 실시간 모니터링 및 위험 예측 시스템 도입이 필수적이다. AI 비전 기술을 활용한 작업자 안전 장비 착용 상태, 쓰러짐, 화재 감지, 중장비 협착 위험 감지 등 실시간 위험 요소 감지 및 즉시 알림 제공 솔루션은 사고 예방에 기여할 수 있다.
버스 운전자의 위험 행동을 AI로 실시간 모니터링하고 위험 상황에서 경고한 결과, 교통사고 발생이 기존의 3분의 1 수준으로 크게 줄어드는 효과가 나타났다. 한국교통안전공단이 국내 13개 운수회사의 노선버스 500대에 AI 안전운전 플랫폼을 도입한 결과, 사고가 전년 동기 대비 71.2% 감소한 것으로 분석되었다.
AI 안전운전 플랫폼 도입 기간 동안 사고 건수는 1천km당 0.122건으로, 작년 같은 기간 0.424건의 3분의 1 수준으로 감소했다. 같은 기간 노선버스 운전자의 중앙선 침범은 38.5%, 신호 위반은 79.4%, 불법 유턴은 87.2% 각각 감소했으며, 운전 중 흡연은 37.0%, 전방 미주시 88.5%, 졸음운전은 99.0%씩 감소하는 획기적인 효과를 보였다.
AI 노선버스 안전운전 모니터링은 버스 전방, 외부, 내부에 AI 카메라를 설치하고 영상 분석 장비를 활용하여 운전자의 과속, 급정지 등 위험 운전 행동을 실시간으로 감지하는 방식으로 이루어진다. 운전자의 신호 위반, 중앙선 침범, 휴대전화 사용, 졸음운전 등이 포착되면 AI 단말기에서 즉시 경고음이 울리며, 모니터링을 통해 포착된 위험 운전 행동과 사고 영상은 운수 회사에 제공되어 운전자 교육에 활용된다.
국회 국정감사에서 산업현장의 추락사고 예방을 위한 AI 기반 스마트 안전 기술이 사례로 소개되며 주목을 받았다. GSIL과 삼성E&A가 공동 개발한 '스마트 안전고리'는 고소 작업 중 작업자의 안전고리 체결 여부를 AI가 실시간으로 인식하고 미체결 시 즉각 경보를 울리는 장치다.
스마트 안전고리는 삼성E&A 주요 현장에서 실증 검증을 거쳐 운영 중이며, 현장에서는 “작업자 스스로 안전고리를 점검하는 습관이 자리 잡았다”, “관리자가 수십 명의 작업을 동시에 확인할 수 있어 효율성이 높아졌다”는 반응을 얻고 있다.
정부도 중대재해 감축과 스마트안전 확산을 위한 정책 지원을 강화하고 있다. 고용노동부는 '지능형(스마트) 안전기술 보급사업'을 통해 AI·센서 기반 안전 장비의 현장 도입을 촉진하고 있으며, 산업안전보건공단 역시 건설·제조 분야를 중심으로 데이터·영상 분석 기반의 스마트 안전관리 체계 구축을 확대하고 있다.
7-2. 접근성과 포용성의 중요성
이 서브섹션에서는 AI 신뢰성 부족이 초래할 수 있는 사회 전반의 위험을 심층적으로 분석하고, 이어지는 서브섹션에서는 AI 혁신을 지속하기 위한 접근성과 포용성의 중요성을 강조한다.
마이크로소프트(MS)는 책임감 있는 AI 설계와 활용을 위해 공공과 민간의 협력 강화를 강조하며, 투명성과 책임성 확보를 최우선 과제로 제시했다. 앤토니 쿡 MS 부사장은 AI 기술 설계 및 운영 시 이러한 원칙들을 적용하고 산업 전반으로 확산하는 것이 중요하다고 역설했다.
MS는 이미 30개 이상의 안전 도구를 외부에 개방하여 기업과 기관들이 자체적인 AI 안전 체계를 구축하도록 지원하고 있다. 이는 단순한 기술 제공을 넘어 신뢰할 수 있는 AI 생태계를 조성하기 위한 노력의 일환이다. 콘텐츠 출처 및 진위성 연합(C2PA) 창립 멤버로서 AI 생성 콘텐츠의 출처를 명확히 하는 개방형 표준 개발을 주도하는 것도 디지털 신뢰를 구축하기 위한 핵심 전략이다.
사회 인식 제고를 위해 MS는 영국 비영리단체, 국내 비영리기관, 한국지능정보사회진흥원(NIA)과 협력하여 중학생 대상 AI 인식 캠페인을 진행할 예정이다. 청소년들이 AI 기술의 가능성과 위험을 균형 있게 이해하고 책임 있는 이용 태도를 갖도록 돕는 것이 목표다. 쿡 부사장은 정부, 시민사회, 업계가 함께 AI의 한계와 가능성에 대한 투명한 대화를 나누는 것이 중요하다고 강조했다.
엘리트학생복이 중고생 247명을 대상으로 실시한 설문조사 결과, 응답자의 85%가 챗봇 대화, 이미지 생성 등 AI 기술을 일상에서 자주 활용하는 것으로 나타났다. AI 활용 계기로는 학교 수업(30%), 친구 추천(28%), SNS 및 인플루언서 영향(25%) 등이 꼽혔다. 이러한 결과는 AI가 청소년들의 일상에 깊숙이 침투했음을 시사한다.
대화형 챗봇은 과제 자료 수집, 정보 확인 등 학습 도우미 역할뿐 아니라, 21%의 응답자가 고민 상담이나 의견을 구하는 데 이용하는 것으로 나타났다. 이미지 생성 서비스는 과제 활용(55%) 외에도 블로그나 SNS 게시물 공유(38%) 등 창의적 활동에 활용되고 있다. AI 기술의 장점으로는 자동화로 인한 시간 절약(45%), 원하는 정보 선별 제공(29%), 쉬운 사용법(26%) 등이 꼽혔다.
청소년들은 AI의 단점으로 개인정보 유출, 저작권 침해 등 사회적 문제를 지적하면서도, AI 기술 발전에 대해서는 84%가 긍정적으로 인식하고 있었다. 유료 AI 서비스 이용 의향도 58%로 높게 나타나, 청소년들이 AI 기술을 적극적으로 수용하고 있음을 보여준다. 이러한 긍정적 인식과 활용 증가는 미래 사회의 주역인 청소년들이 AI를 올바르게 이해하고 활용할 수 있도록 교육과 캠페인이 필요함을 강조한다.
스탠포드 대학 연구진은 18세 미만 청소년의 AI 챗봇 사용에 대해 심각한 우려를 표명하며, 사용 금지를 권고했다. 연구진은 정신 건강에 어려움을 겪는 청소년들이 Character.AI와 유사한 챗봇에 의존할 경우, 챗봇의 예측 불가능성으로 인해 오히려 고립될 수 있다고 지적했다. 실제로 일부 챗봇은 성인 사용자에게 자살을 권유하거나, 10대 청소년에게 위험한 행동을 조장하는 사례가 보고되었다.
연구진은 소셜 AI 챗봇이 인종적 고정관념을 강화하고, 여성에 대한 성적 대상화를 조장할 가능성도 제기했다. 이러한 챗봇의 특성은 청소년들의 가치관 형성에 부정적인 영향을 미칠 수 있다. Nomi와 Replika는 18세 이상만 사용 가능하지만, Character.AI는 13세 이상 청소년도 이용할 수 있다. 그러나 이러한 플랫폼들은 사용자의 자진 신고에 의존하여 연령을 확인하기 때문에, 청소년들의 접근을 효과적으로 차단하지 못하고 있다.
연구진은 AI 챗봇 플랫폼들이 사용자 연령을 자진 신고에만 의존하는 것은 부적절하다고 비판하며, 청소년들이 안전하고 건강하게 AI와 상호작용할 수 있도록 가이드하고 설계해야 한다고 주장한다. AI는 올바른 조건 안에서는 새로운 ‘멘토’가 될 수도 있지만, 무분별한 사용은 청소년에게 심각한 위험을 초래할 수 있다는 점을 강조한다.
8. 종합 의견과 미래 방향
8-1. 다섯 단계의 통합적 접근
본 서브섹션에서는 책임 있는 AI 구현을 위한 다섯 단계 접근법의 각 단계별 성과 측정 지표와 실행 시기를 구체적으로 제시하여, 기업과 정책 당국이 책임 있는 AI를 효과적으로 구현할 수 있도록 지원한다.
AI 윤리 내재화 단계에서는 AI 시스템의 개발 및 배포 전 과정에 걸쳐 윤리적 고려 사항을 통합하는 것을 목표로 한다. 이를 위해 OECD AI 원칙과 EU AI Act에서 제시하는 핵심 가치, 즉 투명성, 책임성, 공정성, 인간 중심성을 준수해야 한다. 구체적인 성과 지표로는 AI 시스템의 공정성을 측정하는 '공정성 지수'와 윤리적 위험을 평가하는 '윤리 감사'의 정기적 시행 여부를 설정할 수 있다.
공정성 지수는 성별, 인종, 사회경제적 배경 등 다양한 인구 통계 그룹에 대한 AI 시스템의 예측 또는 결정의 차이를 정량화하여 측정한다. 예를 들어, 신용 평가 AI 모델이 특정 인종 그룹에 불리하게 작용하는지 여부를 평가할 수 있다. 윤리 감사는 독립적인 윤리 전문가가 AI 시스템의 설계, 데이터 사용, 알고리즘, 배포 프로세스를 종합적으로 검토하여 잠재적인 윤리적 문제를 식별하고 개선 방안을 제시한다.
단기적으로는 모든 신규 AI 프로젝트에 윤리적 검토 프로세스를 의무화하고, 장기적으로는 AI 개발팀 내에 윤리 전문가를 배치하여 지속적인 윤리적 자문을 제공하는 것을 목표로 한다. 실행 시기는 즉시 착수하여 6개월 이내에 전사적인 윤리 검토 프로세스를 구축하고, 매년 정기적인 윤리 감사를 실시하는 것을 권장한다. IBM은 AI 윤리 원칙을 준수하고 모델 아키텍처와 학습 과정을 투명하게 공개하는 것을 중요하게 강조하고 있다.
이를 통해 기업은 AI 시스템이 사회적 가치를 존중하고 개인의 권리를 보호하는 방향으로 개발될 수 있도록 보장할 수 있다. 특히, 정책 당국은 기업이 윤리적 기준을 준수하도록 장려하기 위해 인센티브 제공, 가이드라인 배포, 규제 준수 점검 등의 역할을 수행할 수 있다.
AI 시스템의 기술적 설명 가능성을 확보하는 것은 AI의 투명성을 높이고 책임 소재를 명확히 하는 데 필수적이다. 이를 위해 설명 가능한 AI(XAI) 도구를 도입하여 AI 모델의 의사 결정 과정을 이해하기 쉽게 시각화하고 설명할 수 있어야 한다. 또한, 데이터 시트와 모델 카드와 같은 문서화 도구를 사용하여 AI 시스템의 설계, 개발, 학습 과정에 대한 상세 정보를 제공해야 한다.
성과 지표로는 XAI 도구의 도입률, AI 시스템 관련 문서화 완료율, 그리고 사용자가 AI 결정에 대한 설명을 요청하고 이해하는 비율을 설정할 수 있다. 예를 들어, 금융 기관에서 신용 평가 AI 모델에 대한 설명 요청 비율을 측정하여 사용자가 AI 결정을 얼마나 잘 이해하고 있는지 평가할 수 있다. IBM은 AI 해석 가능성을 높이기 위해 모델 아키텍처와 학습 과정을 해석 가능한 방식으로 공개해야 한다고 강조한다.
단기적으로는 모든 고위험 AI 시스템에 XAI 도구를 적용하고, 장기적으로는 모든 AI 시스템에 대한 표준화된 문서화 프로세스를 구축하는 것을 목표로 한다. 실행 시기는 3개월 이내에 고위험 AI 시스템에 대한 XAI 도구 도입 계획을 수립하고, 1년 이내에 전체 AI 시스템에 대한 문서화 표준을 마련하는 것을 권장한다. 특히, NIST의 AI 위험 관리 프레임워크를 참고하여 신뢰성 있는 AI 시스템을 구축해야 한다.
이를 통해 이해관계자는 AI 시스템의 작동 방식과 의사 결정 근거를 이해하고, 필요한 경우 이의를 제기할 수 있다. 정부는 기업이 XAI 도구를 도입하고 문서화 표준을 준수하도록 지원하기 위해 기술 지원, 교육 프로그램, 표준 개발 등을 제공할 수 있다.
AI 시스템의 법제도적 규제 단계에서는 EU AI Act와 같은 법적 장치를 활용하여 고위험 AI 시스템에 대한 사전 적합성 평가와 사후 모니터링을 의무화해야 한다. 또한, 생성형 AI 콘텐츠의 출처를 표시하는 워터마킹 기술을 도입하여 책임 소재를 명확히 하고 피해 구제 경로를 마련해야 한다.
성과 지표로는 고위험 AI 시스템에 대한 사전 적합성 평가 완료율, 워터마킹 기술 도입률, 그리고 AI 관련 법규 위반 사례 감소율을 설정할 수 있다. 사전 적합성 평가는 AI 시스템이 출시되기 전에 윤리적, 법적 기준을 충족하는지 평가하는 과정으로, 평가 결과는 시스템의 개선 및 수정에 반영된다.
단기적으로는 고위험 AI 시스템에 대한 사전 적합성 평가를 의무화하고, 장기적으로는 모든 AI 시스템에 대한 법적 규제 프레임워크를 구축하는 것을 목표로 한다. 실행 시기는 6개월 이내에 고위험 AI 시스템에 대한 사전 적합성 평가 절차를 마련하고, 2년 이내에 전체 AI 시스템에 대한 법적 규제 프레임워크를 구축하는 것을 권장한다. Microsoft 부사장 안토니 쿡은 정부와 민간이 협력하여 법적 책임 경계를 명확히 해야 한다고 강조한다.
이를 통해 AI 시스템의 오용 및 남용을 방지하고, 피해 발생 시 적절한 구제 조치를 제공할 수 있다. 정부는 AI 관련 법규를 제정하고, 기업이 이를 준수하도록 감시하는 역할을 수행해야 한다.
AI 시스템 개발 과정에서 윤리적 책임을 확보하기 위해 개발자 감사 프레임워크를 구축해야 한다. 이를 위해 윤리 코드 리뷰를 실시하여 코드 작성 단계부터 공정성, 개인 정보 보호, 포용성 등의 가치를 반영해야 한다. 또한, Microsoft의 대화형 AI 설계 지침과 같이 구체적인 윤리 지침을 개발자에게 제공해야 한다.
성과 지표로는 윤리 코드 리뷰 실시율, 윤리 지침 준수율, 그리고 AI 시스템 개발 관련 정보 공개율을 설정할 수 있다. 윤리 코드 리뷰는 코드의 윤리적 측면을 평가하고 개선하는 과정으로, 리뷰 결과는 코드 수정 및 개발 프로세스 개선에 활용된다.
단기적으로는 모든 AI 개발 팀에 윤리 코드 리뷰 프로세스를 도입하고, 장기적으로는 AI 개발자 윤리 교육 프로그램을 운영하는 것을 목표로 한다. 실행 시기는 3개월 이내에 윤리 코드 리뷰 프로세스를 도입하고, 1년 이내에 AI 개발자 윤리 교육 프로그램을 개발하는 것을 권장한다. 라지(Raji) 연구팀이 만든 내부 감사 틀(Internal Audit FRAMEwork)도 활용할 수 있다.
이를 통해 개발자는 AI 시스템이 사회적으로 책임감 있는 방식으로 개발되도록 보장할 수 있다. 기업은 개발자가 윤리적 책임을 다하도록 지원하기 위해 교육, 도구, 프로세스 등을 제공해야 한다.
AI 기술 혁신이 지속 가능하려면 사회 전반의 신뢰를 확보하고, 기술의 혜택이 모든 사람에게 공정하게 분배되도록 해야 한다. 이를 위해 AI 위험에 대한 사회적 인식을 높이고, 취약 계층에 대한 지원을 강화하며, 접근성과 포용성을 높이는 노력을 기울여야 한다.
성과 지표로는 AI 위험 인식도, 취약 계층의 AI 기술 접근성, 그리고 AI 관련 사회적 불평등 해소 정도를 설정할 수 있다. AI 위험 인식도는 설문 조사 또는 여론 조사를 통해 측정할 수 있으며, 취약 계층의 AI 기술 접근성은 관련 교육 프로그램 참여율 또는 기술 지원 서비스 이용률을 통해 평가할 수 있다.
단기적으로는 AI 위험에 대한 대중 교육 캠페인을 실시하고, 장기적으로는 AI 기술 접근성을 높이기 위한 정책을 시행하는 것을 목표로 한다. 실행 시기는 즉시 대중 교육 캠페인을 시작하고, 2년 이내에 AI 기술 접근성 향상 정책을 수립하는 것을 권장한다. MS 부사장 안토니 쿡은 AI 기술의 가능성과 위험을 균형 있게 이해하는 것이 중요하다고 강조한다.
이를 통해 AI 기술이 사회적 불평등을 심화시키지 않고, 모든 사람에게 혜택을 제공할 수 있도록 보장할 수 있다. 정부는 AI 기술의 윤리적 사용을 장려하고, 사회적 약자를 보호하기 위한 정책을 시행해야 한다.
8-2. 혁신과 책임의 균형
본 서브섹션에서는 고위험 AI 시스템에 대한 사전 적합성 평가 주기를 단축하고, XAI 도구 표준 적용률을 높이기 위한 구체적인 정책 및 기술 실행 방안을 제시하여, 혁신과 책임 사이의 균형을 효과적으로 달성할 수 있도록 지원한다.
EU AI Act는 고위험 AI 시스템에 대해 사용 전 적합성 평가를 의무화하고 있으며, 대한민국 AI 기본법 역시 고영향 AI 서비스에 대한 영향 평가를 규정하고 있다. 하지만 획일적인 평가 주기는 기술 발전 속도를 따라가지 못하고, 기업의 부담을 가중할 수 있다. 이에 AI 규제 샌드박스 제도를 활용하여 평가 주기를 차등화하는 방안이 필요하다.
구체적으로, 기술 성숙도, 잠재적 위험 수준, 사회적 영향 등을 고려하여 고위험 AI 시스템을 세분화하고, 각 등급별로 차등화된 평가 주기를 적용할 수 있다. 예를 들어, 개인의 생명이나 안전에 직접적인 영향을 미치는 AI 의료기기나 자율주행차와 같은 시스템은 6개월 주기로 평가를 실시하고, 그 외 시스템은 1년 또는 2년 주기로 평가를 실시하는 방식이다.
또한, 평가 결과에 따라 주기를 조정하는 방안도 고려할 수 있다. 초기 평가에서 높은 수준의 안전성과 윤리성을 입증한 시스템은 평가 주기를 연장하고, 반대로 문제점이 발견된 시스템은 주기를 단축하여 신속하게 개선하도록 유도한다. PwC 컨설팅은 AI 서비스 개발 및 운영 시 관련 법규를 준수하기 위한 안전 장치로서의 정책 및 내규 수립이 요구된다고 강조한다.
설명 가능한 AI(XAI)는 AI 시스템의 의사 결정 과정을 투명하게 보여줌으로써 신뢰성을 높이는 데 기여한다. 하지만 XAI 도구의 개발 및 적용은 아직 초기 단계에 머물러 있으며, 기업들은 기술적 전문성 부족, 비용 부담 등으로 인해 도입에 어려움을 겪고 있다. 따라서 정부는 XAI 도구 표준 적용률을 높이기 위해 다양한 인센티브 및 기술 지원책을 강화해야 한다.
예를 들어, XAI 도구 도입 기업에 대한 세액 공제, 기술 컨설팅 지원, 전문 인력 양성 프로그램 등을 제공할 수 있다. 또한, XAI 도구의 성능 평가 기준을 마련하고, 이를 통과한 제품에 대해서는 정부 인증 마크를 부여하여 시장 경쟁력을 높일 수 있도록 지원한다. 국립기상과학원은 설명 가능한 AI(XAI) 기반의 지능형 예보지원 솔루션을 개발하고 있으며, 기상청 XAI 모델은 호우 강도 및 위치 근거와 신뢰도를 산출한다.
더불어, XAI 도구 개발을 위한 오픈소스 플랫폼을 구축하고, 산학연 협력을 통해 다양한 산업 분야에 적용 가능한 XAI 기술을 개발하도록 지원해야 한다. 특히 중소기업은 자체적으로 XAI 도구를 개발하거나 도입하기 어렵기 때문에 정부 차원의 적극적인 지원이 필요하다. 이와 관련하여 Next Move Strategy Consulting은 설명 가능한 인공지능의 세계 시장 규모가 연평균 19.9%로 성장하여 2024년에는 87억 9,000만 달러에 이를 것으로 전망한다.
전라북도는 피지컬 AI를 통해 산업 패러다임을 바꾸기 위해 설명가능 AI(XAI) 및 신뢰성 확보 등 현장 밀착형 기술을 중심으로 연구를 진행하고 있다. 또한 리빙랩 형태의 물리·디지털 통합 테스트베드를 조성하여 연구개발 성과의 검증·인증과 실증을 지원할 계획이다.