오픈소스 기반 거대언어모델(LLM)의 현재와 미래

1. 요약

• 이 리포트는 오픈소스 기반 거대 언어 모델(LLM)의 개발 현황과 미래 전망을 다룹니다. 주요하게는 오픈AI와 구글의 폐쇄형 LLM의 한계를 뛰어넘고자 하는 메타와 미스트랄AI 등의 오픈소스 기반 기업들의 동향을 살펴봅니다. 메타의 라마3와 미스트랄AI의 미스트랄 라지 같은 주요 프로젝트부터 다양한 AI 파트너십과 투자 유치 상황까지 다루며, 각 기업의 주요 활동을 중심으로 오픈소스 LLM의 이점과 발전 가능성을 분석합니다. 또한, 클라우드플레어, AWS 등의 보안 기술 발전과 정부의 AI 산업 육성 정책도 함께 소개됩니다.

2. 오픈소스 거대언어모델(LLM) 등장 배경

• 2-1. 오픈AI와 구글의 폐쇄형 LLM 한계

• 오픈AI와 구글이 주도하는 폐쇄형 거대언어모델(LLM)은 그 발전이 빠르지만, 몇 가지 한계를 가지고 있습니다. 오픈소스 기반 LLM 회사들은 이 한계를 극복하고자 하며, 그 목표는 단순히 기존의 LLM을 따라가는 것이 아니라 차세대 기술로서 이를 뛰어넘는 것입니다. 예를 들어, 메타는 차세대 오픈소스 LLM인 라마3(Llama 3)를 개발 중이며, 이 모델은 1400억개의 매개변수를 지원합니다. 라마3는 텍스트와 이미지를 모두 생성할 가능성을 가지고 있으며, 기존 모델보다 향상된 인지 능력을 지닐 것으로 기대되고 있습니다. 또한, 메타는 라마3가 논쟁적인 주제에 대해서도 대답할 수 있도록 하여, 작년 출시된 라마2의 보수적 접근 방식을 개선하려고 하고 있습니다. 미스트랄도 최근 오픈AI GPT-4와 구글 제미나이 울트라를 겨냥한 신형 LLM인 미스트랄 라지(Mistral Large)를 공개하였으며, 이는 기존 경쟁 모델들과 비교했을 때 상대적으로 낮은 비용으로 훈련이 이루어졌습니다.

• 2-2. 오픈소스 기반 LLM의 이점

• 오픈소스 기반 LLM의 가장 큰 장점은 사용자가 모델을 직접 제어하고 맞춤화할 수 있다는 점입니다. 이는 특정 산업 분야나 기업의 요구에 맞춰 신속하게 조정할 수 있는 유연성을 제공합니다. 또한, 오픈소스 모델들은 독점 모델에 비해 낮은 비용으로 운영할 수 있는 가능성을 보이는데, 예를 들어 미스트랄은 훈련에 2200만 달러를 투자하였으나, 오픈AI는 GPT-4 훈련에 수억 달러를 사용한 것으로 알려져 있습니다. 오픈소스 LLM은 다양한 기업들과의 협력 및 파트너십을 통해 생태계를 확장하고 있으며, 마이크로소프트와 아마존웹서비스(AWS) 같은 대기업들도 이러한 모델을 자사 클라우드 서비스에 통합하고 있습니다. 이러한 협력은 오픈소스 LLM이 독특한 생태계를 형성하는 데 크게 기여하고 있습니다.

3. 주요 오픈소스 LLM 개발사 동향

• 3-1. 메타의 라마3 개발

• 메타는 2024년 7월에 차세대 오픈소스 LLM인 라마3(Llama 3)를 선보일 예정이다. 이 모델은 1400억 개의 매개변수를 지원하며, 기존 모델인 라마2에 비해 큰 발전을 이루었다. 라마3는 차량 엔진을 끄는 방법에 대한 질문을 정확히 이해할 수 있는 능력을 갖추고 있으며, 논쟁적인 주제에 대해서도 답변할 수 있도록 하는 방향으로 개발되고 있다. 이는 PR 측면에서의 재난을 피하기 위한 보수적인 접근을 넘어선 것으로 볼 수 있다.

• 3-2. 미스트랄의 미스트랄 라지 및 맘바 공개

• 미스트랄은 오픈AI의 GPT-4 및 구글의 제미나이를 겨냥한 신형 LLM인 미스트랄 라지(Mistral Large)를 2024년 8월에 공개하였다. 이 모델은 2200만 달러의 비용이 소요되었으며, 성능은 제미나이 울트라 및 GPT-4와 비슷하다는 설명이 있다. 또한, 미스트랄은 파트너십을 통해 마이크로소프트와 아마존웹서비스(AWS)와 협력하고 있으며, 다양한 기업들과의 협업을 통해 모델의 활용성을 넓혀가고 있다.

• 3-3. 구글의 제미나이 시리즈 출시

• 구글은 차세대 AI 모델인 제미나이 시리즈를 출시하였다. 이 모델은 오픈AI의 GPT-4를 목표로 하여 개발되었으며, 성능이 우수하다는 평가를 받고 있다. 제미나이 시리즈의 추가 모델인 제미니 1.5도 출시되었으며, 선진 기술이 접목된 AI 모델로 주목받고 있다.

• 3-4. 앤트로픽의 클로드3 시리즈 발표

• 앤트로픽은 최근에 클로드3 시리즈를 공개하였다. 이 시리즈의 최상위 버전은 여러 벤치마크 테스트에서 구글의 제미나이와 오픈AI의 GPT-4를 능가하는 성능을 자랑하고 있으며, 최신 기술을 적용한 것이 특징이다.

• 3-5. 파수의 기업 맞춤형 LLM 출시

• 파수는 자사의 맞춤형 LLM인 '파수 ELLM'을 출시하였다. 이 모델은 기업이 자사에 맞춤형 생성형 AI를 구축할 수 있도록 하여, 문서 요약, 고객 응대 등 다양한 분야에서 업무 생산성 향상을 지원한다.

4. AI 기술 발전을 위한 주요 파트너십

• 4-1. 메가존클라우드와 하나투어 간 AI 기반 채팅 상담 서비스 구축

• 메가존클라우드는 여행업체 하나투어의 고객 응대를 위한 채팅 상담 서비스를 생성형 AI 기술 기반으로 구축하는 프로젝트를 완료하였습니다.

• 4-2. 다쏘시스템과 미스트랄AI 간 파트너십

• 다쏘시스템은 프랑스의 거대 언어 모델(LLM) 개발 스타트업인 미스트랄AI와 신뢰할 수 있는 환경에서 AI 역량을 산업에 제공하기 위한 파트너십을 체결하였습니다.

• 4-3. 포티투마루와 오라클 간 협력

• 생성형 AI 스타트업 포티투마루는 글로벌 데이터베이스 기업인 오라클과 ‘생성형 AI 기반 경량화 LLM 클라우드 사업’ 관련하여 협력하고 있습니다.

5. AI 산업의 현재와 미래 투자 유치 상황

• 5-1. 벡타라의 2500만달러 초기 단계 투자 유치

• AI 기반 검색 스타트업 벡타라는 2500만 달러 규모의 초기 단계 투자를 유치하였습니다. 이 스타트업은 자사 애플리케이션에서 검색 증강 생성(retrieval-augmented generation, RAG)을 보다 쉽게 구현할 수 있도록 지원하고 있습니다.

• 5-2. 엑사의 1700만달러 투자 유치

• AI 스타트업 엑사는 1700만 달러 규모의 투자를 유치하였습니다. 엑사는 AI 모델들이 웹검색 같은 역할을 수행하도록 하는 툴을 개발하여 AI 검색 시장에서 차별화를 꾀하고 있습니다.

• 5-3. 파이어웍스AI의 5200만달러 시리즈 B 투자 유치

• 생성형 AI 모델을 맞춤형으로 배치하거나 파인튜닝할 수 있도록 지원하는 AI 스타트업 파이어웍스AI는 5200만 달러 규모의 시리즈 B 투자를 유치하였습니다.

• 5-4. 허큘러스AI의 2600만달러 투자 유치

• 로펌 및 대형 엔터프라이즈 기업들을 겨냥한 AI 소프트웨어 개발 스타트업 허큘러스AI는 2600만 달러 규모의 투자를 유치하였습니다.

6. AI 보안을 위한 주요 기술 개발

• 6-1. 클라우드플레어의 LLM 보안 방화벽 도입

• 클라우드플레어(Cloudflare)는 거대언어모델(LLM)을 겨냥한 방어 체계인 ‘AI용 방화벽(Firewall for AI)’을 새롭게 도입하였습니다. 이 방화벽은 LLM에 대한 남용 및 공격을 식별하는 보호 레이어로 기능하며, AI 기술 보안 강화의 일환으로 개발되었습니다. 이러한 조치는 AI 기반 기술의 안전성을 높이기 위한 노력의 일부분으로 볼 수 있습니다.

• 6-2. AWS의 클라우드 데이터 전송 요금 면제 발표

• AWS는 최근 외부로 데이터를 전송할 때 부과하던 이그레스 요금(egress fees)을 앞으로 면제하겠다고 발표하였습니다. 이 결정은 클라우드 시장에서 데이터 이동에 대한 유연성을 제공하며, 유럽연합(EU)의 규제가 강화되고 있는 상황에서 기업들이 클라우드 서비스를 선택하는 데 긍정적인 영향을 미칠 것으로 예상됩니다. 이러한 무료 정책은 기업들의 클라우드 전환을 촉진할 수 있는 중요한 요소로 작용할 것입니다.

7. 정부의 AI 산업 육성 정책

• 7-1. 과기정통부의 SaaS와 AI 산업 육성 정책 지원 논의

• 과학기술정보통신부의 강도현 2차관은 소프트웨어(SW) 대표 기업들과 SaaS(Software as a Service)를 주제로 간담회를 가졌습니다. 이 자리에서는 산업 분야별 주요 AI 기업의 대표들과 다양한 의견을 공유하였습니다. 강 차관은 SaaS 확산을 지원하기 위한 노력을 더욱 확대하고, 혁신펀드를 조성할 계획을 언급하였습니다. 이와 같은 행보는 AI와 SaaS 산업의 육성을 위해 중요한 발판이 될 것으로 보입니다.

8. 용어집

• 8-1. 라마3 [제품]

• 메타에서 개발한 차세대 오픈소스 거대언어모델(LLM)로, 1400억 개의 매개변수를 지원하며 논쟁적인 질문에 더 개방적인 접근을 지향합니다. 메타는 라마2와의 안전조치를 완화하고 있으며, 오픈소스 모델로서의 제어 가능성과 품질을 강조하고 있습니다.

• 8-2. 미스트랄AI [회사]

• 프랑스에 기반을 둔 AI 스타트업으로, 거대 언어 모델(LLM) 개발에 주력하고 있습니다. 미스트랄 라지와 코딩용 AI 모델인 맘바를 공개하며, 마이크로소프트와 아마존웹서비스 등과 협력하여 시장에서의 경쟁력을 강화하고 있습니다.

• 8-3. 제미나이 시리즈 [제품]

• 구글에서 개발한 거대언어모델(LLM) 시리즈로, 오픈AI의 GPT-4를 겨냥하여 출시되었습니다. 뛰어난 성능을 자랑하며 다양한 벤치마크에서 높은 평가를 받고 있습니다.

• 8-4. 클로드3 [제품]

• 앤트로픽이 개발한 거대언어모델(LLM) 시리즈로, 뛰어난 벤치마크 성능을 자랑합니다. 오픈소스 모델로서의 혁신적인 기능을 제공하며, 다양한 협력을 통해 AI 기술을 발전시키고 있습니다.

• 8-5. 파수 [회사]

• 기업체에 맞춤형 거대언어모델(LLM)을 제공하는 회사로, 최근 기업 맞춤형 LLM을 출시하였습니다. 이 모델은 기업의 특성과 요구에 맞춘 AI 솔루션을 제공합니다.

9. 출처 문서

• '오픈AI·구글 게섯거라'...차세대 오픈소스 LLM 몰려 온다https://www.digitaltoday.co.kr/news/articleView.html?idxno=507674
• 오픈AI 겨냥 도전장, 이번엔 정말 통할까?https://www.digitaltoday.co.kr/news/articleView.html?idxno=508523
• 👔[엔터프라이즈핫이슈] M&A 열기 속 클라우드 SW업계 재편 가속https://maily.so/digitaltoday/posts/a36e320d