한국어 대규모 언어모델(LLM)의 발전과 도전 과제: KoLlama2-7b를 중심으로

1. 요약

• 이 리포트는 대규모 언어모델(LLM)의 최근 발전과 한국어 성능 향상을 위한 다양한 시도를 KoLlama2-7b를 중심으로 분석합니다. KoLlama2-7b 모델은 한국어 데이터 부족 문제를 개선하기 위해 다양한 접근 방식을 활용하였습니다. LLM의 정의와 최근 성과, 한국어의 특성과 한계, KoLlama2-7b 프로젝트 개요 및 성능 향상 방법, 그리고 한국어 기반 LLM 사전학습의 시도들을 다루고 있습니다. 주요 발견 사항으로는 한국어 데이터의 비중 부족, 고립어로서의 한국어의 특성, 대규모 언어모델의 빠른 기술 변화 등이 있으며, 이러한 요소들이 한국어 사용자의 LLM 활용에 미치는 영향을 분석합니다.

2. 대규모 언어모델(LLM)의 최신 발전 동향

• 2-1. 대규모 언어모델의 정의 및 최근 발전 상황

• 대규모 언어모델(LLM)은 방대한 양의 텍스트 데이터를 활용하여 자연어 처리 작업을 수행하는 기계 학습 모델입니다. 최근, LLM은 GPT-3, BERT, Llama2와 같은 모델들이 등장하면서 성능과 응용 범위가 급격히 확장되었습니다. 이러한 모델들은 자연어 이해, 생성, 번역 및 요약 등 다양한 작업에 높은 정확도와 효율성을 보여주고 있습니다.

• 2-2. GPT-3, Bert, Llama2 모델의 주요 성과

• GPT-3는 전 세계적으로 1750억 개의 매개변수를 사용하여 매우 높은 수준의 텍스트 생성 능력을 보유하고 있습니다. 또한, BERT는 사전 훈련과 미세 조정을 통해 문장 간의 관계를 이해하는 데 뛰어난 성과를 보였습니다. Llama2 모델 역시 뛰어난 성능을 자랑하며, 특히 언어 이해와 관련된 다양한 작업에서 높은 수준의 결과를 도출하고 있습니다. 이들 모델의 성과는 자연어 처리 분야의 새로운 가능성을 열었으며, 실험 데이터에서 최고 5%까지 성능 향상을 보여주었습니다 (출처: 'Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies').

3. 한국어의 특성과 대규모 언어모델에서의 한계

• 3-1. LLM 사전학습 데이터에서 한국어의 비중

• 대규모 언어모델(LLM)의 사전학습 데이터에서 한국어 데이터의 비중은 매우 적습니다. GPT-3의 사전학습 데이터 중 한국어 단어 비율은 0.01697%에 불과하며, Llama2 모델의 경우 한국어 비율은 0.06%에 불과합니다. 이 비율은 전세계 인구 중 한국어 화자의 비율인 1.035%에 비하면 현저히 낮은 수치입니다. 이러한 데이터 부족은 고립어라는 한국어의 특성과 준비되지 않은 한국어 말뭉치 등 여러 요인에 기인합니다.

• 3-2. 고립어로서의 한국어 특성

• 한국어는 고립어로서 다른 언어들과의 차이점이 뚜렷한 특성을 가지고 있습니다. 예를 들어 문장 구조, 문법, 어휘 등이 영어와는 많이 다릅니다. 이러한 특성 때문에 대규모 언어모델의 사전학습 데이터에서 한국어가 차지하는 비중이 낮아지는 결과를 낳고 있습니다. 그 결과 학습된 모델이 한국어를 충분히 이해하거나 활용하지 못하는 한계를 나타냅니다.

• 3-3. 한국어 사용자의 한계와 문제점

• 한국어 데이터 부족으로 인해 한국어 사용자는 대규모 언어모델이 제공하는 풍부한 능력을 충분히 경험하지 못하고 있습니다. 한국어로 사전학습된 자체 언어모델을 만드는 것이 가장 좋은 해결책 중 하나로 제시되고 있으며, 이는 주로 대기업의 주도로 진행되고 있습니다. 그러나 모델의 빠른 변화와 매번 새로운 변화에 맞춰 모델을 학습하는 것이 현실적으로 어려운 과제입니다. LLaMA 모델이 공개된 후 Llama2 모델이 공개되기까지 고작 5개월밖에 걸리지 않았으며, 매주 새로운 기술이 발표되고 있는 상황입니다.

4. KoLlama2-7b: 한국어 성능 향상을 위한 노력

• 4-1. KoLlama2 프로젝트의 개요

• KoLlama2(Korean Large Language Model Meta AI 2)는 영어 기반의 대규모 언어모델(LLM)인 Llama2를 한국어에 최적화하기 위해 개발된 오픈소스 프로젝트입니다. 이 프로젝트는 고려대학교 NLP & AI 연구실과 HIAI 연구소가 주도하여 진행되었습니다. 한국어 데이터의 부족으로 인해 한국어 성능이 제한되는 문제를 해결하기 위해, 한국어 instruction 데이터셋인 kullm-v2를 사용하여 모델을 파인튜닝하였습니다.

• 4-2. LoRA 파인튜닝을 통한 성능 향상

• 한국어 데이터가 부족한 상황에서 외국어 기반 LLM을 한국어로 미세조정하는 방법 중 하나로 LoRA(추가 임베딩 레이어 방식)를 활용하였습니다. KoLlama2 첫 버전은 kullm-v2 데이터셋을 사용하여 LoRA 파인튜닝을 진행한 사례입니다. 이 접근 방식은 빠르게 변화하는 LLM 환경에서 더 가볍고 신속한 모델 조정을 가능하게 하며, 기존 LLM의 사전학습 데이터를 활용하여 한국어 성능을 높일 수 있었습니다.

• 4-3. kullm-v2 데이터셋 사용 사례

• KoLlama2 프로젝트에서 사용된 kullm-v2 데이터셋은 한국어 instruction 데이터셋으로, 한국어 성능 향상을 위해 중요한 역할을 담당했습니다. 이 데이터셋을 활용한 LoRA 파인튜닝은 한국어 사용자의 경험을 제한하는 문제를 완화하고, 영어 기반 LLM의 한국어 성능을 향상시키는 데 기여하였습니다. 이를 통해 한국어 학습 데이터의 부족 문제를 어느 정도 해결할 수 있었으며, 대규모 한국어 데이터셋의 필요성을 많이 줄일 수 있었습니다.

5. 한국어 기반 LLM 사전학습의 기존 시도들

• 5-1. 네이버의 HyperCLOVA X

• 네이버는 HyperCLOVA X 프로젝트를 통해 한국어 기반의 대규모 언어모델(LLM)을 개발하고 있습니다. HyperCLOVA X는 대규모 말뭉치를 사전학습하여 한국어 성능을 향상시키기 위한 목적으로 진행되고 있습니다. 이 모델은 한국어 데이터의 부족 문제를 해결하고자 노력하고 있으며, 이를 통해 한국어 사용자가 대규모 언어모델의 풍부한 능력을 경험할 수 있도록 하고 있습니다. 참고 링크: https://clova.ai/hyperclova

• 5-2. 카카오의 KoGPT

• 카카오는 KoGPT 프로젝트를 통해 한국어에 최적화된 언어모델을 개발하고 있습니다. KoGPT는 대규모 한국어 데이터를 바탕으로 사전학습되었으며, 이를 통해 한국어 능력을 지속적으로 향상시키고 있습니다. 이 프로젝트는 한국어 사용자가 언어모델을 다양한 방식으로 활용할 수 있도록 돕고 있습니다. 참고 링크: https://github.com/kakaobrain/kogpt

• 5-3. EleutherAI의 polyglot-ko

• EleutherAI는 polyglot-ko 프로젝트를 통해 한국어 기반의 대규모 언어모델을 개발하고 있습니다. polyglot-ko는 다국어 데이터를 활용하여 다양한 언어 모델을 개발하는 프로젝트로, 한국어 데이터를 포함한 다양한 언어 데이터로 사전학습을 진행하고 있습니다. 이 모델은 한국어 사용자가 더 나은 언어모델 경험을 할 수 있도록 설계되었습니다. 참고 링크: https://github.com/EleutherAI/polyglot

6. 대규모 언어모델의 빠른 변화와 전망

• 6-1. LLM의 기술 변화 속도

• 대규모 언어모델(LLM)의 기술 변화 속도는 매우 빠르며, 이는 LLaMA 모델이 공개된 후 불과 5개월 만에 Llama2 모델이 공개된 사례에서도 잘 드러납니다. 매주 새로운 기술이 발표되고 있어 이러한 변화의 속도를 정확히 예측하는 것은 매우 어려운 일입니다.

• 6-2. 새로운 기술의 도입 주기

• LLM의 기술 도입 주기는 매우 짧습니다. 예를 들어, LLaMA 모델이 공개된 후불과 5개월 만에 Llama2 모델이 등장한 사례는 이러한 짧은 도입 주기를 잘 보여줍니다. 따라서 새로운 기술 변화에 항상 빠르게 대응하는 것이 중요합니다.

• 6-3. LLM의 한국어 성능 향상의 필요성과 미래 방향

• LLM의 한국어 성능 향상은 필수적입니다. 현재 LLM의 사전학습 데이터에서 한국어 비율은 GPT-3에서는 0.01697%, Llama2에서는 0.06%에 불과합니다. 이는 전세계 인구(78억 8800만 명) 중 한국어 화자의 비율(1.035%)에 비해 매우 낮은 수치로, 한국어 사용자가 LLM의 능력을 풍부하게 경험하는 데 제약이 있습니다. 이러한 문제를 해결하기 위해서는 한국어 데이터로 사전학습한 자체 언어모델을 만드는 것이 좋은 해결책 중 하나입니다. 실제로, KoLlama2-7b 모델은 한국어 성능을 향상하기 위해 고려대학교 NLP & AI 연구실과 HIAI 연구소가 공동으로 개발한 프로젝트입니다.

7. 결론

• 이 리포트는 대규모 언어모델(LLM)의 발전과 한국어 성능 향상에 관한 주요 발견을 종합하여 설명합니다. KoLlama2-7b와 같은 프로젝트는 한국어 데이터 부족 문제를 LoRA 파인튜닝 등을 통해 극복하고자 하였습니다. 네이버의 HyperCLOVA X, 카카오의 KoGPT, EleutherAI의 polyglot-ko와 같은 프로젝트들이 한국어 특화 모델 개발에 기여하고 있습니다. 그러나 여전히 한국어 데이터 부족 문제는 도전 과제로 남아 있으며, 개선을 위해 지속적인 연구와 노력이 필요합니다. 앞으로의 전망으로는 다양한 한국어 데이터셋을 활용한 더 많은 연구와 기술 발전이 기대됩니다. 이러한 발전은 한국어 사용자가 더 나은 언어 모델 경험을 할 수 있게 할 것이며, 새로운 LLM 기술의 도입 주기도 더욱 빨라질 것으로 예측됩니다.

8. 용어집

• 8-1. 대규모 언어 모델(LLM) [기술]

• GPT-3, Bert, Llama2와 같은 대규모 언어 모델은 자연어 처리에서 혁신을 이끌고 있으며, 다양한 언어와 도메인에서 텍스트 생성 및 이해를 크게 향상시키고 있습니다.

• 8-2. KoLlama2-7b [프로젝트]

• KoLlama2-7b는 Llama2 모델을 한국어 성능 향상을 위해 미세 조정한 프로젝트로, 고려대학교 NLP & AI 연구실과 HIAI 연구소가 주도하고 있습니다.

• 8-3. LoRA 파인튜닝 [기술]

• 언어 모델의 특정 기능을 강화하기 위해 사용하는 파인튜닝 기법으로, KoLlama2-7b에서도 적용되어 한국어 성능 향상을 도모하였습니다.

• 8-4. HyperCLOVA X [프로젝트]

• 네이버에서 개발한 한국어 특화 대규모 언어 모델로, 한국어 데이터에 대한 사전학습을 통해 높은 성능을 보입니다.

• 8-5. KoGPT [프로젝트]

• 카카오에서 개발한 한국어 특화 GPT 모델로, 다양한 한국어 데이터셋을 바탕으로 훈련되었습니다.

• 8-6. polyglot-ko [프로젝트]

• EleutherAI에서 개발한 다언어 모델로, 특히 한국어 성능 향상을 목표로 하고 있습니다.

9. 출처 문서

• Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers) - ACL Anthologyhttps://aclanthology.org/volumes/2024.naacl-long/
• psymon/KoLlama2-7b · Hugging Facehttps://huggingface.co/psymon/KoLlama2-7b
• rawhttps://huggingface.co/psymon/KoLlama2-7b/raw/main/README.md