대규모 언어 모델(LLM)의 현재와 개인화 및 최신 기법

1. 요약

• 이 리포트는 대규모 언어 모델(LLM)의 현황 및 이 모델을 개인화하는 다양한 튜닝 기법을 다룹니다. 주요 주제로는 LLM의 정의와 중요성, 발전 과정, 연구 커뮤니티의 주목을 받고 있는 점들이 포함됩니다. 더불어 Meta AI의 LLaMA 모델의 특징과 미친 영향, 그리고 파인튜닝, LoRA, QLoRA 등의 최신 개인화 기법들이 상세히 설명되어 있습니다. 이 정보를 통해 독자들은 LLM의 최신 동향과 연구 상황을 명확하게 파악할 수 있습니다.

2. 대규모 언어 모델(LLM)의 발전

• 2-1. 대규모 언어 모델의 정의와 중요성

• 대규모 언어 모델(LLM)은 수천억 개(또는 그 이상의) 파라미터를 지닌 언어 모델을 의미합니다. 이 모델들은 대규모 텍스트 데이터로 훈련되며, GPT-3, PaLM, Galactica, LLaMA 등이 대표적입니다. LLM은 매우 심층적인 신경망에 멀티헤드 주의층(multi-head attention layers)이 쌓인 트랜스포머 아키텍처를 기반으로 구축됩니다. LLM의 주목할 만한 특징은 소형 모델에는 없는 이머전트 능력을 갖추고 있으며 이는 특정한 수준 이상의 모델 크기에서만 나타납니다.

• 2-2. LLM의 발전 과정

• 언어 모델링은 지난 20년 동안 크게 발전해 왔습니다. 초기에는 통계적 언어 모델(SLM) 방식이 있었으며, 이후 신경 언어 모델(NLM), 사전 학습된 언어 모델(PLM)로 발전했습니다. 최근에는 LLM으로 진화하면서 더욱 향상된 성능을 보여주고 있습니다. 연구자들은 모델 스케일링을 통해 성능을 개선할 수 있다는 사실을 발견했고, 이를 바탕으로 더욱 큰 크기의 PLM을 훈련하며 추가 연구를 해왔습니다. 이 과정에서 GPT-3와 같이 수십억 개의 파라미터를 가진 모델들이 등장하며 LLM의 중요한 진화 단계를 형성했습니다.

• 2-3. 연구 커뮤니티의 주목

• 최근 LLM에 대한 연구는 학계와 산업계 모두에서 크게 주목받고 있습니다. ChatGPT와 같은 모델들의 출시는 사회적으로 큰 주목을 받았으며, 이는 LLM의 기술적 진화가 AI 커뮤니티 전반에 중요한 영향을 미치고 있다는 것을 보여줍니다. LLM은 AI 알고리즘의 개발 및 사용 방식을 혁신적으로 변화시키고 있으며, 연구자들은 LLM의 네 가지 주요 측면(사전 학습, 적응 튜닝, 활용, 역량 평가)에 대해 활발히 연구하고 있습니다.

3. 대규모 언어 모델의 개인화 기법

• 3-1. 파인튜닝의 필요성 및 효과

• 초거대언어모델은 일반적인 과제를 잘 처리하는 장점이 있습니다. 우리는 ChatGPT에 열광하는 이유 역시 일반적인 지식 질문이나 추론에 대해 필요한 답변을 훌륭하게 생성하기 때문이라고 생각합니다. 하지만 실생활에서 대규모 언어모델이 유의미하게 사용되려면 개인 또는 조직 단위로 특수한 데이터를 학습해야 할 필요가 있습니다. 파인튜닝은 사전 학습된 초거대 언어 모델(Large language model, LLM)에 작은 데이터 세트에 대해 추가로 학습시켜 특정한 작업에 맞게 미세하게 조정하고 성능을 개선하는 방법입니다. 모델의 파라미터 수가 점점 커지면서 기업이나 연구자가 모델 전체를 파인튜닝하는 것이 힘들어졌고, 파인튜닝한 모델의 저장과 사용 비용 또한 매우 커졌습니다. 그럼에도 불구하고, 모델의 목적 자체를 더욱 자유롭게 바꾸어낼 수 있다는 점에서 파인튜닝의 의미가 큽니다.

• 3-2. LoRA와 QLoRA 기법

• 경제적인 파인튜닝을 위한 PEFT와 QLoRA 기법이 등장하면서 파인튜닝의 효과가 더욱 확대되었습니다. PEFT는 모델 전체의 파라미터를 튜닝할 필요 없이, 일부 파라미터만 튜닝하더라도 모델의 성능을 적은 자원으로 튜닝할 수 있도록 하는 방법입니다. PEFT에는 LoRA (Low Rank Adapation) 기법이 주로 사용되고 최근에는 QLoRA 기법이 제시되고 있습니다. LoRA는 고정 가중치를 가지고 있는 사전 학습된 모델을 기반으로 추가 학습이 가능한 Rank Decomposition 행렬을 트랜스포머 아키텍처의 각 레이어에 붙인 것입니다. 이는 Low Data Regime처럼 데이터가 적은 상황에서도 파인튜닝하기 용이하며, 도메인 외부의 데이터를 일반화할 때 좋은 성능을 보입니다. 반면 QLoRA 기법은 양자화를 통해 메모리 사용량을 줄이면서도 모델 성능을 유지하는 기법으로, 일반적인 LoRA의 파인튜닝 기법보다 모델에 미치는 영향이 적습니다.

• 3-3. PEFT와 최신 체크포인트 기법

• 최근 들어 등장하고 있는 여러 파인튜닝 기법 중 체크포인트 기법과 PEFT가 주목받고 있습니다. 체크포인트 기법은 특정 시점 이후의 신경망 상태를 저장하여 필요에 따라 가중치를 복원할 수 있게 하며, 컴퓨팅 자원 소모를 줄이는 데 기여합니다. PEFT(번들링되지 않은 효율적 파라미터 튜닝)는 모델 전체를 수정하지 않고 일부 파라미터만 업데이트해 저비용으로 성능을 향상시킬 수 있는 방법입니다. 이 기법에서는 LoRA(저 순위 적응)와 같은 메커니즘을 도입하여 파라미터의 효율성을 높이고, 최신 QLoRA 기법은 양자화를 통해 모델 성능을 더욱 최적화하고 있습니다.

4. Meta AI의 LLaMA 모델

• 4-1. LLaMA 모델의 주요 특징

• LLaMA 모델은 Meta AI에서 개발한 대규모 언어 모델로, 6.7B, 13B, 32.5B, 65.2B의 네 가지 버전으로 출시되었습니다. 이 모델은 GPT-3와 같은 기존의 대규모 언어 모델에 비해 더 작은 파라미터 사이즈를 가지고 있으며, 특히 LLaMA-13B 모델은 GPT-3(175B)에 비해 1/10 이하의 파라미터를 가지고도 모든 벤치마크에서 더 우수한 성능을 자랑합니다. 또한, LLaMA-65B 모델은 Chinchilla(70B) 및 PaLM(540B)과 경쟁할 수 있는 성능을 보이며, 공개 데이터만으로 학습되었습니다. 최신 연구를 반영한 Transformer 구조를 수정하여 학습 성능을 유지하면서도 추론 시 컴퓨트 예산을 낮추는 방향으로 설계되었습니다.

• 4-2. 오픈 소스 접근과 연구 커뮤니티에의 기여

• Meta는 LLaMA 모델을 포함한 여러 AI/ML 프레임워크를 오픈소스로 제공해왔습니다. LLaMA 또한 연구 커뮤니티에 공개되어, 접근 권한을 구글 독스를 통해 신청할 수 있습니다. 이는 AI 연구자들에게 큰 기회를 제공하며, AI 발전에 기여하고 있습니다. 예를 들어, LLaMA 모델은 빅 데이터와 대규모 GPU 리소스를 활용하여 학습 성능을 극대화하면서도 소규모 연구실이나 독립 연구자들도 사용할 수 있도록 접근성을 보장합니다.

• 4-3. 에너지 효율적인 훈련 과정과 환경적 영향

• LLaMA 모델은 에너지 효율적인 훈련 과정을 통해 환경적 영향을 최소화하려 노력하고 있습니다. 예를 들어, LLaMA-65B 모델을 학습하는데 173톤의 CO2를 배출하게 됩니다. 이는 전력 사용량 449MWh에 해당하며, 약 50억원의 전기료가 소모됩니다. LLaMA 모델은 보다 작은 파라미터를 가지고도 높은 성능을 발휘함으로써, 추론 시 컴퓨트 예산을 줄이고 에너지 효율성을 높이는데 중점을 두고 있습니다. 이러한 접근은 AI 모델이 환경에 미치는 영향을 줄이기 위한 중요한 노력 중 하나입니다.

5. 결론

• 이번 리포트는 대규모 언어 모델의 발전과 개인화 튜닝 방법론, 그리고 Meta AI의 LLaMA 모델에 대해 심층 분석하였습니다. LLM은 AI 연구 커뮤니티에서 중요한 역할을 하며, 다양한 기법을 통해 더욱 개인화되고 효율적으로 사용할 수 있습니다. 특히, 파인튜닝과 QLoRA 등 최신 기법은 모델의 성능을 높이고 자원 소모를 줄이는 데 큰 기여를 합니다. Meta AI의 LLaMA 모델은 뛰어난 성능과 오픈 소스 접근을 통해 연구자들에게 큰 활용 기회를 제공하며, 에너지 효율성을 고려한 훈련 과정도 주목할 만합니다. 다만, 모델의 복잡성과 높은 학습 비용이 한계로 지적됩니다. 미래에는 보다 다양한 도메인에 적용 가능하도록 추가 연구가 필요하며, LLM이 실질적으로 응용될 수 있는 방안들이 계속해서 탐구될 것입니다.

6. 용어집

• 6-1. RAG [기술]

• RAG는 대규모 언어 모델을 개인화하고 최적화하기 위한 주요 기법 중 하나입니다. 이를 통해 모델의 성능을 강화하고 보다 정확한 출력을 얻을 수 있습니다.

• 6-2. 파인튜닝 [기술]

• 파인튜닝은 기존의 모델을 특정 작업에 맞추어 다시 훈련하는 기법으로, 이 과정에서 사용되는 데이터의 중요성이 강조됩니다.

• 6-3. LoRA [기술]

• LoRA는 모델의 정확성과 메모리 사용량을 조절할 수 있는 효율적인 도구로, 개인화된 모델 튜닝에 효과적으로 사용됩니다.

• 6-4. Meta AI [회사]

• Meta AI는 LLaMA라는 대규모 언어 모델을 통해 오픈 소스 접근 방식을 채택하여 연구 커뮤니티에 기여하고 있으며, 에너지 효율적인 훈련 과정을 강조합니다.

• 6-5. LLaMA [모델]

• LLaMA는 Meta AI가 제공하는 대규모 언어 모델로서, 뛰어난 성능과 오픈 소스 접근을 통해 연구자들에게 큰 활용성을 제공합니다.

7. 출처 문서

• 지극히 사적인 나만의 LLM, 가질 수 있을까? [1편 - 파인튜닝]https://blog.sionic.ai/finetuning_llama
• 거대언어모델(LLM)의 현주소https://brunch.co.kr/@brunchgpjz/49
• Meta AI의 Small Gaint Model: LLaMA(Large Language Model Meta AI)https://moon-walker.medium.com/%EB%A6%AC%EB%B7%B0-meta-ai%EC%9D%98-small-gaint-model-llama-large-language-model-meta-ai-334e349ed06f