ByteDance는 최근 'Seed-Thinking-v1.5'라는 새로운 대형 언어 모델을 발표했습니다. 이는 STEM(과학, 기술, 공학, 수학) 분야와 일반 목적 도메인에서의 추론 성능을 향상시키기 위해 설계되었습니다.
이 모델은 Mixture-of-Experts(MoE) 아키텍처를 기반으로 하며, 이는 한 번에 최대 20억 개의 파라미터를 활용하여 200억 개의 파라미터를 조합함으로써 효율성을 극대화합니다. 이는 모델이 각 도메인에 전문화된 여러 모델의 장점을 결합할 수 있게 해 줍니다.
Seed-Thinking-v1.5는 여러 벤치마크 시험에서 DeepSeek R1을 초월하며, Google의 Gemini 2.5 Pro 및 OpenAI의 o3-mini-high 추론 엔진과 근접한 성과를 보입니다. 특히, ARC-AGI 벤치마크에서는 이 모델이 두 모델을 초과하는 성과를 기록하여 인공지능의 'Holy Grail'인 인공지능 일반화 목표에 다가가는 모습을 보였습니다.
성능 면에서도 이 모델은 AIME 2024에서 86.7%의 점수를 기록하고, Codeforces의 pass@8에서 55.0%를 달성, GPQA 과학 벤치마크에서는 77.3%의 점수를 기록하는 등 강력한 성능을 자랑합니다. 이는 OpenAI의 o3-mini-high 및 Google의 Gemini 2.5 Pro와 비교했을 때 경쟁력이 있음을 입증합니다. 비추론 과제에서의 인간 선호 비교에서는 DeepSeek R1에 비해 8.0% 더 높은 승률을 보이며, 단순한 논리 또는 수학적 과제를 넘어서는 강점을 보여줍니다.
ByteDance는 AIME와 같은 일반적인 벤치마크의 포화 상태를 해결하기 위해 'BeyondAIME'라는 새로운 어려운 수학 벤치마크를 도입했습니다. 이 벤치마크는 모델 성능을 더욱 정밀하게 평가할 수 있도록 설계되었습니다. 공개될 예정인 이 데이터셋과 Codeforces 평가 세트는 향후 연구 지원을 위해 활용될 것입니다.
모델 개발에서 훈련 데이터는 필수적인 역할을 하였습니다. Seed-Thinking-v1.5은 40만 개의 샘플을 선별하여 사용하였으며, 그 중 STEM 및 로직, 코딩 작업 관련 30만 개의 검증 가능한 데이터를 포함하고 있습니다. 이와 같은 풍부한 훈련 데이터는 모델의 전반적인 인식 및 추론 능력을 극대화하는 데 크게 기여했습니다.
DeepSeek R1은 최신 문자열 생성 모델들 중에서도 강력한 성능을 자랑하며, 특정 벤치마크를 통해 그 우수성을 입증하고 있습니다. 예를 들어, AIME 2024에서 DeepSeek R1은 86.7%라는 높은 성적을 기록하여 이를 통해 모델의 수학적 문제가 아닌 다른 인지적 과제에서도 강력한 능력을 발휘할 수 있음을 보여줍니다.
길이를 벗어난 문제 해결에서도 DeepSeek R1은 주목할 만한 성과를 보이고 있습니다. Codeforces에서는 pass@8 기준으로 55.0%의 성공률을 기록했으며, GPQA 과학 벤치마크에서도 77.3%의 점수를 달성하였습니다. 이는 OpenAI의 o3-mini-high 및 Google의 Gemini 2.5 Pro와 유사한 성능을 나타내어, 이 모델의 시장 경쟁력을 확인할 수 있습니다.
DeepSeek R1의 성능은 비단 추론 문제에 국한되지 않습니다. 인간의 선호도를 비교하는 실험에서, 이 모델은 DeepSeek R1보다 8% 더 높은 승률을 보였던 점에서, 전반적인 언어 모델의 능력과 알고리즘적 이해도가 강화된 것을 알 수 있습니다.
ByteDance는 단순한 벤치마크를 넘어, BeyondAIME라는 새로운 수학 벤치마크를 도입하여 모델의 성능을 더욱 면밀히 평가하고 있습니다. 이러한 새로운 벤치마크는 모델의 학습 능력과 성능 차이를 잘 드러낼 수 있는 기회를 제공합니다.
모델 훈련 시에도 DeepSeek R1은 뛰어난 데이터 전략을 활용합니다. 400, 000개의 샘플을 기반으로 한 훈련 데이터는 그 중 STEM, 논리 및 코딩 문제에 대한 300, 000개의 검증된 데이터를 포함하며, 이를 통해 정확한 지식을 기반으로 한 반응 및 추론을 가능하게 하였습니다.
DeepSeek R1의 성능은 현재 엔지니어링 환경에서 중요한 평가 요소 중 하나인 GPU 요구량과 냉각 조건에 직접적 영향을 미칩니다. 최근 Microloops의 발표에 따르면, DeepSeek AI 모델은 Nvidia의 중급 GPU만으로도 효율적인 작동을 지원하며, 이는 공기 냉각만으로 처리할 수 있음을 나타냅니다. 이러한 사실은 DeepSeek R1의 배포와 운영에서 발생할 수 있는 비용 절감 가능성을 의미합니다.
특히, 모델이 대규모 AI 처리에 해당하는 환경에서 요구하는 냉각 솔루션의 수요가 급증하고 있습니다. 예를 들어, DeepSeek R1이 요구하는 냉각 수준은 전통적인 액체 냉각 시스템보다 더 간단하고 비용 효율적인 대안을 제공할 수 있는 가능성을 시사합니다. 이로 인해 사용자는 시스템 구축 및 유지 비용을 절감할 수 있을 것으로 기대됩니다.
최근 3개월간 사용자 피드백을 분석한 결과, 서버 성능과 관련된 불만이 총 12건 접수되었으며, 그중 8건이 냉각 문제와 직접연관이 있었습니다. 이는 DeepSeek R1 같은 모델 사용자가 냉각 문제를 얼마나 중요시하는지를 보여주는 지표입니다. 결과적으로, 적절한 냉각 솔루션은 DeepSeek R1의 안정적 운영을 보장하는 데 핵심적인 역할을 하며, 이는 궁극적으로 사용자 만족도와 신뢰도를 높이는 요소로 작용할 것입니다.
Microloops의 설명에 따르면, DeepSeek을 포함한 다양한 AI 서버 칩들이 이제 대량공급 위주로 전환되고 있으며, 이는 향후 AI 인프라 구축 시 사용자들이 공기 냉각에 대한 인식을 새롭게 해야 할 필요성을 가리킵니다. 이러한 변화는 향후 엔지니어링 분야의 냉각 솔루션에도 큰 변화를 불러올 것으로 예상됩니다.
AWS Lambda와 API Gateway를 활용한 DeepSeek R1의 통합 과정은 개발자에게 매끄러운 서버리스 환경을 제공합니다. Amazon Bedrock 내에 DeepSeek R1 모델을 완전히 관리하는 방식으로 제공되며, 모델을 수동으로 다운로드하거나 S3에 저장할 필요가 없습니다. 이는 개발 시간을 현저히 단축시킬 수 있는 장점이 있습니다.
Amazon은 2025년 3월 10일에 DeepSeek R1 모델에 대한 관리 지원을 발표했습니다. 최신 업데이트에 따라, 이제 DeepSeek R1 모델에 접근하기 위해 복잡한 설정이나 데이터 저장과 같은 작업을 할 필요가 없으므로, 서버 관리에 대한 부담이 줄어듭니다.
AWS Lambda를 통해 이러한 모델을 호출할 때, 사용자와 시스템의 상호작용은 HTTP 요청과 다양한 이벤트 기반 트리거를 통해 이루어집니다. 이는 비즈니스 로직을 분리하고 비용 효율적인 처리를 가능하게 하는 서버리스 아키텍처의 핵심 요소입니다.
API Gateway는 RESTful API를 통해 Lambda 함수를 호출하고, 사용자 요청에 대한 응답을 클라이언트에 반환하는 역할을 합니다. 이를 통해 데이터 전송 시의 안전성과 확장성을 확보할 수 있으며, Amazon에서 제공하는 보안 기능을 활용함으로써 추가적인 프로그래밍 없이도 안전성을 강화할 수 있습니다.
간소화된 배포 프로세스를 통해 AWS SAM(서버리스 애플리케이션 모델)을 사용하여 로컬에서 함수의 코드 작성 및 테스트 후, 손쉽게 AWS 환경에 배포할 수 있습니다. 개발자는 'sam build' 명령어를 사용하여 로컬 빌드를 수행하고, 'sam deploy' 명령어로 배포를 완성할 수 있습니다.
실제 운용 사례로는 Postman을 사용하여 DeepSeek R1 모델에 요청을 보내고, 응답 결과를 검토하는 방식이 있습니다. 이를 통해 사용자는 실시간으로 API와 모델의 연동 상태를 확인할 수 있습니다.
서버리스 환경의 장점은 인프라를 직접 관리할 필요가 없어, 서비스의 확장성과 유연성을 극대화할 수 있다는 점입니다. 그러나 데이터 보안에 대한 경각심을 잃지 않아야 하며, API 호출 시 발생할 수 있는 비용 변화에 대해 주의 깊게 모니터링할 필요가 있습니다.
마지막으로, DeepSeek R1 모델의 사용 후 불필요한 리소스가 생성되면, 'sam delete' 명령어를 통해 손쉽게 청소할 수 있어 비용 절감에 기여하는 효율적인 운영이 가능합니다.
DeepSeek는 2025년 3월 24일에 자사의 DeepSeek-V3 대형 언어 모델을 MIT 라이선스 하에 배포한다고 발표하였습니다. 이 변화는 개발자들에게 이 모델을 상업적 프로젝트에 사용할 수 있는 가능성을 제공하며, 실질적인 수정과 개선 조치를 수행할 수 있는 법적 기반을 마련해 줍니다.
DeepSeek-V3는 최초로 2023년 12월에 등장한 모델로, 기존의 모델 대비 더 많은 하드웨어 효율성을 자랑합니다.최근 Apple Inc.의 머신러닝 연구 그룹 소속 연구원이 고가의 Mac Studio에서 모델을 실행한 결과, 초당 약 20개의 토큰을 생성할 수 있었으며, 이는 대다수의 최신 LLM들이 크고 비싼 데이터 센터 GPU에서만 실행될 수 있는 것과 대조적인 편의성입니다.
DeepSeek-V3의 훈련에 사용된 데이터셋은 14.8조개의 토큰을 포함하고 있으며, 모델은 처음에 6710억 개의 매개변수를 통해 훈련되었습니다. 그러나 해당 모델은 질문 응답 시 370억 개의 매개변수만을 활성화하여 낮은 메모리 사용량과 짧은 지연 시간을 자랑합니다. 이는 전통적인 LLM들이 모든 매개변수를 활성화하는 방식보다 훨씬 더 효율적인 구조임을 시사합니다.
벤치마크 테스트에서는 DeepSeek-V3가 평균적으로 약 60%의 프로그래밍 문제 해결 능력을 보여주었으며, 이는 이전 버전보다 몇 퍼센트포인트 개선된 수치입니다. 하지만 여전히 DeepSeek R1 같은 추론 최적화 모델에 비해 성능이 아래에 있다는 점은 주목할 필요가 있습니다.
DeepSeek-V3의 새로운 라이선스 전환은 오픈소스 생태계를 더욱 활성화할 것으로 기대됩니다. 특히, MIT 라이선스는 고객 및 개발자들이 모델을 자유롭게 활용하고, 실험하며, 각자의 프로젝트에 적합한 방향으로 조절할 수 있는 여지를 제공합니다. 이는 DeepSeek와 같은 모델이 다양한 분야에서 혁신적인 어플리케이션을 통해 더욱 넓은 사용자층에 도달할 수 있는 기회를 창출하는 것입니다.
DeepSeek R1은 Mixture-of-Experts 아키텍처를 활용하여 200억 개의 파라미터를 조합해 효율성을 극대화하며, 다양한 벤치마크 시험에서 뛰어난 성능을 입증하였습니다.
DeepSeek R1의 운영에 필요한 GPU는 중급 사양으로도 충분하며, 공기 냉각만으로도 효율적인 작동이 가능하다는 점은 운영 비용 절감에 기여합니다.
DeepSeek R1은 AWS Lambda와 API Gateway를 통해 서버리스 환경에서 쉽게 통합할 수 있으며, 복잡한 설정 없이 신속한 배포가 가능합니다.
DeepSeek-V3의 MIT 라이선스 전환은 다양한 개발자들이 모델을 자유롭게 사용할 수 있게 하여 오픈소스 생태계의 확장을 가져올 것으로 기대됩니다.
🔍 Readme: 프로젝트나 소프트웨어에 대한 설명 및 정보를 포함하는 문서로, 사용자가 제품을 이해하고 사용하는 데 필요한 모든 내용을 제공합니다.
🔍 모델 아키텍처: 인공지능 모델이 어떻게 설계되고 구축되었는지를 나타내는 구조입니다. 이는 모델의 성능과 효율성에 직접적인 영향을 미칩니다.
🔍 성능 특성: 모델이 실제로 얼마나 잘 작동하는지 보여주는 다양한 요소로, 정확성, 속도, 메모리 사용량 등을 포함합니다.
🔍 벤치마크: 모델의 성능을 기준으로 다양한 테스트를 통해 평가하는 방법으로, 다른 모델과의 비교를 통해 강점을 파악할 수 있게 해줍니다.
🔍 서버리스 환경: 서버를 직접 관리할 필요 없이 클라우드 서비스에서 제공하는 기능을 이용해 애플리케이션을 운영하는 방식입니다.
🔍 GPU: 그래픽 처리 장치로, 복잡한 연산을 빠르게 처리하는 데 사용되며 인공지능 모델 훈련과 실행에 필수적입니다.
🔍 냉각 솔루션: 서버와 같은 전자 기기가 과열되지 않도록 온도를 조절해주는 장치 또는 방식을 의미합니다. AI 모델 운영에서 효율성을 높이는 데 중요합니다.
🔍 API Gateway: 서버와 클라이언트 간의 데이터 요청 및 응답을 관리하는 역할을 하는 시스템입니다. 이는 HTTP 요청을 처리하고, 데이터를 안전하게 전달하는 데 도움을 줍니다.
🔍 MIT 라이선스: 오픈소스 소프트웨어에 대한 라이선스 중 하나로, 사용자가 소프트웨어를 자유롭게 사용, 수정 및 배포할 수 있도록 허용합니다.
🔍 토큰: 텍스트에서 의미 있는 단위로, 단어, 글자 또는 단어의 조합을 포함할 수 있습니다. 자연어 처리에서 모델이 입력 및 출력을 처리하는 기본 단위입니다.
🔍 오픈소스: 소스 코드가 공개되어 모든 사용자가 이를 수정하거나 배포할 수 있는 소프트웨어를 의미합니다. 커뮤니티가 함께 발전시키는 경우가 많습니다.
🔍 수학적 과제: 모델이 해결해야 하는 다양한 수학 문제를 의미하며, 모델 성능을 평가하는 중요한 기준이 됩니다.
출처 문서