빅테크의 AI 데이터센터 혁신과 서버용 CPU 독립선언

1. 요약

• 이 리포트는 빅테크 기업들이 AI 데이터센터 구축을 위해 기존 반도체 기업인 엔비디아의 의존도를 줄이고 자체 서버용 CPU를 개발하는 현황을 다루고 있습니다. 마이크로소프트의 \

2. AI 데이터센터의 중요성

• 2-1. AI 데이터센터의 개념 및 필요성

• AI 데이터센터는 모든 데이터를 저장, 유통, 처리하는 시스템으로, 정보를 한곳에 모아둔 건물의 개념입니다. 현대의 AI 시대에는 데이터의 양이 급증하고 요구되는 처리 속도가 빨라짐에 따라, 이러한 변화에 적합한 데이터센터가 필요해졌습니다.

• 2-2. 빅테크의 AI 데이터센터 구축 프로젝트와 투자

• 빅테크 기업들은 새로운 AI 데이터센터 구축에 나서면서 막대한 투자를 하고 있습니다. 오픈AI와 마이크로소프트는 대규모 AI 데이터센터를 구축하는 스타게이트 프로젝트를 진행 중이며, 투입 예정 비용은 6년간 1000억 달러(약 135조 원)에 달합니다. 아마존 또한 15년 동안 데이터센터 건설에 1500억 달러(약 205조 원)가 필요할 것으로 예상됩니다. 이와 같이 빅테크는 엔비디아 GPU를 대체할 자체 칩 개발에도 집중하고 있습니다. 마이크로소프트는 자체 개발한 서버용 CPU '코발트100'을 공개했으며, 구글 클라우드는 '악시온'이라는 첫 서버용 CPU를 선보였습니다.

• 2-3. AI 데이터센터의 주요 과제와 비용 문제

• 빅테크 기업들이 AI 데이터센터 구축에서 직면하는 주요 과제는 비용 문제입니다. 인피니밴드 기반의 인프라 구축 비용이 높기 때문에, 이더넷 기반 장비를 활용하여 비용을 절감하려는 시도가 계속되고 있습니다. 이더넷 기반 장비를 사용하면 인피니밴드 대비 50% 비용으로 인프라 구축이 가능하다고 합니다. 이러한 방식을 채택함으로써 빅테크 기업들은 확장성과 가성비를 동시에 확보할 수 있습니다. 브로드컴의 코어스위치사업부 부사장 램 벨레에 따르면, 많은 고객이 이더넷 전환을 결정하고 있으며 이는 대규모 머신러닝 클러스터의 표준이 될 것이라고 합니다.

3. 빅테크의 서버용 CPU 독립선언

• 3-1. 마이크로소프트의 코발트100 발표

• 마이크로소프트는 2024년 5월 연례 개발자 콘퍼런스 ‘빌드’에서 자체 개발한 서버용 CPU '코발트100'을 공개했습니다. 이 CPU는 ARM 아키텍처 기반으로 설계되었으며, 128개 프로세서 코어를 제공하는 것으로 알려졌습니다. MS는 코발트 100이 다른 시장에 나와 있는 CPU보다 40% 더 나은 성능을 제공한다고 밝혔습니다. 이미 어도비와 스노플레이크와 같은 기업들이 이 칩을 사용 중입니다. 이는 마이크로소프트가 인텔과 AMD에 대한 의존도를 줄이고 자체적인 생태계를 구축하기 위한 중요한 첫 걸음입니다.

• 3-2. 구글 클라우드의 악시온 공개

• 구글 클라우드는 2024년 4월 기술 콘퍼런스에서 첫 서버용 CPU인 '악시온'을 발표했습니다. 이 CPU는 인텔의 x86 기반 CPU보다 성능은 50%, 에너지 효율은 60% 더 좋다는 평가를 받았습니다. 구글은 AI 서비스를 수행하기 위해 엄청난 양의 컴퓨팅 능력이 필요하며, 자체적으로 CPU를 개발하여 성능을 극대화하고 비용을 절감할 수 있다고 밝혔습니다. 구글의 악시온 CPU 역시 ARM 설계 기반으로 제작되었습니다.

• 3-3. 아마존의 그래비톤 시리즈

• 아마존의 클라우드 자회사인 AWS는 2018년부터 자체 서버용 CPU인 '그래비톤' 시리즈를 개발하고 사용해 오고 있습니다. 2023년 말 발표된 그래비톤4는 성능과 에너지 효율 면에서 큰 호평을 받고 있습니다. 이러한 자체적인 CPU 개발로 AWS는 매 분기 높은 영업이익을 올리고 있으며, 빅테크 사이에서 자체 CPU 개발의 성공 사례로 주목받고 있습니다.

4. 이더넷 네트워크의 부상

• 4-1. 이더넷 네트워크와 인피니밴드의 비교

• 이더넷 네트워크는 인피니밴드 대비 경제적이면서도 효율적인 선택으로 떠오르고 있습니다. IT 업계에 따르면, 이더넷 기반 장비를 활용할 경우 인피니밴드 대비 50% 비용으로 인프라 구축이 가능하다고 합니다. 이는 빅테크 기업들이 엔비디아 의존도를 낮추면서도 '확장성'과 '가성비'를 함께 챙길 수 있는 기회를 제공합니다. 예를 들어, 마이크로소프트는 특수 AI 반도체를 탑재한 슈퍼컴퓨터와 데이터센터를 구축하는 프로젝트에서 인피니밴드 대신 이더넷을 활용할 가능성이 높다고 알려져 있습니다.

• 4-2. 브로드컴의 이더넷 네트워크 도입

• 브로드컴은 이더넷 네트워크 도입에 대한 자신감 섞인 전망을 밝히고 있습니다. 브로드컴의 코어스위치사업부 부사장 램 벨레는 2023년 3월 인프라 투자 설명회에서 '18개월 전까지 인피니밴드가 지배하고 이더넷이 설 자리는 없다는 비판을 받아왔지만, 최근 대형 서버 구축 고객들이 이더넷을 새로운 정답으로 선택했다'고 언급했습니다. 그는 앞으로 1~2년 안에 많은 고객들이 이더넷 전환을 결정하게 될 것이라고 전망하였습니다.

• 4-3. 대규모 머신러닝 클러스터에서의 이더넷 사용

• 이더넷은 앞으로 대규모 머신러닝 클러스터의 표준이 될 것으로 예상됩니다. 램 벨레에 따르면, 이더넷은 대형 서버를 구축하는 고객 중심으로 새로운 정답으로 자리 잡고 있다고 합니다. 또한, AI 데이터센터 구축에 있어서는 비용 문제가 중요한 이슈로, 오픈AI와 마이크로소프트가 추진 중인 '스타게이트' 프로젝트에는 6년간 135조원이 투입될 예정입니다. 또한, 아마존은 15년 동안 데이터센터 건설에 205조원을 투입할 것으로 예상하고 있습니다. 이러한 상황에서 빅테크 기업들은 엔비디아 GPU를 대체할 자체 CPU 개발에 집중하고 있으며, 이더넷 네트워크 도입을 통해 효율성을 극대화하고 비용을 절감하려는 움직임을 보이고 있습니다.

5. ARM의 역할

• 5-1. ARM 설계 기반 CPU의 등장

• 최근 빅테크 기업들은 엔비디아와 같은 기존 반도체 기업에 대한 의존도를 줄이기 위해 자체 서버용 CPU 개발에 나섰습니다. 이 과정에서 ARM의 설계 기반 CPU가 중요한 역할을 하고 있습니다. ARM은 그간 모바일 시장에 집중해 칩 설계 분야를 사실상 독점해왔으며, 이제 서버용 CPU 시장에도 진출하고 있습니다. 마이크로소프트와 구글 클라우드는 각각 '코발트100'과 '악시온'이라는 자체 서버용 CPU를 공개했으며, 이들 모두 ARM의 설계 기반으로 제작되었습니다. 이는 빅테크 기업들이 인텔과 AMD에 대한 의존도를 낮추고 비용을 절감하려는 전략적 움직임이라고 할 수 있습니다.

• 5-2. 마이크로소프트 코발트100과 ARM의 연계

• 마이크로소프트는 지난 5월 연례 개발자 콘퍼런스 '빌드'에서 자체 개발한 서버용 CPU '코발트100'을 공개했습니다. 이 CPU는 ARM의 설계를 기반으로 제작되었으며, 이를 통해 마이크로소프트는 인텔과 AMD에 대한 의존도를 줄이고 비용 효율성을 높이려 하고 있습니다. 마이크로소프트는 특수 AI 반도체를 탑재한 슈퍼컴퓨터와 이 슈퍼컴퓨터로 구성된 데이터센터를 구축하는 130조원대 프로젝트를 계획하고 있으며, 이 과정에서 ARM의 첨단 CPU 설계 기술이 큰 기여를 하고 있습니다.

• 5-3. 구글 클라우드 악시온과 ARM의 연계

• 구글 클라우드는 지난 4월 기술 콘퍼런스에서 첫 서버용 CPU '악시온'을 선보였습니다. 이 CPU 역시 ARM 설계 기반으로 제작되었습니다. 구글 클라우드는 이 CPU를 통해 데이터센터의 비용 부담을 줄이고 효율성을 높이려 하고 있습니다. 빅테크 기업들이 AI 데이터센터 구축을 위해 자체 CPU 개발에 나서고 있는 상황에서, ARM의 설계는 중요한 역할을 하고 있습니다.

6. 용어집

• 6-1. AI 데이터센터 [기술]

• 모든 데이터를 저장, 유통, 처리하는 시스템을 의미하며, 빅테크 기업들이 정보 저장과 처리를 위해 광범위하게 구축하고 있습니다. AI 데이터센터는 AI 시대의 정보 처리 요구를 충족시키기 위해 많은 양의 데이터를 빠르게 처리할 수 있는 인프라를 제공합니다.

• 6-2. 서버용 CPU [기술]

• 데이터센터와 대규모 서버에 사용되는 중앙처리장치로, 최근 빅테크 기업들이 자체 개발을 활발히 진행 중입니다. 이 CPU는 데이터 처리량을 극대화하고, 비용 효율성을 높여 데이터센터 운영에 최적화된 성능을 제공합니다.

• 6-3. 이더넷 네트워크 [기술]

• 인피니밴드 대비 비용 효율성과 확장성이 높은 네트워크 기술로, 최근 대형 데이터센터에서 점점 더 많이 사용되고 있습니다. 이더넷은 대규모 머신러닝 클러스터의 표준으로 자리잡고 있습니다.

• 6-4. ARM [회사/기술]

• 반도체 칩 설계 업체로, 주로 모바일 시장에 집중해왔으나 최근 빅테크 기업들의 서버용 CPU 개발에 중요한 역할을 하고 있습니다. ARM 설계 기반의 CPU는 높은 성능과 에너지 효율성을 제공합니다.

7. 출처 문서

• 넥스트 엔비디아는 어디https://www.mk.co.kr/economy/view.php?sc=50000001&year=2024&no=457748
• 빅테크들 ‘서버용 CPU’ 독립선언https://v.daum.net/v/20240523005519714
• 넥스트 엔비디아는 어디? 브로드컴, ‘이더넷 네트워크’ 대표 주자https://v.daum.net/v/20240626210318901