차세대 데이터센터 혁신을 이끄는 CXL: 표준부터 활용까지

1. 요약

• Compute Express Link(CXL)는 현대 데이터센터의 혁신에 핵심적인 역할을 하는 오픈 메모리 인터커넥트 표준으로, 기존 PCIe 인터페이스의 성능 한계를 극복하여 데이터 처리의 효율성을 극대화합니다. CXL의 주요 목표는 CPU와 다양한 가속기 간의 효과적인 메모리 일관성을 유지하여, 속도와 대역폭을 향상시키는 것입니다. CXL의 초기 버전인 1.0은 2019년 12월에 출시되었으며, 이후 2.0 및 3.1로 진화하면서 기능과 성능이 대폭 향상되었습니다. 특히 CXL 3.1은 최대 64 GT/s의 속도를 지원하여, 고속 데이터 전송과 메모리 접근이 가능하게 되었습니다.

• CXL은 CXL.io, CXL.cache, CXL.memory와 같은 다양한 프로토콜을 통해 고성능 컴퓨팅을 구현할 수 있으며, 이는 AI 및 머신러닝과 같은 데이터 집약적 워크로드에 최적화된 기능을 제공합니다. CXL의 캐시 일관성 기능은 데이터센터의 전반적인 성능을 높이며, 메모리 자원에 대한 유연한 접근을 가능하게 하여, 기업들이 필요로 하는 다양한 요구 사항에 부합하게 합니다. 컴포저블 인프라와의 결합은 CXL 기술의 혁신을 가속화하고 있으며, 산업계에서는 CXL을 지원하는 하드웨어와 소프트웨어의 통합이 활발히 진행되고 있습니다.

• 이러한 배경 속에서 CXL의 발전은 단순히 기술적 개선에 그치지 않고 데이터센터의 설계와 운영 방식에 혁신적인 변화를 가져오고 있습니다. 데이터센터는 다양한 자원과 장치를 보다 통합하고, 이를 통해 최적화된 비용 효율성을 제공함으로써, 오늘날의 요구에 응답하고 있습니다. 결국, CXL이 제공하는 기능들은 앞으로의 데이터센터 생태계에서 중요한 혁신 요소로 자리잡을 것입니다.

2. CXL 등장 및 개념 이해

• 2-1. CXL 정의 및 목적

• Compute Express Link(CXL)는 고속 데이터 전송 및 메모리 접근을 효율적으로 지원하는 오픈형 인터커넥트 표준입니다. CXL의 주요 목적은 CPU와 다양한 가속기 간의 메모리 일관성을 유지하면서 빠른 데이터 통신을 가능하게 하는 것입니다. CXL은 특히 AI, 머신러닝 및 빅데이터와 같은 고집적 워크로드를 처리하는 데 최적화된 구조를 갖추고 있습니다. 이 기술은 PCIe(Peripheral Component Interconnect Express) 5.0 기반으로 설계되어 이전의 표준보다 향상된 대역폭과 낮은 지연 시간을 제공합니다.

• CXL는 다양한 프로토콜을 통해 메모리 확장 및 캐시 일관성을 제공합니다. 특히 CXL.io, CXL.cache, CXL.memory 프로토콜이 주요 구성 요소로 작용하여 각 장치가 공유 메모리에 접근할 수 있도록 지원합니다. 이러한 구조를 통해 서버 내 메모리 자원의 유연성과 확장성을 보장하며, 데이터 센터 설계의 혁신을 이끌어내고 있습니다.

• 2-2. 기존 PCIe 한계

• 기존 PCIe 인터페이스는 높은 대역폭을 제공했지만, 메모리 공유와 캐시 일관성에 있어 근본적인 한계가 있었습니다. 특히, PCIe는 단일 장치와의 연결에 최적화되어 있었기 때문에, 여러 장치 간의 효율적인 통신을 구현하는 데 어려움이 많았습니다. 이러한 한계는 궁극적으로 데이터 집약적 작업에서 성능 저하의 원인이 되곤 했습니다.

• PCIe 기반 NVMe(NVM Express)는 벤더 간 호환성 문제가 있어 특정 벤더의 솔루션을 사용할 경우 제한이 있었고, 이는 다양한 시스템에서 호환되는 메모리 공유를 어렵게 만들었습니다. CXL은 이러한 문제를 해결하기 위해 설계됨으로써, 다양한 제조업체의 하드웨어에서 일관된 성능을 제공하도록 되어 있습니다.

• 2-3. 캐시 일관성 메모리 인터커넥트

• CXL는 캐시 일관성을 제공하여 호스트 프로세서와 연결된 디바이스 간에 메모리 데이터의 일관성을 유지합니다. 이는 CXL.cache 프로토콜에 의해 지원되며, 가속기가 호스트 프로세서의 메모리에 접속할 때 일관성 있는 캐시 동작을 보장합니다. 이를 통해 메모리 리소스의 효율적인 사용과 데이터 일관성을 동시에 달성할 수 있습니다.

• CXL.memory 프로토콜은 CPU가 가속기의 메모리에 접근할 때 사용되며, 이 경우 가속기는 호스트의 추가 메모리 공간으로 인식됩니다. 이러한 방식으로, CPU는 가속기의 메모리를 더욱 쉽게 활용할 수 있으며, 기존의 메모리 계층 구조에서의 유연성을 크게 향상시킵니다.

• 이러한 캐시 일관성 기능은 데이터 전송의 지연 시간을 줄이고, 통신의 복잡성을 줄여 데이터센터의 전반적인 성능을 높이는 데 중요한 역할을 하고 있습니다. CXL의 이러한 장점들은 특히 AI나 머신러닝과 같은 고속 데이터 처리가 요구되는 환경에서 더욱 두드러지게 나타납니다.

3. CXL 기술 발전과 버전 변화

• 3-1. CXL 1.0~2.0 주요 특징

• CXL(Compute Express Link)의 1.0 버전은 2019년 12월에 소개되었으며, 당시에는 PCIe(Peripheral Component Interconnect Express) 인터페이스의 한계를 극복하고 더 나은 메모리 접근성을 제공하기 위해 개발되었습니다. CXL 1.0은 CXL.cache, CXL.mem, CXL.io의 세 가지 주요 프로파일을 소개하며, 이들은 각각 캐시, 메모리, I/O 작업을 위한 최적화된 접근 방식을 정의합니다. 이러한 프로파일은 다양한 장치들 간의 통신과 데이터 경로 개선을 목표로 하였습니다.

• CXL 2.0은 2021년 10월에 발표되어 CXL 1.0에서 제시된 기능을 기반으로 확장되었습니다. CXL 2.0의 가장 두드러진 특징인 CXL 스위치는 여러 CXL 장치들의 연결을 가능하게 하여 시스템의 확장성을 크게 향상시켰습니다. 또한, 이 버전에서는 퍼시스턴트 메모리의 지원이 추가되었고, 보안을 강화하기 위한 CXL IDE(Interconnect Device Extension) 기능 또한 포함되었습니다. CXL 1.0과 2.0 간의 차이점은 바로 이러한 스위치와 퍼시스턴트 메모리 지원이 시스템의 유연성과 확장성에 기여했다는 점입니다.

• 3-2. CXL 3.1 주요 개선점

• CXL 3.1 버전은 2023년 11월에 발표되어 CXL 기술의 성숙을 더욱 심화시켰습니다. 이 버전은 PCIe 6.0을 지원하여 대역폭이 두 배 향상되어 최대 64 GT/s의 속도를 제공하게 되었습니다. 이는 기존 CXL 2.0의 대역폭의 두 배에 해당하며, PCIe x16 링크를 통해 이론적으로 최대 256 GB/s까지 성능을 달성할 수 있게 되었습니다.

• 추가적으로, CXL 3.1에서는 호스트의 간섭 없이 캐시 상태 변경이 가능한 BISnp(Back-Invalidate Snoop) 기능이 도입되었습니다. 이를 통해 다중 호스트 접근 환경에서 캐시 일관성을 강화하여 보다 안정적인 데이터 처리가 가능해졌습니다. 또한, 메모리 풀 접근 방식이 개선되어 소프트웨어의 개입 없이 복수의 호스트가 동시에 하나의 메모리 영역에 접근할 수 있는 '메모리 공유' 개념이 추가되었습니다. 이러한 변경은 특히 GPU 서버 농장과 같은 대규모 운영 환경에서 중요한 역할을 하게 됩니다.

• 3-3. 버전 간 기술적 차이

• CXL 1.0, 2.0, 및 3.1 시리즈의 기술적 차이는 크게 구조, 대역폭, 그리고 일관성 관리 기능에서 차이를 보입니다. CXL 1.0은 기본적으로 PCIe의 경량화된 형태로 설계되었고, 데이터 접근 속도와 처리 공간의 제약이 있었습니다. 그러나 CXL 2.0에서는 스위치와 퍼시스턴트 메모리 지원으로 인해 확장성과 유연성이 크게 향상되었습니다.

• CXL 3.0부터는 PCIe 6.0을 통한 고속 데이터 전송과 캐시 일관성 강화를 통해 이전 버전에서 발생할 수 있는 데이터 충돌 문제를 최소화하였습니다. 특히, CXL 3.1에서는 GIM(Global Integrated Memory) 개념을 도입하여 원거리 호스트 간의 통신을 더욱 원활하게 하였으며, 이는 메모리 접근 성능을 극대화하고, 데이터센터 운영의 효율성을 높이는 역할을 하고 있습니다.

4. CXL 활용 사례 및 소프트웨어 동향

• 4-1. 컴포저블 인프라에서의 CXL

• 컴포저블 인프라는 다양한 컴퓨팅 자원(서버, 스토리지, 네트워킹 장비)을 조합 및 최적화하여 사용자가 유연하게 시스템을 구성할 수 있도록 하는 설계 방식입니다. CXL(Compute Express Link) 기술은 이러한 컴포저블 인프라의 핵심적인 요소로 기능하고 있습니다. CXL의 가장 큰 장점 중 하나는 메모리 자원의 풀링(Pooling) 기능으로, 이를 통해 여러 대의 서버에서 메모리에 대한 접근을 공유할 수 있습니다. CXL은 PCIe 인터페이스를 기반으로 하여, 사용자는 다양한 장치 간에 저지연과 고대역폭의 메모리 접근을 실현할 수 있습니다. CXL을 활용한 컴포저블 인프라의 혁신적인 사례로는 인텔의 Xeon Sapphire Rapids 프로세서가 있습니다. 이 프로세서는 CXL 1.1 및 2.0 버전을 적극 지원하여, 여러 개의 CXL 장치에 손쉽게 연결되며, 사용자는 메모리 자원의 유연한 확장을 구현할 수 있습니다. 예를 들어, CXL 메모리 분리 기술을 활용하여 메모리를 서버에서 보다 고속으로 접근할 수 있으며, 이는 데이터 중심 애플리케이션의 성능 향상에 기여합니다.

• 4-2. AI/머신러닝 워크로드 성능 개선

• 인공지능(AI) 및 머신러닝(ML) 분야에서는 데이터 양의 폭발적 증가와 복잡한 모델의 학습 속도 개선이 필수적입니다. 이 분야에서 CXL의 메모리 풀 기능은 워크로드 성능 개선의 중요한 역할을 담당하고 있습니다. CXL은 메모리 중심의 컴퓨팅 구조를 가능하게 하여, CPU와 메모리 간의 데이터 이동을 최소화하고, 이를 통해 높은 메모리 대역폭과 낮은 지연 시간을 제공합니다. 특히, 최근 LLM(대형 언어 모델)의 훈련에 있어 CXL 기술은 중요합니다. 예를 들어, OpenAI의 GPT-3 모델은 NVIDIA A100 가속기를 1,500개 사용하여 23일에 학습을 완료하였지만, GPT-4 모델은 더 많은 자원과 시간이 필요합니다. 이러한 문제를 해결하기 위해 CXL 기반의 메모리 분리를 구현하면, 가속기가 메모리 풀과 효과적으로 연결되어 학습 시간이 현저히 줄어들 수 있습니다. CXL 메모리 분리는 여러 서버에서 메모리 자원을 나누어 사용할 수 있어, 운영 효율성을 극대화할 수 있습니다.

• 4-3. 스토리지 및 메모리 확장 소프트웨어

• CXL 기술의 확대와 함께, CXL 메모리 장치에 대한 관리 및 활성화를 위한 소프트웨어 개발도 활발히 이루어지고 있습니다. CXL 메모리 장치가 존재하지 않는 상황에서도 CXL 환경을 시뮬레이션할 수 있는 에뮬레이터와 함께, 사용자가 CXL 기반의 메모리 구조를 효과적으로 활용할 수 있는 SDK도 개발되고 있습니다. 예를 들어, 메모리 에뮬레이터 소프트웨어인 Flight Simulator와 CXLMemSim은 서로 다른 서버 간의 성능 평가 및 모사를 가능하게 하여, 개발자들이 새로운 응용 프로그램을 테스트하고 성능을 개선하는 데 도움을 줄 수 있습니다. 또한, 삼성전자의 SMDK와 SK 하이닉스의 HMSDK는 CXL 메모리의 효율적인 사용을 위한 소프트웨어로, 각각의 메모리 관리 및 자원 분배를 최적화하고 있습니다. 이러한 SDK들은 운영 체제와 직접 통합되어, 사용자가 메모리 자원을 더 효과적으로 활용할 수 있는 기능 및 API를 제공합니다. CXL 메모리 풀의 자원 효율성은 데이터 센터에서의 전력 소비 감소 및 성능 향일을 도모하는 데 크게 기여하고 있습니다.

5. CXL 표준 생태계 및 향후 전망

• 5-1. 산업계 지원 및 표준화 현황

• CXL(Compute Express Link)은 데이터센터와 컴퓨팅 생태계에서 중요한 역할을 하고 있습니다. CXL의 산업계 지원은 명확히 강화되고 있으며, 이를 뒷받침하는 여러 기업들이 CXL을 통한 혁신을 촉진하고 있습니다. 특히, 주요 반도체 기업과 데이터센터 솔루션 제공업체들이 CXL 표준을 채택하고 상생하기 위해 협력하고 있는 점에서 그 가능성을 엿볼 수 있습니다. 다양한 CXL 구현이 이루어지고 있으며, 이는 수많은 하드웨어 및 소프트웨어 솔루션에 통합되어 효율성과 성능을 극대화하는 데 기여하고 있습니다.

• 예를 들어, CXL 3.0 및 이후 버전에서는 더욱 강화된 메모리 일관성을 제공하며, 이는 여러 장치 간의 고속 데이터 전송을 가능하게 합니다. 이러한 기능은 특히 AI 및 머신러닝 애플리케이션에서 중요한 역할을 하고 있으며, 데이터셋의 빠른 처리를 필요로 하는 최신 워크로드에 적합합니다. 이러한 변화는 CXL 표준이 유명 기술 표준이 되었음을 나타내며, 향후 더욱 많은 기업들이 이를 지원할 것으로 예상됩니다.

• 5-2. 향후 기술 발전 방향

• CXL 기술은 계속해서 발전해 나갈 것으로 보이며, 특히 Processing-in-Memory(PIM) 기술과의 결합에 주목할 필요가 있습니다. PIM 기술은 데이터를 메모리 배치 근처에서 처리할 수 있도록 하여 데이터 전송 시간을 단축시키고 효율성을 높여줍니다. 이에 따라 CXL은 더 많은 대역폭과 저지연 통신을 요구하는 워크로드에 대응하기 위해 발전할 것입니다.

• 또한, CXL 3.1에서는 멀티 레벨 스위칭 구조를 도입하여 자원 풀링 및 메모리의 최적화가 가능해졌습니다. 그러나 이러한 복잡성은 관리와 유지보수의 어려움을 동반할 수 있으며, 이를 해결하기 위한 새로운 관리 툴과 프로세스가 필요할 것입니다.

• 결론적으로, 향후 CXL 표준은 AI 및 데이터 집약적 작업, 클라우드 기반 서비스의 증가 등에 발맞추어 더욱 발전해 나갈 것이며, 이 과정에서 커뮤니티와 기업 간의 협력이 중요할 것입니다.

• 5-3. 데이터센터 혁신 영향

• CXL의 도입은 데이터센터의 아키텍처와 운영 방식에 혁신적인 영향을 미칠 것으로 예상됩니다. CXL을 통해 데이터센터는 더 많은 자원과 장치를 간편하게 통합할 수 있으며, 이는 최적화된 비용 효율성을 제공합니다. 특히, CXL의 캐시 일관성 및 메모리 확장 기능은 데이터센터에서의 애플리케이션 성능을 극대화하고, 여러 장치 간의 데이터 공유를 간편하게 만들어 줄 것입니다.

• CXL의 발전이 지속됨에 따라, 데이터센터는 더욱 유연하고 확장 가능한 구조로 변화할 것이며, 이는 사용자의 요구에 따라 자원을 쉽게 배치하고 조정할 수 있는 능력을 제공할 것입니다. 특히 AI 및 머신러닝과 같은 최신 워크로드에 최적화된 환경을 마련함으로써, 데이터센터 운영의 효율성을 크게 향상시킬 것으로 보입니다.

결론

• 현재 시점에서 Compute Express Link(CXL)는 데이터센터의 아키텍처 설계와 운영 효율성에 중대한 영향을 미치고 있는 핵심 기술로 부각되고 있습니다. CXL 3.1의 발전은 고속 스토리지와 컴포저블 인프라 구현에서 성과를 입증하며, AI 학습 가속 환경에서도 그 효과를 검증받았습니다. 앞으로 CXL 기술이 더 나아가면서, 산업계의 협력 및 표준화 작업이 지속된다면, 데이터센터는 보다 유연하고 확장 가능한 아키텍처로 변화할 가능성이 큽니다.

• 기업들은 CXL을 지원하는 하드웨어를 도입하고, 최적의 소프트웨어 스택을 구성함으로써 차세대 컴퓨팅 환경을 대비할 필요가 있습니다. 또한, 연구 커뮤니티는 메모리 계층 구조의 혁신과 에너지 효율성을 개선하는 데 집중해야 할 것입니다. 이 과정에서 CXL은 데이터 저장 및 처리 방식의 근본적인 혁신을 이끌고, 데이터센터 생태계 전반에 걸쳐 더욱 강력한 협력과 혁신의 토대를 제공할 것으로 기대됩니다. 특히 AI 및 데이터 집약적 애플리케이션의 증가에 발맞춰 CXL의 표준화와 발전은 이 분야의 미래를 더욱 밝게 할 것입니다.

용어집

• CXL (Compute Express Link): CXL은 고속 데이터 전송 및 메모리 접근을 지원하는 오픈형 인터커넥트 표준으로, CPU와 다양한 가속기 간의 메모리 일관성을 유지하며 빠른 데이터 통신을 가능하게 합니다. AI 및 머신러닝과 같은 고집적 워크로드 처리에 최적화되어 있습니다.

• 메모리 풀링 (Memory Pooling): 메모리 풀링 기술은 여러 대의 서버 간에 메모리 자원을 공유하고 이를 효율적으로 활용할 수 있도록 하는 기능입니다. CXL 기술을 기반으로 하여 서버 간의 메모리 접근을 저지연 및 고대역폭으로 실현할 수 있습니다.

• 캐시 일관성 (Cache Coherency): 캐시 일관성은 여러 프로세서 또는 가속기가 동일한 메모리 데이터를 사용할 때, 이 데이터의 일관성을 유지하는 기술입니다. CXL은 캐시 일관성을 제공하여 호스트 프로세서와 연결된 디바이스 간 메모리 데이터의 일관성을 보장합니다.

• PCIe (Peripheral Component Interconnect Express): PCIe는 컴퓨터 내에서 다양한 하드웨어 장치를 연결하는 고속 인터페이스로, CXL의 기반 기술입니다. 기존 PCIe는 높은 대역폭을 제공하지만, 메모리 공유와 캐시 일관성에 있어 한계를 보여 CXL이 개발되었습니다.

• AI (인공지능): AI는 기계가 인간의 지능적 행동을 모방하도록 하는 기술을 의미합니다. CXL 기술은 AI 워크로드에서 메모리 대역폭과 지연 시간 개선에 중요한 기여를 하여 효율적인 데이터 처리를 가능하게 합니다.

• 컴포저블 인프라 (Composable Infrastructure): 다양한 컴퓨팅 자원(서버, 스토리지 등)을 조합하여 유연한 시스템 구성을 가능하게 하는 인프라 설계 방식입니다. CXL은 이러한 설계 방식에서 핵심 요소로 작용하며, 메모리 자원의 풀링 기능을 통해 혁신적인 시스템을 실현합니다.

• CXL 3.1: CXL 3.1은 2023년 출시된 CXL의 최신 버전으로, PCIe 6.0을 지원하고 최대 64 GT/s의 대역폭을 제공합니다. 이는 고속 데이터 전송과 메모리 접근을 가능하게 하여, 다중 호스트 접근 환경에서 캐시 일관성을 강화합니다.

• BISnp (Back-Invalidate Snoop): BISnp는 CXL 3.1에서 도입된 기능으로, 호스트의 간섭 없이 캐시 상태 변경을 가능하게 합니다. 이를 통해 다중 호스트 환경에서 캐시 일관성을 개선하여 안정적 데이터 처리가 가능합니다.

• NVM Express (NVMe): NVMe는 SSD와 같은 비휘발성 메모리 장치를 위한 고속 데이터 전송 액세스 규격입니다. CXL은 NVMe의 한계를 극복하여 메모리 접근성과 성능을 높이는 데 도움이 됩니다.

출처 문서

• PCIe를 대체할 인터커넥트 표준 기술, CXLhttps://tech.gluesys.com/blog/2021/11/15/cxl_1.html
• An Introduction to Compute Express Link (CXL) Interconnect: Standards, Protocols, and Implementationshttps://linnk.ai/insight/technology/an-introduction-to-compute-express-link-cxl-interconnect-standards-protocols-and-implementations-VLvftuHt/
• CXL 3.1 소개와 스토리지https://tech.gluesys.com/blog/2024/01/22/CXL31storage.html
• CXL 메모리 및 활용 소프트웨어 기술 동향https://ettrends.etri.re.kr/ettrends/206/0905206006/
• About CXL® - Compute Express Linkhttps://computeexpresslink.org/about-cxl/