고속 패브릭 연결망으로 도약하는 메모리 분리 기술 동향과 실현 전

ITFIND 주간기술동향 2133호

 

본 내용의 경우 IITP의 주간기술동향에 대해서 요약한 내용으로 원문은 아래의 링크를 참고 부탁드립니다.

https://www.itfind.or.kr/streamdocs/view/sd;streamdocsId=2r36XMk-EM-2MAdDYwjDQmN4H5VUGx-Fh96YPYn7-DU

 

 

발행일: 2024-05-08

 

 

 

서론

인공지능이 급속도로 발전함에 따라 상당량의 메모리 사용이 요구되고 있으며, 데이터센터의 서버들은 인공지능 컴퓨팅 인프라를 지원하기 위해 CPU뿐만 아니라 GPU, FPGA, NPU와 같은 다양한 가속 장치들을 통합하여 운영하고 있다.

 

이러한 상황에서 인공지능 애플리케이션을 더욱 효율적으로 처리하기 위해 분산된 이종 메모리 및 다양한 컴퓨팅 자원을 활용하는 연구가 점점 더 활발히 이루어지고 있다. 특히, 메모리 중심 컴퓨팅 패러다임은 기존의 프로세서 중심 컴퓨팅 구조와는 달리 데이터의 저장과 처리를 메모리 중심으로 재구성한 것이다.

 

메모리 중심의 컴퓨팅은 메모리 연결 구조를 통해 대용량 메모리 자원을 여러 서버가 공유하여 메모리 접근의 비효율성을 극복하고 확장성을 지원하는 시스템으로 구성하는 컴퓨팅 구조를 목표로 한다. 이를 위해, 메모리 자원을 원격에서 접근할 수 있는 메모리 풀 형태로 제공하고, 이러한 메모리 풀을 고속 연결망을 통해 다른 서버와 고유한다. 애플리케이션은 메모리 분리 기술을 이용하여 위치에 제한 없이 대용량의 메모리 자원을 보다 효과적으로 활용할 수 있다.

 

데이터센터를 보다 효율적으로 사용하기 위해 하드웨어의 제약을 극복하기 위한 연구는 지속되어 왔다. 특히, 자원의 효율적인 처리를 위한 메모리 중심 컴퓨팅 구조 연구와 더불어 소프트웨어 기반의 메모리 분리 연구는 오랜 기간에 걸쳐 진행되었다. 이 연구들은 비용 효율성을 높이기 위해 학계와 연구계 중심으로 지속적으로 진행되고 있지만, 성능 감소와 시스템의 복잡도가 증가하는 문제로 실제 산업에 적용하는데 어려움이 있다.

 

최근에는 인공지능 시대가 열리면서 더욱 방대한 데이터를 신속하게 처리해야 하는 필요성이 증가했고, 서버 구조의 변경 없이 어려 종류의 메모리를 연동하여 대용량 메모리 풀을 구성하고 메모리 용량을 탄력적으로 확장할 수 있는 CXL (Compute Express Link)와 같은 고속 패브릭 연결망 기술에 관한 연구 및 개발이 주목받고 있다.

 

 

메모리 분리 기술과 발전 방향

현재의 메모리 기술은 구조적 한계로 인해 메모리 대역폭 및 용량에 제약이 있으며, 애플리케이션의 특성 및 처리 방법에 따라 메모리 자원의 사용이 불균형하게 이루어져 자원의 낭비가 발생한다.

 

이에 높은 전송 속도와 낮은 지연시간을 보장하는 차세대 시스템 구조 및 CXL과 같은 혁신적인 캐시 일관성 인터페이스 기반의 고속 패브릭 메모리 연결망 기술이 연구되고 있다. 이와 더불어 메모리 처리 한계를 극복하기 위해 메모리 중심 컴퓨팅의 핵심 기술인 메모리 분리 연구가 지속적으로 진행되고 있다.

 

1. 메모리 분리 기술

 

메모리 분리 기술은  원격에 있는 메모리 자원을 공유하는 방법으로 주로 클라우드 시스템에 사용된다. 이 기술은 연산 자원과 메모리 자원을 분리하고 메모리 자원은 원격 메모리 풀을 통해 공유하며 애플리케이션에서는 필요한 자원만 할당할 수 있다. 이에 서버는 필요시 메모리 용량을 유연하게 조절할 수 있어 메모리 불균형을 줄이면서 대용량 메모리가 필요한 애플리케이션을 실행할 수 있다.

 

메모리 분리를 위해서는 연산 서버와 메모리 풀을 연결하는 연결망 기술, 메모리 풀 구성을 위한 이종 메모리 장치들, 그리고 이를 최적화하여 관리하는 하드웨어 및 소프트웨어 기반의 운영 방안이 필요하다.

 

메모리 풀 운영과 메모리 분리 기술을 통해 원격의 메모리를 공유하는 방법은 크게 두 가지가 있다. 1. 하나는 하드웨어적으로 독립된 메모리 풀을 다수의 서버가 공유하는 물리적 분리 구조 기반 방법이며,2. 다른 하나는 다수의 서버들이 서로의 메모리를 공유할 수 있게 하는 소프트웨어를 통한 논리적 분리 구조 기반 방법이다.최근 연구에서는 두 가지 방법을 효율적으로 결합하여 소프트웨어 스택의 복잡성을 줄이고, 시스템의 비용을 낮추며, 성능을 향상시키기 위해 패브릭 연결망 기술을 도입한 하이브리드 구조가 연구되고 있다.

 

 

 가. 물리적 분리 구조

• 연산, 저장, 네트워크 등의 자원을 개별적으로 분리하여 각각 독립적으로 관리하고 확장성을 지원
• 대표적으로 인텔의 랙 스케일 컴퓨팅에서의 제시하는 구조가 해당
• 연산 자원과 메모리 자원을 물리적으로 분리하여 메모리 풀을 구성하고, PCIe 브리지와 같은 컴퓨터 내부의 고속 데이터 전송 기술을 이용하여 필요한 작업에 메모리를 효과적으로 배분하고 활용할 수 잇도록 함  

 나. 논리적 분리 구조

• 소프트웨어를 통해 유연하게 관리하고 최적화하는 Software Defined Memory 개념을 적용
• 하나의 물리 시스템을 여러 개의 독립적인 가상 시스템으로 분리하고 각각은 물리적으로 분리된 것처럼 동작
• 기존의 하드웨어 구조를 변경하지 않고 인피니밴드나 RoCEv2 (RDMA over Converged Ethernet)와 같은 고속 데이터 전송과 RDMA (Remote Direct Memory Access) 네트워크 기술을 활용하여 메모리 풀을 구축하고 이를 연결해서 사용하기 위한 원격 메모리 인터페이스를 제공

 

하지만, 시스템 구조적인 문제로 인해 성능 저하와 이종 자원 관리의 복잡성으로 확장성에 한계가 있다. 이에 따라, 패브릭 메모리 연결망 기술의 중요성이 커지고 있으며, CXL 등의 연결망 및 관련 메모리 연구가 진행되고 있다. 이러한 기술들은 성능 제약을 극복하고 효율적인 전송 및 처리를 지원하는 하이브리드 메모리 분리 구조를 기반으로 한다.

 

특히, CXL는 캐시 일관성 기술을 통해 물리적 및 논리적 분리 기술을 통합한 구조를 제시하며, PCIe 기반 고속 네트워크 패브릭 연결망과 스위치를 활용하여 이종 메모리 시스템 구축이 가능하다. 

 

 

2. 메모리 분리 인터페이스

 

메모리 분리 인터페이스는 애플리케이션의 요구와 개발 비용을 고려하여 설계되어야 하며 호환성과 성능 사이의 균형을 찾아 애플리케이션에 최적화된 접근 방식을 제공해야 한다.

운영체제 수준에서의 지원을 통해 개발자는 애플리케이션을 수정하지 않고도 원격 메모리를 사용할 수 있으며, 필요한 경우에는 애플리케이션의 인터페이스를 일부 수정하여 원격 메모리를 사용할 수 있다.

 

운영체제는 원격 메모리를 파일 형식으로 제공하여 작은 청크나 페이지 단위로 데이터를 전송할 수 있도록 수정한다. 주로 운영제체의 분산 가상 파일 시스템 (VFS: Virtual File System)과 분산 가상 메모리 매니저 (VMM: Virtual Memory Manager)를 활용하여 원격 데이터를 안정적으로 처리하고 관리한다.

 

인터페이스를 수정하여 최적화 기술을 반영하기 위해서는 주로 캐싱, 로컬 및 원격 메모리의 배치 전략, 프리페칭과 같은 성능 향상 기술을 라이브러리나 시스템 호출의 기능으로 수정하여 제공한다. 이와 같이 수정된 인터페이스를 사용하기 위해서는 애플리케이션 또한 수정되어야 한다. 이는 서비스 실현을 어렵게 만드는 주된 요인 중 하나이다.

 

CXL 기술을 활용하면 애플리케이션 수정 없이 표준화된 캐시 일관성을 지원하는 상호 연결 방식을 통해 시스템 메모리를 사용하는 방식으로 원격 메모리 자원에 접근 할 수 있다. 즉 , 메모리 분리 구조에서 바이트 단위의 접근으로 LOAD와 STORE 명령을 사용해 데이터를 읽고 쓸 수 있다.

 

 

3. 메모리 분리 기술의 발전 방향

 

계산용 서버와 메모리 풀 간을 연결할 수 있게 하는 차세대 연결망 기술의 연구 개발은 오랫동안 진행되어 왔다. 이 기술을 적용하기 위해 서버가 메모리 풀을 마치 로컬 메모리처럼 활용할 수 있도록 낮은 지연시간과 높은 대역을 제공하고 메모리 시맨틱을 지원하는 동시에 이종 장치 간의 캐시 일관성 지원이 필요하다. CXL 등장으로 메모리 분리 기술의 산업계 적용이 더욱 용이해졌다고 불 수 있다.

 

CXL은 CPU와 메모리, 그리고 다른 주변 장치 간의 고성능 통신을 가능하게 하는 산업 표준 메모리 연결망 기술로, 메모리 자원의 유연한 확장과 효율적인 활용에 중점을 두고 있다.

 

그러나 CXL의 경우 패브릭 메모리 연결망을 지원하는 기술만으로는 메모리 분리를 실현할 수 없다. CXL은 개방형 연결망 표준이나 해당 기술을 활용하여 애플리케이션을 구현하기 위해서는 관련된 반도체 설계자산인 IP의 확보가 필요하다. 실제 서비스에서 메모리 분리 기술을 실현하기 위해서는 분리된 메모리와 연산 노드 간에 낮은 지연시간과 높은 대역폭을 보장하는 것이 핵심적인 기술이다.

 

또한, 애플리케이션 및 운영체제와의 호환성을 보장하고, 분산된 메모리 자원 간의 캐시 일관성 및 데이터의 정합성을 유지하는 것도 메모리 분리의 실현을 가속할 수 잇는 중요한 요소이다.

 

 

 

REF. CXL 현황

https://www.chosun.com/economy/weeklybiz/2024/08/29/7TIE4X2CRBENFOVTYBS7KISIFI/

거대한 메모리 공유 기술...컴퓨터 안에 ‘초스피드 고속도로’ 생기는 셈

https://news.samsungsemiconductor.com/kr/ai-%EC%8B%9C%EB%8C%80%EB%A5%BC-%EC%9D%B4%EB%81%8C-%EC%B0%A8%EC%84%B8%EB%8C%80-d%EB%9E%A8-cxl-%EB%A9%94%EB%AA%A8%EB%A6%AC%EC%9D%98-%EB%AA%A8%EB%93%A0-%EA%B2%83/

AI 시대를 이끌 차세대 D램, ‘CXL 메모리’의 모든 것

https://semiconductor.samsung.com/kr/news-events/tech-blog/exceptional-scalability-with-cxl-memory-samsung-and-red-hat-expand-the-ecosystem/

‘경이로운 확장성’ CXL 메모리: 삼성전자, 레드햇과 함께 생태계를 확장하다 | 삼성반도체