대량의 수집된 데이터나 시뮬레이션된 데이터를 처리하는 것은 인공지능(AI)과 같은 데이터 중심 과학의 핵심이다. 데이터의 규모와 속도가 기하급수적으로 증가하면서, 데이터 처리는 데이터센터의 주요 도전과제이자 비용 문제 중 하나로 떠올랐다. 최근이전보다 최대 20배 더 빠른 속도로 대량의 데이터 전송 가능한 초고속 IO 소프트웨어 등장으로 데이터 과학자 및 AI, HPC 연구원들이 겪는 데이터 병목현상이 해결될 전망이다.

엔비디아(CEO 젠슨 황)가 데이터 과학자 및 고성능컴퓨팅(HPC) 연구원들이 엄청난 양의 데이터를 단 몇 분 내에 처리할 수 있도록 지원하는 소프트웨어 제품군 ‘매그넘(Magnum) IO’를 발표했다..

엔비디아 DGX 슈퍼POD, 사진제공=엔비디아
엔비디아 DGX 슈퍼POD, 사진제공=엔비디아

매그넘 IO는 스토리지 및 인풋·아웃풋(I/O) 병목현상 제거에 최적화됐다. 복잡한 금융 분석, 기후 모델링 및 기타 HPC 워크로드를 수행하기 위해 엄청난 양의 데이터 세트 작업에 멀티 서버, 멀티 GPU 컴퓨팅 노드의 데이터 처리 속도를 최대 20배까지 개선한다.

엔비디아는 데이터다이렉트 네트웍스(DataDirect Networks), 엑셀레로(Excelero), IBM, 멜라녹스(Mellanox), 웨카IO(WekaIO) 등을 비롯한 네트워킹 및 스토리지 분야의 업계 선두기업들과 긴밀한 협업을 통해 매그넘IO를 개발했다.

매그넘 IO의 핵심은 GPU다이렉트(GPUDirect)로 데이터가 CPU를 우회하여 GPU, 스토리지 및 네트워킹 디바이스가 제공하는 ‘개방형 고속도로’로 이동할 수 있는 경로를 제공한다. 엔비디아 NV링크(NVLink) 및 NCCL은 물론이고 OpenMPI 및 UCX를 비롯한 다양한 통신 인터커넥트 및 API와 호환되는 GPU다이렉트는 P2P 및 RDMA(Remote Direct Memory Access) 엘리먼트로 구성된다.

GUP다이렉트 스토리지(GPUDirect Storage) 엘리먼트를 통해 연구원들은 스토리지에 접근할 때 CPU를 우회하고 재빨리 데이터 파일에 접근하여 시뮬레이션이나, 분석 또는 시각화 작업을 수행할 수 있다.

GPU다이렉트 스토리지를 제외하고, 엔비디아 매그넘 IO 소프트웨어는 현재 구매 가능하며, GPU다이렉트 스토리지는 현재는 얼리 액세스(early access) 대상 일부 고객들에게만 제공되고 있다. GPU다이렉트 스토리지 일반 출시는 2020년 상반기 중으로 예정돼 있다.

엔비디아 창업자 겸 CEO 젠슨 황은 “초고성능의 컴퓨팅에는 마찬가지로 초고성능의 I/O가 필요하다. 매그넘 IO는 컴퓨팅을 혁신한 엔비디아의 GPU 가속을 I/O 및 스토리지에 제공해 이를 구현한다. 이제 AI 연구진 및 데이터 과학자들은 데이터를 기다릴 필요없이 본연의 핵심 업무에 집중할 수 있게 됐다”고 말했다.

이향선기자 hslee@nextdaily.co.kr

저작권자 © 넥스트데일리 무단전재 및 재배포 금지