대규모 언어 모델 ‘GPT-FAI 13B’ 기트허브에서 다운로드 가능
자사 AI 개발 플랫폼 ‘페리플로우’ 통해 빠른 시간 내 적은 비용으로 개발

초거대 인공지능(AI) 개발 플랫폼을 제공하는 프렌들리에이아이(FriendliAI, 대표 전병곤)가 자사 플랫폼 페리플로우(PeriFlow)를 이용해 개발한 대규모 딥러닝 언어 모델 ‘GPT-FAI13B’를 공개했다. GPT-FAI 13B는 약 800GB의 데이터세트를 이용해 약 130억 개의 매개변수를 연산에 활용, 다양한 언어 작업을 수행할 수 있는 대규모 언어 모델이다.

스타트업에서 이와 같이 대규모 언어 모델을 공유한 것은 처음이다. 해당 모델을 활용하고자 하는 연구자들은 기트허브(Github) 사이트를 통해 다운로드 하면 된다. 이번 공개에는 그동안 프렌들리에이아이가 다양한 연구 경험을 바탕으로 대규모 AI 개발 및 수행을 효율적으로 처리하는 기술과 이러한 기술들의 높은 성능을 검증한 결과도 포함되어 있다.

페리플로우를 사용한 GPT-FAI 13B 교육 중에 수집된 매개변수(메트릭). 그래프의 다양한 색상은 훈련 중에 발생한 다양한 결함에도 훈련이 자동으로 복구된다는 것을 나타낸다. 
페리플로우를 사용한 GPT-FAI 13B 교육 중에 수집된 매개변수(메트릭). 그래프의 다양한 색상은 훈련 중에 발생한 다양한 결함에도 훈련이 자동으로 복구된다는 것을 나타낸다. 
패스터 트랜스포머(Faster Transformer)와 페리플로우 환경에서 GPT 13B 및 175B 모델의 텍스트 생성 지연 시간 및 처리량 비교 테스트. 13B 모델의 경우 단일 A100 GPU, 175B 모델의 경우 16개의 A100 GPU에서 테스트를 수행했다. 페리플로우가 패스터 트랜스포머를 크게 능가하고 있으며 지연 시간이 동일할 때 처리량이 훨씬 더 많다는 게 프렌들리에이아이의 주장이다. 패스터 트랜스포머는 엔비디아(NVIDIA)의 오픈소스 GPT 추론(inference) 프로젝트다. 
패스터 트랜스포머(Faster Transformer)와 페리플로우 환경에서 GPT 13B 및 175B 모델의 텍스트 생성 지연 시간 및 처리량 비교 테스트. 13B 모델의 경우 단일 A100 GPU, 175B 모델의 경우 16개의 A100 GPU에서 테스트를 수행했다. 페리플로우가 패스터 트랜스포머를 크게 능가하고 있으며 지연 시간이 동일할 때 처리량이 훨씬 더 많다는 게 프렌들리에이아이의 주장이다. 패스터 트랜스포머는 엔비디아(NVIDIA)의 오픈소스 GPT 추론(inference) 프로젝트다. 

GPT-FAI 13B 개발에 사용된 페리플로우는 클라우드 상에서 데이터 관리, 자원 할당, 모니터링, 개발된 모델을 이용한 서비스 구축까지 포함하는 대규모 AI 개발 플랫폼으로, 쉽고 빠르게 대규모 AI 개발이 가능하도록 돕는다.

전병곤 프렌들리에이아이 대표는 “페리플로우 덕분에 GPT-FAI 13B 같은 대규모 모델을 빠른 시간 내 적은 비용으로 개발할 수 있었고, 대규모 모델을 활용하는 비용을 획기적으로 줄였다”며 “이번 언어 모델 공개로 고성능의 언어 처리 모델을 이용한 연구의 활성화와 자연어 처리 분야의 발전을 기대한다”고 전했다.

저작권자 © 넥스트데일리 무단전재 및 재배포 금지