AI 망고부스트: 데이터 센터 혁신을 이끄는 숨은 힘

오늘날 세상은 데이터로 움직인다. 클라우드 컴퓨팅, 인공지능, 대규모 언어 모델 같은 기술이 일상을 바꾸고 있는 가운데, 이를 뒷받침하는 데이터 센터의 역할은 점점 더 커지고 있다. 그런데 이런 거대한 시스템을 더 빠르고 효율적으로 만들기 위해 새로운 기술이 떠오르고 있다. 그 중심에 망고부스트(MangoBoost)라는 이름이 있다. 망고부스트는 AI와 데이터 센터의 성능을 극대화하는 솔루션을 제공하며 업계를 놀라게 하고 있다. 과연 이 기업이 어떤 기술로 주목받고 있는지, 어떤 변화를 가져오고 있는지 자세히 알아보자.

 

망고부스트란 무엇인가?

망고부스트는 데이터 센터의 효율성을 높이기 위해 설계된 첨단 시스템 솔루션을 제공하는 기업이다. 2022년에 설립된 이 회사는 미국 벨뷰와 한국 서울을 기반으로 활동하며, 짧은 시간 안에 AI 인프라 분야에서 두각을 나타내고 있다. 핵심 기술은 데이터 처리 장치(DPU, Data Processing Unit)로, 기존의 CPU와 GPU를 보완하며 데이터 센터의 병목 현상을 해결한다. 쉽게 말해, DPU는 네트워크 통신이나 저장 장치 관리 같은 부담스러운 작업을 대신 처리해서 더 중요한 계산 작업에 집중할 수 있게 해준다.

이 회사는 10년 넘게 축적된 연구 결과를 바탕으로 시작되었다. 세계적인 컴퓨터 시스템 학회에서 발표된 성과와 30개 이상의 특허로 무장한 망고부스트는 단순한 스타트업이 아니다. 이미 6천만 달러 이상의 투자를 유치하며 미국, 캐나다, 한국으로 사업을 확장하고 있다. 팀은 100명 이상의 전문가로 구성되어 있는데, 그중 다수가 세계적인 연구 기관에서 박사 학위를 받은 인재들이다.

 

망고 LLMBoost™: AI 추론의 새로운 기준

망고부스트의 대표적인 제품 중 하나는 망고 LLMBoost™다. 이 소프트웨어는 AI 추론(inference) 작업을 최적화하는 데 특화되어 있다. 대규모 언어 모델(LLM)을 다룰 때 특히 빛을 발하는데, 기존 LLM 추론 엔진에 비해 최대 12.6배 성능 향상을 이끌어내며 비용은 92%까지 줄일 수 있다고 한다. 이런 놀라운 수치는 시스템 스케줄링, 커널 최적화, 그리고 독자적인 프리페칭 기술 덕분이다. 여기에 GPU의 병렬 처리를 극대화하는 모델 양자화(quantization)까지 더해져 효율성이 한층 높아졌다.

이 소프트웨어는 NVIDIA와 AMD의 인기 GPU와 모두 호환되며, AWS 마켓플레이스에서 바로 사용할 수 있다. 앞으로 다른 클라우드 플랫폼과 온프레미스 환경까지 지원할 계획이라고 하니 활용 범위가 점점 넓어질 전망이다. 특히 Llama, Mixtral, Gemma 같은 다양한 모델을 단일 서버에서 관리할 수 있게 해주는 점이 강점이다. 복잡한 설정 없이도 웹 API와 스트리밍 API로 손쉽게 배포할 수 있다는 점도 매력적이다.

 

데이터 센터의 효율성을 높이는 DPU의 힘

망고부스트의 DPU는 단순히 소프트웨어만 다루는 게 아니다. 하드웨어 가속 솔루션도 제공한다. 예를 들어, 망고 GPUBoost™는 다중 노드 추론과 학습을 위한 RDMA 가속을 지원하며, 망고 NetworkBoost™는 TCP/IP 작업을 오프로드해서 CPU 효율을 끌어올린다. 망고 StorageBoost™는 NVMe/TCP 기반의 고성능 스토리지 솔루션으로, 대규모 AI 작업에 필요한 저장 공간을 확보해준다.

이런 기술들이 왜 중요한지 생각해보자. AI 작업은 GPU의 계산 능력에 크게 의존하지만, 네트워크 통신이나 데이터 전처리 같은 부수적인 작업 때문에 성능이 제한되곤 한다. 망고부스트의 DPU는 이런 부담을 덜어줘서 GPU가 본연의 역할에 집중할 수 있게 한다. 실제로 MLPerf Storage 벤치마크에서 망고부스트는 이더넷 기반 시스템 중 최고 성능을 기록하며 경쟁사들을 압도했다.

 

비용 절감과 친환경까지 노리는 기술

성능 향상만큼이나 주목할 만한 건 비용 절감 효과다. 망고 LLMBoost™는 AMD Instinct™ MI300X GPU와 함께 MLPerf Inference 테스트에서 NVIDIA H100 GPU를 사용한 경쟁사보다 24% 높은 성능을 보여줬다. 그런데 MI300X GPU의 가격은 H100의 절반 수준에 불과하다. 결과적으로 망고부스트 솔루션은 62% 비용 절감을 달성하면서도 뛰어난 처리량을 유지한다. 1,000달러당 추론 처리량으로 따지면 경쟁 제품보다 2.8배 효율적이라는 계산도 나온다.

이런 효율성은 환경에도 긍정적인 영향을 미친다. 데이터 센터는 전 세계 전력 소비의 큰 부분을 차지하는데, 망고부스트의 기술은 에너지 사용을 최적화해서 탄소 배출을 줄이는 데 기여할 수 있다. 지속 가능성을 중시하는 시대에 이런 점은 기업과 사회 모두에게 매력적인 요소다.

 

업계에서의 입지와 미래 전망

망고부스트는 이미 업계에서 주목받는 존재가 됐다. AMD와의 협업으로 MI300X GPU의 잠재력을 극대화했고, AWS 환경에서도 기존 솔루션 대비 138배 빠른 추론 속도를 기록하며 경쟁자들을 앞섰다. OCP Summit 같은 행사에서 삼성전자와 협력해 대규모 스토리지 가속 기술을 선보인 것도 화제였다. 이런 성과 덕분에 망고부스트는 단순한 신생 기업을 넘어 데이터 센터 혁신의 선두 주자로 자리 잡고 있다.

앞으로의 계획도 흥미롭다. 클라우드뿐 아니라 온프레미스 환경까지 지원 범위를 넓히고, 더 다양한 AI 모델과 하드웨어에 맞춘 솔루션을 개발할 예정이다. 경쟁이 치열한 DPU 시장에서 Intel, NVIDIA, AMD 같은 거대 기업들과 맞서야 하지만, 망고부스트는 유연성과 맞춤형 솔루션으로 차별화를 꾀하고 있다.

 

기술이 바꾸는 미래

망고부스트는 AI와 데이터 센터의 한계를 뛰어넘는 기술로 주목받고 있다. 성능, 비용, 환경까지 고려한 이들의 접근 방식은 단순히 기술적인 진보를 넘어 산업 전반에 새로운 기준을 제시한다. 데이터가 중심이 되는 세상에서 이런 혁신은 필연적이다.