금융사, 홈메이드 AI 훈련에 집중

금융 서비스 기업(FSI)은 인공지능(AI) 모델을 자체적으로 훈련하고 최적화하여 비즈니스에 활용하는 데 주도적인 역할을 할 것으로 보인다. 이는 기존 기술 파동에서처럼 금융업계가 기술 채택의 선도자였던 것과 유사하다. FSI 기업들은 예측형 AI 모델과 생성형 AI(GenAI)를 이미 사용하고 있으며, 특히 규제 보고서 처리와 투자 결정과 같은 분야에서 유용한 기술로 주목받고 있다. 예를 들어, 은행과 보험사, 자산운용사 등은 고객 데이터를 기반으로 AI 모델을 훈련시키며, 이는 규제 준수와 데이터 보안을 고려해 자체 데이터센터나 공동호스팅 시설에서 진행될 가능성이 크다. FSI 기업들은 클라우드 기반 GPU 인스턴스를 사용하는 대신, 자체 데이터센터나 공동호스팅 시설에서 GPU 기반 시스템을 구축하는 경향을 보이고 있다. 이는 비용, 보안, 규제 준수, 그리고 추론(latency) 문제 등 여러 요인 때문이다. 클라우드에서 GPU를 사용하는 비용은 자체 구매보다 2.6~6배 더 비싸며, 데이터센터 공간과 인력 비용도 고려해야 한다. 또한, AI 모델의 훈련과 추론을 위해 높은 대역폭 네트워킹과 효율적인 냉각 시스템이 필수적이며, 이는 기존 CPU 클러스터와 차별화된다. FSI 기업들은 주로 8~256개의 H100 또는 B200 GPU 노드를 사용해 훈련을 진행하며, FP8 및 FP4 정밀도를 활용해 훈련 속도를 높이고 있다. Supermicro는 FSI 기업에 GH200 NVL2 및 GB200 NVL4 시스템을 공급하고 있으며, 이는 도심 데이터센터에서 사용할 수 있도록 설계되었다. 특히, 헤지펀드와 프로피리터리 트레이딩 회사들은 규제 완화를 통해 GPU 클러스터를 구축해 알고리즘 트레이딩에 GenAI를 활용하고 있다. 이들은 클라우드에서 GPU 자원을 확보하기 어려워 자체 데이터센터나 공동호스팅에 시스템을 배치하고 있다. 이러한 추세는 향후 AI 슈퍼컴퓨터의 보편화로 이어질 수 있으며, 금융업계가 기술 혁명의 선두주자 역할을 하게 될 것으로 예상된다. 특히, 냉각 기술의 발전과 에너지 효율성 향상은 FSI 기업들이 훈련 및 추론 시스템을 구축하는 데 중요한 영향을 미칠 전망이다. 산업 전문가의 평가 및 회사 소개 FSI 업계는 AI 기술을 빠르게 채택하고 있지만, 규제와 보안 문제로 인해 자체 인프라 구축에 주력하고 있다. Supermicro는 이러한 요구에 맞춰 GPU 기반 시스템을 설계하고 공급하며, 특히 도심 데이터센터에 최적화된 제품을 선호하고 있다. 또한, FP8 및 FP4 정밀도를 활용한 시스템은 훈련 속도와 비용 절감에 기여할 수 있어 관심을 끌고 있다. 이는 금융업계가 AI 기술을 혁신적으로 활용하고 있으며, 향후 다른 산업으로 확산될 것으로 보인다. Supermicro는 AI 인프라 분야에서 중요한 역할을 하고 있으며, FSI 업계의 기술 혁신을 지원하고 있다.