제114호AI 오늘의 뉴스 · 2026.11.05

AI 데이터센터의 경쟁은 GPU에서 토큰 생산비용으로

AMD GPU와 모레의 AI 추론 최적화 소프트웨어를 결합한 '토큰 팩토리' 모델이 제시되면서, AI 데이터센터의 경쟁 기준이 GPU 보유량에서 토큰당 생산비용과 운영 소프트웨어의 효율로 확대되고 있다.

핵심 내용

01 모레는 AMD MI355X 기반 추론에서 엔비디아 B200 대비 두 배 이상의 처리량과 이기종 GPU 분산 추론에서 약 1.7배의 처리량을 발표했지만, 모델·입출력 길이·지연시간·GPU 구성 등 특정 평가조건에 따른 기업 발표 수치다.

02 약 60% 이익률은 소프트웨어 최적화를 적용한 시뮬레이션 결과로, 실제 영업이익률이나 순이익률이 아니며 장비·전력·냉각·건설·네트워크·감가상각·금융비용과 고객 가동률을 함께 검증해야 한다.

03 AI 데이터센터의 경제성은 토큰당 생산비용, 전력 1kWh당 생성 토큰 수, 응답속도, 가동률과 실제 판매수익을 함께 측정해야 하며, 이기종 GPU·NPU 운영에는 호환성과 통신·유지관리 비용도 따른다.

AI 데이터센터는 GPU를 보관하는 시설에서 전력과 반도체, 추론 소프트웨어를 결합해 가치 있는 AI 서비스를 생산하는 시설로 진화하고 있으며, 최종 경쟁력은 실제 고객 수요와 장기 운영성과로 검증돼야 한다.