엔비디아 DGX 스파크 추론 최적화, 성능 가르는 설정 조건

엔비디아는 Humming MXFP4 MoE 커널, 온라인 FP8 LM-head 양자화, NEXTN 다중 토큰 예측 기반 추측 디코딩이 DGX Spark에서 Inclusion AI의 Ling-3.0-flash 모델 추론 성능을 개선했다고 밝혔다. 합성 워크로드에서 전체 기술 스택을 적용한 결과 처리량은 185.1% 증가한 초당 102.88토큰을 기록했고, 출력 토큰당 소요 시간은 9.72ms로 줄었다. 다만 엔비디아는 이러한 성능 향상이 다른 워크로드에서도 나타나지는 않을 수 있다고 주의를 당부했다. GSM8K 질문 1,319개를 대상으로 최적화 구성을 적용한 결과 처리량은 초당 37.81토큰에서 53.89토큰으로 증가했다. 평균 지연 시간은 15.21초에서 11.49초로 24.5% 감소했다. GSM8K 정확도는 최적화 적용 시 96.82%로, 기준 구성의 96.89%와 비교됐다. 엔비디아는 합성 테스트의 반복적인 출력과 실제 환경의 더 짧은 응답이 종단 간 성능 개선 폭이 더 작은 이유를 설명하는 데 도움이 된다고 밝혔다. 엔비디아는 FP8 양자화와 추측 디코딩을 사용하려면 초안 모델이 대상 모델과 전체 LM-head 모듈을 공유해야 한다고 경고했다. 그렇지 않으면 수락 길이가 1.00으로 떨어지고 처리량이 기준 구성보다 낮아질 수 있으므로, 개발자는 시작 시 설정을 검증해야 한다고 밝혔다.