엔비디아 AI 장애 추적 도구, 진단 품질 좌우하는 변수

엔비디아는 로그, 지표, 텔레메트리, 스케줄러 데이터를 연계해 분산 AI 워크로드 장애의 근본 원인을 추적하는 오픈소스 시스템 Attribution을 소개했다. 회사는 2026년 11월 2일 블로그 게시물에서 결정론적 규칙을 통해 재현 가능하고 맞춤 설정이 가능한 진단을 지원한다고 밝혔다. 이 시스템은 수십만 개의 GPU에서 매주 수백만 건의 워크로드를 처리한다. Attribution Service는 REST API를 통해 개별 워크로드 실행 시도를 분석한다. Attribution Blueprint는 스케줄러와 텔레메트리 소스를 연결하고 맥락 정보를 수집하며 결과를 기록한다. 한 예시에서 시스템은 GPU XID 149 하드웨어 결함을 이후 학습 랭크 전반에서 발생한 NCCL 오류의 원인으로 식별하고, 영향을 받은 노드를 명시한다. 합성 사례에서는 XID 149 오류 데이터를 NVLink 신호 무결성 문제와 연결한다. 엔비디아는 진단 품질이 텔레메트리의 완전성에 달려 있다고 밝혔다. 증거가 불충분하면 시스템이 모호성을 보고하거나 장애 원인을 특정하지 않을 수 있다고 설명했다.