엔비디아 AI 학습 자동복구 제시, 중단시간 절감폭은 미공개

2026년 11월 2일, 엔비디아는 NVIDIA DSX OS 내 오픈소스 서비스인 Recovery를 분산 AI 학습의 복구를 자동화하는 수단으로 소개했다. 이 클러스터 수준 서비스는 애플리케이션 로그, GPU 지표, 스케줄러 신호를 활용해 비정상 종료, 멈춤, 처리 지연 작업을 탐지한다. 이후 자원 격리와 정상 가용 자원에서의 체크포인트 기반 재시작을 조율한다. 엔비디아는 Recovery가 Slurm과 통합되며 NVSentinel, NVRx 등의 구성 요소와 함께 작동할 수 있다고 밝혔다. 이러한 복원력 도구는 독립적으로 사용하거나 기존 워크플로와 함께 사용할 수 있다. 엔비디아는 클러스터 규모에서의 위험을 설명하기 위해 메타의 A100 GPU 24,000개를 대상으로 11개월간 진행한 연구를 인용했다. 이 연구에서 하드웨어 장애로 중단된 작업은 전체의 1% 미만이었지만, 해당 작업들이 GPU 실행 시간의 19%를 차지했다. 엔비디아는 7월 9일부터 10월 9일까지 한 학습 클러스터를 관찰한 결과, 매일 약 200개의 작업을 모니터링했다고 보고했다. 이상 탐지는 약 8,550건이었으며, 평균 탐지 지연 시간은 69초, 평균 복구 조치 지연 시간은 94초였다. 엔비디아는 해당 클러스터의 규모를 공개하지 않았으며, Recovery가 얼마나 많은 학습 시간을 되찾았는지 또는 수동 복구 대비 얼마나 개선됐는지를 수치로 제시하지 않았다.