엔비디아, CUDA 13.4에 GPU 공유 메모리 경계 세워

엔비디아는 CUDA 13.4에 공유 GPU 워크로드를 위한 투명한 메모리 제한 기능이 추가됐다고 밝혔다. 워크로드는 공유 GPU에 대한 접근을 유지하면서도 할당된 메모리 한도를 준수하게 된다. 워크로드는 고정 용량을 요청해 이를 초과하는 메모리 할당이 실패하도록 하거나, 최소 용량을 보장받으면서 여유 메모리가 있을 때 더 많이 사용하도록 할 수 있다. 엔비디아는 워크로드 시작 전에 메모리 제한과 연산 모드를 적용하고 GPU 분할 단위별 사용량을 추적하는 오픈소스 쿠버네티스 오퍼레이터 gpu-fractioning도 공개했다. KAI Scheduler v0.18.0이 첫 통합 사례로, Pod 어노테이션을 사용해 할당을 설정한다. 다른 스케줄러도 해당 어노테이션을 작성하고 충분한 여유 메모리가 있는 GPU를 선택하면 이 오퍼레이터를 사용할 수 있다. CUDA는 워크로드를 번갈아 실행하며 오류 영역을 분리하는 시분할 방식과, 워크로드를 병렬 실행하며 오류 영역을 공유하는 SM 공유 방식을 지원한다. 두 모드는 동일한 GPU에서 함께 실행할 수 없다.