엔비디아, 젯슨 AGX 오린에 파이썬 기반 DLA 추론 도입

엔비디아가 cuda.bindings.cudla 모듈을 통해 젯슨 AGX 오린에서 파이썬 기반 딥러닝 가속기 추론 기능을 도입했다. 이 기능은 전력 효율을 높이고 다른 에지 AI 작업에 사용할 GPU 용량을 확보하기 위한 것이다. CUDA 바인딩 버전 13.3.0에 추가된 이 인터페이스를 통해 파이썬 애플리케이션은 cuDLA를 관리하고 CUDA 스트림이 DLA 추론과 GPU 전처리 및 후처리를 조율하는 하이브리드 워크플로를 실행할 수 있다. 개발자는 텐서RT의 trtexec으로 독립 실행형 DLA 로더블을 컴파일하고 실행 시 텐서RT를 설치하지 않아도 DLA 하드웨어에서 실행할 수 있다. 이 바인딩은 젯팩 7.2.2 이상이 설치된 젯슨 AGX 오린을 지원하며 파이썬 3.10 이상이 필요하다. 엔비디아는 cuDLA가 RTX 스파크와도 호환돼 윈도 기반 AI 개발자 노트북에서 동일한 API 워크플로를 사용할 수 있다고 밝혔다.