byul엔비디아, 한국 오픈 모델 배포 지원 나서
blockchain.news발행
이 뉴스를 호재로 분석했어요
- 엔비디아, SK텔레콤·LG AI연구원·업스테이지·모티프테크놀로지스 오픈 모델용 Dynamo 배포 레시피 발표
- 엔비디아 B200 최적화 레시피, 기본 설정에서 최대 2배 성능 향상 보고
요약
엔비디아는 SK텔레콤의 A.X K2, LG AI연구원의 K-EXAONE 2.0, 업스테이지의 Solar Open 2, 모티프 테크놀로지스의 Motif-3를 위한 다이나모 최적화 배포 레시피를 발표했다.
이 레시피는 단일 GPU의 용량을 초과하는 대형 모델을 여러 GPU에서 실행하도록 설계됐다.
엔비디아 다이나모는 여러 노드에 걸친 요청 라우팅과 통신을 조율하는 오픈소스 분산 추론 서빙 프레임워크다.
엔비디아 B200 GPU에 최적화된 이 레시피는 별도 설정 없이 최대 2배의 성능 향상을 제공하는 것으로 알려졌다.
엔비디아는 이 레시피가 한국의 공개 모델을 실제 운영 환경에 배포하는 과정을 단순화하고 데이터센터 규모의 운영을 지원하기 위한 것이라고 밝혔다.