MACaQ, 신경망 양자화 시간 11분의 1로 줄인 방법

아카이브에 게재된 논문이 정확도를 유지하면서 신경망 추론의 메모리 및 연산 비용을 줄이기 위한 모델 독립적 MXFP4 W4A4 학습 후 양자화 방법인 MACaQ를 소개했다. MACaQ는 채널별 스케일링, 온라인 블록 하다마르 변환, 헤시안을 고려한 플립 리파인먼트 절차를 이용해 각 선형 계층을 독립적으로 처리한다. 이 설계는 한 번에 하나의 계층만 메모리에 올려 스트리밍할 수 있도록 지원한다. 논문에 따르면 MACaQ는 Llama-3-8B에서 DuQuant++와 MR-GPTQ보다 낮은 퍼플렉서티를 달성했으며, 양자화 시간을 11분의 1로 줄이면서 이들의 최고 퍼플렉서티와 같은 수준을 기록했다. 32.5GB의 GPU RAM을 사용해 1,220억 개의 매개변수를 가진 모델을 64분 만에 양자화했다. vLLM의 Qwen3-32B에서는 순수 MXFP4 대비 전체 처리 과정의 오버헤드가 2.3% 추가됐다. 오픈소스 구현은 llama.cpp, vLLM, 디퓨저스, 파이토치를 지원하며 텍스트, 이미지, 비디오, 오디오 모델에 적용할 수 있다고 설명됐다.