투게더 AI, 추론 최적화 컴파일러 출시해 속도 높인다

투게더 AI는 2026년 11월 4일 투게더 컴파일러(TKCC) 출시를 발표했다. 이 시스템은 변화하는 모델과 하드웨어, 트래픽 패턴에 맞춰 AI 추론을 지속적으로 최적화하도록 설계됐다. 기사에 따르면 지속형 엔진은 최적화 준비 시간을 최대 467초에서 9초로 단축해 실험 처리량을 기준 에이전트형 시스템 대비 252배로 높였다. 키미 K3, GLM 5.3, 미니맥스 M3.1-Flash, 딥시크 v4.1-Flash를 대상으로 한 테스트에서는 초당 토큰 처리량이 최대 2.6배 높게 나타났다. 세미애널리시스 인퍼런스X 벤치마크에서 TKCC는 미니맥스에서 초당 1,111토큰, 딥시크에서 초당 1,205토큰을 처리했다. 라마 1B에서는 배치 크기가 1일 때 오픈소스 메가커널보다 1.7배 높은 성능을 보였다. 이 시스템은 고객의 코드 변경 없이 변화하는 트래픽에 적응하도록 설계됐다. 모델 출시 후 2주 내 프롬프트 길이가 80% 증가하고 국가별 프롬프트당 평균 토큰 수가 70,000~97,000개에 이르는 변화도 포함된다. 투게더 AI는 언어 모델 추론 외에도 기상 모델링, 편미분방정식, 시계열 분석, 생물학 분야에 적용했다고 밝혔다.