클로드 스레드 공개 베타, 응답 지연 줄여도 토큰 절감은 없다

앤트로픽은 11월 2일 메시지 스레드의 공개 베타 출시를 발표했다. 대화 기록의 반복 전송을 피함으로써 장시간 실행되는 클로드 에이전트 세션의 지연 시간을 줄이는 것이 목표다. 개발자는 최초 요청 이후 Messages API를 통해 새 메시지와 이전 응답 ID만 전송할 수 있다. 앤트로픽은 500,000~100만 토큰이 포함된 요청에서 첫 토큰까지 걸리는 시간의 중앙값이 약 35% 감소했다고 밝혔다. 이 기능은 대부분의 클로드 코드 사용자에게 기본으로 활성화된다. 스레드는 암호화되며 디스크에 기록되지 않고 메모리에 보관된다. 마지막 요청으로부터 5분 후 만료되며, 이후에는 전체 대화를 다시 전송해야 한다. 클로드가 여전히 전체 대화를 읽기 때문에 이 기능으로 토큰 사용량이 줄어들지는 않는다. 표준 토큰 요금과 기존 요청 한도가 적용된다. 이 기능은 클로드 자체 플랫폼, AWS, 마이크로소프트 파운드리, 구글 클라우드에서 이용할 수 있다.