Speculative Decoding 실전 배포 함정 — "무료 토큰"의 숨겨진 조건

LLM 추론 병목의 대부분은 연산 한계가 아니라 메모리 대역폭 제약에서 비롯된다. 토큰 하나를 생성할 때마다 모델 전체 가중치를 HBM(고대역폭 메모리)에서 불러와야 하고, 이 전송 시간이 런타임을 지배한다. Speculative Decoding은 이 병목을 우회하지만, 실험실 벤치마크가 빠뜨리는 조건들에 성능이 크게 좌우된다.

실제로 프로덕션에 적용한 팀들은 실험실 측정치 대비 40~60% 낮은 성능을 자주 보고한다. 기술 자체의 결함이 아니라 프로덕션 워크로드가 다르기 때문이다: 더 큰 배치 크기, 더 짧은 출력, 더 엄격한 출력 제약. 언제 도움이 되고 언제 오히려 해가 되는지 이해해야 책임 있는 배포가 가능하다.

동작 원리: 초안 작성 → 검증 → 반복

비싼 타깃 모델로 토큰을 하나씩 순차 생성하는 대신, 경량 드래프트 모델로 K개 후보 토큰(보통 5~7개)을 미리 생성한 뒤, 타깃 모델의 단일 포워드 패스로 K개를 한꺼번에 검증한다.

타깃 모델은 각 후보를 순서대로 확인한다. 일치하면 수락, j번째 위치에서 처음 불일치가 발생하면 타깃이 올바른 토큰을 제공하고 드래프트 사이클을 재시작한다. 수락된 접두사는 순차 타깃 모델 생성보다 비용이 적게 든다.

중요한 보장: 수학적으로 타깃 모델 단독 생성과 동일한 토큰 시퀀스가 출력된다. 근사 없음, 품질 손실 없음 — 드래프트 모델이 충분한 정확도를 유지할 때만 지연 시간이 줄어든다.

실제 속도 향상 수치

공개 벤치마크는 최선의 시나리오를 측정한다. 실제 관측된 성능을 살펴보면:

이 결과들은 진짜이지만, 배치 크기 1~4, 긴 출력, 높은 수락률 — Speculative Decoding이 설계된 바로 그 조건에서 측정된 것이다.

수락률(α)은 드래프트 모델이 타깃 모델의 선택과 일치하는 토큰을 예측하는 비율이다. α = 0.6에서 5개 투기적 토큰으로 약 2.4x, α = 0.8에서 3.7x 속도 향상이 발생한다. α < 0.5이면 검증 오버헤드가 이득을 초과해 기준선보다 느려진다.

실제 수락률은 이론적 처리가 가정하는 0.95가 아니라 보통 0.6~0.8 사이다. 작업 유형이 수락률에 크게 영향을 미친다: 요약·구조적 패턴 완성은 높은 수락률, 개방형 창의 생성·다국어 출력은 낮은 수락률을 보인다.

모두를 오도하는 측정 실수

대부분의 Speculative Decoding 평가는 토큰 처리량(배치 전체의 초당 생성 토큰)을 측정하지만, 사용자가 경험하는 것은 벽시계 지연(요청~마지막 토큰까지 시간)이다. 배치 크기가 커질수록 이 두 지표는 정확히 반대 방향으로 갈린다.

• 배치 크기 1: 메모리 대역폭이 제한 요소 → 벽시계 지연 감소
• 배치 크기 32+: GPU가 연산 한계 → 타깃 모델이 배치 × K개 투기적 토큰을 동시 처리하며 검증 오버헤드 증가, 개별 요청 지연이 오히려 늘어날 수 있음

전환 지점은 GPU와 모델 크기에 따라 다르다. 대략적 기준: 동시 요청이 4~8개 미만이면 벽시계 지연 개선, 그 이상이면 투기 이득이 검증 오버헤드에 잠식된다.

이것이 흔한 실패를 설명한다: 팀이 개발 중 배치 크기 1로 벤치마크해 2.5x 향상을 확인하고, p50 동시성이 16에 달하는 프로덕션에서 5% 성능 저하를 마주한다. 기술은 정확히 약속한 대로 동작하지만, 워크로드가 달라졌다.

드래프트 모델 선택은 직관적이지 않다

드래프트 모델은 타깃 모델과 동일한 토크나이저와 어휘를 가져야 한다. 이는 하드 제약이다. 어휘 불일치는 수락률을 거의 0으로 무너뜨려 명확한 경고 없이 기준선 이하로 성능을 떨어뜨린다.

이 제약 안에서 드래프트 모델 선택은 세 가지 트레이드오프를 수반한다:

드래프트 모델 크기 vs. 수락률: 작을수록 빠르지만 품질이 낮은 후보를 생성한다. 13B 타깃에 1.5B 드래프트, 70B 타깃에 7B 드래프트가 일반적 출발점이다. 최적 크기는 파라미터 수보다 작업 분포에 달려있다.

출력 임베딩 지배: 대형 어휘(5만+ 토큰)에서 언어 모델링 헤드가 드래프트 모델 추론을 지배한다. "작은" 드래프트가 기대 이하인 이유다. 최근 어휘 트리밍 기술이 희귀 토큰 제거로 이를 해결한다.

EAGLE 계열 파인튜닝 드래프트 vs. 독립 모델: 타깃 은닉 상태로부터 예측하도록 특수 훈련된 드래프트(EAGLE, EAGLE-2, EAGLE-3)는 동일 어휘의 독립 소형 모델을 일관되게 능가한다. EAGLE-3는 전체 생성 위치에서 70~80% 수락률을 유지하는 반면, 나이브 드래프트는 오류 누적으로 긴 위치에서 성능이 저하된다.

드래프트 모델 훈련을 피하고 싶다면, vLLM의 Prompt Lookup Decoding이 보조 모델 없이 입력 프롬프트 대비 n-gram 매칭을 사용한다. 출력이 입력 구문을 반영하는 요약·코드 완성처럼 반복적인 작업에서 2.8x 속도 향상을 달성한다.

프로덕션에서 실패하는 세 가지 패턴

Speculative Decoding이 실제 트래픽을 처리하면 세 가지 실패 모드가 반복적으로 나타난다.

1. 구조적 출력 손상

Speculative Decoding을 추론 파서·구조적 출력 제약(JSON 스키마, 정규식 문법)과 함께 사용하면 배치 검증 중 토큰이 조용히 누락될 수 있다. 제약 강제가 올바르게 완료되지 않는다. vLLM에 문서화된 문제로, 제약 생성을 Speculative Decoding과 결합한 워크플로우에 영향을 미친다. 완화책은 제약 생성 경로에서 Speculative Decoding을 완전히 비활성화하는 것이다.

2. 비정형 텐서 정렬 불일치

배치 추론에서 다른 시퀀스들이 서로 다른 수의 투기적 토큰을 수락하면, GPU 병렬 처리가 잘 처리하지 못하는 정렬되지 않은 텐서 형태가 생성된다. 나이브 구현은 무시 못할 확률로 조용히 잘못된 출력을 생성한다. 2025년 이후 새로운 구현들이 정렬 문제를 해결했지만, 전체 속도 향상을 줄이는 성능 비용을 수반한다.

3. MoE 라우팅 붕괴

Mixture-of-Experts 모델은 토큰을 다른 전문가 서브네트워크로 라우팅한다. 드래프트·타깃 모델이 동일한 토큰을 다른 전문가를 통해 라우팅하면 수락률 수학 자체가 무너진다. MoE 아키텍처에서 Speculative Decoding은 기준선을 하회하는 경우가 많다. Mixtral, DeepSeek-MoE 등 MoE 모델 서빙에서는 아키텍처 확정 전 경험적 수락률 검증이 필수다.

아무도 언급하지 않는 운영 오버헤드

Speculative Decoding을 운영한다는 것은 모델을 하나가 아니라 두 개 운영한다는 뜻이다.

• H100에서 드래프트 모델 상태만으로 GPU 메모리 10~20GB 추가 사용
• 타깃 모델 토크나이저 변경 시 드래프트 모델 재훈련 필요 — 두 모델의 버전 관리·테스트·동시 업데이트
• 드래프트·타깃 모두 별도 KV 상태를 유지하며 요청 간 동기화가 필요 → KV 캐시 관리 복잡도 증가

Bedrock, Vertex AI, Together AI 같은 관리형 추론 제공자의 경우 Speculative Decoding이 이미 투명하게 활성화되어 있을 수 있다. 제공자가 이를 보이지 않게 적용해 운영 부담을 사용자에게서 덜어낸다. 트레이드오프: 적용 시점 제어나 비활성화 권한이 없다.

vLLM이나 TensorRT-LLM으로 자체 호스팅하는 경우, 드래프트 모델 선택·트래픽 세그먼트별 수락률 모니터링·새로운 요청 분포에서 수락률 하락 시 성능 저하 디버깅이 필요하다. 한 번 설정하면 끝나는 구성이 아니다.

실제로 사용해야 할 때

Speculative Decoding이 적합한 구체적이지만 중요한 조건들:

• 서빙 워크로드가 지연 민감, 주로 인터랙티브 (배치 크기 1~4)
• 출력 시퀀스가 길다 (>500 토큰) — 긴 생성일수록 수학적으로 유리
• 작업이 예측 가능한 구조 (요약, 코드 완성, n-gram 겹침이 높은 연속)
• 메모리 대역폭이 제한 요소인 단일 GPU 또는 소형 클러스터
• 드래프트 모델 유지·관리 엔지니어링 비용 감당 가능

반대로 다음 목표가 우선이라면 이 기술은 적합하지 않다:

• 배치 워크로드 처리량 극대화
• 첫 토큰까지 시간(TTFT) 개선 — Speculative Decoding은 TTFT를 다루지 않음
• 운영 단순성

이 경우 양자화·연속 배칭·효율적 KV 캐시 관리가 더 안정적인 이점을 제공한다.

앞으로의 방향

현재 궤적은 자기 투기적 디코딩(self-speculative decoding)으로 이동한다 — 타깃 모델 자체가 레이어를 건너뛰며 드래프트 토큰을 생성하는 방식(LayerSkip, Speculative Streaming). 어휘 호환성 문제와 별도 모델 운영 부담을 제거하는 대신, 특수 훈련 드래프트 대비 일부 속도 향상을 포기한다.

2025년 Speculative Decoding 스케일링 법칙으로 훈련 전에 최적 드래프트 모델 크기를 예측할 수 있게 되어 적절한 드래프트 구성을 찾는 실험 비용이 줄었다. EAGLE-3의 향상된 수락률 안정성은 남아있는 실험실-프로덕션 벤치마크 격차가 좁혀지고 있음을 시사한다. 기술이 덜 취약해지고 있지만, 워크로드 매칭 요건은 변하지 않는다.

무료 토큰은 실재한다. 함정도 마찬가지다. 배포 전에 자신의 워크로드를 먼저 지도에 그려라.