最多选择3项研究，比较监督范围与访问要求。
CAST: Credit Alignment for Cross-Tokenizer On-Policy Distillation
作者认为对齐区间内的信号分配和未对齐 token 的初始策略约束均很重要，并报告数学、科学与代码基准上的提升。
解码文本对齐后，按学生不确定性与教师分数平滑度分配 chunk credit。
Qwen3-8B → Mistral-7B / Llama-3.1-8B (SFT initialized)
代码核查日期: 2026-10-14
测试中，严格对齐位置的 top-16 监督达到完整共享词表 OPD 的精度，而额外的不匹配区间 MSE 降低精度。论文强调监督可靠性优先于覆盖率。
严格 1:1 span 对齐，在共享词表或学生选择的 top-k 子集上计算 reverse KL。
Qwen2.5-7B-Instruct → Llama-3.2-3B-Instruct
Granite-4.1-8B → Phi-4-mini-instruct / Qwen2.5-7B-Base
代码核查日期: 2026-10-14
Beyond Token Alignment: Event Completion for Cross-Tokenizer On-Policy Distillation
论文认为有效补全集合的总概率监督可补充 token 对齐，无需额外轨迹或词表修改即可改善数学、代码与科学推理。
教师字节事件被部分生成后，在已访问的子状态监督完成集合。
Qwen3-32B / GLM-Z1-9B → Qwen3.5-2B
Qwen3.5-397B-A17B → Qwen3-30B-A3B-Thinking
Kimi-K2.7-Code → Qwen3.6-35B-A3B
代码核查日期: 2026-10-14
Dual-Vocabulary Language Model for Cross-Tokenizer Distillation
作者提出将教师适配到学生词表与 token 位置，实现全维度监督，并报告六项推理任务上的提升。
平行 tokenization 与 Hybrid-Prefix Attention，训练面向学生词表的教师 head。
Qwen3-4B → Llama-3.2-1B-Instruct / OLMo-2-1B-Instruct
代码核查日期: 2026-10-14
CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts
论文认为模型系列间的偏移会掩盖教师能力提升的信号，传递系列内部的似然变化可改善所测试学生系列的推理。
在对齐文本 span 上，传递强教师相对同家族 reference 的似然变化。
Qwen3.5-35B-A3B (reference: Qwen3.5-0.8B) → Granite4.1-3B / Qwen3-4B / OLMo-3-7B-Instruct-SFT
代码核查日期: 2026-10-14
ACTD: Anchor-Based Cross-Tokenizer Distillation with Residual Regularization
论文提出高概率锚点与残余正则化以减少跨分词器对齐噪声，并报告单教师及多教师 off-policy 蒸馏中的推理提升。
在固定 reference solution 上使用 anchor 与 residual regularization 的 off-policy KD。
DeepSeek-R1-Distill-Llama-8B / GLM-4-9B-Chat → Qwen3-1.7B-Base
代码核查日期: 2026-10-14
Mint-Agent: Introducing Finance-Native Agentic Foundation Models
作者报告，通过 SFT、关键步骤 OPD、RLVR 与模型合并的完整流程，构建兼具可靠推理和长程执行能力的小型金融智能体。
在学生失败轨迹的关键 turn 重新生成，将教师 chunk 似然分配给学生 token 的应用训练流程。
DeepSeek-V4-Pro → Qwen3.5-9B / Qwen3.6-27B agentic specialists (Mint-Cu / Mint-Ag pipeline)
代码核查日期: 2026-10-14
SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning
作者报告，精确文本区间对齐与学生参考约束可稳定地将长上下文教师的推理能力迁移给短上下文学生。
使用教师自己的模板重新编码学生文本，匹配起止位置完全相同的 token。
SU-01 (Qwen3-30B-A3B-based) → GLM-4.7-Flash / Gemma-4-26B-A4B
SU-01 → Qwen3.5-4B / Qwen3.5-35B-A3B
代码核查日期: 2026-10-14
Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization
论文提出保持教师概率质量、覆盖学生词表的字节对齐目标，并报告数学与编程基准上的提升。
把教师 token 概率分配给其字节序列的最长学生 token 前缀。
Qwen3-32B → Qwen3.5-2B
GLM-Z1-9B-0414 → Qwen3.5-2B
MiniMax-M2.7 → Qwen3.5-2B
代码核查日期: 2026-10-14
EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models
论文将方法模块与共享 verl 后端分离，展示多种 OPD 设置可在统一框架中保留各自目标并执行。
基于 verl 的框架，提供 SimCT 等跨 tokenizer OPD 方法的可运行模块。
Qwen2.5-7B-Instruct → Phi-4-mini-Instruct
代码核查日期: 2026-10-14
Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families
论文提出通过解码文本映射跨模型系列传递 token 级 OPD 信号，并报告优于测试基线的计算效率。
双指针构造解码文本同步的最小 chunk。
Qwen3-8B → Llama-3.1-8B-SFT
DeepSeek-R1 → DeepSeek-R1-Distill-Qwen-7B
代码核查日期: 2026-10-14
OPRD: On-Policy Representation Distillation
作者主张隐藏状态监督可绕过输出头的限制，并报告通过固定低秩投影实现跨架构与跨分词器知识迁移。
用 projector 对齐隐藏表示，但公开实现对不同词表的两模型输入相同的学生 token ID，存在语义对应疑问。
Phi-4-mini-reasoning → Qwen3-1.7B-Base
代码核查日期: 2026-10-14
OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification
论文认为，回复片段的语义验证可在不访问教师 logits 的情况下提供可靠监督，包括使用仅输出文本的闭源教师。
对教师 continuation 做 Monte Carlo sampling，用解码 chunk 的语义相似度监督。
Qwen3-32B → Qwen3-1.7B or Qwen3-4B
Claude-4.5-Haiku → Qwen3-4B
Gemini-2.5-Flash → Qwen3-4B
代码核查日期: 2026-10-14
Less is More: Early Stopping Rollout for On-Policy Distillation
作者报告，仅生成并监督回复前段即可超过完整轨迹 OPD，同时提高 GPU 效率与训练稳定性。
将学生 rollout 重新编码为教师 token，贪心对齐文本 span。
Qwen3-4B → Gemma-2-2B
Gemma-3-4B → Gemma-2-2B
Qwen3-1.7B → Qwen2.5-Math-1.5B
代码核查日期: 2026-10-14
SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation
论文认为，双方均能表示的短续写可恢复精确匹配丢失的监督，并在测试的异构模型对上改善数学与代码表现。
共享表面 token 与双方 tokenizer 可实现的最短多 token continuation。
Qwen2.5-7B-Instruct → Phi-4-mini-Instruct
Qwen2.5-7B-Instruct → Gemma-2-2B-IT
Phi-4-mini-Instruct → Gemma-2-2B-IT
代码核查日期: 2026-10-14
Rubric-based On-policy Distillation
作者认为，按提示生成的评分标准可替代教师 logits，并报告所评估设置中的性能与样本效率提升。
对比教师和学生回答生成 prompt 专属 rubric，由 verifier 评分学生 rollout。
GPT-5.2-Chat → Qwen3-4B
GPT-5.2-Chat → Gemma-3-4B-IT
Qwen3-30B-A3B → Qwen3-4B
代码核查日期: 2026-10-14
Relaxed On-Policy Distillation: Selective Credit Allocation for Scaling Reasoning Efficiently
作者认为选择性分配教师反馈可减少负迁移与熵坍缩，并报告包括跨词表实验在内的样本效率提升。
选择学生 rollout 的 token credit；旧审计版本对跨词表 token 事件的对应说明不足。
Phi-4-Mini-Reasoning → DeepSeek-R1-Distill-Qwen-1.5B
代码核查日期: 2026-10-14
KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
作者提出分别为教师推理与学生训练配置后端，报告分布式蒸馏提速，并支持 on-policy、off-policy 与跨分词器方法。
支持 on/off-policy 与 DSKD 类跨 tokenizer KD 的分布式框架；报告的跨 tokenizer 实验是 off-policy。
Qwen3-14B → Llama3.2-3B
代码核查日期: 2026-10-14
OVD: On-policy Verbal Distillation
作者提出用教师的语言化评分保留较好学生轨迹、替换较弱片段，并报告文本教师下的推理与效率提升。
用 verbal score 筛选学生子轨迹，在学生与教师 continuation 混合的轨迹上训练。
Qwen2.5-7B teacher agent → Qwen2.5-3B-Base / Llama-3.2-3B-Base
代码核查日期: 2026-10-14
Black-Box On-Policy Distillation of Large Language Models
论文提出仅用教师文本学习自适应判别器，实现黑盒 OPD，并报告优于序列级模仿的结果。
共同更新 discriminator，以区分固定教师回答与当前学生回答的序列级 reward 训练学生。
GPT-5-Chat → Qwen2.5-3B/7B/14B-Instruct
GPT-5-Chat → Llama-3.2-3B-Instruct or Llama-3.1-8B-Instruct
代码核查日期: 2026-10-14
Unlocking On-Policy Distillation for Any Model Family
官方文档介绍在 TRL 实验性 trainer 中，通过解码文本对齐、概率合并与混合 ULD 损失执行跨分词器蒸馏。
对齐解码 span 并合并概率；直接比较共享 token，对未对应 token 使用 ULD fallback。实验性 TRL trainer。
未记录独立的模型对评估
代码核查日期: 2026-10-14
OmniDraft: A Cross-vocabulary, Online Adaptive Drafter for On-device Speculative Decoding
论文主张单个草稿模型可在线适应不同词表的目标模型，并通过混合蒸馏与自适应起草加速推测解码。
从 drafter 自身 proposal 在线学习的跨词表推测解码。
Vicuna-7B, Qwen2-7B, or Llama3-8B target → Llama-68M drafter
代码核查日期: 2026-10-14
A Dual-Space Framework for General Knowledge Distillation of Large Language Models
作者提出通过共享预测头与双空间投影实现跨词表蒸馏，并报告指令遵循、数学与代码生成上的提升。
将隐藏状态投影到对方表示空间，复用对应 LM head；ETA 保留严格对齐位置。
Qwen2-1.5B → GPT2-120M
Mistral-7B → TinyLLaMA-1.1B
代码核查日期: 2026-10-14
稠密词表目标可查看 BPM、DVLM；实际路径 credit 可比较 BTB、CAST；纯文本教师可查看 GAD、ROPD、OmniOPD。把 Rethinking 与扩展监督覆盖的方法一起阅读。