トークナイザーが異なる モデル間の蒸留研究

対応した区間内で学習信号をどう配分するかと、対応しないトークンで初期モデルからの変化をどう抑えるかが重要だとしています。数学・科学・コード生成で、既存手法からの性能向上を報告しています。

学習信号を与える範囲の広さより、その信号の信頼性を重視すべきだとしています。評価したモデル対では、厳密に対応する位置の上位16候補で、共有語彙全体を使う場合と同等の精度を得ました。一方、不一致区間にMSEの学習信号を加えると精度が低下したと報告しています。

有効な補完候補の合計確率を使い、トークンの対応づけを補う学習信号を計算する手法です。追加の生成や語彙の変更なしで、数学・コード・科学の性能向上を報告しています。

教師を生徒の語彙とトークン位置に合わせ、全次元の出力分布を学習に使う方法を提案しています。6つの推論タスクで、生徒の性能が向上したと報告しています。

モデル系列間のずれが、教師の能力向上に対応する学習信号を隠してしまうと指摘しています。同系列内での尤度の変化を使うことで、評価した生徒系列の推論精度が向上したと報告しています。

確率の高い候補の学習と、残余部分の正則化を組み合わせ、異なるトークナイザー間の対応ノイズを減らす手法です。単一・複数教師のoff-policy蒸留で、推論性能が向上したと報告しています。

SFT・重要ステップでのOPD・RLVR・モデル統合を組み合わせた学習方法です。金融分野での推論の信頼性と、長期タスクを実行する能力を備えた小型エージェントを構築できたと報告しています。

文字列区間の厳密な対応づけと、生徒の初期モデルを基準とした制約を組み合わせる手法です。長い文脈を扱う教師の推論能力を、短い文脈の生徒へ安定して転移できたと報告しています。

バイト列を基準に、教師の確率質量を保ったまま、生徒の語彙に対応する目標分布を作る方法を提案しています。数学とプログラミングの評価では、既存手法からの性能向上を報告しています。

手法ごとの学習信号の処理と、共通のverl実行基盤を分離したフレームワークです。異なるOPD設定を1つのフレームワークで実行・拡張できると示しています。

復号した文字列を対応づければ、異なるモデル系列の間でもトークン単位のOPDを行えるとしています。評価した既存手法より計算効率が高かったと報告しています。

隠れ状態を使って学習させることで、出力ヘッドの制約を回避できるとしています。固定した低ランク射影を使い、構造やトークナイザーが異なるモデル間でも知識を転移できたと報告しています。

応答区間の意味的な類似度を使えば、教師のlogitsなしでも信頼できる学習信号を得られるとしています。テキストだけを返す非公開モデルも教師として利用できると報告しています。

生徒の応答を冒頭だけで打ち切り、その部分を学習に使う手法です。応答全体を使うOPDより性能が高く、GPUの利用効率と学習の安定性も向上したと報告しています。

両方のトークナイザーで表せる短い続きを使えば、完全一致だけでは失われる学習信号を利用できるとしています。評価した異種モデル対で、数学とコード生成の性能向上を報告しています。

質問ごとの採点基準を、教師のlogitsに代わる学習信号として使う方法を提案しています。評価した設定では、性能とサンプル効率が向上したと報告しています。

教師から得た学習信号をトークンごとに選択して配分すると、負の転移やエントロピー崩壊を抑えられるとしています。語彙が異なるモデルを含む設定で、サンプル効率の改善を報告しています。

教師の推論と生徒の学習を別々の実行基盤で処理し、分散蒸留を高速化したと報告しています。on-policy・off-policyの蒸留と、異なるトークナイザー間の既存手法に対応しています。

教師の言葉による評価を使い、生徒が生成した軌跡のうち評価が高い部分を残し、低い部分を教師の生成で置き換える手法です。テキストだけを返す教師を使い、推論性能と学習効率が向上したと報告しています。

教師の回答テキストだけを使い、生徒の変化に合わせて識別器を学習する方法を提案しています。教師の内部情報を取得せずにOPDを行い、回答列を模倣する学習より高い性能を得たと報告しています。

公式文書では、復号した文字列の対応づけ、確率の併合、ULD損失を組み合わせる方法を紹介しています。TRLの実験的なtrainerで、異なるトークナイザー間の蒸留を実行できると説明しています。

1つのドラフトモデルを、語彙が異なる複数の対象モデルにオンラインで適応させる手法です。蒸留と適応的なドラフト生成を組み合わせ、推測デコーディングを高速化したと報告しています。

教師と生徒で同じ出力ヘッドを使い、語彙が異なるモデル間でも蒸留できる方法を提案しています。指示追従・数学・コード生成の実験では、既存手法を上回ったと報告しています。