跳到主要内容
木村 优介
目录
语言: 中文
木村 优介的肖像照片

木村 优介

Yusuke Kimura

自然语言处理 / 大语言模型后训练 / 跨分词器知识蒸馏

我研究大语言模型的后训练,旨在使模型能够针对不同任务与应用环境进行高效、可靠的适配。目前主要关注词表与分词器不同的模型之间的知识迁移,以及有限计算资源下的模型训练。

活动历程

共 65 条2017–2026

按时间从新到旧汇总论文、报告、获奖与科研支持。

在框内纵向滚动即可查看全部过往活动。

查看全部研究成果

2026共 15 条

  1. 参加

    以教师身份旁听参加了东海关西数据库研讨会 2026(DBWS 2026)。(在新标签页中打开)

    东海与关西地区数据工程领域的大学研究室开展海报报告与研究交流的联合研讨会|静冈大学滨松校区

  2. 通知

    担任国际会议 SoICT 2026 与 iiWAS 2026 的程序委员会委员。

    两场国际会议均于 2026 年 12 月举办。

  3. 论文

    研究成果《ByteTop-k OPD: バイト列表現に基づく語彙の異なる LLM 間のオンポリシ蒸留》已发表。

    IPSJ SIG-NL Technical Report 2026-NL-269

  4. 媒体

    YANS 2026 官方活动报告已发布,其中刊载了我获得 ELYZA 股份有限公司奖的评选理由。(在新标签页中打开)

    《不同词表 LLM 间的同策略蒸馏》|直接处理词表差异的方法及其实用潜力与未来发展前景获得认可。

  5. 本人获奖

    以海报形式报告了《不同词表 LLM 间的同策略蒸馏》,并荣获 ELYZA 股份有限公司奖。(在新标签页中打开)

    第21届语言处理青年研究者研讨会(YANS 2026)|仙台国际中心|链接为载有获奖理由的官方活动报告

  6. 合著者获奖

    平子 翔太 获得“2026年度 IPSJ 山下纪念研究奖”。(在新标签页中打开)

    相关论文: LoRAマルチタスク学習における更新空間の分離による学習偏りの抑制

    IPSJ SIG-IFAT Technical Report 2026-IFAT-162(4)

  7. 论文

    研究成果《LLM を用いた Web アプリケーションのチューニング》已发表。

    2026 Tokai-Section Joint Conference on Electrical, Electronics, Information, and Related Engineering (2B-1-4)

  8. 论文

    研究成果《機械学習ベースの索引チューニングにおける説明可能 AI の適用》已发表。

    2026 Tokai-Section Joint Conference on Electrical, Electronics, Information, and Related Engineering (2B-1-3)

  9. 科研费

    获批日本学术振兴会 科学研究费补助事业(KAKENHI)“研究活动启动支援”项目。(在新标签页中打开)

    课题编号 26K25590《面向训练不足领域语言模型轻量化适应的训练时更新资源分配控制研究》(研究负责人,2026–2027年度)

  10. 计算资源与共同利用

    研究课题《复合指令与持续适应环境下大语言模型(LLM)适配器学习的干扰分析与高效实验平台构建》入选计算资源与共同利用项目。

    跨学科大规模信息基础设施共同利用与共同研究基地(JHPCN)萌芽型共同研究课题

  11. 计算资源与共同利用

    研究课题《复合指令与持续适应环境下大语言模型(LLM)适配器学习的干扰分析与高效实验平台构建》入选计算资源与共同利用项目。

    京都大学 超级计算机共同研究制度(青年、女性研究者奖励名额)

  12. 计算资源与共同利用

    研究课题《基于训练进度的逐层动态量化高效适配器学习方法》入选计算资源与共同利用项目。

    东京大学信息基础设施中心 青年、女性用户推荐

  13. 论文

    研究成果《LoRAマルチタスク学習における更新空間の分離による学習偏りの抑制》已发表。

    IPSJ SIG-IFAT Technical Report 2026-IFAT-162(4)

  14. 论文

    研究成果《社会的属性ごとに異なる内部表現を考慮した活性化ステアリングによるLLMの社会的バイアス緩和》已发表。

    IPSJ SIG-NL Technical Report 2026-NL-267(31)

2025共 12 条

  1. 本人获奖

    获得了“Money Forward 奖(在新标签页中打开)”。

    Money Forward 股份有限公司

  2. 本人获奖

    获得了“近畿综合通信局长奖(在新标签页中打开)”。

    近畿综合通信局

  3. 本人获奖

    获得了“优秀研究奖(在新标签页中打开)”。

    Academic Resource Guide Web 智能与交互研究会

  4. 论文

    研究成果《外部知識を優先した出力生成のための類似度カーネル平滑化手法》已发表。

    21st Workshop on Web Intelligence and Interaction (WI2)

  5. 计算资源与共同利用

    研究课题《基于量化调度器的大语言模型(LLM)高效适配器学习方法开发》入选计算资源与共同利用项目。

    跨学科大规模信息基础设施共同利用与共同研究基地(JHPCN)萌芽型共同研究课题

  6. 计算资源与共同利用

    研究课题《基于量化调度器的大语言模型(LLM)高效适配器学习方法开发》入选计算资源与共同利用项目。

    东京科学大学 TSUBAME 青年、女性用户支援制度

  7. 论文

    研究成果《検索対象文書集合を把握するためのコンテキスト内学習に基づいたクエリ書換え手法》已发表。

    IEICE General Conference 2025, Junior & Student Poster Session

  8. 论文

    研究成果《フリマアプリにおける購入時考慮属性の生成手法の提案》已发表。

    Proceedings of DEIM 2025

  9. 论文

    研究成果《食に関する異種グラフを用いた料理の栄養価推定》已发表。

    Proceedings of DEIM 2025

  10. 论文

    研究成果《開発コスト軽減化のためのマルチタスク強化学習を用いた系列推薦システム》已发表。

    IPSJ Transactions on Databases (TOD)

  11. 论文

    研究成果《RICGraph: A Recipe-Ingredient-Compound Graph for Estimating the Nutritional Value of Recipes》已发表。

    41st IEEE International Conference on Data Engineering Workshops (ICDEW)

2024共 8 条

  1. 论文

    研究成果《L3Masking: Multi-task Fine-tuning for Language Models by Leveraging Lessons Learned from Vanilla Models》已发表。

    Proceedings of the 1st Workshop on Customizable NLP (CustomNLP4U) @ EMNLP

  2. 论文

    研究成果《A Soft Actor-Critic Algorithm for Sequential Recommendation》已发表。

    Lecture Notes in Computer Science

  3. 论文

    研究成果《ドメイン適応のためのトークン単位の擬似尤度に基づくマスク戦略》已发表。

    IPSJ SIG Technical Report

  4. 论文

    研究成果《追加事前学習による日本語言語モデルの倫理性獲得の試み》已发表。

    Proceedings of the 86th IPSJ National Convention

  5. 论文

    研究成果《Soft Actor-Critic 強化学習を用いた系列推薦フレームワーク》已发表。

    Proceedings of the 86th IPSJ National Convention

  6. 论文

    研究成果《部分構造を考慮した化合物分散表現の食材分類タスクにおける効果》已发表。

    DBSJ Japanese Journal

  7. 论文

    研究成果《Construction of Ingredient Embedding Considering Both Cooking Recipes and Their Ingredients》已发表。

    2024 IEEE International Conference on Big Data and Smart Computing (BigComp)

2023共 6 条

  1. 论文

    研究成果《An Automatic Labeling Method for Subword-Phrase Recognition in Effective Text Classification》已发表。

    Informatica

  2. 博士生研究支持

    入选“同志社大学 新一代研究者挑战性研究项目(SPRING)(在新标签页中打开)”博士生研究支持项目。

    同志社大学研究生院(校内选拔)

  3. 论文

    研究成果《商品説明に着目したレビュー文からの教師なしキーフレーズ抽出》已发表。

    Proceedings of DEIM 2023

  4. 论文

    研究成果《文書分類における効果的なマルチタスク学習のための汎用的サブタスクの要件分析》已发表。

    IEICE Technical Report

  5. 论文

    研究成果《言語モデルに基づく知識グラフの構造を学習するリンク予測手法》已发表。

    IPSJ SIG Technical Report

  6. 论文

    研究成果《Ingredient Embeddings Constructed by Biased Random Walk on Ingredient-Compound Graph》已发表。

    Procedia Computer Science

2022共 9 条

  1. 论文

    研究成果《Multi-task Learning-based Text Classification with Subword-Phrase Extraction》已发表。

    The 11th International Symposium on Information and Communication Technology (SoICT)

  2. 报告

    以学生身份参加了东海关西数据库研讨会 2022(DBWS 2022),并作海报报告。(在新标签页中打开)

    报告题目(日文):自己教師あり学習を用いた文書分類のためのマルチタスク学習フレームワーク|东海与关西地区大学研究室的联合研讨会|甲南大学平生纪念研讨中心

  3. 论文

    研究成果《部分構造を考慮した化合物分散表現の食材分類タスクにおける効果》已发表。

    IPSJ SIG-IFAT Technical Report 2022-IFAT-148(31)

  4. 博士生研究支持

    入选“博士课程青年研究者培育资助制度(在新标签页中打开)”博士生研究支持项目。

    同志社大学研究生院(校内选拔)

  5. 论文

    研究成果《前後文のアスペクトを考慮したレビュー文に対する教師ありアスペクト推定の高精度化》已发表。

    IEICE General Conference 2022, Junior & Student Poster Session

  6. 论文

    研究成果《レシピでの共起確率を考慮した食材分散表現の構築》已发表。

    Proceedings of the 84th IPSJ National Convention

  7. 论文

    研究成果《ストップフレーズ抽出を併用した文書分類》已发表。

    Proceedings of DEIM 2022

2021共 5 条

  1. 报告

    以学生身份参加了东海关西数据库研讨会 2021(DBWS 2021),并作海报报告。(在新标签页中打开)

    报告题目(日文):高精度情報検索実現のためのトークナイザの提案|东海与关西地区大学研究室的联合研讨会|线上举办

  2. 论文

    研究成果《単語の概念関係を考慮したレビューの評価観点自動抽出手法》已发表。

    83rd IPSJ National Convention

  3. 论文

    研究成果《対話における意図分類を目的とした発話の分散表現構築法》已发表。

    Proceedings of IEICE General Conference 2021

  4. 论文

    研究成果《Automatic Terminology Extraction Using a Dependency-Graph in NLP》已发表。

    Proceedings of the 11th International Conference on Innovations in Bio-Inspired Computing and Applications

2020共 6 条

  1. 论文

    研究成果《単語埋め込みと名詞句の共起グラフを用いた教師なしキーフレーズ抽出手法の提案》已发表。

    IPSJ SIG Technical Report (IFAT-140)

  2. 论文

    研究成果《データの複雑性を考慮した不均衡データに対するリサンプリング手法》已发表。

    82nd IPSJ National Convention

  3. 论文

    研究成果《物体検出技術を用いた古典籍画像からのテキスト領域切り出し手法》已发表。

    IEICE General Conference 2020, Student Poster Session

  4. 论文

    研究成果《係り受け構解析を用いたドメイン固有のキーワード抽出手法の提案》已发表。

    IEICE General Conference 2020, Student Poster Session

  5. 论文

    研究成果《A Resampling Method for Imbalanced Datasets Considering Noise and Overlap》已发表。

    Procedia Computer Science

2019共 3 条

  1. 报告

    以学生身份参加了东海关西数据库研讨会 2019(DBWS 2019),并作海报报告。(在新标签页中打开)

    报告题目(日文):係り受け/照応関係を用いた専門用語自動抽出手法の提案|东海与关西地区大学研究室的联合研讨会|兵库县立大学神户信息科学校区

  2. 本人获奖

    获得了“企业奖 LegalForce 奖”。

    LegalForce 股份有限公司

  3. 论文

    研究成果《係り受け構造に着目した専門用語自動抽出手法の提案》已发表。

    IEICE General Conference 2019, Student Poster Session

2017共 1 条

  1. 本人获奖

    获得了“优秀奖”。

    经营科学类研究部会联合协议会

研究方向

主攻方向

词表与分词器不同的 LLM 之间的知识蒸馏

针对教师模型与学生模型因词表和词元切分方式不同而难以直接比较输出的问题,我研究将双方输出对齐到统一表示形式的后训练方法,使不共享同一分词器的 LLM 之间也能迁移知识。

合作研究

有限计算资源下的高效适配器学习

通过量化调度器与依据训练进度调整的分层动态量化,在有限计算资源下适配大语言模型(基于获批 HPC 课题的合作研究)。

合作研究

高可靠性适配:偏见缓解与知识接地生成

通过激活引导(activation steering)缓解社会偏见,并优先依据外部知识生成输出,实现更可信的大语言模型适配(合作研究)。

关键词
大语言模型(LLM)的后训练 · On-policy Distillation(同策略蒸馏) · 跨分词器知识蒸馏 · 高效的适配器学习 · 自然语言处理 · 多任务学习 · 文本分类 · 关键短语抽取
研究领域
信息通信 / 智能信息学 · 信息通信 / 数据库 · 信息通信 / 网络信息学、服务信息学

获奖

共 6 项
  1. ELYZA 股份有限公司奖

    NLP 青年研究者协会(YANS)

    具有不同词表的 LLM 之间的 On-Policy Distillation

    因在第21届语言处理青年研究者研讨会(YANS 2026)上的海报报告而获奖。

    官方活动报告与获奖理由 (在新标签页中打开)

    获奖人: 木村 優介

  2. Money Forward 奖

    Money Forward 股份有限公司

    面向康复教育事业数字化转型(DX)的 AI 协同型康复教育支持系统构建

    作为 CognitiBase 在 Miraino Pitch 2025(学生组)发表的商业计划,提出将 AI 引入康复教育一线的方案

    CognitiBase 创业项目网站 (在新标签页中打开)

    获奖人: 木村優介, 楠和馬

  3. 近畿综合通信局长奖

    近畿综合通信局

    面向康复教育事业数字化转型(DX)的 AI 协同型康复教育支持系统构建

    作为 CognitiBase 在 Miraino Pitch 2025(学生组)发表的商业计划,提出将 AI 引入康复教育一线的方案

    CognitiBase 创业项目网站 (在新标签页中打开)

    获奖人: 木村優介, 楠和馬

  4. 优秀研究奖

    Academic Resource Guide Web 智能与交互研究会

    用于外部知识优先输出生成的相似度核平滑方法

    第21届WI2研究会举办报告 (在新标签页中打开)

    获奖人: 森岡 葵子, 吉丸 直希, 木村 優介, 波多野 賢治

  5. 企业奖 LegalForce 奖

    LegalForce 股份有限公司

    一种考虑依存结构特征的专业术语自动抽取方法

    获奖人: 木村 優介

  6. 优秀奖

    经营科学类研究部会联合协议会

    面向美发沙龙工位出租的服务人数预测模型构建

    获奖人: 井上 由佳, 越前谷 勇典, 木村 優介, 窪田 茜, 山田 祐也

研究支持

科研费(项目负责人) (1)

  1. 面向训练不足领域语言模型轻量化适应的训练时更新资源分配控制研究 (在新标签页中打开)

    日本学术振兴会 科学研究费补助事业(KAKENHI)研究活动启动支援

计算资源与共同利用 (5)

  1. 复合指令与持续适应环境下大语言模型(LLM)适配器学习的干扰分析与高效实验平台构建

    跨学科大规模信息基础设施共同利用与共同研究基地(JHPCN)萌芽型共同研究课题

  2. 复合指令与持续适应环境下大语言模型(LLM)适配器学习的干扰分析与高效实验平台构建

    京都大学 超级计算机共同研究制度(青年、女性研究者奖励名额)

  3. 基于训练进度的逐层动态量化高效适配器学习方法

    东京大学信息基础设施中心 青年、女性用户推荐

    • 研究负责人
  4. 基于量化调度器的大语言模型(LLM)高效适配器学习方法开发

    跨学科大规模信息基础设施共同利用与共同研究基地(JHPCN)萌芽型共同研究课题

    • 课题编号 EX25407
  5. 基于量化调度器的大语言模型(LLM)高效适配器学习方法开发

    东京科学大学 TSUBAME 青年、女性用户支援制度

博士生研究支持(校内选拔) (2)

  1. 博士课程青年研究者培育资助制度 (在新标签页中打开)

    同志社大学研究生院(校内选拔)

    • 资助对象学生

经历 / 学历

经历

  1. 日本科学技术振兴机构(JST)战略性创造研究推进事业(CREST)研究员

    名古屋大学 研究生院信息学研究科 智能系统学专业

  2. 助教(TA):数据库系统、程序设计入门/基础/应用等

    同志社大学 研究生院文化信息学研究科

  3. 研究实习

    NTT 通信科学基础研究所

  4. 特定业务职员

    同志社大学 文化信息学部

学历

  1. 文化信息学专业 博士课程(后期课程)

    同志社大学 研究生院文化信息学研究科

  2. 文化信息学专业 博士课程(前期课程)

    同志社大学 研究生院文化信息学研究科

  3. 文化信息学科

    同志社大学 文化信息学部

  4. 普通课程

    兵库县立宝冢北高等学校

学术活动

学术服务

  1. SoICT2026 程序委员会委员

    同行评审

  2. iiWAS2026 程序委员会委员

    同行评审

  3. IPSJ-TOD 审稿

    同行评审

  4. IPSJ Journal 审稿

    同行评审

  5. EMNLP 研讨会审稿人

    同行评审

  6. “Wikipedia + 扩展命名实体”结构化项目 Task 1 分类

    其他 理化学研究所 革新智能综合研究中心(RIKEN AIP)语言信息访问技术团队

学会会员

  1. Association for Computational Linguistics (ACL)