핵심 연구
어휘와 토크나이저가 다른 LLM 간 지식 증류
교사 모델과 학생 모델의 어휘와 토큰 분할 방식이 달라 출력을 직접 비교하기 어려운 문제를 해결하기 위해, 두 모델의 출력을 공통 표현으로 정렬하여 같은 토크나이저를 사용하지 않는 LLM 사이에서도 지식을 이전할 수 있는 사후 학습 방법을 연구합니다.
자연어 처리 / LLM 사후 학습 / 토크나이저 간 지식 증류
대규모 언어 모델을 다양한 과제와 활용 환경에 맞게 효율적이고 신뢰할 수 있는 방식으로 적응시키기 위한 사후 학습을 연구합니다. 특히 어휘와 토크나이저가 다른 모델 간의 지식 이전과 제한된 계산 자원에서의 학습에 중점을 두고 있습니다.
총 65건2017–2026
논문, 발표, 수상, 연구 지원을 최신순으로 정리했습니다.
상자 안을 세로로 스크롤하면 지금까지의 활동을 모두 볼 수 있습니다.
참가예정
도카이·간사이 데이터베이스 워크숍 2026(DBWS 2026)에 교원으로서 청강 참가했습니다.(새 탭에서 열립니다)
도카이·간사이 지역 데이터 공학 분야 대학 연구실이 모여 포스터 발표와 연구 교류를 진행하는 합동 워크숍 | 시즈오카대학교 하마마쓰 캠퍼스
소식예정
국제회의 SoICT 2026과 iiWAS 2026의 프로그램 위원을 맡습니다.
두 국제회의 모두 2026년 12월에 개최됩니다.
논문예정
연구 성과를 발표했습니다: “ByteTop-k OPD: バイト列表現に基づく語彙の異なる LLM 間のオンポリシ蒸留”.
IPSJ SIG-NL Technical Report 2026-NL-269
미디어예정
YANS 2026 공식 개최 보고가 공개되었으며, 저의 주식회사 ELYZA상 수상 이유가 게재되었습니다.(새 탭에서 열립니다)
“서로 다른 어휘를 가진 LLM 간 온폴리시 증류” | 어휘 차이를 직접 다루는 제안 방법과 실용성, 향후 발전 가능성을 인정받았습니다.
본인 수상예정
“서로 다른 어휘를 가진 LLM 간 온폴리시 증류”를 포스터로 발표하고 주식회사 ELYZA상을 수상했습니다.(새 탭에서 열립니다)
제21회 언어 처리 젊은 연구자 심포지엄(YANS 2026) | 센다이 국제센터 | 링크는 수상 이유가 게재된 공식 개최 보고
공동 저자 수상예정
平子 翔太 님이 ‘2026년도 IPSJ 야마시타 기념 연구상’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: LoRAマルチタスク学習における更新空間の分離による学習偏りの抑制
IPSJ SIG-IFAT Technical Report 2026-IFAT-162(4)
논문예정
연구 성과를 발표했습니다: “LLM を用いた Web アプリケーションのチューニング”.
2026 Tokai-Section Joint Conference on Electrical, Electronics, Information, and Related Engineering (2B-1-4)
논문예정
연구 성과를 발표했습니다: “機械学習ベースの索引チューニングにおける説明可能 AI の適用”.
2026 Tokai-Section Joint Conference on Electrical, Electronics, Information, and Related Engineering (2B-1-3)
과학연구비예정
일본학술진흥회 과학연구비조성사업(KAKENHI) “연구활동 스타트업 지원”에 선정되었습니다.(새 탭에서 열립니다)
과제번호 26K25590 “학습이 충분하지 않은 도메인에 대한 언어 모델 경량 적응을 위한 학습 시 갱신 자원 배분 제어 연구” (연구대표자, 2026–2027년도)
계산 자원·공동 이용예정
계산 자원·공동 이용 과제로 선정되었습니다: “복합 지시 및 지속 적응 환경에서의 대규모 언어 모델(LLM) 어댑터 학습 간섭 분석과 고효율 실험 플랫폼 구축”.
학제적 대규모 정보기반 공동이용·공동연구 거점(JHPCN) 맹아형 공동연구 과제
계산 자원·공동 이용예정
계산 자원·공동 이용 과제로 선정되었습니다: “복합 지시 및 지속 적응 환경에서의 대규모 언어 모델(LLM) 어댑터 학습 간섭 분석과 고효율 실험 플랫폼 구축”.
교토대학 슈퍼컴퓨터 공동연구 제도(신진·여성 연구자 장려 부문)
계산 자원·공동 이용예정
계산 자원·공동 이용 과제로 선정되었습니다: “학습 진도에 따른 계층별 동적 양자화에 기반한 고효율 어댑터 학습 기법”.
도쿄대학 정보기반센터 신진·여성 이용자 추천
논문예정
연구 성과를 발표했습니다: “LoRAマルチタスク学習における更新空間の分離による学習偏りの抑制”.
IPSJ SIG-IFAT Technical Report 2026-IFAT-162(4)
공동 저자 수상예정
前川 知歩(새 탭에서 열립니다) 님이 ‘젊은 연구자 장려상(IPSJ 자연어 처리 연구회)’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: 社会的属性ごとに異なる内部表現を考慮した活性化ステアリングによるLLMの社会的バイアス緩和
IPSJ SIG-NL Technical Report 2026-NL-267(31)
논문예정
연구 성과를 발표했습니다: “社会的属性ごとに異なる内部表現を考慮した活性化ステアリングによるLLMの社会的バイアス緩和”.
IPSJ SIG-NL Technical Report 2026-NL-267(31)
논문예정
연구 성과를 발표했습니다: “外部知識を優先した出力生成のための類似度カーネル平滑化手法”.
21st Workshop on Web Intelligence and Interaction (WI2)
발표예정
간사이·도카이 지역 여러 대학 및 연구실의 합동 워크숍 | 도시샤대학교 이마데가와 캠퍼스
계산 자원·공동 이용예정
계산 자원·공동 이용 과제로 선정되었습니다: “양자화 스케줄러를 활용한 대규모 언어 모델(LLM) 어댑터의 효율적 학습 기법 개발”.
학제적 대규모 정보기반 공동이용·공동연구 거점(JHPCN) 맹아형 공동연구 과제
계산 자원·공동 이용예정
계산 자원·공동 이용 과제로 선정되었습니다: “양자화 스케줄러를 활용한 대규모 언어 모델(LLM) 어댑터의 효율적 학습 기법 개발”.
도쿄과학대학 TSUBAME 신진·여성 이용자 지원 제도
논문예정
연구 성과를 발표했습니다: “検索対象文書集合を把握するためのコンテキスト内学習に基づいたクエリ書換え手法”.
IEICE General Conference 2025, Junior & Student Poster Session
논문예정
연구 성과를 발표했습니다: “RICGraph: A Recipe-Ingredient-Compound Graph for Estimating the Nutritional Value of Recipes”.
41st IEEE International Conference on Data Engineering Workshops (ICDEW)
논문예정
연구 성과를 발표했습니다: “L3Masking: Multi-task Fine-tuning for Language Models by Leveraging Lessons Learned from Vanilla Models”.
Proceedings of the 1st Workshop on Customizable NLP (CustomNLP4U) @ EMNLP
논문예정
연구 성과를 발표했습니다: “A Soft Actor-Critic Algorithm for Sequential Recommendation”.
Lecture Notes in Computer Science
공동 저자 수상예정
洪 惠珍(새 탭에서 열립니다) 님이 ‘제86회 IPSJ 전국대회 학생 장려상’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: Soft Actor-Critic 強化学習を用いた系列推薦フレームワーク
Proceedings of the 86th IPSJ National Convention
논문예정
연구 성과를 발표했습니다: “Soft Actor-Critic 強化学習を用いた系列推薦フレームワーク”.
Proceedings of the 86th IPSJ National Convention
논문예정
연구 성과를 발표했습니다: “Construction of Ingredient Embedding Considering Both Cooking Recipes and Their Ingredients”.
2024 IEEE International Conference on Big Data and Smart Computing (BigComp)
논문예정
연구 성과를 발표했습니다: “An Automatic Labeling Method for Subword-Phrase Recognition in Effective Text Classification”.
Informatica
박사과정 연구 지원예정
박사과정 연구 지원 대상으로 선정되었습니다: “도시샤대학 차세대 연구자 도전적 연구 프로젝트(SPRING)(새 탭에서 열립니다)”.
도시샤대학 대학원(교내 선발)
논문예정
연구 성과를 발표했습니다: “Ingredient Embeddings Constructed by Biased Random Walk on Ingredient-Compound Graph”.
Procedia Computer Science
논문예정
연구 성과를 발표했습니다: “Multi-task Learning-based Text Classification with Subword-Phrase Extraction”.
The 11th International Symposium on Information and Communication Technology (SoICT)
발표예정
도카이·간사이 데이터베이스 워크숍 2022(DBWS 2022)에 학생으로 참가하여 포스터 발표를 했습니다.(새 탭에서 열립니다)
발표 제목(일본어): 自己教師あり学習を用いた文書分類のためのマルチタスク学習フレームワーク | 도카이·간사이 지역 대학 연구실의 합동 워크숍 | 고난대학교 히라오 기념 세미나 하우스
공동 저자 수상예정
吉丸 直希(새 탭에서 열립니다) 님이 ‘학생 장려상(IPSJ 데이터베이스 시스템 연구회)’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: 部分構造を考慮した化合物分散表現の食材分類タスクにおける効果
IPSJ SIG-IFAT Technical Report 2022-IFAT-148(31)
논문예정
연구 성과를 발표했습니다: “部分構造を考慮した化合物分散表現の食材分類タスクにおける効果”.
IPSJ SIG-IFAT Technical Report 2022-IFAT-148(31)
공동 저자 수상예정
吉丸 直希(새 탭에서 열립니다) 님이 ‘제84회 IPSJ 전국대회 학생 장려상’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: レシピでの共起確率を考慮した食材分散表現の構築
Proceedings of the 84th IPSJ National Convention
논문예정
연구 성과를 발표했습니다: “前後文のアスペクトを考慮したレビュー文に対する教師ありアスペクト推定の高精度化”.
IEICE General Conference 2022, Junior & Student Poster Session
발표예정
도카이·간사이 데이터베이스 워크숍 2021(DBWS 2021)에 학생으로 참가하여 포스터 발표를 했습니다.(새 탭에서 열립니다)
발표 제목(일본어): 高精度情報検索実現のためのトークナイザの提案 | 도카이·간사이 지역 대학 연구실의 합동 워크숍 | 온라인 개최
공동 저자 수상예정
小森 雄太 님이 ‘제83회 IPSJ 전국대회 학생 장려상’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: 単語の概念関係を考慮したレビューの評価観点自動抽出手法
83rd IPSJ National Convention
논문예정
연구 성과를 발표했습니다: “Automatic Terminology Extraction Using a Dependency-Graph in NLP”.
Proceedings of the 11th International Conference on Innovations in Bio-Inspired Computing and Applications
공동 저자 수상예정
笹田 大翔(새 탭에서 열립니다) 님이 ‘제82회 IPSJ 전국대회 학생 장려상’ 수상자로 선정되었습니다.(새 탭에서 열립니다)
관련 논문: データの複雑性を考慮した不均衡データに対するリサンプリング手法
82nd IPSJ National Convention
논문예정
연구 성과를 발표했습니다: “物体検出技術を用いた古典籍画像からのテキスト領域切り出し手法”.
IEICE General Conference 2020, Student Poster Session
논문예정
연구 성과를 발표했습니다: “係り受け構解析を用いたドメイン固有のキーワード抽出手法の提案”.
IEICE General Conference 2020, Student Poster Session
논문예정
연구 성과를 발표했습니다: “A Resampling Method for Imbalanced Datasets Considering Noise and Overlap”.
Procedia Computer Science
발표예정
도카이·간사이 데이터베이스 워크숍 2019(DBWS 2019)에 학생으로 참가하여 포스터 발표를 했습니다.(새 탭에서 열립니다)
발표 제목(일본어): 係り受け/照応関係を用いた専門用語自動抽出手法の提案 | 도카이·간사이 지역 대학 연구실의 합동 워크숍 | 효고현립대학교 고베 정보과학 캠퍼스
본인 수상예정
수상했습니다: “기업상 LegalForce 상”.
주식회사 LegalForce
본인 수상예정
수상했습니다: “우수상”.
경영과학계 연구부회 연합협의회
핵심 연구
교사 모델과 학생 모델의 어휘와 토큰 분할 방식이 달라 출력을 직접 비교하기 어려운 문제를 해결하기 위해, 두 모델의 출력을 공통 표현으로 정렬하여 같은 토크나이저를 사용하지 않는 LLM 사이에서도 지식을 이전할 수 있는 사후 학습 방법을 연구합니다.
공동 연구
양자화 스케줄러와 학습 진행도에 따른 계층별 동적 양자화로, 제한된 계산 자원에서 LLM을 적응시키는 방법(HPC 배분 과제에 기반한 공동 연구).
공동 연구
활성화 스티어링을 통한 사회적 편향 완화와 외부 지식을 우선하는 출력 생성으로, 신뢰할 수 있는 LLM 적응을 연구합니다(공동 연구).
NLP 젊은 연구자 모임(YANS)
서로 다른 어휘를 가진 LLM 간의 On-Policy Distillation
제21회 언어 처리 젊은 연구자 심포지엄(YANS 2026)의 포스터 발표로 수상했습니다.
수상자: 木村 優介
주식회사 Money Forward
치료교육 사업의 DX(디지털 전환) 촉진을 위한 AI 협업형 치료교육 지원 시스템 구축
치료교육 현장에 AI 도입을 제안하는 사업 계획으로, CognitiBase로서 미라이노 피치(Miraino Pitch) 2025 학생 부문에서 발표했습니다
CognitiBase 사업 웹사이트 (새 탭에서 열립니다)
수상자: 木村優介, 楠和馬
긴키 종합통신국
치료교육 사업의 DX(디지털 전환) 촉진을 위한 AI 협업형 치료교육 지원 시스템 구축
치료교육 현장에 AI 도입을 제안하는 사업 계획으로, CognitiBase로서 미라이노 피치(Miraino Pitch) 2025 학생 부문에서 발표했습니다
CognitiBase 사업 웹사이트 (새 탭에서 열립니다)
수상자: 木村優介, 楠和馬
Academic Resource Guide 웹 인텔리전스와 인터랙션 연구회
외부 지식을 우선하는 출력 생성을 위한 유사도 커널 평활화 기법
제21회 WI2 연구회 개최 보고 (새 탭에서 열립니다)
수상자: 森岡 葵子, 吉丸 直希, 木村 優介, 波多野 賢治
주식회사 LegalForce
의존 구조의 특징을 고려한 전문용어 자동 추출 기법 제안
수상자: 木村 優介
경영과학계 연구부회 연합협의회
미용실 부스 임대를 위한 시술 인원 예측 모델 구축
수상자: 井上 由佳, 越前谷 勇典, 木村 優介, 窪田 茜, 山田 祐也
일본학술진흥회 과학연구비조성사업(KAKENHI) 연구활동 스타트업 지원
학제적 대규모 정보기반 공동이용·공동연구 거점(JHPCN) 맹아형 공동연구 과제
교토대학 슈퍼컴퓨터 공동연구 제도(신진·여성 연구자 장려 부문)
도쿄대학 정보기반센터 신진·여성 이용자 추천
학제적 대규모 정보기반 공동이용·공동연구 거점(JHPCN) 맹아형 공동연구 과제
도쿄과학대학 TSUBAME 신진·여성 이용자 지원 제도
현재
일본과학기술진흥기구(JST) 전략적창조연구추진사업(CREST) 연구원
나고야대학 대학원 정보학연구과 지능시스템학 전공
조교(TA): 데이터베이스 시스템, 프로그래밍 입문·기초·응용 등
도시샤대학 대학원 문화정보학연구과
연구 인턴십
NTT 커뮤니케이션과학기초연구소
특정업무직원
도시샤대학 문화정보학부
문화정보학 전공 박사과정(후기과정)
도시샤대학 대학원 문화정보학연구과
문화정보학 전공 박사과정(전기과정)
도시샤대학 대학원 문화정보학연구과
문화정보학과
도시샤대학 문화정보학부
일반계 과정
효고현립 다카라즈카키타고등학교
SoICT2026 프로그램 위원
동료 심사(피어 리뷰)
iiWAS2026 프로그램 위원
동료 심사(피어 리뷰)
IPSJ-TOD 심사
동료 심사(피어 리뷰)
IPSJ Journal 심사
동료 심사(피어 리뷰)
EMNLP 워크숍 심사위원
동료 심사(피어 리뷰)
“Wikipedia + 확장 개체명” 구조화 프로젝트 Task 1 분류
기타 이화학연구소 혁신지능통합연구센터(RIKEN AIP) 언어정보 접근기술팀
현재
Association for Computational Linguistics (ACL)