構造を持つデータの学習可能性解析による巨大深層モデルの理解

研究課題

体系的番号	JPMJAX23C4
DOI	https://doi.org/10.52926/JPMJAX23C4
研究代表者	大古一聡東京大学, 大学院情報理工学系研究科, 大学院生
研究期間 (年度)	2023 – 2025
概要	現実世界のデータを低次元性と局所的な複雑性とを併せ持つものと定式化し、ニューラルネットがそれらを効率的に学習できることを最適化理論と統計理論を両立して示します。この理論を巨大深層モデルの解析に用い、事前学習での最適化から下流タスクの推論までを統一的に議論します。巨大深層モデルの成功の背後にある要素を明らかにし、モデル圧縮やデータセット構成といった実用手法への還元を目指します。
研究領域	次世代AIを築く数理・情報科学の革新

報告書

(1件)

2023 年次報告書 ( PDF )

主な研究成果
(7件)

すべて 2024

すべて雑誌論文 (7件) (国際共著 7件、査読あり 7件、オープンアクセス 7件)

[雑誌論文] Improved statistical and computational complexity of the mean-field Langevin dynamics under structured data2024
- 著者名
  Atsushi Nitanda, Kazusato Oko, Taiji Suzuki, Denny Wu
- 雑誌名
  
  The Twelfth International Conference on Learning Representations
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems2024
- 著者名
  Juno Kim, Kakei Yamamoto, Kazusato Oko, Zhuoran Yang, Taiji Suzuki
- 雑誌名
  
  The Twelfth International Conference on Learning Representations
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations2024
- 著者名
  Kazusato Oko, Yujin Song, Denny Wu, Taiji Suzuki
- 雑誌名
  
  The 37th Annual Conference on Learning Theory
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Mean Field Langevin Actor-Critic: Faster Convergence and Global Optimality beyond Lazy Learning2024
- 著者名
  Kakei Yamamoto, Kazusato Oko, Zhuoran Yang, Taiji Suzuki
- 雑誌名
  
  Forty-first International Conference on Machine Learning
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] SILVER: Single-loop variance reduction and application to federated learning2024
- 著者名
  Kazusato Oko, Shunta Akiyama, Denny Wu, Tomoya Murata, Taiji Suzuki
- 雑誌名
  
  Forty-first International Conference on Machine Learning
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Transformer Efficiently Learns Low-dimensional Target Functions In-context2024
- 著者名
  Yujin Song, Kazusato Oko, Taiji Suzuki, Denny Wu
- 雑誌名
  
  The Thirty-eighth Annual Conference on Neural Information Processing Systems
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit2024
- 著者名
  Kazusato Oko, Denny Wu, Jason D. Lee, Taiji Suzuki
- 雑誌名
  
  The Thirty-eighth Annual Conference on Neural Information Processing Systems
- 査読あり / オープンアクセス / 国際共著

構造を持つデータの学習可能性解析による巨大深層モデルの理解

研究代表者

大古 一聡 東京大学, 大学院情報理工学系研究科, 大学院生

報告書

主な研究成果

[雑誌論文] Improved statistical and computational complexity of the mean-field Langevin dynamics under structured data2024

著者名

雑誌名

[雑誌論文] Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems2024

著者名

雑誌名

[雑誌論文] Learning sum of diverse features: computational hardness and efficient gradient-based training for ridge combinations2024

著者名

雑誌名

[雑誌論文] Mean Field Langevin Actor-Critic: Faster Convergence and Global Optimality beyond Lazy Learning2024

著者名

雑誌名

[雑誌論文] SILVER: Single-loop variance reduction and application to federated learning2024

著者名

雑誌名

[雑誌論文] Transformer Efficiently Learns Low-dimensional Target Functions In-context2024

著者名

雑誌名

[雑誌論文] Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit2024

著者名

雑誌名

大古一聡東京大学, 大学院情報理工学系研究科, 大学院生