学習力学を数理基盤とした革新的ニューラルネットワークの開拓

研究課題

戦略的な研究開発の推進創発的研究支援事業

体系的番号	JPMJFR226Q
DOI	https://doi.org/10.52926/JPMJFR226Q
研究代表者	唐木田亮産業技術総合研究所, 人工知能研究センター, 主任研究員
研究期間 (年度)	2023 – 2029 (予定)
概要	深層学習の登場によりニューラルネットワークは機械学習や人工知能の基盤技術として急速に発展しています。しかし高い性能を発揮するために、大量のデータや計算資源と、それを必要とする特定の情報表現や学習様式に強く依存して開発が進んでいます。本研究では、深層学習のもとで発展しつつある学習力学の数理を足場としながら、生物の脳神経回路モデルに着想を得た構造や学習様式を取り組み、より効率的で柔軟な神経計算の実現を目指します。
研究領域	八木パネル

報告書

(3件)

主な研究成果
(5件)

すべて雑誌論文 (5件) (査読あり 5件、オープンアクセス 5件)

[雑誌論文] On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width2024
- 著者名
  Satoki Ishikawa, Ryo Karakida
- 雑誌名
  
  International Conference on Learning Representations
  
  ページ: 1-34
- 査読あり / オープンアクセス
[雑誌論文] Deep Generative Replay-based Class-incremental Continual Learning in sEMG-based Pattern Recognition2024
- 著者名
  Suguru Kanoga, Ryo Karakida, Takayuki Hoshino, Yuto Okawa, Mitsunori Tada
- 雑誌名
  
  46th Annual International Conference of the IEEE Engineering in Medicine and Biology Society
  
  ページ: 1-4
- 査読あり / オープンアクセス
[雑誌論文] MLP-Mixer as a Wide and Sparse MLP2024
- 著者名
  Tomohiro Hayase, Ryo Karakida
- 雑誌名
  
  International Conference on Machine Learning
  
  巻: 235 ページ: 17734-17758
- 査読あり / オープンアクセス
[雑誌論文] Self-attention Networks Localize When QK-eigenspectrum Concentrates2024
- 著者名
  Han Bao, Ryuichiro Hataya, Ryo Karakida
- 雑誌名
  
  International Conference on Machine Learning, PMLR
  
  巻: 235 ページ: 2903-2922
- 査読あり / オープンアクセス
[雑誌論文] Optimal layer selection for latent data augmentation2024
- 著者名
  Tomoumi Takase, Ryo Karakida
- 雑誌名
  
  Neural Networks
  
  巻: 181 ページ: 106753
- 査読あり / オープンアクセス