ニューラルタイムマシン：時空間視聴覚場の分析合成系

研究課題

体系的番号	JPMJFR2270
DOI	https://doi.org/10.52926/JPMJFR2270
研究代表者	吉井和佳京都大学, 大学院情報学研究科, 教授
研究期間 (年度)	2024 – 2030 (予定)
概要	本研究では、視聴覚情報記録メディアの究極形として、自らの視聴覚を通じた過去の高臨場体験に加えて、過去への干渉（「たら」「れば」）を可能にするタイムマシンを実現します。その技術的な核心は、駆動源まで還元された時空間視聴覚場の分析合成系であり、拡張現実スマートグラスを用いて、過去にその場に存在した人・物体との自由視点リアルタイムインタラクションを実現します。この技術により、過去をリソースとする次世代エンターテインメントの創出を目指します。
研究領域	八木パネル

報告書

(1件)

2024 年次報告書 ( PDF )

主な研究成果
(9件)

すべて 2024

すべて雑誌論文 (9件) (国際共著 4件、査読あり 9件、オープンアクセス 9件)

[雑誌論文] Neural Steerer: Novel Steering Vector Synthesis with a Causal Neural Field over Frequency and Direction2024
- 著者名
  Diego Di Carlo, Aditya Arie Nugraha, Mathieu Fontaine, Yoshiaki Bando, Kazuyoshi Yoshii
- 雑誌名
  
  IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW)
  
  ページ: 740-744
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] RIR-in-a-Box: Estimating Room Acoustics from 3D Mesh Data through Shoebox Approximation2024
- 著者名
  Liam Kelley, Diego Di Carlo, Aditya Arie Nugraha, Mathieu Fontaine, Yoshiaki Bando, Kazuyoshi Yoshii
- 雑誌名
  
  Annual Conference of the International Speech Communication Association (Interspeech)
  
  ページ: 3255-3259
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Joint Audio Source Localization and Separation with Distributed Microphone Arrays Based on Spatially-Regularized Multichannel NMF2024
- 著者名
  Yoshiaki Sumura, Diego Di Carlo, Aditya Arie Nugraha, Yoshiaki Bando, Kazuyoshi Yoshii
- 雑誌名
  
  International Workshop on Acoustic Signal Enhancement (IWAENC)
  
  ページ: 145-149
- 査読あり / オープンアクセス
[雑誌論文] End-to-End Singing Transcription Based on CTC and HSMM Decoding with a Refined Score Representation2024
- 著者名
  Tengyu Deng, Eita Nakamura, Ryo Nishikimi, Kazuyoshi Yoshii
- 雑誌名
  
  APSIPA Transactions on Signal and Information Processing
  
  巻: 13 号: 5 ページ: 1-26
- 査読あり / オープンアクセス
[雑誌論文] Streaming Piano Transcription Based on Consistent Onset and Offset Decoding with Sustain Pedal Detection2024
- 著者名
  Weixing Wei, Jiahao Zhao, Yulun Wu, Kazuyoshi Yoshii
- 雑誌名
  
  International Society for Music Information Retrieval Conference (ISMIR)
  
  ページ: 906-913
- 査読あり / オープンアクセス
[雑誌論文] Learning Multifaceted Self-Similarity over Time and Frequency for Music Structure Analysis2024
- 著者名
  Tsung-Ping Chen, Kazuyoshi Yoshii
- 雑誌名
  
  International Society for Music Information Retrieval Conference (ISMIR)
  
  ページ: 189-197
- 査読あり / オープンアクセス
[雑誌論文] Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising2024
- 著者名
  Yoto Fujita, Aditya Arie Nugraha, Diego Di Carlo, Yoshiaki Bando, Mathieu Fontaine, Kazuyoshi Yoshii
- 雑誌名
  
  2024 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
  
  ページ: 1-6
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Unsupervised Pitch-Timbre-Variation Disentanglement of Monophonic Music Signals Based on Random Perturbation and Re-entry Training2024
- 著者名
  Keitaro Tanaka, Kazuyoshi Yoshii, Simon Dixon, Shigeo Morishima
- 雑誌名
  
  APSIPA Transactions on Signal and Information Processing
  
  巻: 14 号: 1 ページ: 1-35
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Joint Music Segmentation and Clustering Based on Self-Attentive Contrastive Learning of Multifaceted Self-Similarity Representation2024
- 著者名
  Tsung-Ping Chen, Kazuyoshi Yoshii
- 雑誌名
  
  IEEE Transactions on Audio, Speech and Language Processing
  
  巻: 33 ページ: 1267-1277
- 査読あり / オープンアクセス

ニューラルタイムマシン：時空間視聴覚場の分析合成系

研究代表者

吉井 和佳 京都大学, 大学院情報学研究科, 教授

報告書

主な研究成果

[雑誌論文] Neural Steerer: Novel Steering Vector Synthesis with a Causal Neural Field over Frequency and Direction2024

著者名

雑誌名

[雑誌論文] RIR-in-a-Box: Estimating Room Acoustics from 3D Mesh Data through Shoebox Approximation2024

著者名

雑誌名

[雑誌論文] Joint Audio Source Localization and Separation with Distributed Microphone Arrays Based on Spatially-Regularized Multichannel NMF2024

著者名

雑誌名

[雑誌論文] End-to-End Singing Transcription Based on CTC and HSMM Decoding with a Refined Score Representation2024

著者名

雑誌名

[雑誌論文] Streaming Piano Transcription Based on Consistent Onset and Offset Decoding with Sustain Pedal Detection2024

著者名

雑誌名

[雑誌論文] Learning Multifaceted Self-Similarity over Time and Frequency for Music Structure Analysis2024

著者名

雑誌名

[雑誌論文] Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising2024

著者名

雑誌名

[雑誌論文] Unsupervised Pitch-Timbre-Variation Disentanglement of Monophonic Music Signals Based on Random Perturbation and Re-entry Training2024

著者名

雑誌名

[雑誌論文] Joint Music Segmentation and Clustering Based on Self-Attentive Contrastive Learning of Multifaceted Self-Similarity Representation2024

著者名

雑誌名

吉井和佳京都大学, 大学院情報学研究科, 教授