音メディアコミュニケーションにおける共創型機能拡張技術の創出

研究課題

体系的番号	JPMJCR19A3
DOI	https://doi.org/10.52926/JPMJCR19A3
研究代表者	戸田智基名古屋大学, 情報基盤センター, 教授
研究期間 (年度)	2019 – 2024
概要	音メディアコミュニケーションにおいて、ユーザとシステムの共創的な働きかけに基づき、身体的制約を超えて発声・聴覚機能を拡張する基盤技術を創出します。機械学習に基づくデータ駆動型システムの枠組みにおいて、低遅延リアルタイム動作、不随意的なシステム挙動制御、インタラクションを通した意識的なシステム挙動制御を可能とする共創型発声・聴覚機能拡張基盤技術を構築し、発声・聴覚機能の回復・増強を達成します。
研究領域	人間と情報環境の共生インタラクション基盤技術の創出と展開

主な研究成果
(29件)

すべて 2024

すべて雑誌論文 (29件) (国際共著 11件、査読あり 29件、オープンアクセス 20件)

[雑誌論文] An investigation of fundamental frequency pattern prediction for Japanese eelectrolaryngeal speech enhancement based on frame-wise phoneme representations2024
- 著者名
  Mohammad Eshghi, Tomoki Toda
- 雑誌名
  
  IEEE Access
  
  巻: 12 ページ: 50137-50153
- 査読あり / オープンアクセス
[雑誌論文] Electrolaryngeal speech intelligibility enhancement through robust linguistic encoders2024
- 著者名
  Lester Phillip Violeta, Wen-Chin Huang, Ding Ma, Ryuichi Yamamoto, Kazuhiro Kobayashi, Tomoki Toda
- 雑誌名
  
  Proc. IEEE ICASSP
  
  ページ: 10961-10965
- 査読あり
[雑誌論文] Unequally spaced sound field interpolation for rotation-robust beamforming2024
- 著者名
  Shuming Luan, Yukoh Wakabayashi, Tomoki Toda
- 雑誌名
  
  IEEE/ACM Transactions on Audio, Speech and Language Processing
  
  巻: 32 ページ: 3185-3199
- 査読あり / オープンアクセス
[雑誌論文] Robust sequence-to-sequence voice conversion for electrolaryngeal speech enhancement in noisy and reverberant conditions2024
- 著者名
  Ding Ma, Yeonjong Choi, Fengji Li, Chao Xie, Kazuhiro Kobayashi, Tomoki Toda
- 雑誌名
  
  Proc. IEEE EMBC
- 査読あり / 国際共著
[雑誌論文] Mandarin speech reconstruction from tongue motion ultrasound images based on generative adversarial networks2024
- 著者名
  Fengji Li, Fei Shen, Ding Ma, Shaochuan Zhang, Jie Zhou, Li Wang, Fan Fan, Tao Liu, Xiaohong Chen, Tomoki Toda, Haijun Niu
- 雑誌名
  
  Proc. IEEE EMBC
- 査読あり / 国際共著
[雑誌論文] Unsupervised training of neural network-based virtual microphone estimator2024
- 著者名
  Jiachen Wang, Tomoki Toda
- 雑誌名
  
  Proc. EUSIPCO
  
  ページ: 256-260
- 査読あり / オープンアクセス
[雑誌論文] Learning to assess subjective impressions from speech2024
- 著者名
  Yuto Kondo, Hirokazu Kameoka, Kou Tanaka, Takuhiro Kaneko, Noboru Harada
- 雑誌名
  
  Proc. EUSIPCO
  
  ページ: 381-385
- 査読あり
[雑誌論文] Direct update of back-projected demixing matrices in blind source separation2024
- 著者名
  Yui Kuriki, Taishi Nakashima, Nobutaka Ono
- 雑誌名
  
  Proc. EUSIPCO
  
  ページ: 922-926
- 査読あり
[雑誌論文] FastVoiceGrad: one-step diffusion-based voice conversion with adversarial conditional diffusion distillation2024
- 著者名
  Takuhiro Kaneko, Hirokazu Kameoka, Kou Tanaka, Yuto Kondo
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 192-196
- 査読あり / オープンアクセス
[雑誌論文] Embedding learning for preference-based speech quality assessment2024
- 著者名
  ChengHung Hu, Yusuke Yasuda, Tomoki Toda
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 2685-2689
- 査読あり / オープンアクセス
[雑誌論文] Quantifying the effect of speech pathology on automatic and human speaker verification2024
- 著者名
  Bence Mark Halpern, Thomas Tienkamp, Wen-Chin Huang, Lester Phillip Violeta, Teja Rebernik, Sebastiaan de Visscher, Max Witjes, Martijn Wieling, Defne Abur, Tomoki Toda
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 3015-3019
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Multimodal fusion of music theory-inspired and self-supervised representations for improved emotion recognition2024
- 著者名
  Xiaohan Shi, Xingfeng LI, Tomoki Toda
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 3724-3728
- 査読あり / 国際共著
[雑誌論文] QHM-GAN: neural vocoder based on quasi-harmonic modeling2024
- 著者名
  Shaowen Chen, Tomoki Toda
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 3889-3893
- 査読あり / オープンアクセス
[雑誌論文] PRVAE-VC2: non-parallel voice conversion by distillation of speech representations2024
- 著者名
  Kou Tanaka, Hirokazu Kameoka, Takuhiro Kaneko, Yuto Kondo
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 4363-4367
- 査読あり / オープンアクセス
[雑誌論文] CtrSVDD: a benchmark dataset and baseline analysis for controlled singing voice deepfake detection2024
- 著者名
  Yongyi Zang, Jiatong Shi, You Zhang, Ryuichi Yamamoto, Jionghao Han, Yuxun Tang, Shengyuan Xu, Wenxiao Zhao, Jing Guo, Tomoki Toda, Zhiyao Duan
- 雑誌名
  
  Proc. INTERSPEECH
  
  ページ: 4783-4787
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Multi-speaker text-to-speech training with speaker anonymized data2024
- 著者名
  Wen-Chin Huang, Yi-Chiao Wu, Tomoki Toda
- 雑誌名
  
  IEEE Signal Processing Letters
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] The VoiceMOS Challenge 2024: beyond speech quality prediction2024
- 著者名
  Wen-Chin Huang, Szu-Wei Fu, Erica Cooper, Ryandhimas E. Zezario, Tomoki Toda, Hsin-Min Wang, Junichi Yamagishi, Yu Tsao
- 雑誌名
  
  Proc. IEEE SLT
  
  ページ: 813-820
- 査読あり / 国際共著
[雑誌論文] SVDD 2024: The Inaugural Singing Voice Deepfake Detection Challenge2024
- 著者名
  You Zhang, Yongyi Zang, Jiatong Shi, Ryuichi Yamamoto, Tomoki Toda, Zhiyao Duan
- 雑誌名
  
  Proc. IEEE SLT
  
  ページ: 792-797
- 査読あり / 国際共著
[雑誌論文] Multi-task learning approaches for music similarity representation learning based on individual instrument sounds2024
- 著者名
  Takehiro Imamura, Yuka Hashizume, Tomoki Toda
- 雑誌名
  
  Proc. APSIPA ASC
- 査読あり / オープンアクセス
[雑誌論文] Two-stage framework for robust speech emotion recognition using target speaker extraction in human speech noise conditions2024
- 著者名
  Jinyi Mi, Xiaohan Shi, Ding Ma, Jiajun He, Takuya Fujimura, Tomoki Toda
- 雑誌名
  
  Proc. APSIPA ASC
- 査読あり / オープンアクセス
[雑誌論文] A study on multimodal fusion and layer adapter in emotion recognition2024
- 著者名
  Xiaohan Shi,Yuan Gao, Jiajun He, Jinyi Mi, Xingfeng Li, Tomoki Toda
- 雑誌名
  
  Proc. APSIPA ASC
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Improved architecture for high-resolution piano transcription to efficiently capture acoustic characteristics of music signals2024
- 著者名
  Jinyi Mi, Sehun Kim, Tomoki Toda
- 雑誌名
  
  Proc. APSIPA ASC
- 査読あり / オープンアクセス
[雑誌論文] Reference-free automatic speech severity evaluation using acoustic unit language modelling2024
- 著者名
  Bence Mark Halpern, Tomoki Toda
- 雑誌名
  
  Proc. SpandLDeteriorate Workshop of ACM Multimedia Asia (Workshop on Multi-Biological Sensing Data for Speech and Language Deterioration Prediction)
- 査読あり
[雑誌論文] End-to-end Mandarin speech reconstruction based on ultrasound tongue images using deep learning2024
- 著者名
  Fengji Li, Fei Shen, Ding Ma, Jie Zhou, Shaochuan Zhang, Li Wang, Fan Fan, Tao Liu, Xiaohong Chen, Tomoki Toda, Haijun Niu
- 雑誌名
  
  IEEE Transactions on Neural Systems and Rehabilitation Engineering
  
  巻: 33 ページ: 140-149
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] "Sequence-wise speech waveform modeling via gradient descent optimization of quasi-harmonic parameters2024
- 著者名
  Shaowen Chen, Tomoki Toda
- 雑誌名
  
  IEEE Transactions on Audio, Speech and Language Processing
  
  巻: 33 ページ: 319-332
- 査読あり / オープンアクセス
[雑誌論文] Target speaker extraction under noisy underdetermined conditions using conditional variational autoencoder2024
- 著者名
  Rui Wang, Takuya Fujimura, Tomoki Toda
- 雑誌名
  
  APSIPA Transactions on Signal and Information Processing
  
  巻: 14 号: 1 ページ: 1-26
- 査読あり / オープンアクセス
[雑誌論文] Mandarin speech reconstruction from surface electromyography based on generative adversarial networks2024
- 著者名
  Fengji Li, Fei Shen, Ding Ma, Jie Zhou, Li Wang, Fan Fan, Tao Liu, Xiaohong Chen, Tomoki Toda, Haijun Niu
- 雑誌名
  
  Medicine in Novel Technology and Devices
  
  巻: 26 号: 100359 ページ: 1-7
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Deep source modeling for direction-aware dual-channel target speaker extraction in noisy underdetermined conditions2024
- 著者名
  Rui Wang
- 雑誌名
  
  名古屋大学情報学研究科知能システム学専攻博士論文
- 査読あり / オープンアクセス
[雑誌論文] E2EPref: an end-to-end preference-based framework for speech quality assessment to alleviate bias in direct assessment scores2024
- 著者名
  Cheng-Hung Hu, Yusuke Yasuda, Tomoki Toda
- 雑誌名
  
  Computer Speech and Language
  
  巻: 93 号: 101799 ページ: 1-17
- 査読あり / オープンアクセス

音メディアコミュニケーションにおける共創型機能拡張技術の創出

研究代表者

戸田 智基 名古屋大学, 情報基盤センター, 教授

主な研究成果

[雑誌論文] An investigation of fundamental frequency pattern prediction for Japanese eelectrolaryngeal speech enhancement based on frame-wise phoneme representations2024

著者名

雑誌名

[雑誌論文] Electrolaryngeal speech intelligibility enhancement through robust linguistic encoders2024

著者名

雑誌名

[雑誌論文] Unequally spaced sound field interpolation for rotation-robust beamforming2024

著者名

雑誌名

[雑誌論文] Robust sequence-to-sequence voice conversion for electrolaryngeal speech enhancement in noisy and reverberant conditions2024

著者名

雑誌名

[雑誌論文] Mandarin speech reconstruction from tongue motion ultrasound images based on generative adversarial networks2024

著者名

雑誌名

[雑誌論文] Unsupervised training of neural network-based virtual microphone estimator2024

著者名

雑誌名

[雑誌論文] Learning to assess subjective impressions from speech2024

著者名

雑誌名

[雑誌論文] Direct update of back-projected demixing matrices in blind source separation2024

著者名

雑誌名

[雑誌論文] FastVoiceGrad: one-step diffusion-based voice conversion with adversarial conditional diffusion distillation2024

著者名

雑誌名

[雑誌論文] Embedding learning for preference-based speech quality assessment2024

著者名

雑誌名

[雑誌論文] Quantifying the effect of speech pathology on automatic and human speaker verification2024

著者名

雑誌名

[雑誌論文] Multimodal fusion of music theory-inspired and self-supervised representations for improved emotion recognition2024

著者名

雑誌名

[雑誌論文] QHM-GAN: neural vocoder based on quasi-harmonic modeling2024

著者名

雑誌名

[雑誌論文] PRVAE-VC2: non-parallel voice conversion by distillation of speech representations2024

著者名

雑誌名

[雑誌論文] CtrSVDD: a benchmark dataset and baseline analysis for controlled singing voice deepfake detection2024

著者名

雑誌名

[雑誌論文] Multi-speaker text-to-speech training with speaker anonymized data2024

著者名

雑誌名

[雑誌論文] The VoiceMOS Challenge 2024: beyond speech quality prediction2024

著者名

雑誌名

[雑誌論文] SVDD 2024: The Inaugural Singing Voice Deepfake Detection Challenge2024

著者名

雑誌名

[雑誌論文] Multi-task learning approaches for music similarity representation learning based on individual instrument sounds2024

著者名

雑誌名

[雑誌論文] Two-stage framework for robust speech emotion recognition using target speaker extraction in human speech noise conditions2024

著者名

雑誌名

[雑誌論文] A study on multimodal fusion and layer adapter in emotion recognition2024

著者名

雑誌名

[雑誌論文] Improved architecture for high-resolution piano transcription to efficiently capture acoustic characteristics of music signals2024

著者名

雑誌名

[雑誌論文] Reference-free automatic speech severity evaluation using acoustic unit language modelling2024

著者名

雑誌名

[雑誌論文] End-to-end Mandarin speech reconstruction based on ultrasound tongue images using deep learning2024

著者名

雑誌名

[雑誌論文] "Sequence-wise speech waveform modeling via gradient descent optimization of quasi-harmonic parameters2024

著者名

雑誌名

[雑誌論文] Target speaker extraction under noisy underdetermined conditions using conditional variational autoencoder2024

戸田智基名古屋大学, 情報基盤センター, 教授