組み込み機器による音響信号の意味論的理解と分離

研究課題

国際的な科学技術共同研究などの推進国際科学技術共同研究推進事業 SICORP フランス

体系的番号	JPMJSC2306
DOI	https://doi.org/10.52926/JPMJSC2306
研究代表者	原田登日本電信電話株式会社コミュニケーション科学基礎研究所, メディア情報研究部, 上席特別研究員
研究期間 (年度)	2023 – 2027
概要	本研究は、 Telecom applicationサービスへの応用を目的に、我々をとりまく音響イベントを認識し意味的な音の塊を分離するAI技術「音響信号の意味論的理解と分離(S3)」の開発を目的とする。また、この技術を、没入型コミュニケーションとパーソナルアシストの2つのユースケースで実装した組み込みシステムを設計する。S3は、様々な音を分析して分離しメタデータを付与することで、状況に応じて必要な音だけを伝送し、空間的に再構成して再生することを可能とする。これらは例えば、プライバシーに配慮したWeb会議システムやホームモニタリング機器通信への応用や、国際会議の現地参加者とリモート参加者が体験を共有できる新しいインクルーシブコミュニケーション等への応用が期待される。日本側チームは主に、意味論的分離の基礎となる音源分離・所望音抽出技術の開発と、移動体通信システム国際標準化（3GPP）への提案による社会実装を担う。フランス側チームは主に、開発技術の組み込み機器へのハードウェア実装を行う。両国による本共同研究により、上述した新しいコミュニケーションサービスの実現が期待される。
研究領域	エッジAI

報告書

(2件)

2024 年次報告書 ( PDF )
2023 年次報告書 ( PDF )

主な研究成果
(16件)

すべて 2024

すべて雑誌論文 (16件) (査読あり 7件)

[雑誌論文] End-to-End Training of Acoustic Scene Classification Using Distributed Sound-to-Light Conversion Devices: Verification through Simulation Experiments2024
- 著者名
  Yuma Kinoshita and Nobutaka Ono
- 雑誌名
  
  EURASIP Journal on Audio, Speech, and Music Processing
  
  巻: 46
- DOI
  10.1186/s13636-024-00369-z
- 査読あり
[雑誌論文] Acoustic Scene Classification Using Inter- and Intra-subarray Spatial Features in Distributed Microphone Array2024
- 著者名
  Takao Kawamura, Yuma Kinoshita, Nobutaka Ono, and Robin Scheibler
- 雑誌名
  
  EURASIP Journal on Audio, Speech, and Music Processing
  
  巻: 65
- DOI
  10.1186/s13636-024-00386-y
- 査読あり
[雑誌論文] Towards Learning a Difference-Aware General-Purpose Audio Representation2024
- 著者名
  D. Takeuchi, M. Yasuda, D. Niizumi, N. Harada
- 雑誌名
  
  Proc. DCASE 2024 Workshop
- 査読あり
[雑誌論文] Interaural time difference loss for binaural target sound extraction2024
- 著者名
  C. Hernandez-Olivan, M. Delcroix, T. Ochiai, N. Tawara, T. Nakatani, S. Araki
- 雑誌名
  
  Proc. IWAENC 2024
- DOI
  10.1109/IWAENC61483.2024.10694612
- 査読あり
[雑誌論文] Direct Update of Back-Projected Demixing Matrices in Blind Source Separation2024
- 著者名
  Yui Kuriki, Taishi Nakashima, and Nobutaka Ono
- 雑誌名
  
  Proc. EUSIPCO
- DOI
  10.23919/EUSIPCO63174.2024.10715137
- 査読あり
[雑誌論文] Synchronization of Signals with Sampling Rate Offset and Missing Data Using Dynamic Programming Matching2024
- 著者名
  Hayato Takeuchi, Takao Kawamura, Nobutaka Ono, and Shoko Araki
- 雑誌名
  
  Proc. APSIPA ASC
- DOI
  10.1109/APSIPAASC63619.2025.10848824
- 査読あり
[雑誌論文] 招待ランチョンセミナー：DCASE2024 Workshop東京開催の概要とDCASE2025関連情報のご紹介2024
- 著者名
  原田登
- 雑誌名
  
  電子情報通信学会　情報処理研究会，応用音響研究会，音声研究会，音声言語情報処理研究会，日本音響学会電気音響研究会共催　SPEASIP2025
[雑誌論文] DPマッチングと相互相関を用いた欠損を含む信号からの同期信号の生成2024
- 著者名
  竹内駿人，河村隆生，小野順貴，荒木章子
- 雑誌名
  
  日本音響学会秋季研究発表会講演論文集
[雑誌論文] 音響シーン・同期・マイク位置の手がかりのための多チャンネル録音を用いたアンカー音検出の検討2024
- 著者名
  河村隆生，小野順貴
- 雑誌名
  
  日本音響学会秋季研究発表会講演論文
[雑誌論文] エイリアス成分のブラインド音源分離による帯域復元のマイクロホン数増加による拡張2024
- 著者名
  中村優希，中嶋大志，小野順貴，宮崎亮一
- 雑誌名
  
  日本音響学会秋季研究発表会講演論文集
[雑誌論文] 音響シーン分類における室内の異なる位置のマイクロホンアレイに対するドメイン適応2024
- 著者名
  河村隆生，升山義紀，小野順貴
- 雑誌名
  
  信号処理シンポジウム予稿集
[雑誌論文] 非同期分散マイクロホンアレイによる音響シーン分類のための非同期データ拡張2024
- 著者名
  河村隆生，小野順貴
- 雑誌名
  
  信学技報
[雑誌論文] DPマッチングに基づく分散録音のブラインド同期とブラインド音源分離への応用2024
- 著者名
  竹内駿人，河村隆生，小野順貴，荒木章子
- 雑誌名
  
  日本音響学会春季研究発表会講演論文集
[雑誌論文] 音光変換デバイス「ブリンキー」を用いた音響シーン分類のためのデータセット構築の検討2024
- 著者名
  木次駿，河村隆生，小野順貴
- 雑誌名
  
  日本音響学会春季研究発表会講演論文集
[雑誌論文] 言語クエリを用いた音源分離の多チャンネル拡張の検討2024
- 著者名
  中村優希，中嶋大志，小野順貴
- 雑誌名
  
  日本音響学会春季研究発表会講演論文集
[雑誌論文] Aidge: a new framework for DNN development, training and deployment on the Edge.2024
- 著者名
  Fabian Chersi et al.
- 雑誌名
  
  Proceedings of the 1st European Conference on Edge A.I., EEAI24
- 査読あり

組み込み機器による音響信号の意味論的理解と分離

研究代表者

原田 登 日本電信電話株式会社 コミュニケーション科学基礎研究所, メディア情報研究部, 上席特別研究員

報告書

主な研究成果

[雑誌論文] End-to-End Training of Acoustic Scene Classification Using Distributed Sound-to-Light Conversion Devices: Verification through Simulation Experiments2024

著者名

雑誌名

DOI

[雑誌論文] Acoustic Scene Classification Using Inter- and Intra-subarray Spatial Features in Distributed Microphone Array2024

著者名

雑誌名

DOI

[雑誌論文] Towards Learning a Difference-Aware General-Purpose Audio Representation2024

著者名

雑誌名

[雑誌論文] Interaural time difference loss for binaural target sound extraction2024

著者名

雑誌名

DOI

[雑誌論文] Direct Update of Back-Projected Demixing Matrices in Blind Source Separation2024

著者名

雑誌名

DOI

[雑誌論文] Synchronization of Signals with Sampling Rate Offset and Missing Data Using Dynamic Programming Matching2024

著者名

雑誌名

DOI

[雑誌論文] 招待ランチョンセミナー：DCASE2024 Workshop東京開催の概要とDCASE2025関連情報のご紹介2024

著者名

雑誌名

[雑誌論文] DPマッチングと相互相関を用いた欠損を含む信号からの同期信号の生成2024

著者名

雑誌名

[雑誌論文] 音響シーン・同期・マイク位置の手がかりのための多チャンネル録音を用いたアンカー音検出の検討2024

著者名

雑誌名

[雑誌論文] エイリアス成分のブラインド音源分離による帯域復元のマイクロホン数増加による拡張2024

著者名

雑誌名

[雑誌論文] 音響シーン分類における室内の異なる位置のマイクロホンアレイに対するドメイン適応2024

著者名

雑誌名

[雑誌論文] 非同期分散マイクロホンアレイによる音響シーン分類のための非同期データ拡張2024

著者名

雑誌名

[雑誌論文] DPマッチングに基づく分散録音のブラインド同期とブラインド音源分離への応用2024

著者名

雑誌名

[雑誌論文] 音光変換デバイス「ブリンキー」を用いた音響シーン分類のためのデータセット構築の検討2024

著者名

雑誌名

[雑誌論文] 言語クエリを用いた音源分離の多チャンネル拡張の検討2024

著者名

雑誌名

[雑誌論文] Aidge: a new framework for DNN development, training and deployment on the Edge.2024

著者名

雑誌名

原田登日本電信電話株式会社コミュニケーション科学基礎研究所, メディア情報研究部, 上席特別研究員