MaAI：マルチモーダル対話基盤モデルによる非言語翻訳

研究課題

体系的番号	JPMJPR24I4
DOI	https://doi.org/10.52926/JPMJPR24I4
研究代表者	井上昂治京都大学, 大学院情報学研究科, 助教
研究期間 (年度)	2024 – 2027
概要	異文化コミュニケーションにおける相互理解を促進するために、会話中の非言語的ふるまい（ターンテイキング、相槌、フィラー、視線配布など）を言語・文化間でリアルタイムに翻訳・変換・可視化する多言語マルチモーダル対話基盤モデルMaAIを開発します。そして、異文化コミュニケーションにおける非言語的ふるまいの機能・効果を解明し、「非言語翻訳」という新たな研究トピックを創出します。
研究領域	社会課題を解決する人間中心インタラクションの創出

主な研究成果
(6件)

すべて 2024

すべて雑誌論文 (6件) (国際共著 2件、オープンアクセス 6件、査読あり 3件)

[雑誌論文] Voice Activity Projectionモデルを用いたリアルタイム相槌予測2024
- 著者名
  井上昂治, Divesh Lala, Gabriel Skantze, 河原達也
- 雑誌名
  
  人工知能学会研究会資料
- オープンアクセス / 国際共著
[雑誌論文] 多人数対話における受話者推定のLLMによる試み2024
- 著者名
  井上昂治, Divesh Lala, Mikey Elmers, 越智景子, 河原達也
- 雑誌名
  
  人工知能学会研究会資料
- オープンアクセス
[雑誌論文] 人はなぜ笑うのか？対話における笑いの根拠ラベルの半自動構築2024
- 著者名
  井上昂治, Mikey Elmers, Divesh Lala, 河原達也
- 雑誌名
  
  言語処理学会第31回年次大会
- オープンアクセス
[雑誌論文] Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection.2024
- 著者名
  Koji Inoue, Divesh Lala, Gabriel Skantze, Tatsuya Kawahara
- 雑誌名
  
  Nations of the Americas Chapter of the Association for Computational Linguistics (NAACL)
  
  ページ: 7171-7181
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] An LLM Benchmark for Addressee Recognition in Multi-modal Multi-party Dialogue2024
- 著者名
  Koji Inoue, Divesh Lala, Mikey Elmers, Keiko Ochi, Tatsuya Kawahara
- 雑誌名
  
  International Workshop on Spoken Dialogue Systems Technology (IWSDS)
- 査読あり / オープンアクセス
[雑誌論文] Why Do We Laugh? Annotation and Taxonomy Generation for Laughable Contexts in Spontaneous Text Conversation.2024
- 著者名
  Koji Inoue, Mikey Elmers, Divesh Lala, Tatsuya Kawahara
- 雑誌名
  
  International Workshop on Spoken Dialogue Systems Technology (IWSDS)
- 査読あり / オープンアクセス

MaAI：マルチモーダル対話基盤モデルによる非言語翻訳

研究代表者

井上 昂治 京都大学, 大学院情報学研究科, 助教

主な研究成果

[雑誌論文] Voice Activity Projectionモデルを用いたリアルタイム相槌予測2024

著者名

雑誌名

[雑誌論文] 多人数対話における受話者推定のLLMによる試み2024

著者名

雑誌名

[雑誌論文] 人はなぜ笑うのか？対話における笑いの根拠ラベルの半自動構築2024

著者名

雑誌名

[雑誌論文] Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection.2024

著者名

雑誌名

[雑誌論文] An LLM Benchmark for Addressee Recognition in Multi-modal Multi-party Dialogue2024

著者名

雑誌名

[雑誌論文] Why Do We Laugh? Annotation and Taxonomy Generation for Laughable Contexts in Spontaneous Text Conversation.2024

著者名

雑誌名

井上昂治京都大学, 大学院情報学研究科, 助教