映像記述のための言語を創出する人工知能の実現

研究課題

体系的番号	JPMJFR216O
DOI	https://doi.org/10.52926/JPMJFR216O
研究代表者	中島悠太大阪大学, データビリティフロンティア機構, 准教授
研究期間 (年度)	2022 – 2028 (予定)
概要	深層学習のモデルは映像の意味をほとんど理解できていない–これは最近知られるようになった経験的事実です。本研究では、この問題の本質が、どこに注目するかによって様々な解釈ができる映像を現在の深層学習が映像の内容をうまく捉えられていないことにあると考え、人が映像の内容を言語で表すように、深層学習自体が創り出す新しい「言語」によって映像を記述することによって、真に映像を理解する深層学習の仕組みを創出します。
研究領域	八木パネル

報告書

(4件)

主な研究成果
(12件)

すべて 2024

すべて雑誌論文 (12件) (国際共著 6件、査読あり 12件、オープンアクセス 12件)

[雑誌論文] Reproducibility Companion Paper: Stable Diffusion for Content-Style Disentanglement in Art Analysis2024
- 著者名
  Yankun Wu, Yuta Nakashima, Noa Garcia, Sheng Li, Zhaoyang Zeng
- 雑誌名
  
  Proceedings of the 2024 International Conference on Multimedia Retrieval
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Retrieving Emotional Stimuli in Artworks2024
- 著者名
  Tianwei Chen, Noa Garcia, Liangzhi Li, Yuta Nakashima
- 雑誌名
  
  Proceedings of the 2024 International Conference on Multimedia Retrieval
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Auditing Image-based NSFW Classifiers for Content Filtering2024
- 著者名
  Warren Leu, Yuta Nakashima, Noa Garcia
- 雑誌名
  
  The 2024 ACM Conference on Fairness, Accountability, and Transparency
- 査読あり / オープンアクセス
[雑誌論文] Would Deep Generative Models Amplify Bias in Future Models?2024
- 著者名
  Tianwei Chen, Yusuke Hirota, Mayu Otani, Noa Garcia, Yuta Nakashima
- 雑誌名
  
  Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition
- 査読あり / オープンアクセス
[雑誌論文] GOYA: Leveraging Generative Art for Content-Style Disentanglement2024
- 著者名
  Yankun Wu, Yuta Nakashima, Noa Garcia
- 雑誌名
  
  Journal of Imaging
  
  巻: 10 号: 7
- 査読あり / オープンアクセス
[雑誌論文] Stable diffusion exposed: Gender bias from prompt to image2024
- 著者名
  Yankun Wu, Yuta Nakashima, and Noa Garcia
- 雑誌名
  
  Proceedings of AAAI/ACM Conference on AI, Ethics, and Society
  
  ページ: 1648-1659
- 査読あり / オープンアクセス
[雑誌論文] From Descriptive Richness to Bias: Unveiling the Dark Side of Generative Image Caption Enrichment2024
- 著者名
  Yusuke Hirota, Ryo Hachiuma, Chao-Han Huck Yang, Yuta Nakashima
- 雑誌名
  
  Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing
  
  ページ: 17807-17816
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Resampled Datasets Are Not Enough: Mitigating Societal Bias Beyond Single Attributes2024
- 著者名
  Yusuke Hirota, Jerone TA Andrew, Dora Zhao, Orestis Papakyriakopoulos, Apostolos Modas, Yuta Nakashima, Alice Xiang
- 雑誌名
  
  Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] Learning more may not be better: Knowledge transferability in vision-and-language tasks,” Journal of Imaging2024
- 著者名
  Tianwei Chen, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima, and Hajime Nagahara
- 雑誌名
  
  Journal of Imaging
  
  巻: 10 号: 12
- 査読あり / オープンアクセス
[雑誌論文] DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models2024
- 著者名
  Bowen Wang, Jiuyang Chang, Yiming Qian, Guoxin Chen, Junhao Chen, Zhouqiang Jiang, Jiahao Zhang, Yuta Nakashima, Hajime Nagahara
- 雑誌名
  
  Proceedings of the Thirty-Eighth Annual Conference on Neural Information Processing Systems
- 査読あり / オープンアクセス / 国際共著
[雑誌論文] PALADIN: Understanding video intentions in political advertisement videos2024
- 著者名
  Hong Liu, Yuta Nakashima, and Noboru Babaguchi
- 雑誌名
  
  Proceedings of IEEE Winter Conference on Applications of Computer Vision (WACV)
  
  ページ: 8239-8248
- 査読あり / オープンアクセス
[雑誌論文] No annotations for object detection in art through stable diffusion2024
- 著者名
  Patrick Ramos, Nicolas Gonthier, Selina Khan, Yuta Nakashima, and Noa Garcia
- 雑誌名
  
  Proceedings of IEEE Winter Conference on Applications of Computer Vision (WACV)
- 査読あり / オープンアクセス / 国際共著

映像記述のための言語を創出する人工知能の実現

研究代表者

中島 悠太 大阪大学, データビリティフロンティア機構, 准教授

報告書

主な研究成果

[雑誌論文] Reproducibility Companion Paper: Stable Diffusion for Content-Style Disentanglement in Art Analysis2024

著者名

雑誌名

[雑誌論文] Retrieving Emotional Stimuli in Artworks2024

著者名

雑誌名

[雑誌論文] Auditing Image-based NSFW Classifiers for Content Filtering2024

著者名

雑誌名

[雑誌論文] Would Deep Generative Models Amplify Bias in Future Models?2024

著者名

雑誌名

[雑誌論文] GOYA: Leveraging Generative Art for Content-Style Disentanglement2024

著者名

雑誌名

[雑誌論文] Stable diffusion exposed: Gender bias from prompt to image2024

著者名

雑誌名

[雑誌論文] From Descriptive Richness to Bias: Unveiling the Dark Side of Generative Image Caption Enrichment2024

著者名

雑誌名

[雑誌論文] Resampled Datasets Are Not Enough: Mitigating Societal Bias Beyond Single Attributes2024

著者名

雑誌名

[雑誌論文] Learning more may not be better: Knowledge transferability in vision-and-language tasks,” Journal of Imaging2024

著者名

雑誌名

[雑誌論文] DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models2024

著者名

雑誌名

[雑誌論文] PALADIN: Understanding video intentions in political advertisement videos2024

著者名

雑誌名

[雑誌論文] No annotations for object detection in art through stable diffusion2024

著者名

雑誌名

中島悠太大阪大学, データビリティフロンティア機構, 准教授