推論を可能にする手術ロボットへ：認知発達のためのデジタルツインズと実世界ロボティクスの統合
| 体系的番号 |
JPMJSC2501 |
研究代表者 |
荒田 純平 国立大学法人九州大学, 工学研究院, 教授
|
|---|
| 研究期間 (年度) |
2025 – 2028
|
| 概要 | 現在の機械学習等を導入した手術ロボット研究の成果では，動作精度が高く，反復作業に優れる一方で，高度な推論とリアルタイムの認知スキルが不足しており，時々刻々と変遷する実際的な手術シナリオでは実用レベルに達していない。本課題では，内視鏡下手術の中でも代表的な腹腔鏡手術に対し，手術ロボットの認知的推論と適応能力を大幅に強化する。
内視鏡下手術では，体内に挿入した内視鏡の画像を手がかりに，高度な手術手技を患者毎に異なる解剖学的構造に応じて実施し，手術を達成する必要がある。Intuitive Surgical社のDa Vinciに代表される手術ロボットは，コンソールと呼ばれる操作器を通じて執刀医がロボットを操作し，手術を実施する。しかし，より高度な手術ロボットの活用には，手術手技をロボットが理解し，患者の解剖学的構造から適切な戦略を選択し，実行できることが望まれる。加えて，手術ロボットの導入によって全ての手技がロボットで完結するわけでは無く，多くのケースにおいて別の執刀医との連携が期待される[Yang2017]。
現在の技術では，このような手術手技を行うロボットの活用は極めて高い技術開発を必要とする。本課題では，Vision-Language-Action（VLA）モデル[Brohan2023]が大きな役割を果たしうると位置づけた。手術手技は，高度な内視鏡映像のリアルタイム認識と，解剖学的なアノテーションを基礎として記述しうる操作コンテクストが統合して成立するものであり，VLAモデルが対象としうる自然言語条件付きロボットタスクとして好適である。本課題では，システムデザインとAI実装等で優れた研究成果を有する日本側研究者（九州大学）より，研究基盤となる実世界システムとデジタルツイン（手術環境の高精度バーチャルレプリカ）を共通プラットフォームとして韓国側研究者（KIST）へ提供する。
韓国側研究者はこれまでに医療画像を中心とする解剖学的構造へAIを活用する研究で極めて高い業績を有しており，VLAモデルの適用に関する初期フレームワークを構築，デジタルツインでの学習データを基盤として，日本側研究者と共同して実世界システムへの活用を試みる。日本側研究者については特にリアルタイムの医療システムに関するAI活用に関して高度な知見・経験を有しており，両者が共同は極めて有効である。
|
|---|
| 研究領域 | 物理世界におけるAI技術 |
|---|
