アイシン精機と豊橋技術科学大など、次世代の「移動」を支えるマルチモーダルエージェントを開発

アイシン精機株式会社と株式会社Harmonized Interactions、GarateaCircus株式会社、Idein株式会社、豊橋技術科学大学等は、マルチモーダルエージェントを開発した。

同システムは、将来的に普及が見込まれる自動運転バス車内を想定しており、アイシンが強みとするカメラ画像認識技術（ドライバーモニターシステム、車室内監視システム）を活用して乗客の顔や体の動きを検知することに加え、AIを用いて検知した画像・音声、蓄積されたデータなどを統合的（マルチモーダル）に解析し、乗客の状況や意図を判断する。

この判断を、乗客の転倒防止や忘れ物警告といった「車室内の見守り」機能に活用するだけでなく、3DCGアーティストのTELYUKA氏が制作するCGキャラクター「Saya」と融合して、リアルタイムに乗客の状況や意図に応じた自然な対話をすることができる。

乗車時に個人を認識してSayaが話しかけたり、自動運転に伴う不安を見守り機能で解消したりすることで、より快適な移動を促進する。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。