マルチモーダルとは、異なる種類のデータの中から特徴を見つけ出す機械学習の手法の一つで、近年の深層学習（ディープラーニング）技術の発展により、学術調査・研究が進んでいる。また、AI技術の社会実装において、米ガートナーのレポート「Top 10 Strategic Technology Trends for 2019」によると、AI市場は受託開発型からサービス型へと変化し、企業におけるAIサービス・ツールの活用が加速すると言われている。
そして今回、株式会社グルーヴノーツは、AIと量子コンピュータを活用した独自のエンタープライズ向けクラウドサービス「MAGELLAN BLOCKS」（マゼランブロックス）において、「マルチモーダルAI機能」を新たに開発し、無料のサービスアップデート（※）として提供開始した。
マルチモーダルAI機能は、数値や画像、文字、音声といった異なる種類、かつ複数のデータを組み合わせて深層学習を行うことができる機能だ。例えば降水量の予測において、従来は気温・日照時間・湿度・気圧・風向・風速等の数値情報をもとに予測をしていたところ、気象衛星の雲の画像も組み合わせたマルチモーダル学習の実現により、状況や環境を総合的に解析できるようになることで、予測に繋がる。
マルチモーダルAI機能の活用によって課題解決を図れる業務領域として、以下のような例が挙げられる。
- 医療機関の病理診断において特に複雑な疾患等では、医師による診断に加え、医用画像（内視鏡画像・放射線画像・病理画像・CT検査画像・レントゲン画像・超音波検査画像等）や電子カルテデータを解析することで、経時変化も捉えた俯瞰的な病変検出や計測が可能になる。
- 製造や建設、交通、エネルギーなど、設備の保全・保守業務において、検査データ（センサー情報・温度情報等）と画像（外観画像・熱画像等）などを組み合わせ、複眼的に検査することで、微細な欠陥や故障の予兆や異常の検知が可能になる。
- インフラ・土木などの工事において、画像（航空写真等）と測量データ、さらに自然環境要因として気象データを掛け合わせることで、地盤の不安定化や構造物の適用性、経時変化を解析する。防災や減災、適切な維持管理に向け施工技術の向上に貢献する。
なお、マルチモーダルAI機能はβ版として、数値データと画像データを対象にしたマルチモーダル学習を実現し、今後も対象データの拡大を図る。
※ マルチモーダルAI機能は、MAGELLAN BLOCKSのサービスモジュールのうち、AI学習モデルを自動生成する「モデルジェネレーター」の機能としてサービスアップデートされる。