モビリティやインフラ分野など、屋外で利用される画像認識AIの応用が進んでいる。一方、屋外で取得される画像は天候の影響をうけるため雨、雪、霧などの悪天候下では、物体の見えが大きく変化し、認識精度が著しく低下することが知られている。
そのような中、全天候で利用できる実用的なAIを実現するために雨、雪、霧などを画像から除去する「悪天候除去（Weather Removal）」と呼ばれるタスクが注目を集めている。特定の天候やタスクに特化したAIモデル（エキスパートモデル）を構築する取り組みは一定の成果を見せているが、現実世界には「複数の天候が混在する悪天候」が存在し、より信頼性の高い判断が求められる。
そこで、複数のエキスパートモデルを混合するアンサンブルモデルの研究もなされているが、パラメータが激増することから、計算量の面で実用的なモデルは存在していなかった。
パナソニック ホールディングス株式会社（以下、パナソニックHD）とカリフォルニア大学 バークレー校（以下、UC Berkeley）、南京大学、北京大学の研究者は、画像認識精度を著しく低下させる雨や雪、霧などを画像から除去することで、画像認識精度を向上させる悪天候除去AI（MoFME（Mixture-of-Feature-Modulation-Experts））を共同開発した。
同技術は、異なる天候のパラメータを重みで表現することで、少ないパラメータ数で天候の影響を除去し、一つのモデルで複数種類の天候とタスクに対応することができる。具体的には、画像認識精度を低下させる雨や雪、霧を1つのアンサンブルモデルで、かつ従来の1/3のパラメータ数で除去する。これにより、車載センサにおける危険検知やセキュリティカメラなど全天候で高精度な画像認識が必要とされる様々な場面での活用が期待できる。
従来では天候やタスクに応じて複数のエキスパートモデルを用意する必要があった画像認識やセグメンテーションなどのタスクを、1つのアンサンブルモデルにより実用的な計算量で実現するため、2つの新しい手法を導入した。
1つ目は、複数のエキスパートモデルのパラメータを線形変換の重みで表現する「特徴変調エキスパート（Feature Modulated Expert）」という手法だ。異なるエキスパートモデルのパラメータを個別に学習するのではなく、特定のエキスパートモデルの線形変調により表現することで、総パラメータ数と計算量を削減した。
2つ目は、入力画像の特徴に応じて、各エキスパートモデルの寄与度を切り替える「不確実性を考慮したルーター（Uncertainty-aware Router）」という手法である。各エキスパートモデルは、それぞれ得意とする天候が異なる。そこで、あるエキスパートモデルが、天候除去結果に余り自信がない（不確実性が高い）場合は、そのモデルの寄与度を下げ、逆の場合は寄与度を上げるよう最適化することで、アンサンブルモデルの信頼性を高め、画像認識性能を向上させた。
上図は、データセット「RainCityscapes」に対するMoFMEによる悪天候除去およびセグメンテーションの結果である。雨と霧が混在するような複雑な画像に対しても、雨と霧の両方を除去し正解画像同等の結果を得た。さらに、悪天候下ではセグメンテーションの精度が著しく低下するが、MoFMEにより事前に悪天候除去を行うことで、セグメンテーションの精度低下を抑制することができた。
また同技術は、多重悪天候画像に対する画像認識およびセグメンテーションタスクにおいて、パラメータを72％以上、推論時間を39％節約しながら、従来法より認識精度を上げられる画像復元性能を示した。