Rosso、非同期型の「台帳型連合学習」を開発し通信量40％削減を実現

株式会社Rossoは、台帳型連合学習を開発し、完全非同期かつ通信量を削減する連合学習を実現したと発表した。これにより、同社の概算では、通信量が40％以上削減されるとのことだ。

連合学習とは、データが複数拠点に分散している状態からAIを作る仕組みで、学習時にデータを1か所に集めないことが特徴だ。個々で所有しているデータを中央サーバに送る必要がないため、プライバシーに関わるデータや拠点外部に持ち出したくない機密情報を保護しながら、データを活用することが可能となる。

従来の連合学習では、サーバ側で平均化処理を行うために、各クライアントが平均化処理を待つ同期処理が必要であるほか、大規模なAIモデルを扱う場合、サーバ側に平均化処理を行うためのGPUが必要でだった。

そこで今回、Rossoは、シンプルな構成で実装できる台帳型連合学習を開発した。

台帳型連合学習の特徴は、以下の3つだ。

1つ目は、従来サーバ側で行っていたAIモデルの平均化処理をクライアント側で実行することで、各クライアントはサーバ側での平均化処理を待つ必要がなくなり、完全に非同期で学習を進めることが可能となる点だ。

2つ目は、サーバ側でのGPUを用いた行列演算処理が不要で、サーバは各クライアントとネットワークで繋がっているだけでよいため、シンプルな構成となり、従来型と比べて容易に導入できる点だ。

3つ目は、各クライアント毎の学習状況に応じて通信量を制御できるため、通信コストの削減が可能となる点だ。

なお、連合学習ではネットワークを介しながらAIの学習を行うため、通信量がボトルネックとなるケースもあり、台帳型連合学習もその例外ではないが、Rossoでは台帳型連合学習に特化した最適化手法も同時に開発し、各クライアントの学習状況に応じて動的に通信量を変更できるアルゴリズムを実現しているとのことだ。

これにより、固定された通信量で学習したケースと比較して、40％以上の通信量が削減されたことが確認されている。

また、この最適化手法は、非IID（各クライアントのデータ分布が異なる環境）なデータセットに対しても有効に働くのだという。

例えば、物体検出で連合学習を行う場合、通常は各カメラの画像の明るさや人の大きさなど、全く異なる環境で撮影されると、モデルの特徴量を集約しきれず、連合学習がうまく進まない。

しかし、Rossoが提案する台帳型連合学習アルゴリズムは、その点を考慮しているため、上記のようにデータの偏りが激しい環境でも効果を発揮するのだという。

今後Rossoは、台帳型連合学習を活用した物体検出や物体追跡分野への応用を目指すとしている。

現在は、台帳型連合学習を物体検出や物体追跡といった分野に適用させるための実験を行っているとのことだ。また、台帳型連合学習と物体検出タスクを組み合わせ、クラウドサービスとして提供することも検討中だ。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。