千葉工業大学・NEC他、エッジAIの低電力化に貢献するスパイキングニューラルネットワークの発火頻度低減に成功

千葉工業大学数理工学研究センターの酒見悠介上席研究員、マサチューセッツ工科大学の山本かけい氏、NECの細見岳生氏、東京大学の合原一幸特別教授・名誉教授らの研究チームは、脳の情報処理機構を模倣するスパイキングニューラルネットワーク（以下、SNN）において、予測精度を保つ一方で、ニューロンの発火頻度を低減する手法を開発した。

SNNは、スパイク信号による情報処理が可能な脳を模倣した人工知能モデルである。このモデルは、エネルギー効率が高く、専用ハードウェア化により深層学習モデルよりも高いエネルギー効率を達成することが可能である。

今回の研究では、TTFSコーディングされたSNN（以下、TTFS-SNN）を、さらに発火抑制するための学習手法を開発し、SSR（Spike-Timing-Based Sparse-Firing Regularization）と名付けられた。

一般的な教師あり学習で用いられるコスト関数に、SSR正則化項を加えることで、発火を抑えつつデータセットを学習させることができる。

加えて、異なる観点で2つのSSR手法、M-SSRとF-SSRを導出しており、どちらの正則化関数も発火時刻およびそれに関連した重みの情報のみを用いている。この特徴により、発火現象を直接的に抑制させることが可能となっている。

M-SSRを導入した時の学習結果は、正則化強度が強いほど中間層の発火は低減されているが、出力層の発火時刻に大きな変化はないことが示されている。

これは、発火を低減しても、予測が可能なことを表している。

また、上記をより詳細に調べるために、SSR正則化強度を変化させた場合の、発火率と予測精度のトレードオフについても検証された。下図が示すように、SSR正則化を導入しない場合には、ネットワーク全体での発火は1ニューロン当たり平均0.5回であったが、正則化を導入することで、1ニューロン当たり平均0.2回程度まで予測精度を著しく劣化させずに低減させることが確認された。

なお、SNNの発火を低減させる研究にはいくつか先行研究が存在しているが、それらの研究は、スパイクの発生頻度に情報が込められるレートコーディングを基にしているほか、離散時刻系のSNNに限定されていた。これらの手法は、膜電位を低減しているとみなすことが出来るため、今回の研究におけるM-SSRと同様の発想だ。

しかし、M-SSRでは、極限操作により膜電位を直接的に扱わない時刻型の正則化関数の導出に成功している。

これは、今回の研究が連続時間系のSNNをもとに学習アルゴリズムを構築したことによって初めて可能になっている。さらに、膜電位を低減する従来手法に比べて、M-SSRはより優れた発火率と予測精度のトレードオフ特性を示すことができた。

これにより、発火頻度の低減が消費エネルギーの低減をもたらし、この技術は低電力が求められるエッジAIにおいて、今後重要となると考えられている。

今後は、SNNのアルゴリズム・モデルの研究に加え、アナログハードウェア自体の開発にも取り組み、エッジAIの実装を目指す計画だ。

なお、この研究成果は、2022年12月21日に査読付き国際学術雑誌「Scientific Reports」で公開されている。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。