NEC、生鮮品からパッケージ品まで、あらゆる小売商品を画像認識する多種物体認識技術を開発

NECは、スーパーやコンビニなどの小売店で、決済時に必要な商品読み取りを効率化する技術として、生鮮品や日配品から、パッケージ品まで、あらゆる小売商品を画像認識する多種物体認識技術を開発したと発表した。

同技術は、特性の異なるディープラーニング技術と特徴点マッチング技術を融合させることで、生鮮品のように個体ごとに外観の違いが大きい自然物から、パッケージ品のように酷似したデザインが大量にある工業製品まで、多種多様な小売商品を高精度に認識するという。

さらに、これら多数の商品を雑然と置いても、一括して個々の商品を頑健に認識できるということだ。

近年、画像認識技術を用いてカメラから小売商品そのものを認識することで、小売店の決済を省力化・無人化する取り組みが進められている。

しかし従来の画像認識技術では、生鮮品などの自然物と、パッケージ品などの工業製品では、特性が異なるため、それら多種多様な商品を一律に認識することは困難だった。

また、これらの商品をまとめて正しく認識するには、商品を整然と並べる作業が発生し、利用者の負担となることが問題だった。

NECは同技術により、バーコードやRFIDを一つ一つ読み込ませなくても、レジ台に商品を置くだけの簡易な操作で、商品を一括して認識できるため、決済における商品読み取りを効率化できるとした。

背景

近年、小売業界では労働力不足が深刻になっており、店舗運営の省力化・無人化が極めて重要になっている。特に、店員負荷の高い決済業務（レジ精算）の無人化が強く求められている。

決済業務を無人化するために、セルフレジの活用が考えられる。セルフレジでは、顧客自らが商品のバーコードを1つ1つ機械にかざして読み込ませる必要がある。

しかし、バーコードリーダーに不慣れな顧客はバーコードを読み込ませるのに時間がかかったり、生鮮品のようなバーコードが付与できない商品は、セルフレジでの対応が煩雑になるなど、効率化に課題があった。

またRFIDを商品に付与し決済の自動化を行う試みも開始されているが、低価格品への付与は割高になるため、本格普及はまだ先となっている。

今回開発された画像認識技術は、バーコードやRFIDを必要とせず、生鮮品や日配品からパッケージ品まで、小売店で扱われる多種多様な商品を、雑然と置かれた複雑環境でも頑健に認識できる多種物体認識技術だという。これにより、顧客がレジ台に多数の商品を置くだけで、一括で正確な商品の読み取りを実現するという。

新技術の特長

自然物から工業製品まで特性の異なる多種多様な小売商品を高精度に認識

同技術では、ディープラーニング技術と特徴点マッチング技術の、異なる特性を持った画像認識技術を融合した。

商品ごとに、ディープラーニング技術と特徴マッチング技術のそれぞれを適用したときの認識精度を推定し、認識精度が最大化されるように各技術を適用する配分を調整する。

商品ごとに調整した配分に基づいて、各技術での認識結果を統合する。

青果物などの生鮮品のように個体ごとに外観の違いが大きい自然物に対しては、個体ごとの違いを吸収して判別できるディープラーニング技術が適用され、飲料・菓子・カップ麺・雑貨などのパッケージ品のように酷似したデザインが大量にある工業製品に対しては、デザイン配置の違いを詳細に判別できる特徴点マッチング技術が適用される。

弁当・デリカなどの日配品のように自然物（具材）と工業製品（商品ラベル）の特性を併せ持つ商品に対しては、両方の技術が適用され、その結果を統合して認識する。

商品の特性に合わせて、両技術を適応的に融合することで、単体技術を適用しただけの場合と比較して、多種多様な小売商品に対する認識精度を向上させることができるという。