Googleの機械学習、低解像度の画像を高質化するRAISR

IoTNEWS Global

ウェブ上では毎日、何百万もの画像が様々な用途で使用されている。多くの画像は撮影デバイスにより解像度制限があったり、スマホ、タブレットやネットワークの要求に応えるため解像度が故意に縮小されたりする場合が少なくない。現在普及している高画質ディスプレイデバイスでは、低解像度の画像を高質化する技術の需要がある。

グーグルは機械学習を使って、低解像度画像を高質化する技術「RAISR」（Rapid and Accurate Image Super-Resolution）を開発した。RAISRの使用によって出力される画像は従来の超解像技術と同じかそれを上回るレベルでありながら、処理時間はそれらより10～100倍も速く、リアルタイムに動作可能になっている。

アップサンプリングという低解像度画像から、より解像度が高い高質な画像を作成する技術はかなり前から知られている。アップサンプリングは線形法を使い、周りのピクセル値に基づき、新ピクセルを投入している。同方法は早いが、高解像度画像の詳細を明瞭にすることができない。下記の例の通り、アップサンプリングされた画像がぼやけて見えるので、「質が向上した」とは言い難い。

機械学習を使って、低解像度画像を高質化するグーグルの新技術RAISR — 左：低解像度のオリジナル写真　右：アップサンプリングされた写真 (2x)

RAISRの機械学習方法は2種類ある。1つは、低解像度と高解像度の画像セットから学習させる方法で、計算上迅速である。もう1つは、低解像度画像をまずアップサンプリング補正し、出力された画像と高解像度画像を使う。こちらは非整数要因を見込み、ハードウェアベースのアップサンプリングのよりよい活用を可能にする。

RAISRの出力例

高解像度画像が低解像度画像に編集されるとき、モアレパターン（いわゆる干渉縞）やジャギーが現れる。編集された画像を再び高解像度にする場合、その変質をなくすことが困難である。線形法を扱っている技術は元の構成を復元することはできなかったが、RAISRはできる。

超解像技術ははるかに進歩している。この数十年間で発達してきた画像技術と機械学習の併用使用で画像処理を進歩させ、今後、様々な利点をもたらすと期待されている。例えば、スマホのデジタル・ピンチアウト機能を改良する他、低解像度画像を撮影し、保存時や送信時にスマホデータやストレージ制限を超えずに画像の変質なしで高解像度画像に補正できるようになる。

ソース、画像提供：Google Research Blog