NVIDIA、リアルタイムでAIの活用を可能にするエッジコンピューティングプラットフォームを発表

2025年までに、1,500億ものマシンセンサーとIoTデバイスによってストリーミングデータが継続的に送り出されるようになり、処理が必要になると言われている。そのデータ量は、今日、スマートフォンを使用する個人が生み出すデータ量に比べ、桁違いに大きくなる。

そこで、クラウドに送信しなければならないデータの量を低減しながら、保証されたレスポンス時間で、データが生成されるエッジで瞬間的にハイスループットのAIを実施したいという要望が増えている。

この要望に応えるため、NVIDIAは、企業が低レイテンシのAIをエッジで活用して、5G対応の基地局や倉庫、小売店、工場などから継続的に送られてくるストリーミングデータをリアルタイムで認識および把握し、活用するための高速化されたコンピューティングプラットフォーム「NVIDIA EGX」を発表した。

NVIDIA EGXは、数ワットの電力消費で、画像認識などのタスクを1秒当たり5,000億回の演算（TOPS）で処理が行えるNVIDIA Jetson Nanoから、10,000 TOPSの演算能力で、リアルタイムの音声認識や他のリアルタイムのAIタスクにも対処できるフルラックのNVIDIA T4 サーバーを含んでいる。

NVIDIAは、Red Hatと協力し、KubernetesコンテナオーケストレーションプラットフォームであるOpenShiftとNVIDIA Edge Stackの統合と最適化を図った。

NVIDIA Edge Stackは、NVIDIAのドライバー、CUDA Kubernetesプラグイン、CUDA コンテナランタイム、CUDA-XTMライブラリ、ならびにTensorRT、TensorRT推論サーバーおよびDeepStreamといった、コンテナ化されたAIフレームワークおよびアプリケーションで構成される最適化されたソフトウェアだ。NVIDIA Edge Stackは、認証されたサーバーのために最適化されており、NVIDIA NGCレジストリからダウンロードできる。

NVIDIA EGXは、フルレンジのNVDIA AI演算技術をRed HatのOpenShiftとNVIDIA Edge Stack、ならびにMellanoxとCiscoのセキュリティ、ネットワーキング、および保存の技術を一体化させている。これにより、通信、製造、小売、ヘルスケア、輸送業界などの企業は、セキュリティが万全のエンタープライズグレードのAIインフラを迅速に立ち上げることができる。

NVIDIA AIコンピューティングは、構造的にNVIDIA EGXとの互換性を備えている。クラウドで開発されたAIアプリケーションはNVIDIA EGX上で動作することができ、その逆も可能だ。NVIDIAエッジスタックは大規模なクラウドIoTサービスに接続でき、顧客は、AWS IoT GreengrassおよびMicrosoft Azure IoT Edgeから、サービスのリモート管理が可能となる。

NVIDIA EGXは、エッジでのAIを最適化しており、これらには、AnyVisionやDeepVision、IronYun、Malong Technologiesといったソフトウェアベンダーから出されている、大規模な小売りチェーンおよびスマートシティー向けビデオアナリティクスや、12 Sigma、Infervision、Qunatib、Subtle Medicalなどから出されている、医療用ソフトウェアも含まれている。

EGXサーバーは、ATOS、Cisco、Dell EMC、富士通、Hewlett Packard Enterprise、Inspur、Lenovoといった、コンピューティング技術を供給しているグローバルな企業、その他大手のサーバー、およびIoTシステムのメーカーから入手できる。NVIDIA EGXサーバーは、NVIDIA Edge Stack向けに調整され、CUDAで高速化されたコンテナ向けにNGC-Readyの認証を受けている。