NVIDIA、AI推論の高速化を実現するソフトウェア「TensorRT 3」を発表

NVIDIAは新しいAI推論ソフトウェア「NVIDIA TensorRT 3」を発表した。NVIDIA GPUと組み合わせることで画像認識や音声認識、自然言語処理、画像検索、個人に合わせたレコメンデーションなど、AI対応サービスのフレームワークで高速の効率的な推論が可能。NVIDIA Tesla GPUアクセラレータではCPU よりも最大40倍の高速化かつ10分の1のコストで達成できるという。

1,200社以上の企業が、データから新たな洞察を引き出してインテリジェントサービスを企業や消費者に展開するため、NVIDIAの推論プラットフォームを利用しているという。そこには、Amazon、Microsoft、Facebook、Google、Alibaba、Baidu、JD.com、iFLYTEK、Hikvision、Tencent、WeChatなどが含まれる。

TensorRT 3は、高精度のINT8およびFP16でのネットワークの実行が可能になるため、データセンターの運営担当者は調達コストや年間エネルギーコストを数千万ドル単位で節約でき、また開発者が利用すればトレーニング済みのニューラルネットワークを取り入れ、1日で既存のフレームワークよりも3~5倍高速の推論ソリューションを開発できるという。

自律型トラック輸送テクノロジの開発を手がける中国のスタートアップ企業TuSimpleは、TensorRTによる最適化を利用して推論パフォーマンスが30%向上。本年6月には、NVIDIA GPUとカメラを主なセンサーとして使用し、カリフォルニア州サンディエゴからアリゾナ州ユマまでの約270 kmのレベル4テスト走行を成功させたという。

なお、NVIDIAはAIのさらなる高速化に向けて次のソフトウェアを新規導入した。

  1. DeepStream SDK:
    リアルタイムの低遅延ビデオ分析を実行できる。開発者はINT8の精度やGPUアクセラレーテッドのコード変換といった高度なビデオ推論機能を組み込み、オブジェクトの分類や状況の理解などのAIを利用したサービスをサポートする。単一の Tesla P4 GPUアクセラレータで最大30件のHDストリームをリアルタイムで処理できるという。
  2. CUDA 9:
    NVIDIA VoltaアーキテクチャベースのGPU。最大5倍高速なライブラリ、スレッド管理用の新しいプログラミングモデル、デバッグツールやプロファイリングツールの更新をサポート。HPCアプリケーションやディープラーニングアプリケーションを高速化する。Tesla V100 GPUアクセラレータで最大のパフォーマンスを発揮できるよう最適化されている。

【関連リンク】
エヌビディア(NVIDIA)
TuSimple

Previous

NTTデータ、顧客の行動データを活用したリアルタイムマーケティングソリューションの提供を開始

かもめや、ドローン等の無人機運行における920MHz帯IoT通信モジュールの実証実験を開始

Next