近年、IoTやモバイルアプリの利用拡大で、GPSなどの位置情報を含むビッグデータの解析ニーズが増えている。しかし、位置情報データ活用のためのデータ解析作業は、データ量が非常に多いことに加え、滞在時間や移動距離などの複雑な時系列データ処理、さらに外部データとの連結処理や多様なフィルターが必要になることが多く、データの解析には高額な費用と月単位の時間が必要だった。
このため、位置情報データ分析ではサンプリングしたほんの一部のデータを解析することが多く、ビッグデータが活用されない状況となっていた。
オーリック・システムズ・ジャパン株式会社のビッグデータ分析基盤「Pivotbillions」は、Master NodeとWorker Nodeを基本構成としたシンプルな構成で、メモリに読み込んだデータを並列分散で処理する。多種多様がデータ構造に対応しており、xcelを操作する感覚でソートや検索、フィルタリングや集計、分析が可能だ。そのほか、データプレパレーションを短期間で低コストに提供できるため、企業のAIや機械学習への取り組みに適するという。
そして今般、オーリック・システムズ・ジャパンはPivotbillionsを強化し、540億件以上の位置情報データに対して複数条件でのフィルタ、距離差・時間差での曖昧結合、集計といった処理を数秒から数十秒程度の応答できるようになった。解析者は短時間で様々な仮説検証を繰り返すことができ、ビッグデータを有用なレポートに変換することができる。
上記データはPivotbillionsによってコントロールされたAmazon Web Serviceを利用した最大500台のAmazon EC2の並列処理で実現されている。一般的なシステムで同じデータ量を処理した場合と比較すると、費用、処理時間とも1/10以下になるという。
同機能により、データベース不要でAmazon S3に保存されている大量の生データファイルを直接解析できるため、中間データ処理を不要とし、解析要件の追加や変更に柔軟に対応することができる。
【関連記事】
オーリック・システムズ・ジャパン、数十億件のデータをリアルタイム処理可能な「PivotBillions」サブスクリプションライセンスを提供開始
無料メルマガ会員に登録しませんか?
IoTに関する様々な情報を取材し、皆様にお届けいたします。