Qlik、Databricksのデータインテリジェンスプラットフォーム上で動作する新しい機能群を発表

Qlikは、Databricksのシステムを使っている企業向けに、Databricksのデータインテリジェンスプラットフォーム上で動作する新しい機能群を発表した。

一つ目は、異なる種類のデータベースやシステム間で、データを高速かつ継続的に同期させるソフトウェアである「Qlik Replicate」が、Databricksのデータプラットフォームと連携した。

これにより、企業内の様々なデータソースから発生するデータ変更を、DatabricksのUnity Catalogが管理するIcebergテーブルへ直接、継続的にストリーミングできるようになり、DeltaおよびIcebergの両フォーマットに対応する、SLAを満たす低遅延なデータ取り込みが可能となった。

これは、IoTデバイスで何らかのイベントが発生し、そのデータが更新された瞬間から、ほぼリアルタイムでその情報がデータ基盤に反映されることを意味する。

例えば、工場設備の異常発生データが即座にシステムに取り込まれ、AIがそれを検知してアラートを発するといった、迅速な対応が可能になる。

さらに、クラウドベースのデータ統合プラットフォームである「Qlik Talend Cloud」を通じてIcebergテーブルにデータが取り込まれると、「Qlik Open Lakehouse」の自動最適化機能が作動する。

この機能は、データのコンパクション（整理・圧縮）やパーティショニング（区分け）をインテリジェントに処理することで、ストレージ容量を削減し、AIがデータを検索する際のクエリ速度を向上させる。

そして、最適化されたIcebergテーブルは、Databricksが提供する「Photon」という高速な処理エンジンや、Iceberg形式に対応している他のデータ分析ツールからも、常に低遅延でクエリ実行ができるようになる。

また、今回の機能強化では、データチームがガバナンスの効いた高品質なデータ製品を構築できるよう、Databricksのアセットに対してデータ品質の計算処理を「プッシュダウン」することが可能になった。

「プッシュダウン」とはデータが実際に保存されている場所でデータを評価することで、これにより、データ製品は信頼性が高く、正確で、AI活用に最適な状態を維持できるようになった。

これらの機能強化により、企業のデータチームは様々なオープンフォーマットに、より柔軟に対応できるようになる。特に、DeltaおよびIcebergデータの運用パフォーマンス向上や、信頼性の高いAI対応アーキテクチャへの移行を加速させることができる。なお、これはDatabricks固有のガバナンスやパフォーマンスを損なうことなく実現することができるということだ。

これらの新機能は、現在プライベートプレビューで利用でき、QlikがDatabricks向けに計画しているOpen Lakehouseとの統合は現在開発中であり、発売時期は今後発表されるとのことだ。

また、Qlikは今後、開発者向けの新機能として、スキーマ推論、Databricksノートブックのインポート、ネイティブなSparkデバッグ機能などを導入するとしている。