正確な位置精度のAR活用で変電所の操作支援を行う　―プレミアムアーツ・PTC・マーターポートインタビュー

株式会社プレミアムアーツ、PTCジャパン株式会社（以下、PTC）、マーターポート株式会社は、2021年6月に中部電力株式会社（以下、中部電力）の送電会社である中部電力パワーグリッド株式会社の変電所で、ARを活用した屋内での電力設備の操作支援に関する検証を実施した。

また、屋内での検証結果を踏まえて3社は、屋外での電力設備の操作支援におけるAR表示精度を確認する検証を、2022年10月に実施している。

そこで本稿では、電力設備におけるAR活用の意義や操作支援に関する検証内容とその成果、今後の展望などについて、株式会社プレミアムアーツ　代表取締役山路和紀（トップ画左）、PTC ジャパン株式会社ビジネスデベロップメントディレクター諸橋伸彦氏（トップ画中央）、マーターポート株式会社　執行役員社長蕭敬和（しょうけいわ）氏（トップ画右）にお話を伺った（聞き手：IoTNEWS 小泉耕二）

ミリ単位の操作支援を3社連携により実現する

IoTNEWS 小泉耕二（以下、小泉）：　まず、中部電力がARを活用した電力設備の操作支援の検証を行った背景と、各社の役割について教えてください。

プレミアムアーツ山路和紀氏（以下、山路氏）：　3年ほど前に、中部電力の技術開発部署から、変電所や発電所等の現場で、AR技術を活用した電力設備の操作支援を行いたいという要望をいただいたことがきっかけです。

ARの技術は様々ありますが、操作支援を実現するにあたり、操作対象となる電力設備の位置を安定して指し示すことができる技術が必要でした。そこで、PTCの「Vuforia（ビューフォリア）」を活用しながら、弊社がシステム設計とプログラム開発を行いました。

マーターポート蕭敬和氏（以下、蕭氏）： Matterport（マーターポート）は、空間をデジタルツイン化するためのハードウェアと画像処理をするAIクラウドを提供しました。弊社の3Dカメラを活用することで、点群データと画像データを自動でスキャンすることができます。

PTC ジャパン諸橋伸彦氏（以下、諸橋）：　Matterportのカメラで取得したデータを、弊社のシステム開発者向けツール「Vuforia Engine」に取り込んでいます。

中部電力では、変電所や発電所等において、電力設備の操作の確実性の更なる向上を目指してデジタル活用を検討されていました。

変電所や発電所では間違いのないオペレーションをしなければ、大きな事故に繋がる可能性があるため、電力設備の操作には確実性が問われます。そこで、AR技術の活用による、操作の確実性を支援する取り組みを提案しました。

小泉：　実際にAR表示させる情報はどのような情報なのでしょうか。

山路：　操作場所、操作機器の名称、開閉機器の番号が表示されるほか、操作場所に行くまでの道が矢印で示されたり、操作する対象が示されたりと、必要な項目が順番にAR表示によって指示されます。

正確な位置精度のAR活用で変電所の操作支援を行う　―プレミアムアーツ・PTC・マーターポートインタビュー — 上部：次に行う指示や移動すべき場所が矢印で表示される。　下部：マーカーにデバイスをかざすと、マーカーを用いない場合より高精度に、操作する対象を緑の四角のAR表示によって指示することができる。

小泉：　設備は似たような形状のものが並んでいて、ボタンもとても多いですね。ひとつの設備の特定のボタンにARを表示するのは難しいと思うのですが、どのように正しく位置を把握しているのでしょうか。

山路：　実際、同様な形状の設備が並んでいると、作成したデータも非常に似ているため、自己位置推定がズレてしまったり、AR表示が隣の列の設備にスワップしてしまったりという課題がありました。

そこで、正確な位置にAR表示するため、Vuforiaの「Vuforia Engine Area Targets」という空間認識技術やマーカーなどの技術を組み合わせながら設計を行っています。

また、設備のボタンやレバーなどは数センチ単位で設置されているため、少なくとも1センチ以下のズレに収まるよう、調整開発を進めています。

小泉：　ボタンやレバーといった形状の点群データと画像データを綺麗に撮影するのは難しいと感じるのですが、撮影する際のコツなどがあったのでしょうか。

山路：　Matterportのカメラは精度が高いため、照明環境さえ整っていれば綺麗に撮影することができます。ただ、対象物をきちんと認識するために、撮影する際の距離やポジションは試行錯誤しました。

蕭：　おっしゃる通り、ボタンのような細かな形状のものを撮るには、実際に撮ってみて確認し、思うような結果でない場合は撮り直しを必要とするケースもあります。弊社のカメラはそうしたトライアンドエラーも容易にできるため、作業の効率化を図れたと思っています。

小泉：　映像さえ綺麗に撮ることができれば、そのデータを「Vuforia Engine」に取り込んで設定ができるということですね。

デジタル化しづらい環境だからこそ必要とされるAR技術

小泉：　AR活用により電力設備の正確な操作の支援を行いたいということでしたが、電力設備の操作自体が難しいのか、新人教育に活用しようとしているのか、プロジェクトが実施された具体的な背景について教えてください。

山路：　変電所や発電所等での電力設備の作業は、一つ手順や操作を間違えると大きな事故に繋がる可能性があるため、正確性が問われます。一方で、電力設備は変電所や発電所の広大なエリアやフロアに跨って設置されていたり、似た設備が複数設置されたりしているため、操作ステップ毎に操作対象となる電力設備の位置やそのスイッチ・ボタンなどを把握し、正しい手順で行うには経験が必要となります。

現状、操作ステップはテキストにて作成しているため、経験の浅い操作者がOJT（職業内訓練）を通じて必要な操作を覚えても、操作対象となる電力設備の位置やそのスイッチ・ボタンの位置を正確に把握して操作できるようになるには、ある程度の習熟期間を要します。

そこで、操作ステップ毎に正確な操作対象の指示をダイレクトに出せる仕組みをARによって実現させるべく、今回の検証が実施されました。

小泉：　こうした操作支援は、通常の作業で活用されるのか、保守・メンテナンスなど、特定の用途で活用されるのか、どのようなシーンで活用されるのでしょうか。

山路：　現状、通常の保守・点検時や、緊急の障害発生時など、シーン毎に必要となる操作手順がテキストにて作成されています。そうしたシーン毎に、行うべき操作の手順をAR表示によって指示することを目指しています。

諸橋：　「Vuforia Engine Area Targets」を活用すれば、アメリカンフットボールのフィールド6面分にあたる空間のデジタルツインを実現できます。今回の事例のように、変電所や発電所といったAR表示エリアが広域な場合においても、ARを活用することができます。

屋外でもAR表示を実現、さらなる操作支援を目指す

小泉：　実際にシステム開発を進めていく中で、難しかった点はありますか。

山路：　今回検証を実施した変電所屋内は、光の影響が少ない環境で、比較的スムーズに取り組むことができました。一方屋外の場合は、天候による光の影響が必ず出てしまいます。また、雪が積もるなど大きく状況が変化する場合には、操作支援の活用は難しいということを説明し、現状実現可能な範囲を明確にしました。

そうした中、トライアンドエラーを繰り返し、晴れや曇りといった天候条件の変化においては、AR認識が著しく低下するような現象は発生していないという検証結果を得ることができました。

小泉：　屋外においてはどのようにシステム構築を行ったのでしょうか。

山路：　屋内同様に変電所屋外の点群データと画像データを取得し、「Vuforia Engine Area Targets」により、AR表示による操作支援を行うエリアを設定しています。

HoloLens及びiPadをかざすことで、矢印が表示されてポイントからポイントへ移動することができ、設備の操作箇所をARにより示すことで、操作支援を行います。

また、屋外には点検やメンテナンスなどの作業時に通電を停止する必要がある電線があり、万が一通電している状態で作業員が電線に接近してしまうと、感電など重大な事故に繋がってしまうため、作業前には必ず通電状況を検電器で確認しています。そこで、通電状況を確認する箇所をARにより指示する検証を行いました。

現状ではあらかじめ設定した確認対象箇所を表示するようにしていますが、将来的には変電所や発電所の運転システムから、通電の有無に関する情報を連携することで、そもそも通電している箇所かどうかをARで表示できるようなシステムの構築が可能と考えています。

小泉：　屋外は目印がなく、細かな位置合わせが屋内以上に難しいのではないかと感じます。「Vuforia Engine Area Targets」以外にも、別でマーカーを置くなどで対応しているのでしょうか。

山路：　マーカーも利用していますが、最小限にしています。代わりに、取得した点群データや画像データを一部加工し、認識精度を上げる工夫をしています。取得したデータをそのまま「Vuforia Engine Area Targets」に取り込んでも、一定の性能で機能しますが、条件が厳しい場合にはデータを加工し、改めてマスターデータとして登録しています。

小泉：　ARによる操作指示は、必要に応じてデータを加工しながらVuforiaにて設定を行っているのですね。

さらに、設備のデータを取得して連携すれば、操作者が操作を実施したという確認も行えそうですが、実現しているのでしょうか。

諸橋：　既にPTCのIoTのプラットフォーム「ThingWorx」と連携することで、エビデンスまで含めたデータを取得することができますが、今回の検証ではまだ連携していません。

山路：　現状では、操作者が「操作を行った」というチェックを入れることによる実施確認をしていますが、今後は電力設備の運転データなどと連携して、操作実施の確認も自動で行えるよう、さらなる支援を目指していきます。

小泉：　本日は貴重なお話をありがとうございました。