DNP、解説音声をテキストにしてスマートグラスに字幕表示するシステムを開発

美術館や博物館では、アート作品や文化財等について、より多くの人が楽しみを深められるように、年齢や障がいの有無、母国語の違い等に関わらず、必要な情報がより多くの人に届き、意思疎通が可能となるユニバーサル・コミュニケーションの取り組みを進めている。

大日本印刷株式会社（以下、DNP）は、聴覚に障がいがある人もアート作品を一層楽しめるように、ガイドスタッフや体験会参加者の音声等をテキストにしてスマートグラスに字幕表示するシステムを開発した。

同システムは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端サービス実装分科会プロジェクト」として採択を受け、開発パートナーである株式会社アイシンの協力のもとで開発した。この連携により、リアルタイムで音声を認識し、スマートグラスに字幕を表示することが可能になった。

また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を拾って字幕に表示することができる。

さらに同システムでは、テキストデータの内容を自動解析し、そこで表現された感情や話題に合わせて自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用している。音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示する。

例えば、楽しそうな表現・単語はポップなフォントや明るい色で、悲しそうな表現・単語は繊細な印象のあるフォントや寂しい色で、作品名などは太めのフォントや赤色で表示する。フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなる。

IoTNEWS編集部

IoTに関する様々な情報を取材し、皆様にお届けいたします。