DNP、解説音声をテキストにしてスマートグラスに字幕表示するシステムを開発

美術館や博物館では、アート作品や文化財等について、より多くの人が楽しみを深められるように、年齢や障がいの有無、母国語の違い等に関わらず、必要な情報がより多くの人に届き、意思疎通が可能となるユニバーサル・コミュニケーションの取り組みを進めている。

大日本印刷株式会社(以下、DNP)は、聴覚に障がいがある人もアート作品を一層楽しめるように、ガイドスタッフや体験会参加者の音声等をテキストにしてスマートグラスに字幕表示するシステムを開発した。

同システムは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」における「先端サービス実装分科会プロジェクト」として採択を受け、開発パートナーである株式会社アイシンの協力のもとで開発した。この連携により、リアルタイムで音声を認識し、スマートグラスに字幕を表示することが可能になった。

また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を拾って字幕に表示することができる。

さらに同システムでは、テキストデータの内容を自動解析し、そこで表現された感情や話題に合わせて自動的にフォントを切り替える「DNP感情表現フォントシステム」を活用している。音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示する。

例えば、楽しそうな表現・単語はポップなフォントや明るい色で、悲しそうな表現・単語は繊細な印象のあるフォントや寂しい色で、作品名などは太めのフォントや赤色で表示する。フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなる。

DNP、解説音声をテキストにしてスマートグラスに字幕表示するシステムを開発
スマートグラスを装着して鑑賞するイメージ

無料メルマガ会員に登録しませんか?

膨大な記事を効率よくチェック!

IoTNEWSは、毎日10-20本の新着ニュースを公開しております。 また、デジタル社会に必要な視点を養う、DIGITIDEという特集コンテンツも毎日投稿しております。

そこで、週一回配信される、無料のメールマガジン会員になっていただくと、記事一覧やオリジナルコンテンツの情報が取得可能となります。

  • DXに関する最新ニュース
  • 曜日代わりのデジタル社会の潮流を知る『DIGITIDE』
  • 実践を重要視する方に聞く、インタビュー記事
  • 業務改革に必要なDX手法などDXノウハウ

など、多岐にわたるテーマが配信されております。

また、無料メルマガ会員になると、会員限定のコンテンツも読むことができます。

無料メールから、気になるテーマの記事だけをピックアップして読んでいただけます。 ぜひ、無料のメールマガジンを購読して、貴社の取り組みに役立ててください。

無料メルマガ会員登録