聴覚障害者に配慮した新しいコミュニケーションツール“透けるリアルタイム字幕” つくば市役所で試験導入

---

聴覚障害者などのコミュニケーション支援のため、つくば市役所の総合案内に“透けるリアルタイム字幕ディスプレイ”が設置されました。開発したのはデジタルネイチャー研究室が進める「xDiversityプロジェクト」。従来のコミュニケーション支援ツールが抱えていた課題の解決を目指します。

つくば市役所で聴覚障害者等に向けた“リアルタイム字幕”試験導入

2021年7月下旬、つくば市役所本庁舎1階の南側総合案内に、コロナ禍の対策として設置されたアクリル板の下方に透明ディスプレイが設置されました。透明ディスプレイには、マイクを通して認識した音声をリアルタイムで字幕化、表示します。

聴覚障害をもつ方とのコミュニケーションをサポートするとともに、アクリル板設置で聞き取りにくくなった声による案内を視覚的に把握しやすくする役割も期待されています。

出典：【お知らせ】つくば市役所総合案内にて「See-Through Captions」の試験導入を開始しました。｜Digital Nature Group

これは「See-Through Captions（シースルーキャプションズ）」という装置で、日本科学未来館の研究エリアに入居する「xDiversity（クロス・ダイバーシティ）プロジェクト」が開発しています。落合陽一さんの筑波大学デジタルネイチャー研究室に所属する鈴木一平さんらが、株式会社ジャパンディスプレイと共同開発しました。

つくば市役所での実証実験は2021年10月27日までの予定です。

See-Through Captionの特徴

See-Through Captionsには4つの大きな特徴があります。

＜See-Through Captionsの特徴＞

• 字幕を表示するディスプレイが透明になっており、字幕の後ろ側にいる人物などが見える
• 音声入力装置には指向性マイクを使用し、話し手の声をしっかりとらえることができる
• 表示される文字のサイズ・色・透明度・フォントを自由に変更できる
• 聞き手には大きな字幕が表示される一方で、話し手にも同じ字幕が小さな文字で表示される

4つの特徴のうち文字のサイズやフォントを変更できる機能は視認性を高める機能。話し手にも字幕が見える機能は、字幕化にあたっての誤認識・誤変換をチェックしやすくするものです。

See-Through Captionsはつくば市役所での試験導入以前に、2021年6月にも2日間にわたって日本科学未来館内で案内窓口や聴覚障害者の館内ツアーなどで実証実験が行われました。

聴覚障害者とのコミュニケーションツールと課題

これまで聴覚障害をもつ方とのコミュニケーション手段として、手話・指文字や筆談、自動音声認識アプリなどが用いられてきました。

手話・指文字は最も一般的なコミュニケーション手段。しかし習得のための訓練が必要で、コミュニケーションに参加する誰もが手話を使えるわけではありません。

練習せずに手軽に使える方法は、紙などに文字を書く筆談や、あらかじめ記載されている文章やイラストを示してコミュニケーションを図るやり方です。

これらの手段は汎用性が高いのが特徴。一方で、「文字を書く・見せる・読む」という工程を要するためコミュニケーションがゆっくりになり、表情や身振りといった非言語コミュニケーションを見落としやすくなるという課題があります。

あらかじめ用意された文章やイラストを使う方式なら、よりスムーズなコミュニケーションにはなりますが、細かな要求やニュアンスまで伝えるのは困難です。

近年、企業などで導入が進んでいるコミュニケーションツールの1つに、スマホやARシステムを用いて自動音声認識を行い、その内容を字幕化する「リアルタイムキャプション」があります。特に「UDトーク」は1対1の会話から1対多の会話まで対応可能。ルビの表示、他言語への翻訳、誤認識・誤変換の手動修正もできます。

ただ、このような従来のリアルタイムキャプションも、コミュニケーション時にスマホ画面やボードなどを頻繁に見なければなりません。字幕を読むことが中心で相手の表情や身振りをなかなか見られないという点で、やはり課題があります。

ARシステムを用いたリアルタイムキャプションはコミュニケーションの相手を見ることはできますが、誤認識・誤変換に話し手が気づけないという不便さが指摘されています。

字幕ディスプレイが透けるメリットと将来性

こうした従来のコミュニケーションツールの課題を解決しようとするのが、透明ディスプレイの採用でした。

ディスプレイが透明なら字幕の後ろに相手の表情やしぐさが見えるため、言語・非言語の両方のコミュニケーションが可能となります。視線をいちいち画面に向ける必要もないため、会話もより自然でスムーズになるでしょう。

また、特にコロナ禍にあっては、飛沫防止パネルとの相性が良いのも魅力です。つくば市役所のようにアクリル板と共に設置することもできれば、大型化して飛沫防止パネルとして兼用するという活用方法も考えられます。

将来的には聴覚障害をもつ方だけでなくリモートでの対話や飛沫防止パネル越しでの会話への活用が期待される他、多言語への対応も進めているようです。

さらに、“明るい声”や“おそろしそうなしゃべり”を自動で認識してマークや絵文字をつける機能の実装も検討中とのこと。商品化はまだ先の話ですが、実証実験の現在も大きな注目を集めているコミュニケーションツールの1つとなっています。

See-Through Captionsの実証実験参加はSNSやWebサイトをチェック

xDiversityでは実験協力者を募集しています。実証実験の実施は、xDiversityの公式SNSや公式サイトで告知。See-Through Captionsだけでなく、さまざまな研究プロジェクトで実験協力者を募集中です。

協力したい企業・個人の方は、xDiversityの公式サイトにある「研究協力者募集フォーム」から問合せができます。

【参考】
See-Through Captions｜Digital Nature Group
つくば市役所総合案内にて「See-Through Captions」の試験導入を開始しました。｜Digital Nature Group
リアルタイム字幕を表示する透明ディスプレイSee-Through Captions（シースルーキャプションズ）を試験導入しました｜つくば市
透明パネルで言葉と顔の両方が見えると伝わりやすい？〜聞こえる人と聞こえない人のコミュニケーション｜日本化学未来館