NVIDIAは、米国手話（ASL）の学習を支援するAI搭載プラットフォーム「Signs」を発表した。このプラットフォームは、24時間365日利用可能で、AIによるフィードバックと3Dアバターを通じて、よりアクセスしやすいASL学習環境を提供するものとなっている。
いつでもどこでも学べるAI手話教師
Signsは、NVIDIA、米国ろう児協会（American Society for Deaf Children）、クリエイティブエージェンシーHello Mondayの共同開発による、インタラクティブなWebプラットフォームだ。カメラを通じてユーザーの手話動作を読み取り、AIがリアルタイムでフィードバックを提供する。また、音声付きの3Dアバターが手話のデモンストレーションを行う。
米国ろう児協会のエグゼクティブディレクター、Cheri Dowling氏は、「ほとんどのろう児は聴者の親から生まれます。Signsのようなアクセスしやすいツールを家族に提供することで、生後6〜8ヶ月の幼い子供たちとの効果的なコミュニケーションチャネルを開くことができます」と述べている。
ASLデータセットの不足を解消
ASLは米国で3番目に広く使用されている言語だが、英語やスペイン語などの音声言語や書き言葉と比較して、AIデータセットにおける表現が不足している。この格差を是正するため、NVIDIAは大規模なデータセットの構築と検証に取り組んでいる。
SignsのAIは、約1,000の手話単語を表す40万以上のビデオクリップからなるデータセットでトレーニングされている。各手話は、ASL話者や通訳者によって検証され、正確性が確保されている。
将来の展望：表情や地域差への対応
Signsは現在、手話の手の動きと指の位置に焦点を当てているが、ASLでは意味を伝えるために表情も重要な役割を果たす。例えば、「熱い」という手話では、口元に爪を立てた指を置き、口から熱いものを取り除くように突き出すと同時に、息を吐き出すような表情をする。
Signsの開発チームは、これらの非手動信号を追跡し、将来のバージョンに統合する方法を模索している。また、地域の方言、スラング用語、その他のバリエーションをSignsにどのように表現できるかも検討している。
Hello Mondayの創設パートナーであるAnders Jessen氏は、「ASLのアクセシビリティ向上は継続的な取り組みです。Signsは、ろう者と聴者のコミュニティ間のコミュニケーションの壁を越えるのに役立つ高度なAIツールの必要性に応えることができます」と述べている。
オープンソース化によるさらなる発展
Signsは、あらゆるスキルレベルの手話者が特定の単語を手話で表現することで、NVIDIAの成長するASLオープンソースビデオデータセットに貢献できる。このデータセットは今年後半に公開される予定だ。
NVIDIAは、このデータセットを使用して、ろう者と聴者のコミュニティ間のコミュニケーションの壁を打ち破るAIアプリケーションをさらに開発する予定である。このデータは、AIエージェント、デジタルヒューマンアプリケーション、ビデオ会議ツールなどのアクセシブルなテクノロジーを構築するためのリソースとして公開される。
Source
