リアルタイムと感情的な認識の字幕:コミュニケーションを改善するスマートグラス

聴覚障害者向けに設計された補聴器またはco牛のインプラント、または聴覚障害がある場合、高価、不快または不快感に加えて、場合によっては、適切に機能しないか、ユーザーのニーズを解決しないことがあります。ソリューションを探している彼のマダブ・ラバカレは、イェール大学のコンピューター工学の学生であり、組み合わせたシステムを開発しました。 スマートグラス、字幕、機能 人工知能。

今年、彼は正式に立ち上げました 転写、 その機能的な革新の背後にある会社は、会話をリアルタイムで字幕と翻訳する能力を備えたメガネです。述べたように、プロジェクトに取り組んできました イェール・デイリー・ニュース、研究所がまだ存在していた7年間、ハードウェア、機械工学、3D印刷の知識を適用するプロトタイプの7つの異なるバージョンを実行してきました。

長年の研究、作業、テストの結果は転写されており、目の前のガラスに話しかけられた会話やプロジェクトの字幕を転写しています。メガネにはカメラ、マイク、スピーカーがなく、小さなプロジェクターのみがあります。 ガラスの上に直接字幕を投影します。 ただし、デバイスはモバイルアプリケーションとの接続を必要とするため、電話のマイクでキャプチャされた会話から字幕を生成します。

応用 ソースのサイズと同時に表示されているテキストラインのサイズと、ビジョンの分野での位置の両方に関して、字幕をカスタマイズできます。メガネにはBluetooth、6時間自律性のあるバッテリーがあり、重量が40グラム未満です。

デバイスの価格は377ドルと 毎月のサブスクリプション 転写サービスと談話認識システムにアクセスするための20ドル。 TranscribeGlassは現在、iOSシステム、および英語、スペイン語、フランス語、中国語、イタリア語、ドイツ語、ポルトガル語、韓国語、日本、ベトナム語で利用できます。

彼らは聴覚障害者向けに設計されており、主に難聴があり、唇を読むのが困難な人や騒々しい環境で会話を続けるために設計されています。この意味で、会社の主な焦点は 機能的なシンプルさ、 つまり、ユーザーコミュニケーションを容易にするためにシステムを改善します。

述べたように、それは何ですか 有線、 Lavakareは、よりカラフルなインテリジェントなメガネを作成しているXrai、さらにはGoogleやMetaなど、リアリティ、Google、Metaなど、特にビデオを録画したり、写真を撮ったり、チャットボットとの相互作用を使用したりするなど、市場に存在する他のデバイスとデバイスを区別するものであると考えています。
これらのスマートグラスはすべて存在しますが、誰もまだ使用の真の便利なケースを見つけていません」、ラバカレは前述の媒体にコメントした。」私たちはそれを見つけたと信じています:エンドユーザーにとって大きな価値を持っているもの

この点で、会社はに賭けています 人工知能 提案を改善し、 感情的なトーンの認識 声からのスピーカーの。 TranscribeGlassは、たとえば自閉症のスペクトルを持つ人々のコミュニケーション交換を促進するために、より大きな文脈、理解、および感情的処理を促進する意図を持って、会話中に感情をラベル付けする機能を備えています。

過去5年間、Lavakareは500人以上の聴覚障害者と米国、ヨーロッパ、オーストラリア、インドで聴覚障害があるフィールドテストを実施してきました。開発プロセスを通じて、さまざまなアドバイザーや協力者と協力してきました。彼は現在一緒に働いています ハードウェアを提供するメーカー、 その中には、ヴィジクスの中で、ソフトウェアをメガネにインストールします。

収集された イェール・デイリー・ニュース、ラバカレの意図は継続することです 製品にアクセスできるようにします 誰にとっても、彼が考慮するプロセスにはまだ時間がかかります。彼は、生成された影響とユーザーがメガネを採用した方法に満足しており、教会に行く、劇場に行く、友人との夕食の際に話すなど、日常の状況で使用できるそれほど遠くない未来を想像しています。