AR 眼鏡字幕功能效果到底咋樣?
實測來了!
不光語音能實時轉成文字,還能分辨說話人主體,甚至還能把文字記錄都保存好,方便以後回溯。
今年,一家來自英國的一家 AR 初創公司,大開了個腦洞。
他們把語音轉文字的功能,搬到了 AR 眼鏡上,讓轉好的文字能快速直接呈現在人們眼前。
主要目的就是為了服務聽障人群。
畢竟在很多情況下,即便有助聽器的幫助,聽障人群還是需要有文字作為參考信息。
而通過 AR 眼鏡的方式,生成字幕能直接呈現在人們眼前,接收信息能更加方便和迅速。
具體效果如何?往下看 ~
有種開彈幕的感覺
體驗的效果大概如下左圖所示,會有一個對話框,裡面将标注說話者及對應語音内容。
體驗者西蒙 · 希利(Simon · Hill)說,在剛戴上 AR 眼鏡聽對方說話時,它的文字轉錄準确率非常不錯。
效果有點像平常用語音實時轉文字的功能,在語音結束前,文本内容會一直有調整,最後等一段話說完,才會有個最終版本。
不過在對話情景下,兩個人多聊一會,語音轉寫的速度會變慢一些。
XRAI 内部人士表示,這是因為語音轉文字的計算在雲端上進行,有延遲很正常。
而且不止是實時轉錄,這個功能還支持搜索曆史記錄,在 AR 眼鏡端和手機端都能搜,有點聊天軟件那感覺了。
錄下的語音在轉寫完成文字後,就會被立即删除,XRAI 還強調這些文本也是隻有用戶自己可見。
如果沒有 AR 眼鏡,也能在手機上體驗 XRAI 的功能。
有網友也戴着眼鏡體驗了一下,表示這個功能在轉語音的速度上還是很快的,而且在 AR 界面裡的呈現也不錯。
缺點是需要選一下要識别的語言種類,在這裡她測試的是法語。
除此以外,西蒙大哥在體驗中,也發現了一些小問題。
比如按照 XRAI 的設想,聽障人士使用這一功能,需要一副 AR 眼鏡 + 一款安卓手機。
是的,該應用暫時還不支持 iOS 系統。
而兩台設備加起來,拿着比較麻煩,尤其是在 AR 眼鏡重量還沒有降下來的情況下,聽障人士要戴人工耳蝸、還要戴一副 AR 眼鏡,舒适度肯定不高。
西蒙表示:
我無法想象如何整天帶着他們。
以及語音轉文字的效果,西蒙也提出了一點質疑。他表示,對于聽障人士來說,需要文字作為參考信息的情景,很可能是比較嘈雜的場所,這對于語音識别的算法提出一定要求。
而他在體驗 XRAI 這項功能時,公司 CMO 特意把他領到了比較安靜的環境演示,并坦言在嘈雜環境中的效果還不是很好。
以及在價格上,XRAI 上線的 AR 眼鏡是 Nreal,國内售價 2299 元起,海外售價為 379 美元。
XRAI 的服務也并不完全免費,基礎免費版隻能保存 1 天的對話記錄,另外還有 20 美元 / 月、50 美元 / 月兩種套餐可以選擇。
如果選擇 50 美元 / 月的套餐,在基礎功能上還将加一個人工智能助手。
但西蒙表示,作為一個還在起步階段的産品,有缺點可以理解。
更關鍵的是,他們從無障礙的角度出發想要幫助聽障人群,這一想法還是令人感到欣慰。
背後公司 XRAI Glass
提供這項服務的公司來自英國,名叫 XRAI Glass。
公司 CEO 為丹 · 斯卡夫(Dan Scarfe),他曾在高知特微軟業務組(Cognizant Microsoft Business Group)擔任首席問題官。
CTO 蒂姆 · 斯卡夫(Tim Scarfe),獲得了機器學習專業博士學位,也曾在微軟工作。
按照領英顯示,該公司在今年 7 月才剛剛成立。
合作的 AR 眼鏡廠商 Nreal 于 2017 年成立,創始人徐馳曾在 Magic Leap 工作過。
參考鍊接:
[ 1 ] https://www.wired.com/story/xrai-glass-caption-ar-glasses-first-look/
[ 2 ] https://www.auganix.org/xrai-glass-launches-its-real-time-augmented-reality-closed-captioning-app-to-users-globally/