GPT-4 剛發布,就已經有手機應用接入了!
隻需要上傳圖像,再用語音提出需求,GPT-4 就能幫助視障人士 " 看清 " 眼前的世界。
随時随地,實時解讀,就像聊天對話一樣自然。
例如想要換裝,卻不知道手裏的衣服是什麽顔色:
隻需要拍照上傳給 GPT-4,它很快就能将衣服紋理描述出來,材質、顔色和形狀一清二楚:
△翻譯 by 有道
在此之前,視障人士除了用手觸摸以外,辨别物體往往需要依靠身邊的人或是志願者的幫助。
有網友看到後贊歎:這是目前見過最令人驚歎的 GPT-4 應用之一!
所以,加入了圖像理解功能的 GPT-4,究竟展現出了哪些能力?
基于 GPT-4 讀圖能力打造
這個基于 GPT-4 的新功能名叫Virtual Volunteer,來自應用Be My Eyes。
目前來看,包括問路、導航、讀取菜單、搜索等功能,接入 GPT-4 的 Virtual Volunteer 都能很好地幫用戶完成。
例如問路。
隻需要拍一張所在地點的照片,再通過語音詢問 GPT-4 如何到達指定地點,它就會輸出一條完整路線圖," 讀 " 給用戶聽:
△翻譯 by 有道
又例如讀圖翻譯。
隻需要給 GPT-4 看眼物品描述、甚至隻是物體形狀,它就能搜索并輸出這個産品的功能、具體說明和使用方法。
△翻譯 by 有道
再例如公衆場合導航。
想去健身房、卻無法掌握空閑的器材位置,隻需要拍攝所在場景照片,GPT-4 就能指引你走到無人的器材面前。
△翻譯 by 有道
當然,還有點菜、使用自動販賣機買飲料、搜索某種植物的名字、給出時裝建議……
隻要将需求告訴 GPT-4,它就能幫助視障人士解決對應的問題。
不過,目前這一功能還在測試中,蘋果商店可以加入等待列表,至于安卓版也快來了。
搭載它的應用 Be My Eyes,是一個爲盲人開發的公益應用。
它最早是一個 2012 年成立的互助社區,并于 2015 年上線 iOS 版本應用,随後又上線了安卓版應用。
這個應用分爲志願者和盲人兩個群體,志願者會接受盲人傳過來的照片或視頻,通過語音溝通(打電話)幫助他們解決困難,目前已經有接近 45w+ 視障人士和 630w+ 志願者使用。
如果成爲一名志願者,則隻需要保持在線,确保随時可以接聽到視障人士的電話。
如果是視障人士使用,則可以在需要幫助時撥打志願者電話,或是尋求一些專業人士的幫助:
現在加入 Virtual Volunteer 之後,盲人也可以呼叫 " 虛拟志願者 "GPT-4 的幫助,不用擔心深夜無人應答的問題。
官方還玩了個諧音梗,AI → Eyes," 讓 AI 成爲你的眼睛 ":
還當起美版知乎問答 bot
當然,除了 Be My Eyes 應用以外,不少其他 APP 也在争先恐後接入 GPT-4。
例如,在美版知乎Quora出的Poe上,現在已經可以和 GPT-4 聊天(限免一句話):
又像 AI 律師軟件DoNotPay,同樣已經接入了 GPT-4,并計劃用它來推出 " 一鍵訴訟 " 服務。
基于這個服務,你看不順眼的電話詐騙,一鍵就能舉報投訴。
如果接到電話詐騙,隻需要點擊一個按鈕,對應的電話内容就會被全程錄音,并生成 1000 字的訴訟内容,索賠 1500 美元的金額。(不過目前還隻有美國地區适用)
值得一提的是,DoNotPay 的 CEO Joshua Browder 表示,他們之前也用 GPT-3.5 做過類似的功能,但效果不太行,GPT-4 則已經能很好地 hold 住這一要求。
甚至已經有網友嘗試用 GPT-4 來搞藥物發現了……
除了上述應用和功能以外,還有網友察覺到了 GPT-4 開發小遊戲的前景。
新的 GPT-4 似乎在編程靠譜度上也有所提升,無論是在 60 秒内做一個打乒乓球小遊戲:
還是 20 分鍾之内搞出一個完整的貪吃蛇:
都可以說是遊刃有餘,提出更改需求也可以及時完成,編寫的簡單程序中基本上沒有遇到需要修改的 bug。
你還想到了什麽 GPT-4 好玩的應用場景嗎?
參考鏈接:
[ 1 ] https://twitter.com/BeMyEyes/status/1635690254689599488
[ 2 ] https://twitter.com/skirano/status/1635736107949195278
[ 3 ] https://twitter.com/ammaar/status/1635754631228952576
[ 4 ] https://www.bemyeyes.com/download
[ 5 ] https://twitter.com/jbrowder1/status/1635720431091974157