The future is here, it ’ s just not evenly distributed yet.
這是 " 賽博朋克之父 " 威廉 · 吉布森的一句經典名言,也是亞馬遜雲科技全球産品副總裁Matt Wood對時下生成式 AI 技術的現狀總結。
對于後半句,我們可以更直白地理解爲 " 尚未平均分布 "。
爲什麽這麽說?
時至今日,生成式 AI 在創意輸出(如寫作、編程、設計)、功能增強(如寫摘要、搜索)、交互式體驗(Q&A、聊天)和決策支持(各類助理)這四個領域已展現出驚人潛力。
我們看到,一大波全新應用噴湧而出,學界、産業界人士更是争先恐後開啓創業潮。
然而,它帶來的福利并非均勻分布,因爲全面擁抱這項技術是有門檻的。
如 Matt Wood 所說,先進技術的使用權通常隻在大型科技公司、政府和大學的 " 職權範圍 " 之内。
直到現在,不少初創企業、組織或個人,以及非專業 AI 公司,由于要麽缺基礎設施、缺資源,要麽缺正确的打開方法……隻能先看着别人在當下的風口起飛。
怎麽辦?如何破局?
這也是行業巨頭亞馬遜雲科技一直關心的問題。
在剛剛舉辦的亞馬遜雲科技中國峰會上,它終于給出了一份參考答案:針對基礎模型構建、私有定制、開發效率和算力成本,一一給予解決方案。
想要在這場變革之中抓住機會、全面利用生成式 AI 價值的普通玩家,不容錯過。
解鎖生成式 AI 的 4 個必備姿勢
廢話不多說,我們先直奔 Matt Wood 博士的精彩演講。
開門見山,Matt Wood 博士表示,普通企業要想抓住這次機遇,全面解鎖生成式 AI 的價值,需要做好四方面的準備:
一流的基礎模型、安全且私有的定制化環境、低成本 / 低延遲的基礎設施保障,以及能提速的專業開發工具。
怎麽理解這四個點?它們各自對應的解決方案是什麽?
首先,Matt Wood 表示,要想縮小 " 分布不均勻 " 的差距,我們首要考慮的應該是那個能最大限度彌補鴻溝的方法。
那就是一個 "best-in-class(最佳)" 的基礎模型。
所謂 " 工欲善其事必先利其器 ",有了這樣的模型,我們才能搭建能力範圍内最好的 AI 應用。
那麽如何獲得最好的基礎模型?
這就不得不搬出亞馬遜雲科技才發布不久的 Amazon Bedrock 平台了。
作爲一個 " 基岩 " 平台,它支持來自 AI21 Labs、Anthropic、Stability AI 的基礎模型,包括 "ChatGPT 最強競品 "Claude、能支持多種小語種的 Jurassic-2、以及不用咱過多介紹的 Stable Difussion 等。
除此之外,它還包括兩個亞馬遜雲科技獨家自研的先進大語言模型 Amazon Titan:
一個叫 Amazon Titan Text,專注于生成式 NLP 任務,另一個叫 Amazon Titan Embeddings,用于搜索和個性化推薦等,可将文本輸入翻譯成包含語義的嵌入編碼,從而讓搜索結果更相關、更符合上下文語境。
在 Amazon Bedrock 平台之上,你可以獲得最簡單的使用這些模型的體驗:
隻需通過 API 訪問,不用操心任何基礎設施,就能快速将它們用于你的應用開發;
如果你想對這些基礎模型進行定制改造,隻需提供少量(低至 20 個)帶标簽的示例即可。
說到定制模型,就來到了咱們的第二點:安全且私有的定制環境。
所謂定制化,就是用相對來說 " 數量少但質量精 " 的數據來将預訓練好的基礎模型轉變成一個尤其擅長某類特定任務的 " 垂直 " 模型,也就是咱平常說的微調。
在 Matt Wood 看來,這個過程稱得上"game-change",因爲相比直接開發特定任務模型,微調 / 定制新模型所需數據量更少,導緻計算時間也減少,從而能夠更快地完成構建。
毋庸置疑,定制模型的關鍵是專有數據,它們基本都是客戶寶貴的私有财産。
因此,要完成這一過程,一個安全且私有、保證數據不會用于平台基礎模型和其他客戶訓練的環境就尤爲重要。
Amazon Bedrock 從一開始就主打安全和隐私,以及面向更專業開發者的 Amazon SageMaker JumpStart 平台,也引入了如上這些先進基礎模型,并同樣提供安全的微調環境。
接着,當環境和平台都準确就緒,就可以提速開發,思考如何快一點、再快一點地完成目标。
答案其實藏在同一處——同樣利用生成式 AI 技術開發的代碼 AI 助手,比如 Amazon CodeWhisperer,将顯著提升我們的開發速度。
它經過數十億行代碼訓練,支持十餘種常見編程語言和編程環境,同時:
具備上下文感知能力,不局限于當前文檔提供代碼建議;
内置安全掃描功能,可迅速檢查代碼是否存在漏洞并提供修複建議;
可以進行來源檢查和标注,讓你的每一行代碼都有迹可循(尤其針對開源項目);
以及專門加了一個企業級控制功能,可設置公司内部的開發規範、方針等。
最最重要的是,此等 " 尤物 ",個人開發者可以完全免費使用!
隻需打開你的 IDE 搜索插件并安裝,然後用一個郵箱完成注冊即可,連亞馬遜雲科技賬号都不需要。
據統計,亞馬遜内部的開發人員使用 Amazon CodeWhisperer 後,開發速度直接比以往快了 57%,完成項目的成功率也提高了 27%。
最後,代碼開發完成以後,訓練和推理的成本和性能就成了我們要考慮的頭等大事。
在此,亞馬遜雲科技已專門針對大模型(包括 LLM 和擴散模型)開發了訓練和推理芯片:Amazon Inferentia、Amazon Trainium 和 Amazon Inferentia2。
它們有多強大?
單說其中的 Amazon Inferentia 芯片,依賴于它開發的 Amazon EC2 Inf1 實例,就能直接将模型每次的推理成本較普通 GPU 降低 70%。
有了它們,普通玩家也能輕松實現算力上的高性價比了。
看完這些,我們能夠發現,亞馬遜在基礎模型構建、私有定制、開發效率和算力成本上的解決方案,實屬早有準備(都是此前就已經發布的産品),在如今 " 尚未平均分布 " 的技術現狀之下,直接就能打包成成熟方案,立刻惠及每一個人。
好消息不止如此,除了以上四部分,亞馬遜雲科技在最基礎的數據方面同樣能提供全面的支持。
如 Matt Wood 博士所說:
數據是生成式 Al 的起源(Data is the genesis of generative Al)。
如何充分挖掘其中的價值?這是一個從業者都繞不開的問題。
在 Matt Wood 博士看來,我們需要的不僅僅是變革性的技術和基礎設施,還包括一個端到端的數據戰略,用三個關鍵詞概括就是:全面、集成和治理。
對此,亞馬遜雲科技亦早有準備:
Amazon Aurora 和 Amazon RDS,可以提供全面和完整的關系數據庫服務;
Amazon Athena 和 Amazon EMR 等 7 項工具,可以包攬交互查詢、大數據處理、倉儲、一體化等你能想到的所有分析任務;
Amazon Aurora 和 Amazon Redshift,已打通連接無縫集成,進一步實現 " 零 ETL" 的願景,減少用戶在不同服務間手動遷移或轉換數據的工作;
最後,還有全新産品 Amazon DataZone,幫你實現透明的數據跨部門共享(現在已開啓預覽),數據治理的 " 度 " 如何拿捏,也不必操心了。
已經有人幫你體驗過了
Talk is cheap, show me the code.
在這場峰會上,亞馬遜雲科技大中華區産品部總經理陳曉建也帶來兩類實際案例,向我們展示了它是如何幫助企業解決在如今的生成式 AI 大背景下進行創新時,遇到的算力資源和全球化問題。
先看第一個。
由于生成式 AI 技術的爆發,行業整體算力需求井噴,并由此帶來三大挑戰:
算力資源本身的緊缺、計算資源的彈性化供給困惑(不知道什麽時候需要多少計算資源)以及雲上運維的門檻和複雜度還不夠低。
亞馬遜雲科技如何解決這些問題?
首先,它們推出各類自研芯片,如可以幫 CPU 減負的雲計算專用芯片 Amazon Nitro、基于 ARM 架構的通用處理器芯片 Amazon Graviton 以及專爲機器學習訓練和推理開發的 Amazon Inferentia 和 Amazon Traininum 系列芯片,來幫助企業實現超高的算力性價比。
以F1 賽車爲例,主辦方通過使用亞馬遜雲科技的 Amazon Graviton 3E 芯片進行空氣動力學模拟,才得以用比以往快 70% 的速度來開發新一代賽車,并将賽車壓力損失從 50% 降低到 15%。
這就意味着車主在駕駛時可以更容易地進行超車,給車迷帶來更精彩的賽場纏鬥。
其次,亞馬遜雲科技通過各種豐富的計算網絡存儲(可按需選擇或者直接幫你智能分級)以及産品組合(超 600 種不同計算實例)來幫助用戶應對突發的算力需求,實現高度彈性化的計算資源供給。
以維塔數碼雲上工作室爲例,它曾獲得 6 次奧斯卡最佳特效獎,作品包括《阿凡達》《指環王》《猩球崛起》等。
由于亞馬遜雲科技提供的基礎架構算力資源、雲上制作堆棧和機器學習堆棧等一系列服務,該工作室隻用了 8 個月就完成了高達 33 億渲染線程小時的《阿凡達 2》雲上特效制作;反觀《阿凡達 1》," 當初用了整整 14 個月才看到了第一幀 "。
最後,亞馬遜雲科技還通過 Serverless 技術來簡化雲上運維管理,幫助遊戲公司朝夕光年專注于遊戲《Marvel Snap》本身的開發,而不用擔心訪問量劇烈增加時的系統升級和擴容工作。
陳曉建介紹,該遊戲最終啓動後沒有發生一個後端錯誤事件,在遊戲行業聞所未聞。
除了算力資源,許多企業在如今的全球化大趨勢下也有三大訴求:
所有業務實現雲上統一管理并保證高可靠和低延遲、搭建組網的過程要既快速且高效、以及能否符合當地的法規要求,保障業務順利出海。
對此,亞馬遜雲科技也一一接招應對。
以OPPO爲例,他們的手機業務遍布全球,存在上百的雲上 VPC 和本地資源需要連接,非常考驗全球組網難度。
而依托亞馬遜雲科技的 Amazon Cloud WAN 服務,隻需分分鍾便快速搭建好了一個全球網絡,它既能保持 OPPO 的全球業務獨立運作、區域合規自治,同時又能進行統一管理。
其次,對于網絡可靠性、延遲性要求非常高的資本交易市場納斯達克,亞馬遜雲科技則憑借 Amazon Outposts 服務幫它建成了資本市場行業有史以來的第一個私有本地區域,并實現超低延遲的邊緣計算功能。
最後,全球電子支付終端供應商Pax,也依靠亞馬遜雲科技的 Amazon CloudHSM、Amazon Security Hub 等一系列服務,滿足了多個供應商提供的安全服務标準,保障用戶支付安全,并使交付周期縮短了 40%,成本降低 20%,實現國際業務順利拓展。
……
以上這些成功的合作案例,都很好地說明了亞馬遜雲科技在幫助企業擺脫基礎架構限制、專注于創新上的成效。
堅持 " 給底座造底座 "
事實上,對于這波生成式 AI 浪潮,早在 4 月份,亞馬遜雲科技就向公衆表明了自己的定位:
人人都去卷大模型本身,我們要給底座造底座。
如今兩位高管在亞馬遜雲科技中國峰會上的演講,再一次釋放了同樣的信息:
爲大衆開發生成式 AI 應用做基礎支持、做底座支撐。
怎麽理解 " 底座 " 這個概念?
可以快速獲得世界最先進基礎模型能力的全托管平台 Amazon Bedrock,是底座;
用于訓練和運行自家模型的高性能基礎設施,如 Amazon Inferentia 芯片支持的 Amazon EC2 Inf1 實例、Amazon Trainium 支持的 Amazon EC2 Trn1 實例以及英偉達 H100 Tensor Core GPU 支持的 Amazon EC2 P5 實例,是底座;
從頭構建、訓練和部署自己的模型的 Amazon SageMaker,是底座;
支持一鍵式部署和 150 多種流行開源模型微調的 Amazon SageMaker Jumpstart,更是底座;
它們都是服務于我們的大模型、服務于生成式 AI 應用開發的基礎工具,作爲底座,目的就是降低使用門檻,把大模型和生成式 AI 技術變成一種即取即用的資源,讓更多企業、組織和個人觸及。
而在如今這個全面擁抱生成式 AI 的時代,市場确實需要有企業提供這樣的服務。
據 Grand View Research 估計,光是到 2030 年,生成式 AI 的市場規模可能接近 1100 億美元。
而如今距離這一技術大爆發才不過數月時間,市場遠談不上飽和。
在這片藍海之中,各類公司都對生成式 AI 變革其産品和業務運營的潛力充滿期待,無數人都想要抓住機遇占領高地,卻不是人人都有資源、有方法、有足夠的成本。
于是自己從頭摸索顯然不是明智之舉,普通玩家都在渴望一個能夠快速上車、不耗費太多功夫建築底層支撐的方法。
當然,對于大部分玩家來說,成本必然越低越好。
另外,随着技術的發展,社會分工越來越明細,我們講究高效和便捷,不需要人人都重複造輪子,隻需要看誰能利用輪子跑起來、更快速地達到各自的目的地。
因此,推出這些底座服務也是順應大趨勢。
其次,亞馬遜雲科技有能力滿足這一急迫的市場需求和趨勢。
這一點不用多說,作爲妥妥的科技巨頭,亞馬遜雲科技擁有超過25 年的 AI 經驗,并有超過 10 萬名客戶使用亞馬遜雲科技的 AI 和機器學習服務助力自己的業務。
在上一部分,大家也跟着陳曉建一起見證了它在幫助各行各業的大小企業擺脫基礎架構限制方面的成績。
那麽,市場有需求,亞馬遜雲科技有能力,如此的 " 雙向奔赴 " 才能夠讓大衆把大多數精力都放在真正的創新之上,從而加速整個人類社會的技術進步曆程——
說到創新,還有一個好消息。
最近,亞馬遜雲科技宣布:
投資 1 億美元成立生成式 AI 創新中心。
此舉意味着它将進一步提供靈活且經濟高效的生成式 AI 服務,幫助每個企業或組織利用 AI、釋放生成式 AI 的巨大潛力。
可以期待,随着這一重大舉措的實施和深入,我們将更快、更多地看到創新想法和産品變爲現實。
One More Thing
值得一提的是,在本場峰會 Matt Wood 博士演講的最後,官方以鮑勃 · 迪倫的一首《The Times They Are A-Changin》作爲了結尾。
正如歌名,時代變了,屬于生成式 AI 的未來已至。
而在這場洪流之中,得益于亞馬遜雲科技這樣的底座服務的存在,讓每個企業、每個人都有機會去獲得、利用和享受新技術帶來的福利。
我們認爲,沒有人會在這場變革之中被主動落下,尚不均勻的分布終将得到改善、若隐若現的未來也會變得異常清晰。