随着 Stable Diffusion、ChatGPT 的爆火，AI 在今年迎來了大爆發。
這不禁讓人想問，這些創新背後的推動機制究竟是什麼？
在 MEET2023 智能未來大會上，阿裡巴巴集團副總裁、阿裡雲計算平台事業部負責人賈揚清給出了他的答案：AI 工程化和開源。
工程化，讓開發、叠代到應用的路徑變得更加高效；開源可以讓工作開展更加迅速，實現市場共赢。
在這個基礎之上，賈揚清還進一步指出了 AI 産業落地的四大明顯趨勢：AI 工程化平台、異構計算、智能産品和算法開源。
為了完整體現賈揚清的分享及思考，在不改變原意的基礎上，量子位對他的演講内容進行了編輯整理。
關于 MEET 智能未來大會：MEET 大會是由量子位主辦的智能科技領域頂級商業峰會，緻力于探讨前沿科技技術的落地與行業應用。今年共有數十家主流媒體及直播平台報道直播了 MEET2023 大會，吸引了超過 300 萬行業用戶線上參會，全網總曝光量累積超過 2000 萬。
演講要點
工程化和開源是 AI 普惠最重要的支撐。
目前 AI 産業應用有四個趨勢：雲原生的 AI 工程化平台、端到端優化的異構計算體系、通過系統組合打造貼近用戶的智能産品，以及算法的開源助力 AI 在垂直産業的廣泛應用。
随着模型變得越來越大、訓練門檻越來越高，我們可以清晰地看見，業界的需求從代碼開源往前一步，到了模型的開源。
（以下為賈揚清演講全文）
AIGC 大爆發
今天我們講 AI，繞不過去的一個話題就是AIGC 的大爆發，像 Stable Diffusion、ChatGPT 等等。
如果我們溯源可以發現，用統計和 AI 方法實現内容的創作和生成，已經經曆了很長的演進過程。
往回數到 1999 年，也就是二十多年前的時候，Alexei A. Efros 教授提出的基本邏輯是用一個簡單的計算機視覺統計方式，就可以通過一個非常小的圖片來學習紋理，并生成更大的内容，這可以說是 AIGC 的雛形。
2015 年前後，神經風格遷移開始風靡，它能夠從畫作當中學習繪畫風格，把原始圖片合成為特定風格的作品，比如這幅梵高的《星空》。
從 1999 年的紋理生成，到 2015 年的神經風格遷移，再到今天更強語意的 AI 創作，都在不斷地催生我們探索更有意思的領域。
同時，我們也在思考，這些創新推動的機制是怎麼樣的？背後有哪些的支撐？
AI 惠普的土壤：工程化 + 開源
我們得出的結論是，AI 普惠的兩個重要支撐，一個是 AI 的工程化，另外一個是開源。
從工程化角度，2019 年著名教授 Richard Sutton 曾經說過，前面 70 年的 AI 研究，我們所得到的最大的經驗和教訓是通過标準化的方式來使用大規模的計算。
那麼怎麼樣才能實現大規模計算呢？
無論是通過雲原生方式，還是通過更加高效的分布式計算等，都讓今天從開發到叠代的路徑變得更加簡單，這都是我們前面幾年所看到的 AI 大規模發展（如大模型、AIGC）背後的工作。
另外一個方面，開源讓工作變得更加迅速。
從最早的時候我們耳熟能詳的深度學習框架，到今天我們所見到的各種模型，無論是基礎模型還是應用模型，開源和開放都讓各行各業的應用開發者更加容易觸達 AI 算法，并尋找一些需求的匹配。
同時，對于算法的工作要求。Stack Overflow 的創始人 Joel Spolsky 曾經寫過一個關于開源軟件經濟學的技術 blog。
他提到，技術公司都希望讓産品的互補品變得更加容易獲得，開源讓整個市場變得更大，也能夠讓大家實現共赢的結果。
在此基礎上，AI 産業落地有四個非常明顯的趨勢。
第一是雲原生的 AI 工程化平台；第二是大規模端到端的異構計算體系；第三是把前面這些工程産生的算法系統組合後，實現的更加智能、貼近用戶需求的産品；以及通過算法的開源，助力 AI 在産業垂直化落地。
這四個趨勢可能是将來我們無論是從供給角度還是需求角度，推動 AI 進一步往前走的方向。
所以我想從這四個角度給大家簡單介紹一下我們現在所看到一些細節和所做的事情。
AI 工程化平台
今天我們看到 AI 開發有一個非常清晰的範式，可以分兩個部分，前半段是開發、數據到模型，後半段從模型、叠代到最後的應用。
具體地說，首先，算法工程師會通過數據平台做數據采集、清理、标注。在開發的時候，一個開源的、耳熟能詳的環境已經成為業界标準，能夠讓算法工程師進行開發、叠代。
今天大多數的模型都需要用到分布式計算，這些技術已經成為标準底座，讓我們更加高效地做分布式訓練、調度和部署。
産出最開始這些模型之後，我們就需要讓業務工程師和深度學習的算法工程師一塊在實際當中做模型選型、驗證等等，再通過前面提到的開發、叠代、訓練這些平台，來獲得一個适合線上服務的模型。
有一個很有意思的點，大家在實際做一個業務應用的時候，有很多事情都要考慮。
AI 以前想得比較少，但今天一旦開始把 AI 算法部署到應用當中去，很多需求就都已經出來了，像藍綠部署等等，因此服務本身也在開始變得更加标準化、原生化。
今天在阿裡雲，我們就把這些開發範式标準化以後，建設這樣一個平台，支撐我們從零開始做模型的全新服務。
大家經常問工程化可以實現怎麼樣的效果？
每個科研院所、公司大家多多少少都在經曆這樣一個過程：怎樣把 AI 從科研到普惠的鴻溝填上，用高性能、高可用、低成本的方式把這個溝跨過去。
跟大家分享一個小故事，今年達摩院和阿裡雲一起做了一件事情，就是重新審視我們在 AI 算法協同當中怎麼樣把達摩院超過 90% 的應用，不論是訓練還是推理服務的應用，都用雲原生方式來實現。
通過這樣的方式，我們所見到的是：
從需求的角度，資源更加可用、更容易獲得，無論是拉起一個訓練還是推理，都比以前更加容易，更快；
從工程細節上，算法工程師不再需要進行像存儲、管理機器、調優帶寬等等這些具體的事情；
從供給角度、AI 系統管理角度來說，無論是利用率、訓練效率，還是服務成本都變得更好了。
這是我們在第一個趨勢—— AI 工程化這塊所看見的正向效果，就是專業人做專業的事，以達到一個更好的效果。
異構計算
AI 工程化平台之後，第二個趨勢是端到端的異構計算與優化。
今天講框架講得比較少，傳統的 AI 框架這一層，無論是最早的還是今天的框架，方向已經變得很成熟了。
同時，在框架上遊和框架的下遊，我們都開始逐漸地需要來建設更加豐富的軟件棧。
包括上層怎麼樣讓算法科學家做分布式建模，調動異構資源進行訓練；在框架下層怎麼樣通過 AI 技術做軟硬件協同設計和優化，最後我們怎麼樣建立這樣一個存儲、網絡完整的優化解決方案。
和大家分享幾個我們所做的工作。
第一在分布式建模這一塊，我們開源了一個框架 EPL，使得算法工程師建模時能夠更加容易地自動化生成分布式訓練模型，而不需要自己手工地處理 GPU 之間怎麼樣通訊。
在優化領域，我們的框架 PAI-Blade，能夠幫助算法工程師在面對底層硬件時不需要去擔心，比如 CPU、GPU、非常多的創新建設出來的國産芯片等等，我們可以用這種方式更有效地提升算法效率。
這個領域最有意思的一點是，我們發現 AI 計算和傳統科學計算的需求有很強的共性，無論是蛋白質分子折疊的研究，還是其他物理、化學等領域，AI for Science 這個趨勢都很明顯。
我們需要做的工作包括大規模基于矩陣的計算，以及需要處理海量的領域數據，而 AI 系統、數據系統所積累下來的異構計算的能力正好符合這個需求。
同時，一定程度上說，這些能力最早也是從 HPC 這些領域，比如氣象模拟孵化出來的。
就像鄭院士剛才提到的 AII-Reduce 并行的範式，這個範式最早也是在 HPC 領域有了非常好的理解，在我們看起來是一個 AI for Science 和 Science for AI 互相叠代的過程。
這些框架上和框架下的優化，最終還是需要把所有的組件協同起來，帶來一個更加完整、更加成熟的，我們稱作 " 智算 " 的一個完整解決方案，這些解決方案能夠達到軟硬件協同、算法應用協同等效果。
舉個例子，在自動駕駛這方面，我們和小鵬汽車建設了一系列自動駕駛所需要的海量 AI 計算能力技術。
每個單點技術看起來都比較标準，但是端到端連起來的時候，我們也碰到一個挑戰，就是怎麼樣把存儲、計算、AI 組件更加完整組合在一起，這裡面有很多細緻入微的挑戰。
就像剛才鄭院士提到的檢查點怎麼樣做讀寫，怎麼樣把存儲帶寬提上來，雖然乍一聽是很細節的事，但是非常精準地提到了我們系統所需要解決的問題，就是确保一個木桶沒有短闆，unblock 整個開發訓練的流程。
智能産品
我們所見到第三個趨勢，往往會涉及到多種模型、多種算法的組合。
各種單點 AI 算法越來越成熟之後，我們可以更容易地組合一個貼近客戶的智能産品，這也是很多用戶實際需要的一個 AI 中台，因為我們并不需要一個單體模型，我們需要解決問題。
拿 " 聽悟 " 智能會議助理舉例，這是達摩院語音實驗室把語音、自然語言處理和其他的算法組合起來後建設而成，因為會議的原因，我在會前錄了一個非常簡短的實際使用的 Demo，請大家來感受一下。
算法開源
最後我覺得還有一個非常強的趨勢就是模型開源。
像聽悟這樣一個産品，背後有非常非常多的模型，我們今天說 AI 工程化、異構計算等等，最後就是基于模型來落地。
這裡我重複一下李笛老師剛剛提到的 AI being 的概念，将來也許每一個人、每一個公司都多多少少需要有 AI being 的能力。
那麼問題來了，模型變得越來越大，門檻越來越高後，是不是每個公司都要投入很多的資金和人力？是不是都要先通過訓練再做其他的事情？
我們的回答是 "no"，今天代碼開源已經非常深入人心了，我們可以清晰地看見，業界的需求從代碼的開源往前一步，到了模型的開源。
今年達摩院和業界很多夥伴一起推出了 ModelScope，我覺得它跟以前所見到的學術模型不一樣，我們更進一步的地方是我們将實際業務當中所見到的、訓練的、沉澱下來的實際場景化的模型都貢獻了出來，今天大家可以在魔搭上面找到 300 多個成熟的模型。
舉個例子，比如像語音可以找到不同方言的、中英混雜的，這種通用的學術模型可能不太關注，但是在應用當中很需要的模型。
這樣一個社區能夠讓我們在供應和需求兩個方面都更進一步。
從供給角度來說，我們希望能夠提供一個場子，這個場子讓更多算法開發者能夠更方便地把模型開源出來、共享出來，就像是把代碼放在一個平台上一樣，讓大家更容易分享模型，更容易搭建一個模型的 Demo，把這個秩序輪轉起來。
第二從需求角度，我們希望能夠給對 AI 感興趣的群體找到一個更容易的方式體驗模型、思考需求，通過這樣把很多的想法叠代起來，就是到底這個模型能做什麼，如何把這些産品做得更加豐富。
我們希望這個平台成為一個連接兩邊需求，把兩邊更好結合起來，迸發創新的應用。
總結一下，在開源和工程化這樣的大背景下，我們看見 AI 産業有四大很明顯的趨勢：雲原生的 AI 工程化平台、大規模端到端的異構計算體系、智能産品，以及最後算法開源崛起。因為時間關系，每一點可能沒法更詳細展開。
今天，非常多的專家、企業、開發者們在建設着上層的 AI 算法；而在 AI 底層，如何讓工具變得更加易用、更加普惠，這正是我們在做的事情。
從去年開始，我就在做阿裡靈傑，無論從數據管理、數據治理、算法開發，到完整的 AI 智算解決方案，目的是能夠提供一個用戶友好、高性能、高彈性的産品和能力。
非常感謝大家今天能夠花 15 分鐘時間聽我的分享，疫情現在放開了，希望有機會能夠在線下見面，或者通過線上進行技術上或業務上的一些交流，再次謝謝大家！
