蘋果 M 系列芯片專屬的機器學習框架,開源即爆火!
現在,用上這個框架,你就能直接在蘋果 GPU 上跑 70 億參數大模型、訓練 Transformer 模型或是搞 LoRA 微調。
它由蘋果官方發布,風格與 PyTorch 相似,不過并不基于任何已有框架實現。
LeCun 等大佬紛紛趕來點贊轉發。
英偉達高級 AI 科學家 Jim Fan 贊歎稱:
這應該是目前蘋果在開源 AI 開源上最大的動作了。
甚至還有網友動起了 iPhone 上 A 芯的念頭(手動狗頭)
所以,這個框架究竟長啥樣?
參考多個 ML 框架設計
這個新框架名叫 MLX,有探索機器學習(ml-explore)的意思。
從功能來看,MLX 主要有以下幾點特性:
API 熟悉(包括 C++ API、類似 NumPy 的 Python API 以及一些高級功能包近似于 PyTorch 的 API)、可組合函數變換、惰性計算、動态圖構建、多設備可用、統一内存。
框架作者 Awni Hannun 介紹,之所以 MLX 不直接基于 PyTorch 實現,主要有幾個方面的考量。
首先是因爲,MLX 框架是給蘋果芯片設計的。
蘋果芯片在采用了一些獨特的設計,例如統一内存,這些設計在框架中都可以被利用。
然後,MLX 框架也參考了不同機器學習框架的優勢,包括 NumPy、PyTorch、Jax 和 ArrayFire 等。
例如 JAX 中可組合的函數轉換,就被加進了 MLX 的設計中,但 graph(計算圖)仍然是動态構建的。
除此之外,作者認爲 MLX 也有一些屬于自己的特性,如簡單、靈活和多樣性等。
因此,MLX 在功能和設計上與 PyTorch 等經典框架不完全一樣,有一些 " 自己的 style"。
如果你手上有蘋果 M 芯電腦的話,現在就可以上手一試跑 AI 模型了。
蘋果電腦 M 系列芯片才能用
目前,官方給出了 5 類 MLX 的使用參考案例:
Transformer架構語言模型的訓練
用LLaMA或Mistral進行長文本生成
用LoRA進行參數微調
用Stable Diffusion進行圖像生成
用Whisper進行語音識别
作者們還在 GitHub 上放出了基于 Stable Diffusion 對比的 PyTorch 和 MLX 的性能:
要是對這幾個 AI 模型感興趣,裝好 MLX 之後就可以直接上手試玩了。
作者給出了一系列手把手的教程,教你如何在蘋果電腦上運行 MLX 框架。
首先是 pip install mlx,安裝一下框架:
我們也在蘋果 M 芯電腦上嘗試了一下,可以成功安裝:
值得一提的是,安裝前記得檢查一下你的蘋果電腦,各種環境和操作系統是否都搞好了。
而且芯片必須是蘋果自研的 M 系列芯片,可以用這個口令檢查一下:
如果是英特爾平台,也是用不了 MLX 的:
搞定之後,git clone 一個副本,就可以在樣例裏面找到自己想玩的模型,嘗試上手運行了:
這裏跑一個 LLaMA 試試:
然後就可以開始問問題了,例如波爾查諾 - 魏爾斯特拉斯定理是什麽等等,LLaMA 就能在終端給你解答:
LightningAI 的 Sebastian Raschka 表示,這個框架看起來非常酷,希望能看到更多 PyTorch 與 MLX 在 macOS 上的性能對比。
除此之外,LLaMA 在 MLX 上的實現細節也非常有意思:
還有不少蘋果用戶表示高興:H100 稀缺的情況下,終于可以用 M3 Max 來搞事了。
你試用過 MLX 了嗎?感覺如何?
參考鏈接:
[ 1 ] https://github.com/ml-explore/mlx
[ 2 ] https://twitter.com/awnihannun/status/1732184443451019431
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~