Mac 用戶，終于不用羨慕 N 卡玩家有專屬大模型 Chat with RTX 了！
大神推出的新框架，讓蘋果電腦也跑起了本地大模型，而且隻要兩行代碼就能完成部署。
仿照 Chat with RTX，框架的名字就叫 Chat with MLX（MLX 是蘋果機器學習框架），由一名 OpenAI 前員工打造。
黃院士的框架裏有的功能，例如本地文檔總結、YouTube 視頻分析，Chat with MLX 裏也都有。
而且包括中文在内共有 11 種可用語言，自帶支持的開源大模型多達七種。
體驗過的用戶表示，雖然計算量負擔對蘋果設備可能大了點，但是新手也很容易上手，Chat with MLX 真的是個好東西。
那麽，Chat with MLX 的實際效果究竟怎麽樣呢？
Chat with MLX 已經集成到了 pip 命令中，所以在有 pip 的條件下，隻需要一行代碼就能完成安裝：
pip install chat-with-mlx
△Chat with MLX 實測效果
注意如果中途需要更換模型，需要先将前面的模型 Unload 再選擇新模型。
其他模型隻要 Hugging Face 上有并且兼容 MLX 框架，也可以手工添加，方法可以到 GitHub 頁中了解。
如果要使用自有數據，需要先選擇類型（文件或 YouTube 視頻），然後上傳文件或填寫視頻鏈接，并點擊 Start Indexing 建立索引。
按照開發者的說法，隻要不點擊 Stop，再次上傳新文件後數據是累加的。
當然，也可以不傳數據，直接當成普通大模型來用。
爲了避免推理時間過長，我們選擇了規模較小的 Quyen-SE 來進行測試。
（Quyen-SE 基于阿裏的通義千問改造而成，Chat with MLX 的作者也參與了研發工作。）
首先看看模型不加定制數據的速度，在 M1 芯片的 MacBook 上，這個 0.5B 的模型表現是這樣的，可以說比較流暢。
但在宣傳中，Chat with MLX 的主要賣點，還是本地 RAG 檢索。
爲了确保素材文檔在模型的訓練數據中不存在，小編從箱底翻出了自己不公開上網的本科畢業論文。
我們詢問了論文中不同位置的細節，一共根據文章内容給 Chat with MLX 設計了十個問題。
其中有七個回答是正确（符合文意）的，不過速度和純生成相比要略慢一些。
測試中我們還發現，模型還有一定的幾率會把提示詞吐出來，不過觸發條件似乎沒有什麽規律。
但可以看出，爲了提高模型的表現，作者已經把給小費這種新興的提示詞技巧都招呼上了。
整體感受下來，可能是受制于算力原因，在蘋果設備上部署本地大模型，效果無法和英偉達的 Chat with RTX 相媲美。
同時，在 GitHub 上，也有許多用戶反饋各種各樣的安裝失敗問題，作者也都進行了回複或跟進，并把程序重新更新了一遍。
但無論如何，選擇本地化部署，數據的安全性可能是更爲重要的考量因素；而且從中可以看出，本地化、專屬化的大模型，已經開始出現向消費級産品普及的趨勢。
用網友的話說，升級 AI PC 的時間到了。
GitHub：
https://github.com/qnguyen3/chat-with-mlx
