資深開發大佬，終于忍不住自己出來創業了。
Georgi Gerganov，今年三月曾開源了 llama.cpp 項目，GitHub 上已破三萬星标，要知道 Stable Diffusion 也不過 8.8k。
這個項目能讓開發者在沒有 GPU 情況下運行 Meta 的 LLaMA 模型，即便是在樹莓派、MacBook 上運行大模型也通通不在話下 ~
△在 M2 Max 上以 40 tok/s 的速度運行 7B LLaMA
甚至還成功吸引了小紮的注意：Meta 也在運行 llama.cpp。
可能由于反響太好，這位大哥決定把背後核心純 C 語言框架 ggml拿出來創業：原本是幾月前的副業項目。
在官宣前這家公司就已經獲得來自 GitHub 前 CEONat Friedman、Y Combinator 合夥人 Daniel Gross 的種子前投資。
消息一出，衆多開發者趕來祝賀。
其中不乏一些堅定的擁護者：ggml 正在将大模型普及到邊緣設備。
沒過多久就有人建議：蘋果應該将它收購了。（狗頭）
llama.cpp 作者創業
ggml，是一個純 C 語言編寫的張量庫，可幫助開發者在消費級硬件上運行大模型，GitHub 星标數達到 4.4k。
由于加速效果驚人，一下子收獲了不少開發者的支持。
By the way，ggml 的 gg 恰好是他名字的縮寫。
大哥自己的兩個上萬星标的項目 llama.cpp 和 whisper.cpp 都使用了它。
後者是爲 OpenAI 的 Whisper 自動語音識别模型開發的加速方案，可在 Mac、Windows、Linux、iOS、安卓、樹莓派以及 web 上運行。
△使用 whisper.cpp 在 樹莓派上檢測短語音命令
不少初創公司，比如主打生活搜索引擎的 rewind 都使用了這套解決方案。
還有兩個項目同時在終端上運行。
△在單個 M1Pro 上同時運行 4 個 13B LLaMA+Whisper Small 實例
根據個人介紹，ggml 張量庫具有以下這些特點：
支持 16bit 浮點數；支持整數量化（包括 4 位、5 位、8 位）；自動微分；内置優化算法（例如 ADAM、L-BFGS）；爲蘋果芯片設置特定優化；在 x86 架構上使用 AVX / AVX2 Intrinsic；通過 WebAssembly 和 WASM SIMD 提供 Web 支持；無第三方依賴；運行時零内存分配；支持指導型語言輸出……
目前這個庫以及相關項目都是免費開源，開發過程也全公開；當然也不排除開發授權給一些商業用途的項目。
用 C/C++ 重寫神經網絡代碼
而這背後的開發大佬 Georgi Gerganov 也值得說道說道。
他的個人網站十分簡單直接，甩出各種開源項目，除此之外别無其他。可以看出，他是 C/C++ 的狂熱愛好者，信仰 Vim。
此前，他曾用 C/C++ 語言重寫神經網絡推理代碼，這樣幾乎不依賴于其他庫，以此提升效率。至于 llama.cpp 也是他一晚上 Hacking 出來的。
除此之外，他還有一些有意思的項目。
比如檢查鍵盤是否可以通過麥克風竊聽、猜 Hacker News 的标題，Wordle 克隆版等等。
One More Thing
值得一提的是，背後的這兩個投資者也有點意思。
他們還專門給創業者提供算力集群，隻需在網站上申請即可。這波是在 Next Level 上了 ~
參考鏈接：
[ 1 ] https://ggerganov.com/
[ 2 ] http://ggml.ai/
[ 3 ] https://twitter.com/ggerganov
