500 行代碼 VS 估值 5 億
1 月 25 日，自從宣布創業後就備受社區矚目的賈揚清，在推特上展示了一個對話式搜索引擎的 demo。
這個 demo 基于他創辦的 LeptonAI 提供的框架，" 隻用 500 行 python 代碼 " 就開發完成。在邀請大家體驗同時，賈揚清也表示後續計劃把代碼開源。在介紹 Lepton Search 的一系列推特裏，他還艾特了 Perplexity ——估值已經達到 5.2 億的當紅對話式搜索公司，并表示受到他們優秀産品的啓發。
而這也很快吸引來 Perplexiyt 的注意，但引來的并不是什麽好話。
其創始人 Aravind Srinivas 在推特上很快轉發賈揚清的推特并表示：" 太棒了，看到 Perplexity 成爲一些融資動作的參照物，包括前 Meta 和阿裏巴巴高管都這樣做。這說明 Perplexity 的影響力不局限于産品本身，而是輻射到了整個科技生态和行業發展，令人振奮！"
翻譯過來就一句話：Lepton 爲了融資而抄了我 Perplexity 尊貴的前端代碼。
而這條推特下面不乏煽風點火的評論，有人說 Aravind 你說的真委婉，這不就是抄襲了。但也有人指出，Aravind 是反應過度，Lepton 根本不是個做搜索的公司，人幹嘛要盯着你借鑒。
賈揚清也迅速回應，感謝了對方 " 友好的評論 "，然後立刻表示咱們開源見。
之後加速寫代碼，居然一個周末不到真就把代碼開源了。
然後這 500 行代碼在周日上線 Github，一天後拿到 Githhub 熱榜第一，第二天繼續熱榜。星星數不斷增長，目前三天已經有了 4500 顆星星。
而從人們的讨論看，有人已經基于它拿到了一些黑客松冠軍，它還被一款聚焦開發者版的 Perplexity 産品集成，其 CEO 誇贊這給自己帶來速度大幅提升。許多體驗和對比了 Lepton 和 Perplexity 的用戶也誇贊了 Lepton 的體驗。而且它還在不停叠代功能，兩天不到，賈揚清和團隊成員就給它增加了包括中文在内的多語言支持，把對話結果分享到推特和 Facebook 的功能，以及更多的 API 合作。
簡單體驗它後，我發現它确實用戶界面更加簡潔，速度也快很多。當然，它的功能整體也更簡單，比如在每一次回答後，它就結束，再次輸入開啓的是新一輪回答，而非持續的對話。包括提問的長度識别，中文的識别等一些小 bug 也依然存在。
但他顯然打破了我對 Perplexity 的一部分濾鏡。
Perplexity 的護城河被捅破了？
在開源代碼後，賈揚清不忘再次艾特 Aravind，表示期待合作，可以讓對方體驗一下真正 " 快速，雲原生和用戶體驗友好的平台 "。但這一次 Aravind 沒再說什麽奇怪的話。
事實上這 500 行代碼以一種最粗暴的方式把所謂十幾年來第一次能挑戰谷歌的創新——對話式搜索的真實技術含量展示了出來。
從代碼入手看一看，它一共就是幾個步驟：1. 獲取查詢，說白了就是得到用戶輸入的文字、2. 抓取用戶輸入關鍵字相關的搜索頁面、3. 解析網頁文本、4. 基于文本構建提示詞、5. 把提示詞遞交給大語言模型、6. 把大語言模型生成的結果返回給用戶。
當然它還有些具體區别，比如搜索的來源——是使用 Bing 或 Google 的 API，還是使用一個自己的數據庫；背後大模型上的選擇，是 Mistral 還是 Llama 這些開源的，還是直接使用 OpenAI 的 API，或像 Perplexity 還有自己的幾款模型供選擇；以及大模型在其中起作用的方式，是直接讓它根據需求生成回答，還是經過一定的 Prompt 優化。
不過這樣看起來你很快會明白，它本質上是關于更好使用别人 API 的技術。
也就是說，這一切還是建立在傳統搜索引擎提供的檢索能力之上——想要替代 Google 的 Perplexity 是建立在 Google 的 API 之上的。它們本質上屬于 RAG 技術的應用，隻不過，R 更多來自對其他人 API 的系統性掌握，而 G 似乎可以更多歸功于自己的能力。賈揚清則表示，他在開發過程裏發現在 RAG 裏，R（檢索）比 G（生成）的重要性更大。這樣看來，目前 Lepton Search 的 demo 之所以一開始沒有做多輪對話的能力，也似乎因爲這個思路。展示 R 的能力更加重要。
Perplexity 同樣沿着相似的技術思路，而在一些技術人士看來，他們的根源可能來自一篇 Google 和 OpenAI 合作的論文——是的，今天看起來可能不再可能一起寫論文的兩家公司，最後一次合作是對話式搜索的技術原理。
在這篇《FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation》的論文裏，他們提出了一種 FreshPrompt 的技術思路，也就是爲了解決預訓練模型對正在發生的事情的無知，要把它與實時搜索能力結合，而結合的方法是通過提供一種 Prompt，這種 Prompt 本身是在按照發布日期，關鍵信源等各種要素來爲大模型提供上下文信息，并通過一組優化的 Prompt 來引導和改善大模型生成更實時更好的回答。
這種技術思路其實也在指向 R 的重要性可能大過 G。
Perplexity 的網頁版事實上誕生于這個論文之前，但據一些研究它産品邏輯的人表示，這個論文提出的方法也被用到後來 Perplexity 叠代後的産品中。
而隻要看看這張論文裏給出的 prompt 示意圖，這種技術方案之下，前端長成什麽樣最終似乎就是一個大概率的雷同。
說了這麽多，其實你會發現，如果換成一個其他的基于 " 别人 " 的 API 和大模型能力，以及公開的論文給出的技術路線而開發的應用，可能這 " 抄襲 " 的指責隻會讓人一笑而過。Perplexity 的指責似乎也是一樣的事情，賈揚清的 500 行代碼成了破解獨角獸身份帶來的技術幻覺最好的解藥。
醉翁之意
但沒人否認的是，Perplexity 依然是一款好産品。
然而一款充滿新設計的産品的好，在于功能體驗的量級上的領先，它來自對一整個系統的好品味與一個個細節積攢起來的優化。對 Perplexity 來說，對大模型和召回技術的理解，以及它們與應用的結合才是它快速成功的關鍵。而不在于一個單點的而且事實上也并不新鮮的概念。
在把理念通過簡潔的前端實現後，perplexity 真正抓住用戶的是對産品的打磨進而将對話能力與強大搜索引擎的準确性相結合。這背後是各種細節，品味，經驗積累的最終結果。因此，它的護城河必然和時間成正比，從今天人們對它的好評也能看出——速度快，體驗絲滑，都是最樸素的感知，也是最容易替代的感知，因此在面對一個速度甚至更快的 Lepton 開源産品 demo 時，弦自然繃緊了。
而這也帶來整件事裏真正有意思的地方：Perplexity 暗示 Lepton 是抄襲其實在揣着明白裝糊塗。這種做法的一個表面上的作用，自然是 " 掩蓋 " 上面講的技術門檻并不高這件事。而除此之外，裝糊塗其實還有更重要的理由。
賈揚清在去年離開阿裏後，創業初期其實十分低調。但這名開發了 Caffe，核心參與了 Tensorflow 和 Pytorch 的框架大神，身經百戰的原阿裏副總裁，顯然對自己和團隊的技術能力并不低調。在 9 月時我在矽谷聽他創業後的第一次公開分享，他已經在展示自己的 Lepton 服務是大模型基礎框架服務裏速度第一的存在。隻不過，現在看起來當時 Lepton 仍處早期，對更多模型的适配，對算力的建設等都在解決當中。
而進入 2024 年，賈揚清和 Lepton 開始逐漸高調。這一次 Lepton Search 的發布像是一個轉折點。這家創業公司正式開始進入戰場。
在這條 Lepton Search 的發布推特引發讨論的同一天，AI 創業公司 Martian 的一份開源大模型 API 推理榜單發布，對多款推理産品在主要的開源模型上的推理成本、速率和吞吐量等指标做了測試，而 Lepton 拿下多項關鍵指标第一。在另一個由 ArtificialAnalysis.ai 發布的 API 推理榜單中，Lepton 也拿下了 Mixtral 8x7B 這個模型的每秒處理 Token 數的第一，并且是唯一一個支持 Mixtral 32k 上下文窗口的服務。" 它的價格也極具競争力 "，這個榜單這樣說。
而在賈揚清轉發的榜單圖中，Lepton 高高的圓圈旁邊，被它超過的一個小圓圈正是 Perplexity。
是的，Perplexity 才不隻是一個應用公司。
在 Perplexity 的對話搜索産品之外，Perplexity Lab 其實和 Lepton 一樣，也是一個 API 推理服務商，比如最近剛發布的 CodeLlama-70B-Instruct，就可以購買 Perplexity Lab 的 API 來直接使用，這也是最近 Perplexity 真正在發力的重點，它的社交媒體等賬号在大力推廣的是這個服務。
相比 Perplexity 這個搜索應用，Lepton 無疑直接沖擊的是後面這部分的付費用戶。
這對 Perplexity 有多重要呢？
事實上今天的 Perplexity 有點挂羊頭賣狗肉的意味：
用一個極具話題度（VC可以參與共謀）的toC産品吸引融資彈藥，然後補貼到API 燒錢競賽中去。因爲前者面對的是今天商業世界裏最成熟的全家桶＋廣告的搜索商業模式，而後者則是在新周期裏重演一遍被驗證多次的規模效益的機會——先燒錢拿到市場份額，再提高收費。
也就是說都是關乎 API，一個是成本，一個是收益。一個是被數據方控制生死的應用，一個是掘金潮裏賣鏟子的生意。你說拿個真正更重要呢？
而且，如果去看一看 Perplexity 創業初期的故事，它最早做了一款口碑不錯的推特内容的搜索，後來正因爲馬斯克收購推特後大幅提高 API 價格而被迫放棄。這些經驗 Perplexity 顯然是吸取了，不想再犯一次。
所以裝糊塗的第二層目的就是借着先占據的領先和 C 端産品的存在感發起一下進攻，騷擾一下在基礎設施端未來肉眼可見必有一戰的強敵。
看來所有人都意識到，在 AI 基礎設施層面，在所謂的 API 框架層面，一場更持久的戰争要來了。
