在阿裏的曆史中,阿裏媽媽和淘寶搜索事業部一直是極爲獨特的存在。他們同根同源,都流淌着雅虎血脈,繼承了來自矽谷的先進理念和工作模式,和以本土派爲主的交易線,形成了風格迥異的兩個流派。前者輕靈飄逸、天馬行空,後者沉穩厚重、一步一個腳印,二者交織碰撞,共同造就了阿裏兼具精英氣質和江湖氣息的獨特魅力。
同時,阿裏媽媽和淘寶搜索事業部也和而不同,屢次"交鋒"、幾經分合,通過良性競争攻克了無數技術高地,碰撞出了屬于阿裏技術的黃金時代。在阿裏後續的幾次技術大改造中,将淘寶先進的廣告和搜索技術複制到其他業務線,一直是最重要的核心命題。
沈加翔、周靖人、徐盈輝、金榕、華先勝、司羅等淘寶搜索體系的頂級技術大牛,在将淘寶推向頂峰後,又彙聚在達摩院,築就了阿裏AI技術的最高峰;王志榮、李天民等另一些靈魂人物則在淘寶搜廣推技術的"複制"過程中,去到其他業務線扮演起了AI領軍人的角色,共同造就了阿裏AI群峰聳峙的盛景。可以說,淘寶的搜廣推體系就是阿裏AI技術人才的搖籃和黃埔軍校,成就了一代宗師。
在《阿裏廣告的黃金時代:無線推薦大浪潮》一文中,我們回顧了阿裏媽媽輝煌曆程中那些震撼人心的時刻,本文則試圖理清淘寶搜索事業部的發展脈絡,并記錄下那些群星閃耀的瞬間。歡迎添加作者微信LW_PLUS交流讨論。
對抗百度失敗,阿裏搜索由外向内
2005年8月,一場足以載入中國互聯網史冊的商業并購案終于塵埃落定,阿裏巴巴宣布收購雅虎中國的全部資産。
兩個月後,馬雲在一次公開宣講中對這次并購做了解釋:在新阿裏巴巴帝國中,旗下四家公司各自扮演不同的角色。老大是阿裏巴巴;當初爲了防止eBay進入老大的B2B領域搶地盤,于是搞了老二淘寶;爲了解決支付手段和市場誠信問題,又做了老三支付寶;後來發現老大還需要一個得力幫手,就找了雅虎中國做搜索。
當時,阿裏巴巴——尤其是阿裏巴巴的B2B業務,是谷歌在中國的第一大客戶。谷歌上市前甚至專門派出高管前往杭州,以調查遙遠的東方爲什麽有一個客戶對它需求如此之大。
阿裏對搜索的需求如此龐大,馬雲自然希望将相關技術牢牢掌握在自己手中,于是便有了對雅虎中國的收購。
完成并購後,阿裏巴巴的戰略是聯合雅虎建立全網搜索引擎與百度競争。
在馬雲的主導下,雅虎中國一度摒棄了門戶概念,把首頁變成了和谷歌很像的搜索欄。不過短短五個月後,又在雅虎總部的指示下改了回來。
這種來回搖擺源自馬雲和雅虎總部在理念上的分歧:按照馬雲的如意算盤,他希望雅虎中國能成爲一個純搜索引擎公司,這樣将能提升阿裏系在産業鏈條上的整體布局。但事實上,雅虎雖然一直在搜索引擎上有投入和積累,但其商業模式一直是媒體定位,并不願意成爲一個純搜索引擎公司。
折騰往複之下,到2008年,阿裏巴巴聯合雅虎對抗百度的計劃終于宣告失敗。
内部讨論之後,決定聚焦到電商搜索。于是雅虎中國原本的搜索團隊被拆分出來,成立了阿裏巴巴搜索中心(ASC),由原雅虎中國搜索業務負責人張勤(花名:楊過)負責。
阿裏巴巴搜索中心支持的第一個業務是B2B。當時B2B的搜索用的是一套基于Lucence架構、用C++重寫的叫做isearch的系統。阿裏巴巴搜索中心在對比isearch和雅虎搜索的代碼後,結合阿裏的業務需求,推出了一套叫做isearch2.0的系統。這套系統把雅虎搜索的先進理論和功能帶進了阿裏,幫助B2B的搜索取得了顯著的性能提升。
2008年9月,王堅博士加入阿裏後成立了集團研發院。阿裏巴巴搜索中心的一部分人流向集團研發院,後來慢慢融入阿裏雲,衍生出了誇克搜索等産品,另一部分人則流向了各個業務BU:張勤留在了B2B,文德(花名:鬼腳七)等人則去了淘寶。
當時淘寶的業務增長非常快,機器擴容經常出故障,業務上壓力很大。爲了支持好淘寶的搜索,阿裏派出了當時被稱作國内"搜索一姐"的原雅虎搜索總經理張憶芬(花名:蓉兒)牽頭成立淘寶搜索中心。張憶芬從阿裏媽媽請來了王志榮(花名:青峰)負責算法,後來沈加翔(花名:五福)和王明強(花名:思函)相繼加入,分别負責工程和産品,組成了淘寶搜索中心的三架馬車。
後來的淘寶搜索事業部就此初具雛形。
這一時期,獨立發展不順的阿裏媽媽并入淘寶,并獲得了新的番号——淘寶廣告事業部。合并後,陸兆禧仍擔任淘寶網總裁,吳媽出任副總裁,分管淘寶廣告事業部。不久後,張憶芬離職去了Yahoo Asia,淘寶搜索事業部轉由吳媽負責。
在吳媽的帶領下,搜索事業部和廣告事業部就此開始了雙星閃耀的時代。
搜索奠定地位,和廣告分庭抗禮
淘寶廣告事業部和淘寶搜索事業部成立的頭幾年都一窮二白,條件非常艱苦。
但到2010年,淘寶廣告的三架馬車——鑽石展位(CPM)、淘寶客(CPS)、直通車(CPC)基本成型,營收開始高速增長。到這年年底,淘寶的廣告營收已經突破了每天100萬元的大關。
開始賺錢後,淘寶廣告事業部的地位水漲船高,基建也鳥槍換炮。他們找集團申請預算采購高檔服務器,搭建了一個MPI集群。
搜索事業部就沒有這麽幸運了。徐盈輝(花名:仁基)記得,自己2012年加入淘寶搜索事業部時,團隊還在用單機版的GBDT算法跑模型,一天的日志就要跑三天。
搜索不像廣告,可以直接帶來收入。由于說不清買服務器後能夠給創收帶來什麽幫助,當時搜索事業部很難申請到預算。于是内部商量,能不能找廣告事業部商量一下,借他們的服務器來跑模型。
商量的結果是:搜索事業部先把日志整理成可訓練的數據,給到廣告事業部,廣告事業部跑完後,再把模型返給搜索事業部。
在搜索事業部看來,這是非常屈辱的不平等條約。"相當于我們隻是做了個數據,他們跑完隻給我們模型,中間是如何訓練的,出了什麽問題,我們都不知道。"
無奈之下,他們隻好弄來幾十台廣告事業部淘汰的舊機器,自己搭了一個MPI集群,湊合着用。
在徐盈輝等人的努力下,淘寶搜索事業部很快做出了自己的第一版算法。後來,徐盈輝又帶着團隊把GPDT、SVD等算法全部做了并行化,并開放給了包括阿裏雲早期團隊在内的其他部門。
這些工作下來,搜索事業部逐漸樹立了自己的地位,不再像之前,人員晉升還要看廣告事業部的臉色。
完成算法的并行化後,2013年,搜索事業部開始推動個性化搜索。個性化搜索本質上和推薦是類似的邏輯,都是根據user profile來影響搜索排序結果。
如此一來,搜索事業部和廣告事業部做的事情,交叉的部分就越來越多了,内部自然就想到了合兵一處。
吳雪軍(花名:鐵相)代表廣告事業部和搜索事業部談判過一次,提出要領導搜索團隊。但此時的搜索事業部已經今非昔比,他們據理力争,"這沒得談,大家一起做,誰也不要覺得高誰一頭。要論算法,所有部門用的MPILR算法都是搜索事業部開放的,論貢獻我們不輸誰。"
此話的确不假,當時廣告事業部太過強勢,其他部門跟它合作,最後都成了幫他們管機器,連代碼都見不着。而搜索事業部是主動把自己的算法開放給兄弟部門使用。因此搜索事業部雖然不如廣告事業部賺錢,但是内部威望很高,集團裏很多部門都站他們這邊。
于是,不出意外,這次談判最後無功而返。
搜推融合,淘寶開啓個性化時代
2013年,阿裏轟轟烈烈的"all in 無線"戰役拉開序幕,集團開始從各個部門抽調人力大力發展手淘。
當時,淘寶廣告技術部已經重新升級爲阿裏媽媽事業部。淘寶搜索事業部則和負責交易等基礎功能的手淘技術部結合得更加緊密,由從B2B過來的張勤負責,向集團副CTO姜鵬(花名:三豐)彙報。
在"all in 無線"戰略的号召下,阿裏媽媽的吳雪軍帶着袁泉(花名:袁全)、嚴強(花名:紹成)、趙斌強(花名:樂田)、周梁、王喆、江鵬(花名:薦軒)六人,從北京奔赴杭州,馳援手淘建設。
吳雪軍團隊加入手淘技術部後,主要負責基于自然流量的個性化推薦,陸續做了"有好貨"和"猜你喜歡",後者至今依舊是淘寶内一個十分重要的産品。關于有好貨和猜你喜歡的故事,雷峰網在《阿裏廣告的黃金時代:無線推薦大浪潮》一文中有詳細記述。
其實早在有好貨和猜你喜歡之前,淘寶在個性化方面就有已經有所嘗試,但主要集中在PC端,比如商詳頁的"迎客松",而且流量不算大,所以并沒有産生非常大的影響力。
有好貨和猜你喜歡将個性化從PC端延伸到了無線端,尤其是猜你喜歡上線後,迅速成爲了擁有億級流量的殺手級産品,直接推動了手淘個性化的全面鋪開。
2015年9月中旬,袁泉等人正在維也納參加推薦系統最大的會議RecSys。逍遙子突然來電,告知在2015年雙11上要全面開啓個性化推薦。
這年雙十一,個性化推薦算法開始大放光芒,催生了一個又一個令人瞠目的數字。個性化推薦的第一戰場"雙11主會場"更是自雙11開展多年以來首次達到了個位數的跳失率,其引導人數和人均引導頁面數都是前一年的2~3倍。
"天坑一号"個性化主會場示意圖
因爲在雙11的出色表現,個性化推薦算法團隊榮獲了2015年的CEO特别貢獻獎。逍遙子在當時的嘉獎信裏寫道:"這次雙11的一大亮點是,我們基于大數據的無線産品和技術的創新,使得整個運營效率有了大幅度提升。淘系的活躍用戶得到了充分的引導和互動,得到了大量個性化的展示和推薦,事實證明了大數據的巨大威力。我們用大數據賦能了雙11,賦能了我們自己的運營能力。"
2015年之前,淘寶PC端依舊是雙十一非常重要的流量來源。上面大大小小的廣告位,是非常重要的運營陣地。而這些廣告位的分配權都掌握在小二手裏,要麽是價高者得,要麽是銷量或轉化率高者得。總而言之,運營十分強勢。
2015年雙十一,淘寶已經有75%的成交來自于APP,資源位的分配權也逐漸從運營小二手中轉移到了算法。這一年,也因此被稱作淘寶的個性化元年。
前面提到,2014年前後,淘寶内部有很多個團隊在做個性化,除了吳雪軍團隊,淘寶搜索事業部也在做。初期,這種賽馬機制帶來了很多技術創新。但随着技術逐漸走向成熟,團隊之間的相互PK非但沒能帶來正向價值,反而變成了一種内耗。
大家開始思考,如何形成更好的合力。
當時,沈加翔同時管着淘寶搜索事業部的工程和算法,随着團隊發展壯大,沈加翔覺得自己應該更聚焦在工程領域。正好吳雪軍有算法背景,請他來負責淘寶搜索事業部的算法團隊,不僅可以解放自己,也解決了大家在個性化算法上互相PK、無法形成合力的問題。
說來有趣,原來代表淘寶廣告事業部要将搜索事業部收入麾下的吳雪軍,在兜兜轉轉之後,反而帶着團隊成爲了搜索事業部的一部分。
淘寶的搜索和推薦團隊也就此第一次走向了融合。
一段小插曲:一淘網的前世今生
淘寶搜索事業部在和吳雪軍帶領的推薦團隊走向融合的過程,其自身也經曆了一段分合。這源于淘寶發展曆史上的一段小插曲——一淘網。
2010年,淘寶孵化了一淘網。一淘網最早是淘寶搜索事業部的一個孵化型項目,叫做open search(開放搜索)。所謂開放搜索,就是會納入外部數據,和阿裏的數據一起做并行搜索。
當時,阿裏内部對電商的終局判斷存在分歧和争論。大家不确定,國内B2C電商最終會是像國外一樣百花齊放,誕生大量垂直電商網站,還是會幾家獨大、赢者通吃。所以淘寶在原本C2C模式的基礎上,又做了淘寶商城(天貓商城的前身)和一淘網多頭押注。如果将來B2C電商是幾家獨大,淘寶商城可以争取成爲其中之一;如果是百花齊放,一淘網則可以在上遊築起一道大壩,掌握流量分發。
于是,2011年淘寶直接一拆爲三,分成了淘寶網、淘寶商城和一淘網,讓三種模式自由競争。分别由姜鵬、張勇和吳泳銘擔任三家公司的CEO。
一淘網的底層是一個商品搜索引擎。爲了做好一淘網的搜索,淘寶搜索事業部專門分出了一批人提供技術支持:由文德負責搜索技術,沈加翔負責具體開發,同時還從阿裏雲挖來了有搜索經驗的孫牧(花名:一泉)和歐文武(花名:三桐)。
前文提到,雅虎中國的搜索團隊衍生出了阿裏巴巴搜索中心,後來其中一部分人流向了集團研發院,并最終融入了阿裏雲。孫牧就是其中的一員,他最早在雅虎中國負責音樂、圖片、新聞等垂直搜索,加入阿裏巴巴搜索中心後,參與過支持B2B業務的isearch2.0項目,後來又在阿裏雲擔任過阿裏雲雲梯1的項目經理。
一淘網立項後,淘寶搜索事業部人手不足,沈加翔看中了孫牧的垂直搜索經驗,于是通過吳泳銘從王堅手裏把他要了過來。
歐文武則是博士畢業,在一家日資企業做過一段時間算法。2008年加入阿裏後,他最早在薛貴榮和陳華的團隊做網頁搜索。後來阿裏雲發展困難,有一部分人從阿裏雲轉崗去了淘寶等其他業務,歐文武也在其列。
一淘搜索團隊最大的時候,光是在北京就有100多人,其中大部分都是技術,可謂群星璀璨、高手雲集。這些人裏後來成就比較高的還有王峰(花名:莫問)、羅李(花名:鬼厲)和戴宗宏等人。其中,王峰是雅虎中國垂直搜索團隊成立時,從北航招的應屆研究生,他後來成爲了阿裏巴巴内部實時計算項目Flink的推動者。羅李現在是Shopee大數據團隊的負責人,戴宗宏則是大模型獨角獸零一萬物的技術副總裁和AI Infra負責人。
從比價引擎到淘客返利,再到優惠推薦,一淘網的業務形态幾經叠代,最終在2014年宣告失敗。
一淘網的失敗,一方面是因爲國内B2C電商最終沒能百花齊放,一淘網從一開始押注的路線就是錯的。另一方面則是因爲,一淘網始終沒能解決流量從哪裏來的問題。
一淘網自身的流量并不大,而是依賴于從淘寶主搜獲取流量。這就帶來了一個問題,用戶在一淘網比價後,如果發現京東的價格比淘寶便宜,就會跳轉到京東。這相當于把淘寶的流量引流到外面去了,用戶沒法在這個生态中留存。
一淘網失敗後,搜索技術團隊重新回到淘寶,如何安置這些人就成了問題。比如歐文武到淘寶後負責主搜,但當時徐盈輝也在負責淘寶的主搜,爲了避免内鬥,雙方達成"君子協定":搜索結果頁前四的黃金地段由歐文武團隊負責做強個性化,前四之後的位置則由徐盈輝團隊做弱個性化。
這保證了兩支團隊的關系一直十分融洽。大家經常聚在一起交流讨論,往往一方提出一個想法,很快另一方就已經開始着手做了。
這種局面一直持續到2015年初,歐文武主動提出将個性化搜索全部并給徐盈輝。當時,搜索個性化已經趨于成熟,内部賽馬帶來的效率提升已經比不上内部協同,合兵一處更利于淘寶的整體增長。
這件事情雖然不大,但淘寶搜索事業部當時的團隊氛圍由此可見一斑。
圖搜時代開啓:拍立淘橫空出世
2015年前後,淘寶搜索事業部的明星産品,除了猜你喜歡,還有拍立淘。
拍立淘的曆史最早可以追溯到祝銘明掌舵的阿裏M工作室。2013年,M工作室開始用深度學習做摳圖,祝銘明拿着團隊的摳圖成果去跟徐盈輝交流,興奮地說,自己很快就能做以圖搜圖了。
徐盈輝是當時阿裏内部爲數不多懂圖像搜索技術的人。他早年曾在日本理光工作,做過5000萬圖像的以圖搜圖。徐盈輝加入阿裏後,也想過做以圖搜圖,他曾經和身邊一個做圖像技術的同事聊起過這個想法,但直接被對方"勸退"了。同事認爲"這個東西沒啥用",而且當時徐盈輝在負責淘寶主搜,工作任務很重,無暇顧及圖搜,隻能無奈放棄。
徐盈輝聽說祝銘明要做以圖搜圖,很是興奮。他先給祝銘明潑了一盆冷水,"這圖摳的确實漂亮,但是離能做以圖搜圖還差得很遠"。而後給出了自己的建議,"你去找搜索事業部工程團隊的沈加翔,請他幫忙抽調人力解決高維向量的空間索引問題,隻有解決了這個問題,才有可能實現以圖搜圖"。
祝銘明要做以圖搜圖,得到了淘寶搜索事業部工程負責人沈加翔和算法負責人吳雪軍的共同支持,三方各抽調一名技術骨幹,組成了拍立淘的初始團隊。後來團隊又招來了潘攀(花名:啓磐)擔任項目負責人,兼顧算法、工程、産品的統籌。潘攀畢業于美國伊利諾伊大學芝加哥分校博士,此前在美國三菱波士頓研究院、北京富士通研發中心從事視覺領域的研發工作。
潘攀
此外,吳雪軍還給專項組請來了在淘寶搜索事業部做顧問的AI技術大牛顔水成做指導。當時,淘寶在深度學習方面尚缺少積累,顔水成的指導對拍立淘項目的發展起到了關鍵作用。
2014年,拍立淘首次上線。同年,祝銘明從阿裏離職創辦了Rokid,M工作室并入淘寶搜索事業部。
一年後,顔水成辭去阿裏顧問的身份,加入360集團,擔任集團副總裁、首席科學家、人工智能研究院院長。
阿裏曾經試圖挽留過顔水成,但雙方在P級上未能達成一緻。顔水成希望阿裏能給自己P11的職級,因爲當時阿裏的另外兩位AI技術大牛——漆遠和金榕都是P11。顔水成認爲自己在學術圈的地位和這兩位大牛相當,加入阿裏後的職級自然也該一樣。可惜當時阿裏的招人政策正在收緊,隻願意給出P10的待遇,雙方隻能遺憾分手。
同年,吳雪軍也從阿裏離職,創辦了鼎複數據。
随着幾位早期推動者相繼離職,拍立淘項目便由剛加入阿裏不久的淘寶搜索事業部資深總監華先勝接手。
華先勝和阿裏也算頗有淵源。早在2019年的時候,阿裏就以P10的待遇招攬過華先勝,但當時華先勝想着先去美國曆練曆練,便謝絕阿裏的好意,加入微軟美國總部的必應産品組做了兩年圖像搜索引擎,後來又轉入微軟美國研究院做大規模圖像識别。
2015年,阿裏需要一個技術大牛來領銜拍立淘,于是又找到了華先勝。華先勝覺得,做圖像搜索,電商是最好的場景,拍立淘是個非常好的機會。于是雙方一拍即合。
華先勝接手拍立淘後,驚喜地發現,拍立淘的大框架基本上是合理的,和自己設想的架構也是基本一緻的,在這個基礎上對各個模塊,例如分類、摳圖、特征學習、索引、排序等技術點繼續優化,并整體上提升效率就可以了。
在前人的積累和華先勝的加持下,拍立淘僅用一年時間就做到了世界頂級水平,并一直保持至今。拍立淘的日活也迅速從最初的每天幾百UV增長到了2017年的每天超過千萬UV。華先勝曾在一些國際會議上介紹過拍立淘的大緻情況,引起不少圖像相關公司研發者的關注,大家都想一探拍立淘的技術秘密,但至今仍然相差甚遠。
後來,華先勝從淘寶搜索事業部轉到阿裏雲,拍立淘又先後由金榕、徐盈輝等人負責過算法優化。
盡管團隊幾經更叠,但拍立淘在國内電商平台的圖像搜索産品中始終處于一騎絕塵的領先地位。
團隊換血,有人加入也有人離開
2015年,谷雪梅從谷歌中國研究院空降阿裏,接管了淘寶搜索事業部。這段時間前後,淘寶搜索事業部經曆了一波不小的人員調整。
這年夏天,iDST(數據科學與技術研究院)的科學家們郵箱裏收到了一封關于團隊拆分的郵件,原有的團隊成員被分拆到各個業務線,内部稱之爲"上山下鄉"。其中就有不少人流向了淘寶搜索事業部。
iDST是阿裏巴巴于2014年7月在矽谷成立的一個研究型部門,由金榕總負責,聚攏了一批頂級技術大牛。
金榕曾是美國密歇根州立大學終身教授,發表過 200 多篇重要論文,在随機優化、在線學習、半監督學習等領域都提出過原創算法和理論。加入阿裏前,金榕受邀爲阿裏媽媽做過一年技術顧問,幫助解決了一個大規模算法優化問題,使得廣告展示的收入提高了15-20%。
iDST的其他成員們也都是個頂個的業界大牛。
但在iDST的一年時間裏,金榕和他的部下們卻頻繁遭到"隻做基礎研究,不懂具體業務"的指責。
金榕來到 iDST 的第一項任務是用算法幫助聚劃算提升 GMV。爲了做好這項工作,金榕經常向小二虛心地請教業務問題,甚至從西雅圖搬回杭州常駐。
但忙碌一年的結果卻令人啼笑皆非:算法默認給便宜的商品增加展示權重,吸引了大批三四線城市用戶,GMV 上來了,卻無意間模糊了當時聚劃算的産品定位。
iDST的其他技術大牛們也分别遇到了這樣或那樣的問題,于是便有了前面提到的拆分iDST。在這次調整中,金榕帶着華先勝、司羅等人去了淘寶搜索事業部,漆遠則去了螞蟻金服。
金榕等人的加入,爲淘寶搜索事業部帶來了新的活力。
金榕來到搜索事業部後,負責過一個頗有分量的項目。當時,因爲淘寶的流量是個性化的,銷量不容易預估,品牌做大促時面臨着備貨的難題,備少了不夠賣,備多了又會導緻大量庫存。于是,逍遙子提出,希望有一個系統,能确保品牌跟天貓合作後,能夠拿到确定性的流量。這個系統後來便是由金榕主導的。
企業就像一個人來人往的江湖,有人加入就有人離開。金榕等新鮮血液注入的同時,也有一些中堅力量流向了其他業務。
2016年中旬,袁泉到紐約參加SML會議。當時,Alphago剛剛打敗韓國傳奇棋手李世石。袁泉在會上聽完"AlphaGo 之父" David Silver 分享AlphaGo背後的技術,大受觸動。
他不禁想起了2006年自己剛接觸推薦算法的時候,覺得推薦算法是一件可以做10年的事業,而如今的AGI讓他更受震動。"這事兒至少可以做20年。"
回去後,袁泉馬不停蹄地找到了時任集團CTO張建鋒,提出了自己想做AGI的想法。于是這年年底,在張建鋒的牽頭下,阿裏成立了認知計算實驗室,由袁泉擔任資深總監。
和袁泉一起去認知計算實驗室的,還有同樣對新AI技術充滿濃厚興趣的徐盈輝。就這樣,淘寶搜索事業部的推薦和搜索團隊都失去了一個領頭人物。背後的更多故事,歡迎添加作者微信LW_PLUS交流讨論。
當時,袁泉想基于《星際争霸》這款遊戲來研究下一代AGI,但這件事和阿裏的業務缺少耦合,難免會受到很多質疑。因此袁泉很快便從認知計算實驗室離職創業,創辦了啓元世界。
不久後,徐盈輝也從認知計算實驗室離開,去了菜鳥人工智能部,負責整合菜鳥内部的算法。
工程團隊立功,推動實時個性化
在AI技術領域,算法和工程團隊是不可分割的,二者如同一枚硬币的兩面。隻是因爲算法離應用更近,算法負責人往往更容易被外界所熟知,而工程團隊則更多扮演了幕後英雄的角色。
前文提到,淘寶搜索事業部湧現了大量獨當一面的頂尖算法人才,每個人都有自己的代表作品。
但其實,沈加翔帶領的工程團隊同樣是群星璀璨,聚集了張理、曲琳(花名:喜德)、蔣曉偉(花名:量仔)、李天民(花名:天民)、鄭南(花名:桂南)等技術骨幹。
其中,張理(已經離職去加拿大定居)、喜德是淘天AIOS引擎和中台數據負責人,蔣曉偉推動了阿裏開源實時計算引擎Blink,現已離職創業,李天民曾任阿裏本地生活的技術負責人,鄭南是拼多多的整體基礎設施負責人。
淘寶搜索事業部的衆多裏程碑式的産品背後,離不開這些工程技術人員的努力。
從最初張理的問天引擎開始,逐步一代一代引擎工程技術同學不斷叠代,從iSearch到iSearch5,再到問天3(内部叫HA3),目前已經在github上開源,它是目前整個阿裏巴巴集團搜索引擎的基石。
鄭南團隊的iGraph引擎和李天民團隊的TPP算法個性化平台奠定了袁泉、趙斌強、王曉博(花名:永叔)、魏虎(花名:空望)等人開啓的個性化元年。後來王曉博推動的offline2online的推薦召回,逐步由離線非實時升級爲在線實時化匹配過程,誕生了BE的推薦召回深度粗排引擎。曲琳團隊建設了底層Hippo的彈性調度、RTP在線深度預測引擎、AOP離線訓練等。
這些都逐步成爲了阿裏巴巴整個搜索、推薦、以及更廣泛意義上算法同學的AI基礎設施。淘寶搜索事業部工程團隊負責人沈加翔把這套體系命名爲AIOS系統,它後來發展成了目前愛橙科技的核心AI中台技術設施,支持整個阿裏巴巴所有子公司的AI算法叠代工作,居功至偉。
淘寶實時個性化的另一個重要推動者是蔣曉偉。蔣曉偉畢業于中科大少年班,本科學的物理,是潘建偉院士的師弟。蔣曉偉曾經在内部略帶調侃地說過這樣一句話,"計算機是怎麽run的對我來說太簡單了,我想知道這個世界是怎麽run的"。其少年天才的實力和性格由此可見一斑。
蔣曉偉
蔣曉偉在阿裏内部做過一些技術分享,聽過他分享的人都覺得,他能将很深奧的技術講得深入淺出,很有張朝陽物理課的那種感覺。
蔣曉偉加入阿裏時,擺在他面前的有兩個offer,一個是阿裏雲的,一個是沈加翔下面的DUMP團隊負責人的崗位。蔣曉偉幾經權衡後選擇了去沈加翔團隊,他說,阿裏雲那邊聽起來高大上,但是并不清楚對方需要自己做些什麽,而沈加翔這邊是非常明确的。
2015年,蔣曉偉以P8的身份加入淘寶搜索事業部,随後便開始了火箭般的晉升:第二年升P9,第三年升P10……
有一次沈加翔帶着蔣曉偉去跟張建鋒彙報工作,蔣曉偉非常笃定提出要做流批一體和亞秒級實時計算。正是這次彙報促使了張建鋒推動集團收購德國Flink團隊。後來集團把阿裏雲的jstorm和Galaxy流計算整合進Flink,促成了計算平台事業部的誕生。
除了Flink,蔣曉偉還有另一項重要貢獻——做了一套OLAP(Holo)的實時數據分析系統,是阿裏雲和整個阿裏巴巴非常重要的大數據基礎設施,阿裏幾乎所有的實時分析都是通過這套系統跑出來的。蔣曉偉現在創業做的事情也與此有關。
端智能技術的發展,也和這支對自己不設局限的工程技術團隊有很大關系。端智能剛提出來的時候缺少場景,正好當時拍立淘要工程化,交到了整搜索工程技術團隊手中。在拍立淘這個場景中,工程團隊和當時圖像算法團隊同學培育了第一代端上智能技術,包含兩項核心能力:一是拍照後照片的主體識别要在端側實現;二是如果照片中有多個主體,多主體的識别和類目預測也需要在端側完成。
後來,随着推薦在淘寶中扮演越來越重要的角色,端智能和推薦開始有了協同。其中一個很典型的應用場景就是推薦結果的實時優化,當時推薦算法歐文武團隊和李天民團隊合作,逐步在淘寶首頁猜你喜歡完成了對推薦信息流的端智能化改造,在端上根據用戶實時行爲完成端上重新刷新、重新排序、以及跳失判斷等很有增量的個性化場景,之後拉開了阿裏巴巴集團各大APP業務紛紛升級端智能來提升算法效果的帷幕。
随着搜索事業部業務不斷擴展,升級成爲搜索推薦事業部,以及集團國際化業務的不斷開拓,集團内幾乎所有子公司的搜索推薦業務都被這支産品、算法、工程團隊給直接"把持住"了,也成就了後來周靖人的智能引擎事業群的"短暫盛世",同樣埋下了和各個阿裏巴巴子公司CEO業務矛盾的種子,到底是算法AI爲主驅動業務還是業務運營驅動業務的問題。
今天這些人中,除了曲琳仍在帶領AIOS的AI中台技術外,其他算法和産品技術已經分散到各個子公司中,也有些已經離開了阿裏巴巴。
周靖人接棒,搜廣推實現大一統
2017年,淘寶搜索事業部在和阿裏媽媽的一次PK中被發現數據造假,團隊負責人谷雪梅随後帶着70人的團隊被調往阿裏媽媽。(更多故事細節詳見雷峰網舊文《阿裏廣告的黃金時代:無線推薦大浪潮》)淘寶搜索事業部由周靖人接手。
周靖人加入阿裏的第一站是阿裏雲,後來又參與組建了達摩院。
接手淘寶搜索事業部後,2019年他又接管了阿裏媽媽,并主導了搜索和廣告的融合。前文提到,吳雪軍入淘後,淘寶的搜索和推薦開始走向融合。周靖人接管阿裏媽媽,則标志着淘寶的搜廣推第一次實現了大一統。
如果說搜索和推薦的整合還算容易,那麽搜推和廣告的合并則要複雜得多。搜推優先考慮的都是用戶體驗,目标一緻,而廣告優先考慮的則是商業變現,和搜推的目标天然沖突,要将二者融合到一起,中間需要做大量的平衡工作。
其實從業務的角度來說,搜推和廣告并不是非融合不可。首先,就像前面說的,二者的目标天然沖突;其次,從管理的角度來說,由兩個獨立的團隊相互競争、彼此制衡也不是件壞事。但當時電商的競争已經進入到了白熱化階段:淘寶自身的業務增長遇到了瓶頸,拼多多這樣的挑戰者也開始崛起,阿裏亟需力出一孔來尋求突破和抵禦外敵。關于阿裏搜廣推融合的更多故事,歡迎添加作者微信LW_PLUS交流讨論。
這時候,将搜廣推進行融合,減少重複工作和内耗就成了一件必須要做的事情。而周靖人堪稱最适合的操盤手之一。
一方面,他在阿裏輪崗很多,幾乎所有核心部門都待過,對不同業務和技術部門的訴求都深有體感,能夠綜合各方角度看問題。
另一方面,他負責過達摩院智能計算實驗室,也帶過業務團隊,相當于研究、工程兩條腿走路。這種技術+業務的複合型經驗在融合搜廣推時也是一個優勢。
對搜索、推薦和廣告來說,大家隻是優化的目标不同,但都需要對商品和人的認知,并且這種認知是多維的,需要通過文字、圖片、視頻等全模态數據來理解,這點是共通的。這是搜廣推融合的基礎。
在此基礎之上,他非常注重用戶體驗和商業化兩大目标的平衡,會根據不同時間點組合出不同的優化方向。這些共同确保了搜廣推的順利融合。
淘寶搜廣推大一統的局面隻維持了不長一段時間,便又重新走向了獨立。但正如前面所說,大一統隻是特定時期的選擇,并非萬能的最優解。其分分合合自然也就因時而動、因勢而變,但這并不影響它們各自對于淘寶發展的貢獻。
之後,阿裏陸續将淘寶搜廣推的技術和經驗複制到速賣通、支付寶和餓了麽等業務,也側面證明了搜廣推對于淘寶發展的重要性。
不過随着這套體系臻于成熟,和新一波技術浪潮的到來,其技術紅利也在逐漸消退。去年,阿裏提出"用戶爲先、AI驅動"兩大戰略,開始将AI作爲下一座技術金礦。在這波技術浪潮中,阿裏能否再次創造當年搜廣推般的輝煌,這或許将是阿裏下一個十年中最大的看點。
關于阿裏AI發展的故事,雷峰網将繼續推出阿裏AI驅動·20年系列文章,《中台是誰的中台,達摩院是誰的達摩院》《後達摩院時代,阿裏集團的AI驅動戰略》,感興趣的讀者請聯系作者溝通交流(微信 LW_PLUS)。雷峰網雷峰網