學術打野 NeurIPS 2024,好多人啊(發出周迅的聲音)!
最熱鬧最值得回味的,咱都總結好了:
學術追星:和 Ilya、FeiFei、Kaiming、Saining 拘謹但不失禮貌地合照。
現場開吃:分爲吃瓜 Bengio 和 OpenAI 員工吵起來版 & " 學術蝗蟲 " 狂炫會上的飯和下午茶版。
勇闖 Workshop:收獲最新 insight,收集五花八門貼紙,搶各種周邊。
該說不說,今年 NeurIPS 開了好幾個新的 workshop,其中有一場還挺特别的,值得一聊。
特别就特别在,它是咱中國公司提出概念,然後咱中國公司圍繞該概念爲題主辦的。
而且NeurIPS 期間同題競賽也被 pick——這賽題它還跟這家中國公司有關系,是該公司作爲第一單位,同北京大學鄧小鐵教授、盧宗青教授研究團隊聯合提報的。
答案揭曉!
這場 Workshop 就是Auto-Bidding in Large-Scale Auctions(大規模拍賣中的自動出價),從AIGB(AI-Generated Bidding)Bidding 模型訓練新範式延展而來。
去年 4 月,,創新地将自動出價建模爲生成式序列決策問題。
這是生成式模型在該領域的首次應用,而且一年來在阿裏媽媽的業務場景實操效果非常不錯。
因此賽題入選後,拿到主辦權的阿裏媽媽特别設置了 AIGB 賽道(也成爲國内工業界今年唯一一家獲得 NeurIPS 比賽主辦權的組織)。
說起來,主辦 Workshop、提報賽題入選,在 NeurIPS 這個 level 的頂會上夠可以了吧?
結果阿裏媽媽還在 Workshop 上還放了一招彩蛋:
爲了讓更多的研究者進入這個領域并激發更多諸如 AIGB 這樣的算法誕生,開源了世界首個包含了大規模模拟競價系統和博弈數據集的 Benchmark,即 AuctionNet。
敲黑闆,AuctionNet 不僅适用于自動出價決策算法研究,還适用于大型博弈的廣泛的決策智能領域。強化學習、生成模型、運籌學和機制設計等更廣泛領域的研究人員也能受益,一整個非常 nice。
就庫庫一鍵三連呗?
從一個腦洞到一場 workshop
OK,咱們先來厘清 AIGB 的概念。
展開來說,AIGB 是一種基于 Transformer、Diffusion Model 等生成式模型的自動出價問題新的解決範式。
出價問題一般是廣告主很頭疼的事情,簡單理解就是他們得在平台上通過競價的方式,進行廣告投放、精準營銷。
并且是盡可能在預期成本下達到最好效果那種。
在用 AI 大模型自動出價之前,整個出價領域業界其實已經在用第三代辦法了,靠的是 RL(強化學習)。但這種方式也有不足,比如在自動出價這種長序列決策場景下,會出現訓練誤差累積過多的問題。
與以往解決序列決策問題的 RL 思路不同,AIGB 将 Auto-Bidding 視爲一個策略生成問題。
也就是說,AIGB 通過生成模型強大的特征關聯以及分布拟合能力,直接捕捉曆史 Bidding 數據集中優化目标和出價策略之間的相關性從而優化策略。
相比于傳統的 RL 方法,AIGB避免了價值函數預估和自舉法所所造成的誤差,而且尤其擅長處理 Bidding 所面對的長序列稀疏回報的問題。
阿裏媽媽決策智能技術團隊負責人介紹,AIGB 在實際在線廣告平台預算 AB 測試中取得了顯著效果,并已在阿裏媽媽廣告場景實現大規模商業化落地,商家經營效果提升顯著。
更詳細的内容大家可以去看看之前 KDD 2024 接收的《AIGB: Generative Auto-bidding via Conditional Diffusion Modeling》,這裏不多贅述了。
昨天,阿裏媽媽在 NeurIPS 2024 現場組織的 workshop,就是圍繞一種典型情況的 AIGB 話題展開——大規模拍賣中的自動出價。
這場 workshop 邀請了來自 Google Research、Amazon、Purdue University 在内的學界和工業界嘉賓來分享交流決策智能領域的最前沿技術。
據淘天集團技術副總裁、算法技術負責人,阿裏媽媽 CTO 鄭波透露,AIGB 居然是從他的一個腦洞開始的。
鄭波表示,去年年初,阿裏媽媽的技術同學們在生成式出價這個方向探索和實踐,并在業界首次提出了出價算法新範式:AIGB(AI- Generated Bidding),他相信 AIGB 有潛力成爲自動出價和大規模拍賣領域的下一代最先進技術。
阿裏媽媽首席算法架構師、資深總監玺羽則表示,自動出價是廣告最具特色的技術領域之一,一直以來都希望能吸引更多的從業者和非從業者關注這個領域。
阿裏媽媽依托 NeurIPS 舉辦的這次 workshop,爲大家提供了一個交流的平台。
而與會嘉賓中的大多數,不僅對 AIGB 技術本身的前沿性和創新性給予了高度評價,還對其在各行各業中的廣泛應用價值及未來潛力表示了非常充分的肯定與期待。
來自Google Reasearch 的 Dr. Zhao以《Auto-bidding in Online Advertising》爲話題,簡明扼要分享了自己對于最新的自動出價技術的見見解。
" 生成模型和大型模型促進該領域的快速發展并帶來新的突破。"Dr. Zhao 表達了自己的看法," 我可以看到将生成模型應用于自動出價的各種潛在優勢。生成模型可以幫助廣告商更好地了解他們的偏好,并幫助生成更複雜和更具适應性的出價策略。"
全球 1500 多支隊伍角逐,會上放榜
這場 workshop 上也有 " 大規模拍賣中的自動出價 " 賽題參賽選手們和團隊的閃耀時刻。
選手們基于不同的基礎生成模型,提出了一批不同于 DiffBid(基于 Diffusion Model 的出價算法)的 AIGB 解決方案,迸發出諸多亮點。
賽題總共分爲兩個賽道,分别是:
AIGB 賽道:利用生成式模型學習自動出價 Agent
通用賽道:含不确定性的自動出價
AlGB Track Winner 兩個團隊,KGAB Team和CleanDiffuser Team作爲獲獎團隊代表在 workshop 上做了 pre~
參賽團隊也有代表闡述了對 AIGB 的觀點及對未來的判斷。
一位來自國内學界的助理教授表示自己非常肯定 AIGB 的價值,在他看來,AI-generated Bidding 技術正迅速成爲廣告投放與出價優化領域的核心驅動力," 随着廣告生态系統的複雜性和動态性不斷提高,傳統規則驅動的出價方法逐漸顯現局限,而基于人工智能的出價技術能夠通過實時數據處理、動态預測和自适應策略制定,實現更高效和精準的資源分配。"
基于自己的研究和學術視野,他很樂意地分享了一點自己已經洞察的先機:
未來的發展中,我認爲個性化出價策略,基于廣告主行爲數據構建高度定制化的出價模型會是一個比較有趣的方向。
多位來自于國内頂級互聯網的算法專家談道,不論是基于 Transformer 還是 Diffusion 的探索都會促進生成式技術在 bidding 方向的全面落地,相信随着衆多從業者的探索與完善,AIGB 技術會變得更加成熟并解決傳統方法所無法解決的問題。
其中一位算法專家表示,他所在的團隊正探索 AIGB 模型的落地,旨在實現從複雜環境上下文出發的端到端智能出價,并已經取得不錯的成果。
從業界人士了解到,比賽的成果與阿裏媽媽去年提出的 DiffBid 在效果上旗鼓相當。而 AIGB 範式下技術叠代很快,據阿裏媽媽算法專家介紹,阿裏媽媽在 DiffBid 基礎上,經過近一年的努力又研發了新一代的出價算法,在自動出價比賽激戰正酣之時,已經在雙十一期間悄然上線,拿到了顯著的效果。
官方統計數據顯示,本次比賽總報名人次共 1861 人,AIGB 賽道 948 人(海外 70 人),通用賽道 913 人(海外 90 人),包括全球範圍的頂尖高校、研究機構和科技、金融公司團隊,以及很多跨組織和個人名義參賽團隊。
最後組成了 793 支 AIGB 賽道隊伍和 729 支通用賽道隊伍,共計 1522 支隊伍參與賽題角逐,報名參賽隊伍中包括北大、清華、哥大、UCSD、慕尼黑工業大學、南洋理工、首爾大學等全球知名高校團隊,以及微軟、騰訊、螞蟻集團、快手、蝦皮、中國建設銀行、字節跳動、阿裏巴巴等科技或金融公司團隊。
還有很多跨組織團隊和個人名義團隊參賽。
淺劃一個令人羨慕的非重點,2 個賽道共 12 支隊伍都有賽事獎金拿,最高 6000 刀!
當然了,因爲是阿裏媽媽舉辦,所以優勝者會有阿裏巴巴的實習機會、校招綠色通道以及訪問學者資格。
" 源神 " 啓動,正式開源自動出價決策領域的 Benchmark
最後聊聊 Auto-Bidding in Large-Scale Auctions 上一個比較驚喜的點——
" 源神 " 啓動!
阿裏媽媽宣布,計劃正式開源自動出價領域的 Benchmark「AuctionNet」,包含 48 個不同 Agent 互相競價的軌迹,共有超過 5 億條記錄,占用 80GB 的存儲空間。
這是世界首個标準化的大規模競價模拟系統和大規模博弈數據集,相關成果已被 NeurIPS 2024 收錄爲 Spotlight 論文(錄取率在 3% 左右)。
特别強調一下,AuctionNet不僅适用于廣告競拍中出價決策算法的研究,還适用于大規模博弈中決策的研究。
這是因爲自動出價屬于決策智能範疇,可以廣泛應用在遊戲、自動駕駛、市場營銷、推薦系統、金融量化投資等領域。
在來自 Google Reasearch 的 Dr. Zhao 看來,開源 Benchmark 的标準化評估和可重複性,将推動這一領域的推動學術研究和實際應用的技術創新。
不僅如此,還将有助于協作和知識共享幫助該領域更多人受益。
講道理,阿裏媽媽開源自動出價決策領域的 Benchmark,真的爲搭起一座多方共赢的橋梁砌上了最重要的第一塊磚。
畢竟時至今日,在線廣告依然扮演着互聯網經濟中至關重要的角色:
統計數據顯示,2023 年全球在線廣告市場規模超過了 6000 億美元;縱觀全球,Google、Meta、TikTok、Alibaba 都有相應的在線廣告平台,就連 AI 2.0 時代弄潮兒 OpenAI 也在近日傳出考慮在産品中引入在線廣告的消息。
這個領域内,自動出價模式的出現打破了傳統廣告技術體系,成爲驅動當前在線廣告發展的核心動力。
但一切事情都不會完美無瑕。作爲近年來工業界的研究焦點,自動出價領域仍然存在許多頗具挑戰性、有價值的科研問題。
比如因爲轉化稀疏、轉化率預測不确定性等問題,仍然需要精心設計如何在投放終點恰當地滿足成本約束;比如時過境遷,工業界的競拍環境已經不再是傳統的單一坑位下的 GSP 拍賣機制,如何在更複雜的競拍環境中找到最優的出價策略仍然是尚未解決的難題。
明面上,解決這些問題是在助推商業收益,但從深層次來說,更是可以推動相關技術領域的持續發展。
然而研究探讨自動出價領域的難點不僅僅在技術本身,由于各平台對數據的嚴格保護,且缺乏和工業界比較接近的廣告競價環境,目前針對其高價值問題的研究主要集中在少數幾家機構。
就,層層加碼,難上加難。
其中,阿裏媽媽就是爲數不多能夠将 RL 在自動出價領域大規模落地的公司之一,且一直以來都活躍推動自動出價技術發展,先後發布了多個算法的升級。
當然了,當 RL 不夠好用的時候,阿裏媽媽敢站出來、願意站出來,開源數據集,期待更多人參與研究,共同推動,優勢也不僅僅在技術本身。
從行業江湖的視角來看,它是中國領先的營銷平台、擁有數百萬的廣告主,并且超過 80% 的廣告主使用了自動出價服務,它有完整的數據鏈路閉環,從用戶點擊到下單過程路徑中的數據都能獲取到。
阿裏媽媽技術同學介紹,爲了讓更多研究者深入了解廣告平台的運作細節,并參與廣告平台最核心的自動出價算法的研究,團隊建設了一個标準的廣告競價環境,并設置了多種貼近工業界真實場景的特性,包括多坑、多樣化的流量價值分布、轉化預估不确定性、稀疏轉化等。
一位阿裏媽媽技術同學對量子位表示:" 希望此 Benchmark 能爲學界和工業界提供強有力的支持,也期待通過開源推動決策智能領域的 AI 技術和應用快速向前發展。"
不得不多說兩句,開源的意義,從來都包含共享、協作、共同探索。
還包括一種自信,一種立足前沿頭部的自信,一種不懼挑戰的自信,一種自己就是 " 源頭活水 " 且願意營造更好生态氛圍的自信。
從去年的 DiffBid,到今年在雙十一中得到驗證的新一代出價算法,阿裏媽媽持續引領着行業的創新和變革。
正如在 RL 方法時代一樣,阿裏媽媽又将在 AIGB 方法時代,以自動出價技術發展的領航者身份再次啓航。
GitHub 鏈接:
https://github.com/alimama-tech/AuctionNet
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>