在黑市買 GitHub 星星多少錢?
最貴的高達6 元一顆。
有創業者 Yassin Eldeeeb 自掏腰包測試了一把。他足足花 20 歐元(約 156 人民币),隻買到 25 顆 " 高級星星 "。
沒錯,在黑市上刷 GitHub 星星也是分高低貴賤的。
高級的都是注冊一年以上的賬号來刷,昵稱頭像工作地點等個人資料非常自然絕不重樣。
甚至至少還有一個對其他開源項目的貢獻記錄等,不但算法檢測不出來,肉眼看也沒毛病。
便宜的最低可做到 0.4-0.88 元一顆星星,這種就是最簡單的新注冊空号去刷了,默認頭像,随機生成昵稱的那種。
買了一個月以後發現都已經被平台封号處理,買到的星星也跟着消失了。
不過這種廉價服務最瘋狂的地方在:失效了可以聯系賣方,免費包重刷。
具體有多少人購買這種服務無從得知,不過 Eldeeeb 注意到他的賬單編号是 #57189,說明成交量絕對不在少數。
像這樣的 " 黑市 " 刷星服務,最近被頻頻曝光,也在開發者社區成了話題熱榜的常客。
大家的讨論中,有一個最奇葩的開源項目,被檢測出有 97% 的星都是假的。
假星檢測器
檢測出這個奇葩項目的是另一位創業者 Fraser Marlow,他偶然發現了 GitHub 黑市的存在。
同時他也注意到投資人越來越重視 GitHub 标星數,當作評估開源産品的指标了。
不過作爲數據管道服務公司 Dagster 的增長主管,他不但沒有給自己産品刷星——
反而與識别垃圾郵件的專家合作,收集數據并開發了一個假星檢測器。
具體分爲兩種算法,簡單算法隻能檢測出那些 " 一眼假 " 的。
比如大批賬号都給相同的兩個項目标星,沒有貢獻記錄,除了頭像和用戶名不同其他一毛一樣那種。
但對于開頭提到的那種 6 元一星的高級賬号,簡單算法就無能爲力了。
爲此,Dagster 還設計了一種更複雜的監督聚類算法。
原理也很簡單,一批假賬号會具有相似的特征,在可視化中可以聚集在一起。
而正常用戶的特征應該相當獨特,在統計上非常分散,不應該屬于任何大的群體。
舉個栗子來說,正常的 GitHub 賬号不是每天都有活動記錄,如果一群賬号活躍的日期都重合,就表明它們很有可能是受同一個腳本控制的。
爲驗證算法可靠性,他們創建了一個靶子倉庫,并真的去購買了刷星服務。
聚類算法在測試中表現非常好,接近 100% 的匹配率。
在更複雜的真實數據上,也達到了 98% 的精确度和 85% 的召回率。
接下來,團隊在 Github Archive 公開數據集上綜合使用兩種算法測試。
一測不得了,造假最嚴重的 okcash 總标星 759,簡單算法隻發現一個疑似假星,結合聚類算法直接蹦到 97%,
由于計算成本較高,測試中隻分析了 2022 年 1 月 1 日及之後獲得的星星。
也就是說,還有很多 2022 年之前刷星的項目沒有被揪出來。
與之相比,他們檢測了自己的産品 Dagster 和幾個同行,刷星率都比較低,看來數據管道這個行業還是比較健康的。
在這之後,他們與 GitHub 團隊分享了這些發現,并把檢測器也開源了。
曝光 48 小時之内,GitHub 和刷星供應商都行動起來,他們測試用的 " 靶子倉庫 " 中的假星都消失了。
據 GitHub 方面回應,其實多年以來一直都在積極打擊刷星行爲,但仍舊頻發,根本管不住。
之前就有學術研究,通過數據分析找出 63872 個可疑賬号,但其中隻有不到 5% 被 GitHub 平台自己檢測出并封号。
研究推測,刷星行業早在 2018-2019 年就獲得了 341 萬 -437 萬美元的利潤。
那麽爲什麽會有人花大價錢買 GitHub 标星,真的能帶來實際收益麽?
投資人:我們就愛看星标
開源項目團隊選擇 " 刷星 " 的一個重要目的,就是吸引投資者的目光。
一家風險投資公司的合夥人 Pratima Aiyagari 表示,做開源項目極大可能很久都賺不到錢。
既然收入情況沒法拿來參考,那就要多看一看産品本身的狀況了。
考察開源項目最準确的方式是查看代碼,但這種方法複雜繁瑣且專業性強,并沒有成爲投資者的首選方式。
于是投資者找出了替代方法——看星标——實際上,他們天生就會尋找快速增長的新賬号。
除了絕對數量,風投公司 Runa 還專門設計了一種名爲 ROSS 指數的指标,依據星标數年增長率對團隊進行排名。
Runa 的一名合夥人 Konstantin Vinogradov 說,ROSS 指标已經成爲了開源項目遵循的重要标準,排名靠前的開源項目中有三分之一都獲得了融資。
不過伴随着 " 刷星 " 現象的出現,投資者對星标數的看法也開始弱化。
投資人 Kevin Zhang 說,星标數可能可以成爲一塊 " 敲門磚 ",但不意味着投資者會因爲星标數和項目團隊 " 第二次見面 "。
這也印證了學術界的看法——加州大學聖地亞哥分校助理教授 Stuart Geiger 表示,随着時間的推移,指标(星标數)可能會自行失效。
這就涉及到了兩條社會科學定律——坎貝爾定律和古德哈特定律。
坎貝爾定律說,決策當中使用的一項指标越受重視,就越容易被操縱。
好比網絡購物,實物我們看不見摸不着,自然就會參考其他買家的評價,于是 " 刷單 " 現象也就應運而生了。
古德哈特定律則認爲,如果一項指标被人們刻意追逐,那就不(或不再)是一個好的指标。
但在沒有更好的替代指标的情況下,就必須确保數據的真實度了,就好像在考試中要不遺餘力地打擊作弊一樣。
不過,除了想吸引投資者的團隊之外,還有許多個人開發者也會 " 刷星 "。
目的和創業團隊有異曲同工之處,隻不過吸引的不是投資者而是 HR,希望高星項目能在求職中爲他們帶來優勢。
事實上,也的确有企業将 GitHub 信息作爲評價求職者的指标,甚至有人憑借套殼項目就斬獲了 Google 的 offer。
除了選人,在技術選型時也是同樣的道理——很多人(尤其非專業人士)會傾向于使用高星項目。
除了 GitHub,還有綜合型産品發布平台 Product hunt,數據類産品平台 kaggle,以及 IT 問答平台 StackOverFlow 等媒介也越來越多的受到投資人的關注。
不過如果不能建立有效的 " 防刷單 " 策略,可能最終也難逃換湯不換藥的命運。
對于這種現象,有人總結是 "Fake it till they make it." ——
如同 " 先上車後補票 " 一樣,先假裝自己已經成功,直到真的成功爲止。
One More Thing
AI,特别是大模型的發展,讓檢測虛假賬戶越來越難了。
以前的造假可能隻是刷刷星标和點贊,判斷用戶真僞的方式主要是看賬戶本身的特征。
但自從有了 ChatGPT 以後,還可以刷以假亂真而且不重樣的評論。
如果一個賬戶命中了虛假賬号的特征,但發布的回複卻和真人毫無二緻,該如何判斷它的真僞?
參考鏈接:
[ 1 ] https://www.wired.com/story/github-stars-black-market-coders-cheat/
[ 2 ] https://news.ycombinator.com/item?id=37990338
[ 3 ] https://dagster.io/blog/fake-stars
[ 4 ] https://dl.acm.org/doi/10.1145/3427228.3427258