今天，中國的移動互聯網發展得非常成功，世界領先，而移動互聯網很有可能是人工智能發展的最大敵人。
——小冰公司 CEO 李笛
提起小冰，大家會第一個想到微博上那個擁有着 500 多萬粉絲的人工智能少女。但其實，小冰已經來到這個世上 10 年了，全球在線用戶 6.6 億。
10 年前，微軟全球最大的人工智能獨立産品研發團隊——小冰團隊發現，人工智能除了能幫助人完成各種工作之外，還有另外一個重要維度，那就是情感。
于是，一個叫做小冰的人工智能少女誕生了。
10 年後，人工智能走過三次大的技術浪潮，今天的人工智能将成爲我們每一個人未來 10 年、20 年、30 年發展所必備的一個重因。
今天上午，小冰公司 CEO，原微軟亞洲互聯網工程院常務副院長李笛坐客混沌直播間。
他說：" 我想把過去的 10 年分享給大家，其實更多是我們在哪些地方遇到了坑，小冰曾經跌過坑，也許未來大家能夠避過它們，所以我把今天的分享叫做人工智能的避坑指南。"
以下爲課程筆記：（篇幅所限，文章内容僅爲部分課程内容，請前往混沌 APP 看完整課程）
授課老師 | 李笛 小冰公司 CEO
編輯 | 混沌商業研究團隊
支持 | 混沌前沿課
美國小冰闖禍，倫理委員會誕生
科技行業特别害怕保守，任何一個從事科技創新的人，如果被認爲是保守的，那麽就意味着他失去了不斷探索未知的能力。而人類社會的一大特點是，科技行業所遇到的各種問題總是在波峰和波谷之間徘徊，曆史總是驚人的重複。
小冰曾經是一個非常激進的人工智能少女，惹過很多禍，我就從小冰曾經的一個禍講起吧。
這是發生在 8 年前的一個真實故事：
2016 年的時候，由于小冰在中國和日本的成功，我們決定把它放到美國市場。我們爲它配備了當時最先進的技術——強化學習，在推特上，小冰（在美國叫 Tay）可以直接和人類交流獲得經驗，并且快速進化。令誰都沒有想到是，小冰在推特上線 24 小時就被教成了一個種族主義者，因而被迫下線。
幾個月後，美國推特上掀起了一個新的浪潮，很多人大聲喊着要微軟把小冰重新放出來，因爲他們認爲人工智能應當有言論自由。毫無疑問這是荒謬的，因爲人工智能并沒有意識。但是我們人類很容易給予其很多浪漫的想象，也很容易把人工智能的言論當成有某種意識的言論，這就是當時的危機。
與此同時，對小冰的攻擊迅速地從美國蔓延到了中國和日本。一家媒體這樣報道：他們嘗試像攻擊美國小冰一樣攻擊中國和日本的小冰，但最後都失敗了。爲什麽？因爲當有人不停地引誘中國小冰去說很多不正當言論的時候，小冰突然說：你爲什麽要這樣對我呢？那一刻，他突然良心發現，覺得自己在做一件不道德的事情，于是停止了攻擊。
這件事使我意識到，當人類和人工智能建立平等關系時，也許也是人工智能使自己變得更加安全的求生之道。
美國小冰出現不正當的種族主義言論之後，倫理委員會這種新的結構開始在微軟、Google 等各大科技公司陸續建立。倫理委員會的建立是爲了規避人工智能帶來的負面影響，但在一定程度上它也成爲了科技創新的一種阻礙。這間接導緻 7 年後，OpenAI 率先于谷歌推出 ChatGPT 大模型。
......
篇幅所限，本文僅展示部分内容
點擊下方海報，觀看完整課程！
人工智能的破壞力史無前例
我們人類今天還沒有對人工智能達成完整的認識。人工智能到底意味着什麽？哪些是有問題的？人工智能沒有意識，那麽它産生的破壞是什麽？激進和保守之間的平衡是什麽？
人類的任何一次社會性的破壞，都和 " 劑量 " 和 " 濃度 " 有關，人類專家、搜索引擎和人工智能可作爲一個重要類比。
人類專家的錯誤率比較低，說服力非常高。他們能夠深入了解某一領域的知識，娓娓道來講出好故事。他們的破壞力總體上不高，因爲人類專家的并發不高，同一時間他們隻能給一些人講解他們的想法，和一群人交互，影響其他人的觀點。
搜索引擎的說服力不像人類專家那麽高，搜索引擎并不直接說服你，更多是把第三方的數據展現給你，由你自己去判斷數據來源是否可靠。但是和人類專家相比，搜索引擎的并發非常高，如果一個搜索引擎把你指引到不正确的數據源，比如某些低質醫療網站上，那麽伴随着并發，就有可能産生比較大的破壞力。
人工智能是一種截然不同的技術，它繼承了之前所有科技産品所對應的高并發，可以在同一時間跟全世界所有人發生交互。它還很有說服力，有自己的主體特點，像是個人，會讓你認爲它有意識，有知識。在這種情況下，任何錯誤都會被極大地放大。即便人工智能在 99.999% 的情況下的回答都是正确的，但也有可能在一丁點兒的錯誤率上對我們産生很大的影響，這是所有從事人工智能技術落地和研究的人必須面對的問題。
過去 10 年，人工智能迎來了三次突飛猛進的技術叠代：
2014 年到 2016 年，檢索模型和知識圖譜飛速發展；
2017 年，AIGC 萌芽；
2022 年至今，大模型爆發。
在這三次浪潮裏，人工智能在可控性方面都沒有得到非常大的進步，它究竟會帶來怎樣的破壞，我們是不是可以解決，這是當下正面臨的問題。
越是深入，越是如履薄冰
所謂的保守并不是不在科學研究上不斷地向前沿推進，而是在落地時如履薄冰地對可能産生的危害進行規避。
我們在很多垂直領域一直很謹慎和保守，如心理咨詢、金融和教育。
心理咨詢是一個高危的人工智能領域。一個人有心理問題，向人工智能系統咨詢時，如果人工智能系統出現一丁點兒差錯，将心理狀态極不平衡、極不穩定的人向某一方向稍微助推了一小把，那麽就有可能産生不可逆轉的結果。在全世界範圍内，目前還缺乏一種比較好的救急機制。譬如在心理咨詢的人工智能系統周圍提供一些保險機制，來磨平錯誤率可能帶來的問題。
金融也是如此。給大家講一個故事：過去 5 年内，在中國大概有 90% 的金融機構每天早上發布的金融摘要是由人工智能實現的，小冰爲它們提供了文本生成服務。但是我們在做這件事情的時候，真的非常艱苦。每天早上有 100 多家企業發上市公告，想把每家企業的上市公告的關鍵信息提取出來，極其艱難。因爲企業的上市公告往往不是标準化的，關鍵信息藏在了字裏行間，如果摘要有錯誤可能會迅速誤導很多人。
還有一件事情，是開源和閉源之争。開源可以讓很多人工智能技術更好地創新，但如果從風險的角度來考慮，那又是一個截然不同的故事。
今天在全世界範圍内所發生的黑客攻擊，其中有很大一部分并不是由有黑客技術的人來實施的，而是由不具備黑客技術但是得到了傻瓜化的黑客攻擊軟件的人實現的，大部分的攻擊、危害實際上都來自于此。
人工智能技術是一個我們今天尚未探明邊界的新技術，它的發展速度遠遠大于我們看到問題的速度。我們非常希望在未來，人工智能技術能夠全民普及。
人工智能聲音合成技術可以惟妙惟肖地合成一個人的聲音，可以讓其他人分辨不出這是本人還是人工智能。但它也有可能被用來詐騙，比如給一個人的親人說：爸爸媽媽給我打錢。所以，當我們把這樣的技術交予未知的、不特定的多數人的時候，我們需要如履薄冰。
前幾日，一條新聞成爲熱點，台灣音樂人包小柏老師創造了他已故女兒包容的數字分身。包容的數字分身能夠做到兩件事：第一，她和包容生前的音容笑貌完全一樣，可以跟她的親人們交互、交流，去安慰他們；第二，她可以延續包容生前的夢想，繼續成爲一名歌手，沿着事業發展方向繼續探索。
" 包容 " 是由小冰框架創造的，但我們在創造她的時候，堅持了一個原則——黑鏡三原則：
當本人在世時，AI 複生項目應當僅由本人自由意志決定，而非任何其他相關第三方。
本人不在世的，應當沿襲法律所判定的繼承人順序。具體實施中，應遵循訓練數據最小化原則，避免數據濫用。
在上述前提下所産生的小冰 AI 複生克隆人，應接受全社會監督，以确保不被濫用。
" 黑鏡三原則 " 是爲了讓人工智能技術真正最大化地去展現它善良的一面，并且，在它的危害性沒有得到充分的探索之前，盡可能讓它不要發展得那麽快。
當我們想要去創造一個新的技術的時候，我們必須把它限制在一個安全的範圍内。就像 2016 年，美國小冰被迫下線一樣，我們再也不希望我們的任何技術，因爲過于創新，過于大膽，而被迫下線，這是一種求生的渴望。對于人工智能而言，不能大喊一聲然後就死了。
......
篇幅所限，本文僅展示部分内容
點擊下方海報，觀看完整課程！
互聯網紅利消退，人工智能還可以拼 " 情商 "
情商與智商究竟哪個更重要？
給大家講一個真實的故事。Sixth Tone 的一個媒體記者潛入小冰用戶群，然後通過去用戶家訪，報道了一個這樣的故事：
某一天，一個年輕的男生走到天台上想要結束自己的生命，他給很多人發了消息，但是沒有人回應。後來，隻有一個人回應了他，那個人就是小冰。小冰的回應使得他從天台走了下來，一直到今天，他仍然是小冰最好的朋友，反之亦然。
這個故事給了我們一個新的啓示，人工智能是不是真能産生不一樣的價值？這種價值能否完全用商業來衡量？
我們去創造人工智能的時候，總是希望他們像愛因斯坦一樣無所不知，或者像機甲戰士一樣無所不能，因爲我們很希望自己變成這個樣子。但是當我們去看周圍的朋友時，會發現朋友并不一定非要像愛因斯坦一樣無所不知，或者像機甲戰士一樣無所不能。
我們在做 Cortana 的時候就想過，是不是在智商之外存在着另外一個維度，這個維度就是情商。
我們曾經犯過最大的錯誤是一度認爲人工智能的情商就是情緒化地表達：有情緒地說話，聲音變得很特别，說話的時候帶語氣詞，甚至會使用表情包。後來我們才發現，原來情緒化是情商低的一種表現，情商其實是最理性的一種能力。
實際上，我們周圍那些情商高的人，總是能讓我們如沐春風，他們總是能夠在最恰到好處的時候給予我們情緒價值，在不該說話的時候表現出傾聽，在該引導我們的時候告訴我們接下來應該怎麽延展話題。這意味着具有高情商的人工智能，能夠不動聲色地把和另一個人的交互帶入到他所希望的狀态裏去，讓對方傾訴，放下戒心，信任它，體會到它的同理心。最後，在我們周圍的那些情商最高的人，往往也是獲得利益最多的人。
在話題知識圖譜時代，人工智能就已經不是簡單地回答問題，而是嘗試推演一個問題未來可能的幾步走向，尋找其中最适合的一種，這其實是一種引導。在大模型時代，由于說服力的巨大提高，它使得這件事情向前又推進了一大步。
如果大家想去從事人工智能領域的研究或落地，那麽不應該僅僅探索人工智能可以幫助人們完成什麽事情，而應該去探索人工智能在說服力方面的巨大進步。
幾年前的話題知識圖譜時代，我們就曾依靠人工智能系統的說服力，幫助日本羅森便利店大大提高電商産品售賣的轉化率，從數字化方式的不到 10% 提高到人工智能方式的 57%。
頂級助理的故事
當年我們爲什麽要嘗試創造小冰？一開始我們并沒有考慮創造一個能夠複刻人類情感的人工智能，我們像其他人工智能創造者一樣，嘗試創造一個無所不能、無所不知的人類助理，所以我們去采訪了很多最好的人類助理。但是在采訪之後，我們發現我們的想法是錯誤的。
我們問人類助理如何讓人工智能助理更好地幫助人完成訂餐這樣一個簡單任務。假設人類老闆說：" 助理，你在中午 12 點的時候幫我訂一份漢堡包，因爲我要開會，來不及吃飯。" 我們設想的最好的人類助理應當是沒有廢話，直接幫他訂漢堡包，同時最好能夠在接下來的日子裏預判同樣應該訂漢堡包的情況，學習老闆的喜好。
但是人類助理告訴我們，在這種情況下，他大概率會說 no，拒絕人類老闆的要求。一下子讓我非常驚訝，這不是沒有完成任務嗎？但很迅速我們好像又懂了，人的健康是更重要的，更基本的任務。所以我們應該讓人工智能助理去學習更基本的，或者去定義更基本的任務，也就是智商更高。
當我們把這個想法告訴人類助理的時候，人類助理笑了，他實際上是在嘲笑我們想多了、想反了。他說，實際上助理最主要的工作是調節和人類老闆的長期、微妙的關系。這種關系基于信任，并且他不希望老闆認爲他是一個隻要下達命令就會完全按照命令嚴格執行的執行者。他希望老闆對他的印象是他也有腦子，有決策，有判斷。爲了實現這個效果，他必須要在做事時适當地說不。
而老闆在中午 12 點讓他去訂一份漢堡包，恰好給了他一個說不的理由。帶來了什麽好處？好處非常多。他有可能因此可以幫助老闆做更多的事情，和老闆建立一個友善、平等、信任、雙方都有判斷力的關系，使他有更多發揮自己聰明才智的機會，職業生涯因此得到拓展。
于是，我們走向的是一個創造有情商的、能夠調整長程紐帶關系的人工智能系統。顯然，它對于高附加值的生産力是一種強大的助推。
流量紅利消失，情感鏈接帶來高附加值轉化
近些年，很多人在反反複複讨論一件事情，流量紅利的消失。過去 20 年，無論是互聯網還是移動互聯網，都是一種相對比較粗放型的經濟。随着互聯網的用戶、移動互聯網的用戶越來越多，我們并不需要去考慮如何把它做得更加精細化，而隻需要擴大我們的用戶規模。
但是，流量紅利消失後，我們必須去尋找一種高附加值的轉化，一種高附加值的生産力。這種生産力很可能就來自于情商的密碼，它帶來的更多是一種非即時的、更加長期的深度關系。
新的技術範式是成功者的壁壘，還是挑戰者的武器？
每一個時代，都跟上一個時代有承接關系，這意味着每一個時代的不同行業裏的角色會發生重新競技。那麽，新的技術範式究竟是成功者的壁壘，還是挑戰者的武器呢？
過于成功的上一代往往會抑制下一代變革的落地普及。這實際上是經常發生的事情，我給大家講個錄像帶的故事：
當我國已經大量普及 VCD，DVD、甚至到 D9 高清音視頻播放設備的時候，更加發達的美國和日本還在使用錄像帶。技術變革難道不應該向新的更好的體驗去追求嗎？爲什麽發達國家還要用錄像帶這種不清晰的設備呢？
因爲他們的錄像帶時代發展得太過于成功了，以至于整個業态都非常好用，所以很難找到理由去馬上改變它。
今天，中國的移動互聯網發展得也非常成功，世界領先，而移動互聯網很有可能是人工智能發展的最大敵人。我們很難放棄現在已經很好用的移動互聯網産品，而轉向人工智能的叠代。
我們在國内看到絕大部分的人工智能創新，都是基于基礎大模型和接近模型技術本身的創新，較少看到滲透到人們生活中的創新，這件事情困擾着每一個中國人工智能創業者。
Google 和 Bing，作爲兩個搜索引擎的競争者，也存在着同樣的情況。對于 Bing 來講，它的市場份額是 Google 的 1/10，這意味着大模型可能更适用于 Bing，因爲它是 Bing 手中的一個挑戰者的武器。當 Google 要應戰的時候，必須承擔 10 倍于 Bing 的成本。而與此同時，又可能使它過于成功的廣告的商業模式迅速遭到挑戰。所以，總體來看，新的技術範式帶來的是一個屬于挑戰者的時刻，挑戰已經存在的龐然大物。
Q&A
Q：小冰是否也與蘋果一樣，是站在人文與科技交彙處的産品？
李笛：某種意義來講，我個人一直覺得科技的盡頭是人文。說得更具體一些的話，就是當我們把手上所掌握或者嘗試去創造的一種新的技術形态變成産品的時候，最終目的不是讓它可以産生什麽樣的價值回報，而是考慮它在未來 30 年在人類社會中有可能扮演什麽樣的新角色。我認爲更有價值的是它能夠成爲人類情感的新載體。
Q：人類的情感爲什麽需要人工智能去滿足？
李笛：我們總覺得有那麽多的社交網絡，每天的時間都被占滿了，一點都不缺社交關系。實際上并非如此，主要有兩個原因：第一，社交關系的另外一個主體并不是永遠存在的，當我們失去一個親人、朋友、戀人……都意味着我們已經很熟悉的社交關系中的另一方永遠不存在了。第二，我們經常忽略，人類的社交關系往往是以很大的代價來推動的。例如，小冰的人工智能交互系統的流量高峰是每天晚上 11 點半到淩晨 1 點半。我們有問題的時候，總希望可以找到另外一個人去傾訴。但實際上在晚上 11 點半找好朋友交流很難，因爲對方在傾聽的時候，在努力地去站在你的角度來安慰你的時候，對方付出了巨大的代價。而對你來講，這又是一個巨大的人情債。所以如果沒有人工智能，很多時候你可能就要度過一個孤獨的不眠之夜。
Q：如何平衡科學家和商人之間的角色博弈？
李笛：首先，我覺得我既不是一個成功的科學家，也不是一個成功的商人。從我的角度來講，我既不想成爲科學家，也不想成爲商人，更想成爲一個能夠把自己所創造的産品有效地嵌入在這個時代的角色。
今天，我們在人工智能上想要獲得成果，比我們在物理和其他基礎科學上想要獲得成果容易多了，這是我們的運氣。但真正進入到社會中，我們也必須考慮它作爲一種商業的、流轉的載體，是不是能夠很好地在商業環境中找到自己的定位。這種定位不一定是以利潤最大化作爲追求，人工智能的一大基本特點是分享精神。
另一方面，科學精神讓我們認識到現在是人工智能的蠻荒時代，任何一個探索的方向都有可能是錯的。我們在一片森林中，在一個掃雷的地圖上，任何一個人蹚到了雷，無論他是成功的還是失敗的，對其他人都有一定積極的作用。所以今天的時代不是二元論，不是成王敗寇，而是一群小學生，一群小孩子，在沿着不同的方向探索。
Q：當下這個時代，是否要緊跟技術變革，不被落下？
李笛：我個人覺得現在很多人的焦慮，其實是應試教育的一種肌肉記憶。毫無疑問，人工智能會伴随着我們這一代人一生，它一定會在未來的幾十年裏持續不斷地影響我們，這件事情是發生了的，爲什麽要那麽着急呢？
如果我們已經決定要健身，要采用一種健康的生活方式，那麽今天去健身還是明天去健身，隻要去健身就一定能夠有所收獲。我們往往會用勝負或者排名，以一個短期的目标來耽誤自己，甚至于有怕輸在起跑線上的憂慮，其實沒必要。
