在過去一年中,觸樂已經寫過多篇關于遊戲行業嘗試應用 AI 的文章。鑒于 AI 技術仍在飛速發展,總是掌握最新的情況并不是一件容易的事,對于遊戲廠商來說也是如此。到目前爲止,仍然有很多公司的決策者不知道怎樣引入 AI,是否能夠引入 AI,而專門分出人力去研究這件事,似乎也并不符合人們對技術 " 降本增效 " 的原始期待。
因此,有一部分業内人士開始專門鑽研 AI 技術,并且嘗試作爲一個獨立的團隊與遊戲廠商展開合作,爲他們提供包括建立合理工作流、自主訓練模型、AI 輔助概念設計等方面的解決方案。和 AI 技術一樣,這種團隊非常新興,人們尚且不夠全面了解他們所能做到的事情。
在遊戲行業工作 20 餘年、作爲制作人參與研發 7 年的吉川明靜目前是一家 AI 工作室的負責人。他的團隊主要研究 AI 美術方向。和過去的研發經驗結合,他們對 AI 美術融入遊戲開發的工作流程有比較深入的經驗和心得,并且有了一些和廠商合作的實際案例。爲此,觸樂和他聊了聊,以期更全面地了解 AI 技術融入遊戲開發流程的實際狀況與前景。
成本與效率的平衡
觸樂:能不能先簡要地介紹一下您這個工作室的人員情況和分工情況?
吉川:我們 AI 工作室的成員均來自于小紅書上最大的 AIGC 社群 " 野神殿 ",目前有 9 名成員。其中 3 名偏向技術,6 名偏向設計,大家來自天南地北、各行各業。目前,AIGC 是團隊成員共同的興趣和紐帶。
我們現在的主要工作之一,是幫合作方調教模型。具體一點說,所謂的模型,通常是 AI 生成圖片所需的基底大模型(又稱 Checkpoint),或者能對其産生影響和控制的小模型(例如常見的 LoRA 和 LyCORIS),每個人都可以通過不同方法——一般就是通過提供大量圖片和打标給 AI 學習,稱爲訓練——去調優模型,讓它根據自己想要的概念去定向生成某一類圖。在這個過程中,單純的訓練往往是不夠的,還要将不同模型進行複雜的融合,就像雜交植物那樣,才能最終獲得我們想要的模型。
如果已經有了較爲滿意的模型,我們還可以幫合作方根據實際需求需要和操作人員的水平來設計合理的 AI 工作流。比如你應該通過哪些步驟使用哪些參數,用什麽形式的提示詞,甚至如何跟傳統的美術工具去配合,最後得到想要的效果。因爲我們掌握的 AI 工具相對多,也時刻保持着最新知識的叠代,所以能夠幫助遊戲公司去做統籌優化。
我們還會直接幫合作方做設計,包括服裝、場景和角色。現在可以做到在傳統設計的基礎上加入 AI 輔助,快速實現 70% 以上的最終效果。比如角色設定,在以往的工作流中,不管是在公司内部還是跟外部做交流,其實都需要花大量的時間去找資料或是設計草圖,但現在我們可以靠 AI 的幫助來使得前期溝通和反饋的效率大大提升。而中期迅速且高品質的設計成型也會給後期人工調整省下不少的力氣。
一個典型的繪圖完整工作流,AI 工作室可以部分彌補合作廠商 "AI 人才不足 " 的狀況
觸樂:您有能透露的幫助遊戲廠商訓練 AI 的具體事例嗎?
吉川:最近 3 個月,我們工作室跟 3 家公司合作了 5 個項目。有的項目做了不久就停止了,有的則在堅持一段時間之後成功了。
我先講一個不那麽成功的例子吧,因爲這個例子是我個人覺得比較可惜的,而且能夠反映出一些普遍的狀況。
合作一開始,我們定了一個比較高的目标:爲遊戲訓練一款全能的畫風模型,這樣他們後面的一些人物立繪,甚至整個劇情 CG 都能用這個畫風模型很快地跑出來。比如說給 AI 一張線稿或者一張色稿,AI 就能輸出一個很接近成品的結果。
具體一點說,當時我們的目标是根據簡單線稿,把角色衣服的材質以及精細花紋都能用 AI 跑出來。然而嘗試了多種不同技術之後,我們發現,立繪的畫風不難實現,服裝的材質也能夠很好地還原,但 AI 生成的花紋在精細度、結構和邏輯上問題就比較多了。進一步細化線稿能改善這個問題,但這樣對研發來講可能有些得不償失,因爲這就近乎用人力來負擔起最複雜的工作,AI 隻是負責上色。這不是我們想要的方向。
總之當時訓練并調整了近 1 個月,中間遇到形形色色的困難,我們也一一克服。最初我們的目标是能跑出接近成品百分之七八十的圖片,但最終的成果大概也隻有百分之五十左右的完成度。這時研發覺得,實際效果和一開始想的有較大出入,再加上其他一些運營方面的顧慮,他們決定停止繼續合作。
觸樂:但您覺得那個項目其實是有前景的嗎?
吉川:是的。我之所以覺得這個項目很可惜,是因爲當時已經看到了曙光。我想多花一點時間,看能不能讓 AI 學會一些具體的花紋。可惜最後沒有更多時間可以嘗試了。
AI 需要較長的時間學習繪制複雜精細的服飾和花紋(圖文無關)
觸樂:感覺這可能代表一個普遍現象,不光是廠商對在 AI 上投入成本比較猶豫,很多公司還要考慮項目上線之後會面臨的輿論壓力。
吉川:确實會感覺到,每位公司的負責人對 AI 技術的态度是不一樣的。有的負責人會比較積極地推進這件事,哪怕是遇到一些困難和技術難題都很有耐心。這樣的話,對接的研發者同樣也會配合度比較高,往往能夠得到比較好的結果。
但如果碰到負責人對 AI 技術本身認知有差異,或者隻是抱着試試看的心态,并沒有決心去真正落地的話,那從上到下的态度都會比較糾結。尤其是一線工作者可能會流露出明顯的抵觸情緒。
有一些人會感覺自己在 " 給 AI 打下手 ",尤其是現在很多公司會把 " 降本增效 " 放在明面上講,一些員工就會覺得,AI 這個東西整合好了會不會讓自己失業。所以在溝通上、反饋上偶爾就會流露出 " 要不就算了 " 的情緒。而這種情緒同樣也會自下而上蔓延。
觸樂:您也知道目前遊戲行業的環境比較艱難,很多人會把更多精力放在生存問題上。在這個前提下,AI 真的能起到 " 救命 " 的作用嗎?尤其是在 " 降本增效 " 方面?
吉川:我認爲增效更爲重要,而非降本,不應該本末倒置。因爲 AI 工作流的設計與運行并非大家想象的那麽容易。
我知道不少從業者,包括遊戲用戶潛意識就覺得 AI 是個廉價的東西。尤其是一些二次元遊戲,主要賣卡面的,用戶會覺得幾千幾百去抽一個好看又強力的角色,必須得是 " 大觸 " 手工畫的,如果用了 AI,這張圖就會價值大跌。再加上網上現在有很多教程會教人傻瓜式的訓練模型,甚至給一般人使用 " 一鍵出圖 " 等功能,就讓人覺得 AIGC 是個很容易的事情。
但如果實際使用過 AI 工作流,就會發現,要做出可用的圖,那些簡單的教程是沒有辦法做到的,不是簡簡單單挑幾個提示詞就能畫出來。商業化落地需要精準輸出,構圖是什麽樣,服裝設計要遵循哪些規則,色調和光線不能發生偏差……比如我們訓練一個模型,如何判斷訓練集(素材)的好壞,如何添加關鍵參數,目前還是需要專業的人來做。而哪怕直接把訓練好的模型給初學者用,畫出的成品也無法滿足商業落地的需要。
要生成實際可用的圖片,仍然需要較爲專業的 AI 訓練過程和工作流的設計
觸樂:但這似乎不符合現在大衆對 AI 的印象。
吉川:是的,包括一些來找我們的公司也存在認知誤區。有些人以爲 AI 現在已經非常簡單,能 5 分鍾畫完想要的。過來看了之後發現實際不是那麽回事,就退縮了。還有一些人稍微試了一下水,好像就安心了,覺得 "AI 确實不行 ",再問一下價格,覺得 " 還不如找人畫便宜 "。
因爲很多人都知道,現在美術上的成本占遊戲開發的大頭,但大量的一線畫師人工其實是非常低的。而目前 AIGC 的人才還比較缺乏——有專門研究 AI,但對傳統作畫知識不夠了解的;也有很了解傳統作畫知識,但對 AI 不夠了解的。同時掌握兩者,且具有一定審美的人可謂少之又少——這樣的人才無論如何都不會是廉價的吧?因此,對于那些把 " 降本 " 看作一切的人,目前 AI 确實還無法滿足他們。
觸樂:所以 AI 并不是一個很好的 " 降本 " 方式?
吉川:我覺得比較有遠見的态度還是把 AI 當做增效工具,去思考如何利用現有的人力資源配置,在同等的時間下開發出更多更優質的内容。這件事非常重要,因爲現在的遊戲對内容的消耗是很大的。你開發了很長時間的内容,上線之後慢則幾個月,快則幾周、幾天就消耗完了。用 AI 的話就不需要像以前那樣按部就班地出草稿、色稿、線稿,而是能快速将完成度推到 70%,剩下人工修改的工作量相比之下就少得多,那樣的話,同等時間内能生産的美術素材量就可以有比較大的提升。
成果與壁壘
觸樂:也許您能舉一些成功案例?
吉川:我這邊最成功的案例是和一家成都公司合作的項目。合作已經持續了 3 個多月,我們不但成功地把角色和場景模型都開發到了期待值之上,還在根據新需求和新技術不斷優化和補充新的合作内容。
細節豐富、結構準确的 AI 場景示例
另一個成功範例是一個原創遊戲。根據對方提供的原始素材和目标闡述,我們在不斷嘗試之後,找到了合适的模型組合去實現具體的設計風格。每個深入的階段我們都會去和合作方确認。可以從這些示例看到我們是怎麽樣從一開始确定筆觸、構圖風格,一步步地把角色具象化的整個過程。
利用 AI 進行畫風嘗試的示例
利用 AI 進行構圖嘗試的示例
豐富面部表情和設計武器的示例
觸樂:那您覺得目前 AI 生成圖片的技術瓶頸在哪裏?其中影響最大的是什麽?
吉川:我來講講跟模型有關的難點吧。
首先是能用于訓練集的素材不足。這個問題非常常見。 比如說某個 IP 的遊戲已經做到第 2 代了,那麽它對美術質量其實是有叠代要求的。現在出的遊戲,畫面效果不可能跟 5 年前、10 年前的水準一樣。所以,哪怕前作積累了很多素材,裏面還是有很大一部分無法直接使用,不能進入訓練集,最多隻能用來訓練一些基礎的概念。
所以在組建訓練集的時候,肯定需要将現有的素材運用各種手段 " 變出花來 ",還需要跟其他的優秀模型進行一些深層融合,以借鑒它們的優點。出圖的流程也要相應調優,最後才能做出好的成品來。我們的核心競争力就在于此,也希望将來能有機會參與更多有着不同需要的研發項目。
還有一個難點在于,因爲 AI 神經網絡本身的複雜性,整個訓練過程其實就像黑箱,誰也不知道它具體是如何學習的。目前大家隻在大方向上有共識,但具體的訓練方法,哪些參數該怎麽設置,還沒有全球統一的标準,存在很多不同流派的見解。正因如此,模型訓練也被稱爲 " 煉丹 " 或 " 煉金 "(笑)。很多東西還是要在實踐中慢慢摸索,根據輸出效果及時調整。像我這邊兩位負責技術的大佬,他們訓練了成百上千個模型,都有自己獨到的一套方法論。
之後我們有計劃去訓練一些能在遊戲這個垂直領域使用的定制化大模型,用來探索我們之前沒見過的美術風格。
觸樂:圖片的畫風對成功率有影響嗎?比如二次元和真人畫風感覺差異就挺大的。
吉川:要求的風格對難度有一些影響。比如現在比較主流的兩種,真人畫風和二次元畫風,二者的訓練參數稍微有一些區别,而理論大體是一樣的,隻不過用戶對真人的還原度要求會比二次元來得高。舉個例子,有時候真人模型需要針對某個特定人物,但出圖經常會不像,或者隻有幾分像。因爲一般對真人的面部判斷是很苛刻的。二次元相對來說好很多,以初音未來爲例,基本上有水青色的雙馬尾,眼睛顔色對上了,大家自然而然就會認出這個角色,對五官的位置、比例之類的要求沒有真人标準那麽高。當然現在 SD 叠代更新的一些技術(注:SDXL),本身包含的參數是之前的幾倍,但我還沒有看到在還原度上表現非常穩定的真人模型,大部分還是要通過反複的抽卡來獲得偶爾滿意的結果。
觀看者對真人畫風的圖片還原度要求更高
我估計,明年年初 AI 會再經曆一次技術叠代,到時候再看能不能突破現在真人模型訓練的局限。而二次元的話,現在的技術可以說已經夠用了。
觸樂:除了繪圖之外,AI 也逐漸應用到了視頻領域。在這方面有什麽值得分享的新成果嗎?
吉川:最近 AI 動畫(視頻)的發展也特别快,從今年 9 月開始,AI 圈子裏像瘋了一樣地研究動畫。之前不是有人用 AI 做了一個《流浪地球 3》的僞預告片嗎?甚至驚動了郭帆導演,把作者請過去聊了,可謂是徹底出圈。而現在 SD 派生出來的新插件和節點也很适合做原創動畫。上半年的時候,想做動畫可能還得用真人視頻來轉繪,現在隻需要提示詞和視頻參考就能做出相當自然流暢的動畫了。
順便一提,目前做得最好的短片,比如 " 剪刀石頭布 " 系列,就是用真人先拍,再轉成動畫,那個效果就已經很驚豔了。
" 剪刀石頭布 " 系列是目前成品效果最好的 AI 動畫之一,不過目前仍然需要投入大量後期人力
當然這個領域也沒有到一步登天的程度,想坐在電腦前點幾下鼠标就可以直接做一部動畫片,那不現實。我覺得還需要至少半年左右的發展,才能用 AI 技術直接生成面向最終用戶的完整短片。
當下 AI 動畫的應用前景已經很有想象力。比如很多二次元遊戲需要做片頭或者劇情動畫,如果先用 AI 做一些 Demo 或者概念片還是很方便的。比起拼接别的動畫進行溝通、或者繪制傳統的靜态故事闆的形式,交流效率高得多。
說個有意思的題外話,我們 AI 創作者社區裏還有很多其他行業的從業者,其中廣告行業的朋友非常歡迎 AI 動畫。他們說用了之後提案通過率高得吓人,客戶往往看了之後 " 大喜 "。以往要溝通很長時間才能談下來的項目,現在一周就可以拿下,關鍵是動畫的制作時間成本還不高。
AI 工具在傳達概念上的效率極高
未來:更精細的分化
觸樂:那廠商能不能自己研究 AI 呢?我經常碰見有負責人說自己指定了團隊裏的一兩個人專門研究這個,更激進一點的,會要求全員都學習。
吉川:很多小團隊,尤其獨立開發者,對嘗試 AI 的态度确實非常積極,甚至可以說是激進。因爲他們有着迫切的降低成本需求,如果隻是在 Steam 之類的平台上發一些實驗性質大于商業性質遊戲的話,也不會去考慮太多輿論風險。中型公司會相對謹慎一些,他們會更多考慮玩家的反應。但通常來說,中小團隊對 AI 的學習仍然僅止于應用層面,真正去深入研究怎麽訓練模型、甚至做一定程度開發的還是比較少。
據我了解,現在隻有一些跨領域的大公司能夠組織專門的人甚至部門來研究 AI。像騰訊這樣的大廠,本身就有自己的 AI Lab,研發出了不少圖像生成的關鍵性技術。但中小公司就很難有這個餘力了。一方面是這方面的綜合性人才難覓,另一方面組織學習也很困難,因爲市面上沒有成熟的培訓體制,全職員工也往往沒有閑餘時間。我們之前也做過培訓課件,發現很多知識都要自己去分辨、補充、整理。而且知識叠代非常快,一些原有的功能可能短短一兩個月後就有上位替代了。所以每天必須花不少時間在學習最新的知識上。
在這種情況下,讓專業的人來做專業的事确實是對中小團隊的一個補充。
觸樂:那之前傳言的 "AI 會徹底解放生産力,讓每個人都成爲開發者 " 豈不是不太現實?
吉川:确實,AI 創作的門檻在不斷降低,隻是還沒有大家想象的那麽 " 傻瓜式 "。打個比方,就像是單反相機和手機拍照的效果确實存在差異。比如最近特别火的 DALL-E3,它集成在 ChatGPT 裏之後,甚至不需要使用者會英文,直接用中文的自然語言去跟它聊天、描述,就能把圖生成出來。當然畫出來的東西從美學角度來看還是比不過最好的 AI 繪圖軟件,隻是它把使用門檻拉低到了前所未有的程度。相應地,如果要産出質量特别好的素材,或者要在遊戲開發過程中深度融入 AI 的話,還是要系統地學一些高級的生圖和訓練技能;小小的個人需求和務求落地的大型商業項目,對這方面的需求完全不一樣。
DALL-E3 和 ChatGPT 的結合,進一步拉低了 AI 繪圖的門檻
觸樂:聽起來最後會分化成 " 專業 AI" 和 " 非專業 AI"。
吉川:在我看來,AI 創作最終會是一個比較兩極分化的領域。低門檻會越來越低,高門檻會越來越高。我甚至想過去深入學一些傳統藝能,比如 Adobe 那一系列繪圖和視頻制作的工具……像 Adobe 這樣的傳統公司其實也在積極擁抱 AI。未來的話,一些在傳統美術方面有實力、在傳統工具方面也很有經驗的人,仍能保持遙遙領先。
我覺得,未來 AI 創作領域很可能會分化爲 3 個方向:一是圍繞 AI 最新技術發展爲主的創作蓬勃發展,二是普羅大衆的低門檻應用,三是傳統的專業選手利用紮實的基礎,去利用 AI 提升原本的工作效率和效果。我知道現在圍繞 AI 還是有很多争議,但面對新事物和技術的發展,一些人心中會有被落下的恐懼,另一些人則把這種變化視爲機遇。
而我一直将 AI 的迅猛發展看作人生的重大轉折和千載難求的機遇,我也希望能夠有機會與更多有着相近觀點和看法的朋友,在遊戲的領域一起進行更多、更長期的實際探索。