本文摘自《雲栖戰略參考》，這本刊物由阿裏雲與钛媒體聯合策劃。目的是爲了把各個行業先行者的技術探索、業務實踐呈現出來，與思考同樣問題的 " 數字先行者 " 共同探讨、碰撞，希望這些内容能讓你有所啓發。
金融業是數字化、智能化的先行者，也是大模型技術落地的絕佳領域。
相關研究數據顯示，目前國内參數在 10 億規模以上的金融大模型約有 18 個，從廠商到金融服務平台，都在積極探索将不同業務與大模型結合，進行智能化改造。
但激動人心的局面之下，現實仍面臨技術範式的突破如何真正轉化爲場景價值的共性難題，而金融行業因爲天然具備結構化數據充沛和應用場景豐富等特點，同時對輸出的内容要求精準、安全、可控、高效等特性，使得金融大模型的探索一直走得更前沿。
盈米基金作爲一家投顧規模超 300 億元資産規模的獨立基金銷售機構，已将大模型應用在智能投顧客服場景，與業務系統深入融合，從技術路徑選擇到落地應用，探索走出了一條智能化創新之路。
探索，智能投顧
盈米基金可以說是中國基金投顧市場的探路者。2016 年 7 月盈米上線了一個面向個人用戶的理财服務平台 -- 且慢，其定位不是主推某一支産品，而是提供一攬子解決方案，基于客戶自身的資産情況、财務規劃、人生階段等信息提供長期的投資顧問服務。對于投顧機構而言，從賣産品到賣服務，不僅改變了收費方式、盈利來源，更是改變了用戶長久以來的理财習慣。
但提供千人千面優質的投顧服務并不容易。
首先，投資理财是一個高度個性化的問題，如何做好用戶和投資方案和産品的匹配是一個很複雜的問題。此外，基金、保險本身是一個業務複雜度很高的領域，盡管發展多年，但仍有大量的業務規則和數據仍不夠标準化，數字化難度高。比如基金銷售機構需要大量的人來根據基金公司公告來配置基金的信息和交易規則。另外，金融行業對金融産品的價格、收益等等信息的延遲容忍度是很低的。
過去，爲了解決複雜度較高的客戶服務問題，除了不斷優化 APP 的交互和功能以外，就是做好客服系統。但客服機器人一般隻能提供一些格式化的導航信息，大多數情況下會成爲 " 轉人工 " 的跳闆，隻能用大量的真人客服和顧問來解決客戶服務問題。
而 AI 大模型的能力讓且慢看到了新的可能性，其内部快速組建了大模型團隊、标注團隊，并開展内部 AI 大賽，希望從一線征集場景需求、探索 AI 應用的可能，且慢 AI 小顧的想法雛形就由此誕生。
興奮之餘，且慢又遇到了新的挑戰——由于無法使用國外大模型，同時期國内大模型又尚未成熟，且慢 AI 小顧的探索之路幾乎停滞。
确定一款真正可用的大模型，且慢非常謹慎，通過一套包含約 300 個案例的測試集對市面上的大模型進行測試。比如問 "A 基金的規模是多少 "，測試大模型的工具調用、參數提取，以及對工具返回的信息進行再次分析能力 ; 再繼續問 " 對比 A 基金與 B 基金的規模誰更大 "，測試大模型對上下文的理解能力，以及提取 B 基金規模之後，進行數據清洗、對比的能力 ; 繼續追問 " 兩隻基金規模加起來是多少 "，測試大模型的數學推理能力 ......
看似簡單、自然的邏輯，但落在發展初期的大模型上，從技術側實現起來還是很難的。盡管短期内沒有找到理想的大模型，但公司高層堅信國内大模型能快速成長起來—— 2023 年 11 月 Qwen-72B 開源大模型，且慢第一時間進行測試，發現效果意外好，也由此開啓了之後基于通義千問大模型的一步步嘗試。
融合，且慢 AI 小顧誕生
且慢對大模型能力的要求很高，從響應質量、響應速度，再到技術叠代速度缺一不可。盈米基金且慢高級技術總監梁仲智表示，現在的确有很多千億參數的大模型，且慢也都進行了内部測試，但很多模型對基本的 Agent 協議都無法正常執行，綜合質量和效率的平衡考量，Qwen-72B 的推理能力表現最好，而且幾個月後且慢又升級使用了 Qwen1.5-72B。
據了解，且慢在早期通過開源架構工具打造了二十多個不同任務種類的 Agent，且慢 AI 小顧與用戶交互的過程就是大模型自身能力與 Agent 體系配合的過程。
首先，且慢 AI 小顧要解決好用戶的問題，必須能正确理解用戶的意圖，這需要大模型有很強的語義理解能力。通義千問大模型在訓練語料上有高質量的标注和清洗，能夠很好理解各種語言環境下的用戶意圖。
其次，且慢 AI 小顧爲回答問題需要進行多輪的大模型調用，大模型需要從識别請求到完成任務進行一系列自行決策，包括調用外部函數或服務 ( Function Calling ) 的功能。例如，回答一個複雜的收益查詢問題，且慢 AI 小顧綜合用戶問題以及結合系統能力進行動态規劃，最終給出答案後，可以自主決定調用 UI 組件來 " 佐證 " 自己的回複，以此來解決可信度的問題。而 Qwen1.5 在智能調用工具的能力上表現優秀，在公開測試的能力象限中顯示優于 Llama 等大模型。
此外，用戶與且慢 AI 小顧的問答并不是一問一答，而是多問多答，這就要求大模型在複雜的多輪對話場景下能夠保證意圖識别的準确性和連貫性，對模型的上下文窗口提出了很高的要求。通義千問大模型也一直關注長上下文理解的能力，最新開源的 Qwen2 增大了上下文長度支持，Qwen2-72B-Instruct 能夠處理 128k 上 下文長度内的信息抽取任務。
最後，且慢對 AI 小顧的有一定的時延要求。基于通義千問 -Max 的且慢 AI 小顧性能得到進一步提升，但不足之處是時延略長，綜合考慮之下，且慢在一段時期内采用了通義千問 -Max、通義千問 -Plus 的雙參數模式來應對客戶的不同需求，通過不同參數模型的結合，在低成本的前提下實現對大模型的精準調用。
比如，問 " 今天股市走勢如何 ?" 這類簡單問題時，可使用參數較小的模型迅速反饋。當問到 " 過去三個月的投資收益如何，對持倉有何建議 ?"，可通過同時調用 Max 及 Plus 版本，得到全面、準确的答案。目前，且慢 AI 小顧已使用包含了 1000 多個問答集的知識庫支持不同 Agent，覆蓋投資知識、産品信息、功能操作引導等多種問題。
且慢 AI 小顧上線以來取得了很明顯的效果，目前已爲 2 萬多個用戶，解決超過 15 萬個投資問題，問題解決率從之前的不到 50% 提升到 90%，用戶在遇到基礎問題後轉向人工服務的比例顯著下降。這不僅減輕了人工投顧的服務壓力，使投顧可以更專注于提供高階的投顧服務，且大大提高了問題反饋的及時性和處理的有效性。
大模型在金融領域的廣泛應用，爲金融機構帶來顯著價值增益的同時，挑戰也随之而來，安全風險就是其中之一，比如合規、安全、倫理等多個關鍵維度，對金融企業的穩健運營與長期發展構成潛在考驗。
在大模型本身而言，通義千問大模型構建了一個有效、可靠的數據管理及隐私防護框架，确保大模型安全評估體系的全面性，并且在公共雲上還會用一些外圍的内容安全産品。此外，通義千問模型每一次更新叠代的模型訓練中都會引入一些安全、攻防語料，讓大模型學會識别什麽是不安全不合規的内容，然後拒絕回答。
而從外部層面，需要在大模型之上再施加一層工程化的手段來加固安全。比如應對提示詞攻擊時，盡管用戶 A 成功讓大模型認定他爲用戶 B，但在信息查詢的指令反饋鏈路中可以對指令來源的登錄賬戶進行核驗，從而驗證其真實有效身份，避免造成其他用戶信息洩露。
随着大模型能力和安全能力逐漸完善，大模型在金融領域的應用也會涉及越來越多、越來越核心的場景。阿裏雲百煉大模型服務平台提供專屬的 VPC ( 專有網絡 ) 、 用戶數據全鏈路加密、數據不落盤等多重保護，滿足金融企業對核心業務數據的安全防護需求。
未來，拓寬融合邊界
且慢 AI 小顧已經可以 " 獨當一面 "，不過随着大模型叠代，且慢 AI 小顧會更智能——剛剛開源的 Qwen2- 72B，整體性能相比 Qwe1.5-110B 又取得了大幅提升，目前且慢已切換至 Qwen2 并上線運行了。
與此同時，伴随當前大模型版本快速叠代、技術快速發展，從長期來看，" 适配 " 将成爲一個新挑戰——除了對新的大模型版本需要做一些提示詞方面的适配工作，還需要考慮開源框架下的 Agent 體系與大模型能力的适配問題。比如，外界對 LangChain 高度抽象化的能力褒貶不一，在不斷叠代的技術适配過程中，會給技術人員造成很高的理解門檻。
對且慢而言，在大模型實踐的初始階段，沒有成熟的工具必須依靠自身來搭建，下一階段的開發則會考慮外部工具平台，例如阿裏雲百煉平台，希望能通過一些方便、快捷、效果好的一體化搭建工具，誕生更多 AI 小顧這類應用。
比如，且慢要切換使用同一版本的不同參數模型，或者從 Qwen1.5 升級到 Qwen2，在不同版本之間的切換，在百煉平台上隻需要更改 API 參數，一行代碼就能完成模型切換，非常方便。但如果是用外部開源框架工具就複雜得多。
此外，阿裏雲百煉更是一站式平台，除了通義系列商業化和開源的大模型之外，還有諸如 Llama、ChatGLM、百川等市面上主流的大模型和垂直領域優秀大模型，從選模型、調模型、搭應用到對外服務，一站式搞定。開發者可通過 " 拖拉拽 " 的簡易操作幾分鍾開發一款大模型應用，幾小時 " 煉 " 出一個專屬模型，玩模型就像搭積木，把精力專注于應用創新。同時，百煉内置豐富的 Prompt 模闆，支持基于 LLM Meta- prompting 的智能優化，用戶可用幾句話簡單陳述需求，無需費心調試 Prompt 工程。
目前，盈米在其他業務上也在積極嘗試。比如，針對内部用戶做了投顧副駕，輔助客服和顧問更好地回複用戶的問題以及進行一些日常工作。未來随着 AI Agent 的發展，客服和顧問的角色有望慢慢變成一個 " 質檢員 " 的角色，檢查 AI Agent 的工作結果是否可以直接采納。
效率提升方面，盈米做了一個 GPTest 工具，可以讓測試部門直接用自然語言生成自動化測試 Case；以及利用 AI，根據 Figma 設計圖，直接生成高可用的前端 React 代碼。
在且慢的投顧業務中，大模型與本地金融業務深度融合，可以幫忙有效解決投資者教育問題，以及用戶投資方案的規劃、匹配問題，以及投後的服務都會有所提升。在 " 且慢 " 之外，盈米基金計劃将 AI 技術應用于穩行、蜂鳥、啓明業務中。其中，穩行是 toC 的保險業務，蜂鳥是 toB 爲專業資管機構提供數字化解決方案業務，啓明是 S2b2c 通過提供前台展業系統、投顧服務系統，爲理财團隊 / 金融機構提供一站式服務業務。
從金融行業整體來看，銀行、證券、保險等行業均在嘗試将大模型與核心業務進行融合。比如，保險行業接入通義大模型，在客服、理賠、營銷等場景實現效率飛躍，每日調用超萬次，顯著提升客戶滿意度 ; 銀行行業接入通義大模型替代傳統人工座席呼叫，提升了企業運營效率 ; 證券行業接入阿裏雲的通義大模型智能投研、文檔分析、金融信息搜索引擎和智能資訊服務，覆蓋财報、研報、公告等多個方面，爲用戶提供全面而深入的金融信息服務 ......
大模型的能力應用的廣度與深度将不斷擴展，如何打造更有價值的金融大模型應用，對阿裏雲和盈米而言，道阻且長，并肩前行。
