本文字數: 2400, 閱讀完需: 12 分鍾

張呈剛先生在2024年亞馬遜雲科技出海日上做了題爲”生成式AI在金融行業的應用及思考”的演講。在這個演講中,他討論了生成式AI在金融行業的應用場景和挑戰;具體解釋了金融行業對生成式AI的應用有很多機會,如智能客服、金融文本處理、內部知識庫問答等,但也面臨著監管合規、數據隱私、可解釋性等挑戰。演講重點闡述了亞馬遜雲科技如何通過ByteRock、SageMaker等服務,以及合作夥伴生態系統,幫助金融機構實現生成式AI在提高效率、降低成本、創新産品等方面的價值。這是一場由亞馬遜雲科技舉辦的演講。

以下是小編爲您整理的本次演講的精華，共2100字，閱讀時間大約是10分鍾。如果您想進一步了解演講內容或者觀看演講全文，請觀看演講完整視頻或者下面的演講原文。

生成式人工智能在近年來迅速崛起,引發了廣泛關注和熱議。在這場由亞馬遜雲科技金融行業架構師團隊負責人張呈剛先生主講的演講中,他全面深入地探討了生成式人工智能在金融行業的應用現狀、挑戰和機遇,並分享了亞馬遜雲科技爲企業提供的全方位支持和解決方案。

張呈剛一開始就指出,2022年底ChatGPT的出現給人們帶來了驚喜,展現了其在理解語義和生成內容方面的出色能力,使生成式人工智能的應用範圍得到極大擴展。他形象地比喻說,與之前的深度學習技術主要應用于判定式人工智能(如分類、判斷等)不同,生成式人工智能更像是一種開放式的問答,可以根據提示生成豐富的內容,就像我們在學生時代寫作文一樣。

接著,張呈剛闡述了金融行業作爲一個數字化程度很高的行業,在生成式人工智能方面做了很大推進。他指出,傳統金融行業是一個數據密集型行業,擁有大量數據沉澱,爲生成式人工智能的應用提供了良好基礎。同時,金融行業也面臨一些特殊挑戰。作爲一個強監管行業,監管機構對生成式人工智能的應用持審慎態度,尤其是涉及向客戶提供投資建議等場景,要求高度的可解釋性。然而,生成式人工智能和深度學習技術本身就存在一定的”黑箱”特性,很難完全解釋其內部工作原理,這就造成了一定的困難。另外,金融行業對數據隱私性有嚴格要求,而大模型訓練通常需要大量數據,如何在保護數據隱私的同時獲取足夠的訓練數據也是一個挑戰。

盡管如此,張呈剛還是列舉了金融機構在生成式人工智能領域的一些應用場景。其中,欺詐檢測是一個典型場景。以加密貨幣交易所Coinbase爲例,它面臨著大量欺詐行爲,生成式人工智能可以幫助識別和防範這些欺詐活動。另一個常見場景是客戶服務,生成式人工智能可以用于智能客服系統,提高客戶服務的效率和質量。

金融文本處理也是生成式人工智能的重要應用領域。金融行業中存在大量文本數據,如研報、財報等,傳統上更多是對這些文本進行識別和理解。但現在,生成式人工智能使自動生成研報等內容成爲可能。事實上,張呈剛提到,一些券商App上已經開始使用生成式人工智能根據收盤情況和個股漲跌自動生成相關內容。

智能投顧是另一個值得關注的場景,但也是一個相對敏感的領域。由于涉及向客戶提供投資建議,監管要求很高,可解釋性是關鍵。因此,雖然一些金融機構正在嘗試智能投顧,但進展相對滯後。

除了這些金融特有的場景,張呈剛還提到了一些通用場景,如市場營銷活動物料生成、企業內部知識庫問答等,這些場景在金融行業也有廣泛應用。

值得一提的是,張呈剛強調了多模態場景在金融行業的應用趨勢。傳統的人機交互方式是文本,但現在人們越來越傾向于使用圖像、語音等多模態方式與生成式人工智能進行交互,這給金融行業帶來了新的機遇和挑戰。

爲了滿足金融行業的特殊需求,一些金融機構和科技公司開始推出行業特定的大模型。例如,彭博社(Bloomberg)推出了一個500億參數的金融大模型,使用了一半公開語料和一半金融語料進行訓練,旨在更好地理解金融術語和場景。老虎證券在其券商App中集成了TagGPT模型,爲客戶提供金融問答服務。長橋證券則在其社區中推出了PortAI,允許用戶通過對話的方式與之互動。另外,還有一家海外公司BroadRidge推出了專門面向債券領域的BondGPT模型,支持語音交互和圖像生成等功能。

這些行業特定的大模型雖然參數規模可能不及通用大模型,但由于專注于金融領域,在理解金融術語和場景方面表現出色,更符合金融機構的需求。不過,張呈剛也指出,目前還處于”千模大戰”的時期,沒有一個明確的勝出者,各大模型在不同場景下表現不盡相同,企業需要根據自身需求進行選擇。

針對企業在采用生成式人工智能時可能扮演的不同角色,張呈剛進行了分析和介紹。他將企業分爲四種角色:Buyer(買家)、Builder(構建者)、Model Consumer(模型消費者)和Model Tuner(模型調優者)以及Model Builder(模型構建者)。

Buyer角色指的是那些不願意深入參與技術細節,只希望獲得一個交鑰匙的解決方案的企業。這類企業通常是相對傳統的金融機構,他們更傾向于采購的模式,只關心最終的業務場景,而不關心底層使用了什麽大模型或技術工具。對于這類客戶,張呈剛表示,亞馬遜雲科技不僅提供雲服務和大模型,還有專業服務團隊、合作夥伴生態系統(包括ISV軟件供應商、SI系統集成商等)等,可以深入了解客戶需求,並提供從原型開發到最終落地的一站式服務。他強調,落地生成式人工智能解決方案是一個複雜的系統工程,需要深入了解企業的業務場景、整合各種工具和數據源、處理安全合規等諸多問題,光有大模型是遠遠不夠的。

Builder角色則指那些願意親自參與構建和調優生成式人工智能解決方案的企業。在這一大類中,張呈剛進一步細分爲三個小類:Model Consumer(模型消費者)、Model Tuner(模型調優者)和Model Builder(模型構建者)。

Model Consumer是最基礎的一類,它們不會自己訓練大模型,而是直接消費現有的大模型。在這一領域,張呈剛重點介紹了兩種技術路線:提示詞工程(Prompt Engineering)和檢索增強生成(Retrieval-Augmented Generation,RAG)。

提示詞工程指的是通過精心設計的提示詞,引導大模型生成所需的輸出。這種方式相對簡單,但需要一定技巧來獲得理想的結果。而RAG技術則是將企業內部的知識庫作爲大模型的補充,在回答問題時,先通過向量檢索找到相關的知識片段,再結合這些片段和問題一起提交給大模型,從而減少幻覺和錯誤回答的風險。張呈剛指出,RAG技術是目前企業落地場景中使用最多的一種方式,不僅適用于對內場景(如員工問答、會議紀要生成等),也適用于對外場景(如智能客服、保險問答等)。但他也強調,RAG場景的落地並不簡單,需要處理企業內部各種異構數據源、權限控制等諸多工程問題,這就需要利用亞馬遜雲科技的數據服務,如全面的數據庫産品線、LakeFormation(數據集成)、DataZone(數據治理)等。

Model Tuner角色則是指那些不滿足于現有大模型能力,希望通過自己的數據對大模型進行微調的企業。這種方式的技術難度更高,需要掌握相關算法,並擁有足夠的算力資源(如GPU)。在這一領域,張呈剛著重介紹了亞馬遜雲科技提供的算力解決方案,包括專門針對AI訓練和推理優化的定制芯片Trainium和Inferentia。他提到,Trainium芯片可以用于訓練數千億至數萬億參數的大模型,而Inferentia則在性能和性價比方面都有很大提升。例如,字節跳動團隊在使用Inferentia芯片後,相比使用GPU,性能和性價比都得到了大幅提升。張呈剛還介紹了亞馬遜雲科技的SageMaker和ByteRock等平台級服務,可以方便地進行模型微調和訓練,提供了諸如分布式集群管理、斷點保存等功能。

Model Builder角色是難度最高的一類,指的是那些希望自己從頭預訓練大模型的企業。這通常需要擁有強大的算法團隊和大量的差異化數據。在這一領域,張呈剛強調了企業數據底座的重要性,包括數據的全面性(覆蓋結構化和非結構化數據)、數據集成(打通數據孤島)和數據治理(源數據管理、合規、脫敏等)。他介紹了亞馬遜雲科技在這些方面提供的各種數據服務和解決方案,如全面的數據庫産品線、LakeFormation(數據集成)、DataZone(數據治理)等。

無論企業扮演何種角色,張呈剛都強調,生成式人工智能在企業級落地絕不僅僅是一個大模型的問題,而是一個系統工程,需要解決”最後3公裏”的諸多挑戰。這包括數據工程、模型調優、工具鏈集成、UI開發等,需要機器學習專家、UI開發人員、合規專家等多方面人才的參與。

爲此,亞馬遜雲科技提供了全方位的支持和服務。除了雲服務和大模型,還有解決方案架構師團隊、産品專家團隊、人工智能實驗室(擁有幾十名博士)、快速原型開發團隊、專業服務團隊和培訓認證團隊等,可以爲企業提供架構設計、産品創新、聯合創新、原型驗證、專業服務和人才培養等多方面支持。

張呈剛最後總結道,生成式人工智能在企業級落地是一個系統工程,需要解決”最後3公裏”的諸多挑戰,包括數據工程、模型調優、工具鏈集成、UI開發等,需要機器學習專家、UI開發人員、合規專家等多方面人才的參與和支持。只有通過全方位的努力,才能真正實現生成式人工智能在企業中的落地應用。

總的來說,這場演講全面介紹了生成式人工智能在金融行業的應用現狀、挑戰和機遇,深入分析了企業在采用生成式人工智能時可能扮演的不同角色,並詳細介紹了亞馬遜雲科技爲不同角色提供的工具、服務和支持。張呈剛的分享爲相關企業提供了很好的指導和建議,有助于他們更好地把握生成式人工智能的發展趨勢,制定合理的技術路線,實現生成式人工智能的企業級落地。

下面是一些演講現場的精彩瞬間：

金融科技公司在全球範圍內廣泛使用亞馬遜雲科技服務,包括傳統銀行、證券公司、基金公司、期貨公司、交易所,以及新興的金融科技公司。

大模型幫助企業打通內部數據孤島,提高工作效率,如自動生成會議紀要、安排會議時間等。

彭博社率先推出金融大模型,引領金融行業大模型浪潮

老虎證券和長橋證券推出了基于大模型的智能投顧服務,爲投資者提供金融咨詢和市場行情分析。

亞馬遜雲科技不僅提供雲平台和服務,還擁有大模型生態系統,並與客戶合作進行創新和快速原型開發。

亞馬遜網絡服務公司領導人強調,企業必須建立系統化的培訓和認證機制,以跟上技術發展的步伐,並培養員工的技能。

生成式人工智能(Generative AI)在金融行業引發了廣泛關注和應用探索。金融行業作爲數字化程度較高的行業,具有豐富的數據積累和場景需求,爲生成式AI的應用提供了良好契機。然而,金融行業也面臨著監管合規、數據隱私和模型可解釋性等挑戰。

金融機構在采用生成式AI時,可分爲”Buyer”和”Builder”兩大類型。“Buyer”類型機構傾向于采購整體解決方案,而”Builder”類型機構則更加主動地參與模型選擇、調優和訓練。在”Builder”類型中,又可細分爲”Model Consumer”、“Model Tuner”和”Model Builder”三種角色,對應著不同的技術深度和投入程度。

生成式AI在金融行業的應用場景包括:金融文本處理(如研報生成)、智能客服、營銷物料生成、內部知識庫問答等。其中,檢索增強生成(RAG)是目前最常見的落地方式,通過將企業內部知識庫與大模型結合,提高了答複的准確性和相關性。

要真正實現生成式AI在企業級場景的落地,需要解決數據工程、模型調優、工具鏈集成、UI開發等”最後3公裏”的挑戰。企業需要具備算力資源、差異化數據、數據治理能力,並與雲服務提供商、解決方案架構師、AI專家等多方合作,共同推進生成式AI的創新應用。

總的來說,生成式AI爲金融行業帶來了新的機遇,但也面臨著諸多挑戰。企業需要全面考慮技術、數據、人才、合規等多個層面,通過與合作夥伴的緊密協作,才能真正釋放生成式AI在金融行業的巨大潛力。