大模型落地征程:興奮、現實和難題|36氪新風向

36氪 2024-04-30 10:10:23

文|武靜靜

編輯|蘇建勳

大模型落地有多火,從業者吳炳坤深有體會。

“2023年只有十幾個項目,2024年,上半年還沒結束,已經在服務100多個項目。”衆數信科創始人兼CEO吳炳坤告訴36氪。

2021年創業時,吳炳坤選擇的方向是智慧城市相關,2023年,看到了大模型技術帶來的機會,吳炳坤迅速轉型,借助原有的數據能力積累,瞄准大模型輕量化和本地化落地方向。

距離ChatGPT初現已有一年多,吳炳坤能感受到,更多企業在真正看到大模型發展對于自身業務價值的價值,也願意親自上手試試。

吳炳坤有一家客戶是某個地方的食品加工生産商,以前,他們只能依靠人工,按照食品監管要求,審核産品的成分、引導語、規範警示用語等信息,如今,上了大模型之後,審核員只需要和AI對話,提出問題,就可以批量作業,效率大大提升。

更多企業方在用開放的姿態擁抱大模型。中國“鞋王”百麗時尚集團正在把大模型融入貨品管理、銷售、客服等各個環節,讓AI不僅深度參與到調貨、管理,還成爲獨當一面的數字員工。

比如,在“補貨”這個業務場景。以前,百麗內部需要人員自己填表格、發郵件、找審批等環節,費時耗力,至少要花3天多的實踐,有了大模型之後,在百麗時尚與釘釘合作打造“補貨群”,補貨全流程可以實時反饋,隨機應變,效率明顯提升。

這種大模型帶來效率提升的案例比比皆是,已有數據表明,大模型技術正在帶來一次生産力水平的大躍遷——在紅杉美國發布的 Generative AI研究報告中,這波生成式AI爲代表的大模型技術在出現後的一年時間,創造了近30億美元的總收入 ,其中還不包括科技巨頭和雲廠商間接通過 AI 産生的收入,這是SaaS行業花了近10年時間才達到的水平。

AI和SaaS收入增速對比,摘自2024年紅杉合夥人Pat Grady的分享

紅杉認爲,“ 未來,AI 的一大機遇將是軟件替代服務。如果能夠實現這一變革,AI 的市場潛力將不是數千億美元,而是數十萬億美元級別。”

巨大的機會前景誘惑著每一家科技公司。關于“落地”的討論無處不在,幾乎出現在在每一次投資人、企業、産品經理關于大模型的討論中,有人甚至將2024年稱爲大模型落地元年。

吳炳坤和百麗屬于技術的樂觀派,他們願意“嘗鮮”新技術,認爲大模型是實現“提質降本增效”的新利器。

但放眼市場各方的態度,還有更多企業對大模型的態度是複雜的,有興奮,但也有更多的疑慮和擔憂。

36氪探訪發現,有的企業一直在觀望,不敢下場,認爲大模型技術尚不成熟,且在細分行業落地面臨數據、成本等重重挑戰;有的企業雖然持有很開放的態度,但是對于大模型落地形式疑問重重——大模型和場景結合的産品長什麽樣?在什麽場景先落?技術可靠性如何解決?——這些都讓他們對大模型望而卻步,或只願意在小範圍內測試部分邊緣産品。

共識尚未形成,各類觀點和話題在持續發酵,大模型落地的風正在起勢,AI的觸角也正在從産業的某個單點延伸到更廣的範疇。

本文將從三個主要問題展開,討論大模型落地當下的機會和挑戰:

大模型落地誰先受益?因何受益? 企業對大模型的疑慮和隱憂有哪些? 什麽是大模型落地的關鍵挑戰?

1. 最先從大模型受益的人

從落地實踐來看,企業對大模型的需求不只局限在某個固定場景,而是在研發、銷售等方方面面。

目前大模型落地呈現了一幅“廣撒網”的圖景:大模型正在沿著行業軸和場景軸雙線並行,和不同的領域和環節産生新的化學反應——在行業端,融入金融、教育、醫療、制造、零售等領域,在場景端,融入研發、生産、財務、人力、營銷、等各個環節,用技術改造舊模式,撬動新增量。

目前使用大模型技術的主要場景,圖源:a16z

降本提質增效是第一波使用大模型的人嘗到的新甜頭。

首先是金融行業,行業大模型成爲標配。目前,行業誕生了至少18個10億參數以上的金融行業大模型。銀行、券商、保險公司等金融機構紛紛參與其中,度小滿、恒生電子、螞蟻集團等金融科技公司紛紛入局,工商銀行、農業銀行、中國銀行、交通銀行、招商銀行等9家銀行正在研發大模型的應用。

大模型落地金融行業全景圖,摘自騰訊研究院

恒生電子首席科學家、大模型産品總監白碩告訴36氪,“調研100多家金融機構使用大模型的進度發現,到2023年12月,大模型應用情況爲,10%已在上線階段,25%在立項階段,25%在測試階段,40%還處于調研階段。”

目前基金公司、金融機構、保險公司對大模型的需求優先級集中在三類:基于機構自有數據庫和知識庫的問答;智能投顧投研Chat助手;針對文檔的挖掘和問答。目前,恒生電子的大模型産品當中,落地最多的就是智能投研平台WarrenQ。

風控安全的質量提升是金融行業剛需。在風控的環節,大模型可以更好地識別風險、預警風險與控制風險。比如騰訊雲的金融風控大模型,整體的反欺詐效果比通用模型提升了20%左右准確度。也將傳統的樣本收集、模型訓練到部署上線的建模時間,從以前的2周縮短到僅需2天。

降本增效也是金融客服場景看中大模型能發揮價值的地方。在金融智能客服板塊,大模型技術能夠有效降低成本,提高服務質量,容聯雲告訴36氪,他們的容犀Copilot就落地在銀行中,與傳統AI相比,大模型將客服對客戶意圖理解的准確度從68%提高到91%。通過精准定制回複話術,大模型能幫助人工客服節省80%的時間成本。

從這些實踐可以看出,大模型和行業、場景的化學反應也首先從知識密集度更高的地方展開,大模型充當的是降本提質增效的利器,可以直接創作文章、圖片、視頻和音頻,也可以是獨當一面的員工,回答各種問題。

同樣,在法律行業,大模型改變了合同智能審核的技術路徑,不僅提高服務質量和效率。同時,大模型也爲這些to B公司帶來的新的商業化空間——讓他們從周期長、人力成本高的定制化項目中解脫出來,服務更多的用戶。

以冪律智能的合同審核産品爲例,此前公司服務對象是大型企業的法務部門。引入大模型之前,不同企業合同信息差別太大,公司需要針對不同企業,做定制化,跑通梳理審查需求-合同數據收集-數據標注-小模型訓練-審查點實現等全流程,內部團隊也要親自參與到數據標注、小模型訓練等環節。

如今,由于法律大模型出色的文本理解能力,可以直接對合同進行理解分析,原先的數據標注和小模型訓練等環節被法律大模型直接替代,只需要通過提示詞的方式就可以完成審查點定制。

冪律智能智能合同審核案例

“在一些場景效率提升了十倍以上。”冪律智能CEO塗存超告訴36氪。

他提到,此前一個審查點就需要標注大量合同數據、訓練小模型,平均一個審查點定制需要10人天(人工工作日)的人力成本。現在單個審核點只需要花半天時間,時間周期大大縮短,也進一步降低了定制化項目過程中人力成本。

2. 更多需求端的現實拷問:ROI、産品、效果

與技術樂觀派截然不同,對技術的新鮮感過後,如今,還有很多企業在考察大模型技術時,開始用更現實主義的目光來“審視”這項新技術的價值。

“企業想要的不是大模型這項技術,而是能否在增收、降本、增效上做的更好。”紀元AI創始人梁軍告訴36氪。

榜單多少分,排名多少,參數量多大,這些都不是企業真正關心的問題。在前期考察中,大模型會面臨一個個現實的拷問:“ROI怎麽算?”“能不能增收”“産品能不能解決我目前的痛點?”

企業用創收、節省、效率和准確性提高等多維度衡量大模型投入産出比,圖源:a16z

現實主義的其中一面反應在願意花多少真金白銀上大模型,“用戶想要一個定制化的大模型,花費都在大幾百萬以上,市面上用戶可接受的成本則在5萬到200萬之間。”一位從業者告訴36氪。最終讓步的一定是技術方,目前,市面上大模型部署的成本已經卷到幾十萬。

一名法律科技公司員工表示,各地基層法院每年的總預算通常只有百萬級別,不可能全部花在大模型項目上,因此他們在開發上優先追求“小而美”,即使用大模型對一些已有功能進行升級叠代,再進行封裝,以幾十萬元的價格售賣給法院。

在醫療、法律等領域,對大模型的成本有一個更簡單直觀的考量:如果聘請一個實習生(比如實習醫生或實習律師),就能完成大模型現階段能幹的事情,而且人力比大模型更安全、不出風險,那麽企業有什麽動力花重金購置一個大模型呢?

直接調用API是更標准化,成本相對較低的解決方案,但是對于很多手握行業專有數據的企業而言,API接口難以滿足垂直場景用戶需求,且出于信息安全等考量,他們更希望用私有化的方式,把數據把控在自己手中。

此外,數據也是一個關鍵因素。針對特定企業任務和應用的數據,實際上掌握在企業自己手中。許多大型企業不願意將自己的領域數據公開,金融行業就是典型,它們對私有化部署的需求更高,涉及的項目周期長,導致大模型落地的整個時間周期和成本都很長。

對企業來說,這些都是巨大的現實難題,除非企業高層決心要發展大模型,才可能幹成這件事。但更多人在搖擺和觀望。去年2月初,一家運營商公司找某頭部AI公司了解大模型,那會許多人都不了解大模型,國內連文心一言都未發布。然而直到年底,這家運營商還沒真正開始推進,原因是公司老板一直在猶豫,沒有確定到底由誰負責,該如何去做。

現實主義的另一面最終還是回歸到B端應用本身。

“企業會爲先進的技術鼓掌,但是只會爲靠譜的産品買單。”紀元AI創始人梁軍說。

由于大模型落地仍處在“拿錘子找釘子”的階段。如果對具體的産品沒有思考,就需要技術方和企業方共同經曆漫長的探索期。或者只能選擇從自身外圍的一些業務場景開始,逐步滲透到核心業務。有人笑稱,這無異于“用大炮打蚊子”。

另一個落地的難點在于通用大模型和真正的行業應用之間有著巨大的鴻溝。梁軍認爲,直接調用基礎的大型模型並不能滿足特定的需求。例如,在智能投放領域,不同品類的運營需要解決的專業問題各不相同,如果不對特定領域的數據進行專門處理,就無法實現有效的應用。

如何解決底層的基礎大模型和上層具體應用之間的鴻溝,不同公司解法不一。

有的大模型公司選擇自己做,跑通端到端的全流程服務,有的選擇和第三方公司合作。梁軍的答案是Agent作爲中間層來彌合底層模型和上層應用,提升大模型在具體任務召回率、准確率等應用領域的能力。

“這個中間層應該是一個Agent 平台,不僅可以支撐Agent在某個場景的應用,還可以支持大規模生産和部署 AI Agent,以滿足不同行業和場景的企業需求。”梁軍說。

不同的觀點在持續交鋒,技術和應用之間,這是一片空白地。一切都還在摸索中。

3. 更大的挑戰:數字化基礎是天然屏障

大模型在帶來更有想象空間的未來,但現階段,在中國的本土實踐中,更多企業面臨的現實是,大模型不是空中浮木,需要借助數字化的土壤才能在企業內部紮根生長。

“在數字化基礎建設不足的情況下,大模型起不到任何作用。”一位CIO告訴36氪。

在他看來,數字化基礎是大模型技術在場景中發揮價值的一道天然屏障。有了數字化基礎,大模型不僅能夠提質增效,創造一些全新的,大模型原生的新體驗和新應用。這個背後的邏輯是:AI的功能越強,覆蓋的業務環節越多,閉環越完整,發揮的效能越大。不僅能在企業工作流中“打輔助”,還可以獨當一面。

最明顯的就是在零售行業,大模型出現之後,誕生了一個個數字員工,他們可以做直播、做導購,還能成爲數據中樞“管家”,指導采購、銷售、企業管理。

百麗時尚就推出了供門店店員使用的AI助理。店員通過與AI對話的方式,快速進行貨品查詢、調貨、管理庫存等,服務顧客的效率進一步提高。這些背後都是由于此前集團已經建立一整套數字化體系,能夠做到對數據的隨取隨用。

相反,如果一家沒有任何數字化基礎的企業想要用大模型,不僅成本高昂,且見效會極慢。

一位工程師告訴36氪,此前在給一家建築國企做數字化時,由于該公司體量龐大,且不重視企業數據,導致大模型落地的第一步要從頭梳理數據、分類彙總管理數據,再搭建專有雲,這樣初步達到數字化至少要花兩三年時間。

一位正在爲國內某頂級醫院開發輔助診療系統的醫療從業者告訴36氪,他發現,打造醫療大模型過程中,獲取數據是最大的難點。

“醫院有大量的數據,但都在內部,要想調用非常費勁。”他舉例,有次爲了拿到一批國家傳染病數據中心的數據,他需要打各種申請,簽各種保密協議,花了很長時間。

他認爲,“做醫療大模型,最核心的問題就是你的數據從哪兒來,如果搞不定這件事,模型效果就很難保證。”

這不僅是技術方需要解決的難題,也是使用大模型的場景方自己需要完善的功課。

“即便AI技術再先進,它也僅是衆多應用中的一種。”前述CIO提到,多年的數字化實踐中,他總結的經驗是,在借助大模型等數字化工具的同時,企業需要做好基本功。

“信息化建設是一個逐步構建的過程,需要從基礎層面一層層地進行。如果沒有紮實的信息化邏輯或數據化邏輯作爲支撐,僅僅依靠單一的功能來滿足所有用途或應用是不現實的。”這才是屬于企業自身的內功,也是技術無法觸達的深水區。

由此可見,大模型最終的源頭,還是回歸到數字化本身。對于所有的公司而言,數字化的建設並非一朝一夕之事,而要讓大模型發揮其潛力,必須日積月累,先培養好數字化基礎的土壤,才能讓技術真正紮根于企業之中。

0 阅读:5