AI2.0時代挑戰機遇並存聯想異構智算強勢破局

在前線 2024-05-01 11:17:20

文/在前線 老涼

如同硬幣的雙面,AI的發展過程中,除了美好與希望,也伴隨著焦慮與困惑。

近日,聯想在上海舉辦聯想創新科技大會(2024 Lenovo Tech World),發布聯想萬全異構智算平台,並與中國智能計算産業聯盟共同宣布成立異構智算産業生態聯盟。

聯想集團執行副總裁兼中國區總裁劉軍表示,AI是構築新質生産力的核心要素,其所帶來的顛覆性和需求多樣性,是單一企業無法獨立滿足的。AI世界的未來,一定是産業協同、能力協同及生態協同發展。

聯想集團執行副總裁兼中國區總裁劉軍

在前線認爲,人工智能加速落地,給千行百業的發展前景和人們的生活方式帶來巨變,然而這背後卻意味著:AI基礎設施面臨前所未有的壓力與挑戰。聯想對人工智能産業的發展及智能化變革有著犀利的洞察,並有超前和全面的布局。

作爲業界領先的智能基礎設施及服務提供商,聯想有責任幫助用戶和産業打破AI焦慮症,此次聯想萬全異構智算平台的發布以及異構智算産業生態聯盟的成立等一系列舉措,旨在通過技術創新與生態聯動破局AI落地的痛點和難點,爲智能化轉型打造全新的數字底座。

拒絕焦慮 異構智算應運而起

大模型的出現,就像打開了另一扇大門。隨著AI模型參數的指數級增加,數據量邁入千億,甚至萬億大關,大模型在具備更強泛化及生成能力的同時,也促使AI進入更多樣的應用場景,和更深入的業務流程中。

然而,AI給人們帶來便利和美好的同時,也帶來了AI焦慮症,包括:大衆對AI准備不足、甚至茫然的焦慮,也有企業、行業用戶對AI給基礎設施帶來巨大壓力的焦慮。

聯想集團副總裁、聯想中國基礎設施業務群總經理陳振寬指出,目前來看,AI大模型的訓練算力正以每年10倍的速度陡增,遠超深度學習和摩爾定律的發展。AI 1.0時代正在向AI 2.0時代過渡。

圖爲聯想集團副總裁、聯想中國基礎設施業務群總經理陳振寬

陳振寬表示,AI算力需求快速增加,一場全球範圍內的AI産業大升級正在進行。AI 2.0時代,明確客戶挑戰,並構建穩定且高效的算力基礎設施,顯得尤爲重要。

AI 2.0時代帶來更加廣泛的智能應用落地,與之而來的還有企業轉型過程中的挑戰與焦慮。具體來看,企業客戶對算力的需求越來越大,但面對日益豐富的場景以及複雜多元的算力,如何精准匹配最優解成了客戶在算力使用時的一大挑戰。

不僅如此,大模型的應用在加速,形式也更多樣。但一個現實的問題是,AI訓練故障頻發,大量時間和成本用于排障續訓。AI訓練本是試錯過程,故障不可避免,但每次故障後的恢複會損耗大量時間成本。隨著AI 2.0時代的到來,AI集群規模也會從千卡到萬卡,故障所帶來的損失會更加難以預估。

在這兩方面的影響下,AI算力利用率也會同步降低,轉而給用戶帶來更高的成本負擔。而且在“雙碳”目標下,算力升級與能耗平衡要做到並重,這同樣是客戶面臨的挑戰之一。

大模型在行業的滲透率持續提升,特別是垂直行業大模型落地正在加速。這預示著人工智能的下半場重在落地,而這一切都要依托全棧AI。作爲企業轉型的底座,IT基礎設施需要進行全方位的智能演進。AI 2.0時代,正在呼喚異構智算。

可以說,只有打造新一代異構智算平台,才能支撐新時期多元應用場景的發展需求。聯想在計算領域布局多年,通過在通用計算、科學計算、智能計算領域的深厚積累,爲智能化轉型提供堅實底座。

陳振寬表示,在AI 1.0時代,聯想基于全球智慧和本地創新,打造了全面的基礎設施産品組合。如今大模型開啓的AI 2.0時代,聯想通過過去40年的積累,重塑技術,升級聯想基礎設施戰略布局。

值得一提的是,聯想持續更新和叠代基礎設施領域的戰略。今年初,聯想發布基礎設施業務“一橫五縱”戰略框架,希望基于此構建布局完整、穩定高效的AI導向的基礎設施,助力企業築牢數字底座。

據悉,“一橫五縱”中的“一橫”,是指異構智算平台,能夠對通用計算集群、科學計算集群和AI算力集群進行統一管理,並且能通過對多種CPU、GPU、DPU等處理器的異構管理調度,大幅優化算力的使用效率,幫助用戶簡捷、高效地使用算力資源。而“五縱”,則是指服務器、存儲、軟件及超融合、數據網絡以及邊緣基礎設施産品和方案。

此次大會上發布的聯想萬全異構智算平台,著重打造AI 2.0時代聯想中國基礎設施戰略框架核心,全面升級智能基礎設施布局,幫助企業、行業用戶應對基礎設施挑戰,進而加速推動智能化轉型進程。

合縱連橫 打造異構智算新引擎

之所以能夠快速打造異構智算平台,得益于聯想在基礎設施領域充分且領先的儲備。比如,在通用計算領域,聯想x86服務器可靠性連續9年第一,截至2023年底斬獲536項性能世界紀錄;在科學計算領域,聯想連續9年實現中國HPC TOP 100 NO.1。同時, 聯想是全球第三大AI基礎設施和服務器供應商,並在存儲等領域排名前列。

可以說,作爲聯想“全棧AI”戰略布局的三大支柱之一,AI導向的基礎設施是聯想推動企業、行業智能化轉型綜合實力和全面布局的體現。而“一橫五縱”,將聯想推動各行各業智能化轉型的成果形成方法論,以此打造穩定高效的算力基礎設施。

爲了進一步落實和加快聯想AI導向的基礎設施的“一橫五縱”布局落地應用,聯想與合作夥伴攜手共進,加速技術創新。比如前不久,聯想與銳捷網絡達成合作,將圍繞技術創新、産品研發、資源協同和銷售四大領域,加速“一橫五縱”布局落地。

與此同時,聯想也在關鍵技術和産品領域持續投入。據陳振寬透露,AI 2.0時代,聯想聚焦超強算力、核心算法、液冷創新三大領域,打造了八項核心能力。面對企業智能化轉型面臨的新挑戰,聯想則進行了五大技術創新:

算力匹配魔方。基于海量硬件評測和AI算子算法集成工作,聯想構建了AI場景、算法與集群硬件三者匹配關系的算力魔方知識庫,來標識三者的匹配關系,並自動加載最優算法,調度最佳集群配置。

GPU內核態虛擬化。聯想研究院開發了在GPU驅動層的內核態虛擬化算法,新算法可以將虛擬化造成的GPU算力損耗降到5%以下,極致情況可以降到1%以下,大幅提升GPU利用率。

聯想集合通信算法庫。聯想有著多年集群網絡設計經驗,並積累了豐富的對大規模集群網絡拓撲優化手段。聯想集合通信算法庫可實現對多類型網絡拓撲的實時感知,並使數據在拓撲中以最佳路徑進行傳輸。

AI高效斷點續訓技術。AI訓練故障頻發是常態,因此在訓練前設置故障檢查點和備份十分必要。聯想異構智算平台在常規方法之外,開發了預測AI訓練故障的AI模型,“用AI預測AI”。斷點前提前優化備份,能將斷點續訓恢複時間縮減到分鍾級,大幅提升訓練效率。

AI與HPC集群超級調度器。針對混合集群做資源共享的前沿技術。聯想AI與HPC超級調度器架構于AI和HPC調度之上,能夠切換AI和HPC的調度溝通,能全局監控任務和動態共享資源,使得算力能夠得到充分利用。

之前我們說,AI 2.0時代多元化的應用場景和複雜的算力需求供給,需要全新異構智算中心來實現。此次大會,在五大技術創新的基礎上,聯想推出萬全異構智算平台,通過融合五大技術創新的能力,打造大模型訓練和推理基礎設施底座。

准確來說,聯想萬全異構智算平台是一個能高度自動化完成AI全流程開發的平台:既可以自動完成AI計算並發布模型或發布推理服務,又可以實現對數據和模型優化,算力匹配、管理調度及對訓練和推理過程的監控。

深耕中國市場多年,聯想深知企業智能化轉型是以價值爲導向,其中涉及企業業務運營全流程,十分考驗方案提供商是否具備全要素、全方位、全周期的陪伴式服務能力。而聯想萬全異構智算平台的發布,不僅意味著聯想“一橫五縱”格局的完善,同時也凸顯出聯想“全棧AI”戰略布局的核心價值和能力,也顯示了聯想全生命周期陪伴用戶智能化轉型的初心。

談到未來,陳振寬表示,聯想將持續聚焦三大核心領域的創新,未來會挑戰超過萬卡規模集群的通訊算法優化,挑戰秒級的斷點續訓,深入研究相變式液冷技術,布局模塊化液冷數據中心等等舉措。

可以說,聯想以大廠的責任、擔當和實力,以及實際行動和突破創新推動AI算力高質量發展,解決用戶痛點和産業挑戰。

萬全生態 共拓智能化新篇章

劉軍在七年前的上海聯想創新科技大會上說到,AI世界的未來不是《終結者》的末世恐懼,而是《星際迷航》的壯麗星辰。而如今來看,他的這個觀點顯得更加富有浪漫色彩,也充滿對未來的笃定和向往。

智能化轉型需要踐行者、賦能者,更需要産業生態聯動,只有加強技術、産業、應用等諸多方面的協同和配合,才能推動智能化轉型的順利進行,實現新質生産力和經濟社會的高質量發展。

基于此,聯想三大能力的整合向“全棧AI”進化,而對應的三大生態體系也變得清晰:面向AI終端産業的天禧生態,面向智算産業的萬全生態,面向大模型和智能體産業的擎天生態。

此次,聯想不但發布了聯想萬全異構智算平台,還攜手中國智能計算産業聯盟(中科院計算所),共同發起異構智算産業生態聯盟,以期通過生態聚力推動中國智算産業、智能化轉型的高速發展。

聯想中國基礎設施業務群戰略總監黃山指出,異構智算平台將在AI計算中扮演關鍵作用。這是一個能高度自動化完成AI全流程開發的平台,從用戶視角看,向平台輸入場景需求和數據後,即可將計算過程交給平台自動完成,平台就像一個計算魔盒,能夠自動優化數據和模型,自動匹配和調度算力,自動對計算的全過程進行監控, 直到最終輸出模型或是推理服務。

對于異構智算平台,黃山進一步介紹說,異構指的是被平台管理調度的異構算力;智算類比平台,像超級大腦一樣指揮異構算力執行計算;平台是能夠向下納管豐富的算力生態,向上對接爲各類場景優化的模型及AI工具集,是AI生態夥伴和聯想一起聚力提供AI方案集的大平台。

從異構智算産業生態聯盟的細則來看,首批發起成員共計16家,包括AI芯片層、AI設備與系統層、AI平台與應用層等三大類別。

與此同時,我們看到異構智算産業生態聯盟的“職責”既明確又接地氣:其一是,爲處于算力選擇期的中國用戶提供豐富的一站式的方案來適應多樣化的AI應用場景;其二是,生態全鏈條的緊密合作調優來不斷提升算力效率,解決算力荒,能耗荒。

黃山表示,廣大行業客戶急需能高效跑通大模型的方案,未來聯盟成立後的第一步行動就是公布經過聯盟驗證的高性能方案和方案白皮書。“萬全生態的萬全意指,我們生態包羅萬法,保用戶算力周全,保用戶投資回報周全。”

綜合來看,在前線認爲,迎來40歲生日的聯想,向外界展現更強的自己——爲智能化變革提供核心底座。異構智算平台和異構智算産業生態聯盟,是聯想解決AI焦慮和挑戰的最優解。

從40年前的一粒小小種子到今天的參天大樹,聯想的發展離不開對創新和前沿技術的不懈追求,更離不開生態夥伴和用戶的支持、認可。如今,推動新質生産力成爲大勢所趨,全棧AI作爲智能化轉型的核心底座,將在這場大潮中扮演重要角色,而異構智算産業生態聯盟則讓智能化轉型及聯想全棧AI戰略行穩致遠。

0 阅读:0

在前線

簡介:科技互聯網自媒體,冷靜分析,還原真相。