基于昇騰910B訓練萬億參數的語言模型Abstract在本工作中,作者開發了一個系統,該系統在Ascend 910 AI
國內外主流GPU卡性能分析!2024!大模型興起助推算力需求激增2024年,深度學習與人工智能技術飛速躍進,Transf
安全可靠CPU測評結果(飛騰篇)中國信息安全測評中心公告(2024年第1號):公布依據《安全可靠測評工作指南(試行)》得
部署大模型應用(如訓練、微調、RAG)時,前期硬件選型至關重要。即使已有方案,缺乏實踐經驗可能導致硬件評估困難。本文提供
揭秘 Tensor Core 底層:如何讓AI計算速度飛躍Tensor Core,加速深度學習計算的利器,專用于高效執行
生成式AI的GPU網絡引言:超大規模企業競相部署擁有64K+ GPU的大型集群,以支撐各種生成式AI訓練需求。盡管龐大T
微服務架構設計模式詳解(5種主流模式)微服務架構微服務,一種革命性的架構模式,主張將大型應用分解爲若幹小服務,通過輕量級
軟件定義硬件架構AI 應用正促使芯片制造商和 OEM 重新審視重新配置硬件的可能性。摩爾定律放緩,軟件應用複雜性和規模激
軟件架構全面詳解軟件架構這個與建築設計架構類似,建築設計架構師負責設計建築物的整體結構、布局和功能分配。而軟件架構師,負
超萬卡集群的核心設計原則和架構超萬卡集群建設方興未艾,當前主要依托英偉達GPU及其設備。英偉達GPU在大模型訓練中表現卓
linux的5種IO模型一、這裏IO是什麽操作系統設有用戶態與內核態,確保系統安全。應用程序默認在用戶態運行,而執行如I
萬卡 GPU 集群互聯:硬件配置和網絡設計一、背景自從 OpenAI 推出 ChatGPT 以來,LLM 迅速成爲焦點關
如何選擇與部署適合的高性能負載均衡方案?當單服務器性能無法滿足需求,高性能集群便成爲提升系統處理能力的關鍵。其核心在于通
數據中心、HPC領域、AI領域等場景互聯協議混戰當前,數據中心、高性能計算及AI領域正面臨全新數據設備互聯協議標准的激烈
數據中心大型AI模型網絡需求隨著Transformer的崛起和2023年ChatGPT的大規模應用,業界逐漸形成共識:遵
高性能GPU服務器硬件拓撲與集群組網01、術語與基礎大模型訓練常采用8卡GPU集群,涵蓋A100、A800、H100、H
前言微服務是一種軟件設計、架構思想。當然,裏面也包含了相關技術點要解決當前要務。學習微服務,我們不能空口而談,一定要落實
在微服務架構日益盛行的今天,API Gateway(API網關)已成爲其中不可或缺的一部分。API Gateway不僅作
大模型系列之解讀MoEMixtral 8x7B的亮相,引領我們深入探索MoE大模型架構的奧秘。MoE究竟是什麽?一起揭開
國內 AI大模型産業發展深度分析 2024人工智能技術的迅猛發展,使AI大模型成爲科技競爭的核心、産業變革的先鋒、經濟增
薪科技評說,發現技術的點滴,記錄科學的飛躍!