某全球化工巨頭借助浪潮信息與微鏈道愛聯合開發的AI視覺標注和模型訓練一體機,成功開發并應用晶體特征智能檢測模型,實現了晶體特征精確檢測和定量化判斷,確保符合生產標準。相較傳統人工方式,其檢測效率提升十余倍,識別結果誤差率控制在3%以內,媲美資深專家水平,生產力提升超過30%。
化工巨頭晶體特征智能檢測,專用模型訓練遇挑戰
某全球化工巨頭生產多種產品,廣泛應用于塑料、橡膠、涂料、醫藥等領域。在生產過程中,需要對產品的晶體特征進行精確檢測。晶體是原子、分子或離子在三維空間有序排列形成的固體。晶體的形狀、覆蓋率和粒徑直接決定化工產品的質量與性能。精確控制晶體特性,對提升產品一致性、優化使用效果至關重要,并深刻影響生產質量控制及研發迭代。
該企業檢測的晶體主要是塊狀、片狀及混合狀晶體,檢測指標包含晶體形狀、覆蓋率和粒徑等。以往,該企業主要依賴人工來進行晶體特征檢測。先利用電子顯微鏡拍攝高倍率晶體圖像,由人工觀察后,得出檢測結果。但人工檢測易受到經驗不足、疲勞、觀察不清等主觀因素影響,導致評判結果不穩定。而且人工只能主觀估測晶體覆蓋率和平均粒徑,無法精準統計,且耗時長。每名檢測人員每天僅能檢測幾十張圖片,難以滿足大規模檢測需求。
為提升晶體檢測的準確性和效率,該企業擬引入人工智能技術,實現晶體特征的自動智能識別。然而,通用模型在識別邊緣模糊、重疊、噪聲干擾強、倍率差異大的晶體圖像時表現欠佳,難以滿足高精度檢測需求。因此,該企業亟需基于自身晶體圖像數據,訓練專用的智能檢測模型。在此過程中,其面臨數據標注、實時算力雙重挑戰。
要訓練出能精準識別不同類型晶體的AI模型,大量晶體圖像的精確標注必不可少。同時,為最大限度提升檢測準確性,該企業對晶粒的識別精度需要達到 0.1微米級別,僅為頭發絲直徑的千分之一。要確保標注效率和標注質量,建立行之有效的標注流程和質量監控機制勢在必行。
該化工巨頭眾多的實驗室與生產線需要實時獲取晶體的檢測結果,而龐大的數據規模、繁雜多樣的晶體類型,再加上對晶粒識別精度的極高要求,意味著智能檢測模型需要強大的實時算力作為支撐,才能在保證精度的同時,實現快速響應和高效處理。
AI 視覺標注和模型訓練一體機讓晶體智能檢測"事半功倍"
為滿足該企業在晶體特征智能檢測模型訓練與應用等方面的嚴苛需求,微鏈道愛聯合浪潮信息打造了AI視覺標注和模型訓練一體機。其基于元腦服務器NF5468M7和微鏈道愛DaoAI World平臺,集智能數據標注、模型訓練、結果整合與報表生成等功能于一體。同時,一體機注重用戶體驗,界面友好、操作便捷,即使非專業人員也能輕松上手。
在部署一體機之后,該化工巨頭顯著提升了晶體數據標注與模型訓練的效率。一體機支持低至0.1微米的像素級識別精度,并能通過定制化訓練,滿足企業對晶體類型、晶粒大小及覆蓋度的精確檢測需求。同時,大幅減少了多個獨立工具間的數據轉移和格式轉換時間,使得從數據準備到結果輸出的全流程更加流暢快捷,有力支持企業構建自動化檢測與質量監控機制。
此外,一體機搭載元腦服務器NF5468M7,為該企業提供了強大的AI算力,可高速處理海量晶體數據,顯著縮短模型訓練周期,加速晶體特征智能檢測模型的開發與迭代。同時,其算力資源可按需動態調整,支撐企業持續發展的業務需求。
目前,該企業實現了晶體類型、大小及覆蓋度的快速準確識別。AI晶體檢測系統能夠對晶體類型進行精準分類,并能自動計算晶體大小和晶體在材料表面的分布范圍,提供準確數據以便測量和分析,確保符合生產標準。該企業的晶體檢測效率提升十余倍,識別結果相比資深專家誤差率控制在3%以內。相較于傳統人工檢測,顯著減少了人工干預成本,有效降低了誤檢、漏檢導致的資源浪費,生產力提升超過30%。
未來,瞄準更多傳統行業的智能化轉型要求,微鏈道愛與浪潮信息將在元腦生態的框架下,推動方案聯合創新和資源共享,加速AI技術在行業實踐中的落地應用,助力客戶在生產效率、產品質量、運營成本和市場競爭力等方面實現全面提升。
大模型落地范式升級:從"解釋問題"到"解決問題"
1. RAG的局限性
在這兩年的大模型落地實踐中,檢索增強生成(RAG)曾被視為大模型應用的"黃金搭檔"——通過向量檢索技術,模型能精準調取知識庫中的歷史案例與解決方案。然而,這種模式始終存在本質局限:它僅能解釋問題,卻無法解決問題。
以服務器運維場景為例:當監控系統發出"CPU使用率100%"告警時,運維人員向RAG助手提問:"如何快速恢復業務?"
RAG的處理邏輯為:
2. 智能體:構建"感知-決策-執行"閉環
智能體架構徹底顛覆了被動響應模式。它以大模型為決策中樞,整合實時數據接口、自動化工具鏈與多步推理能力。在運維場景中,智能體的處理邏輯為:
元腦企智EPAI:智能體應用開發的"全棧引擎"
元腦企智EPAI可以為企業用戶提供開發、評估、上線智能體的全流程,增強了知識檢索、互聯網搜索、工作流設計和智能體協助的功能,助力企業擴展大模型應用范圍。元腦企智EPAI是浪潮信息的大模型應用落地解決之道,能夠為企業AI大模型落地應用提供高效、易用、安全的端到端開發平臺,幫助企業高效開發部署生成式AI應用、打造智能生產力。
基于元腦企智EPAI,企業僅需三步,即可高效構建智能體應用。
Step1 智能體開發
在元腦企智EPAI智能體頁面只需通過拖拽式工作流編排,即可定義智能體的決策邏輯和執行路徑。以運維助手為例,用戶輸入問題后,先讀取并寫入歷史記錄,然后通過"問題分類器"對問題的意圖進行分析。根據問題分類,分為三個業務分支。第一個分支查找問題解決方案,通過大模型+知識庫輸出。第二個分支對問題定位分析,通過調用API進行集群監控、健康檢查和遠程診斷等。第三個分支處理一般性問題,引導用戶問題。三個分支的問題都會保存到歷史記錄并輸出最終結果。
接下來,在智能體頁面配置交互流程,設置助手功能介紹和引導問題等。
Step2 智能體評估
智能體配置完成后,企業可以在元腦企智EPAI的"應用評測"界面進行評估。只需填寫服務地址、API-KEY和評測集,就能夠自動評測智能體應用的能力。
元腦企智EPAI可實時追蹤任務全生命周期,涵蓋模型配置、評測集規模、持續時長等基礎信息;同時可深度評估智能體運行狀態,通過錯誤率、TPS(吞吐量)和TTFT(首字延遲)等12項核心指標,反饋智能體響應速度與穩定性。用戶可直觀查看不同智能體的性能雷達圖,包括響應速度對比、回答正確率熱力圖、生成成功率趨勢曲線等指標的可視化分析。這套評估體系如同為智能體裝上"飛行記錄儀",既記錄"何時起飛、何時降落"的任務軌跡,又精準捕捉"飛行姿態"的每個細節,確保上線無憂。
Step3 智能體上線&效果對比
最后,我們對比下前后效果。面對同一個問題,基于RAG的智能運維助手僅能解釋問題,需要用戶自己解決。而使用智能體后,智能運維助手能夠和用戶進行交互,從而定位出問題,并根據用戶權限給出解決問題的辦法。
綜上所述,通過在元腦企智EPAI平臺上創建智能體,企業用戶可以清晰地定義任務的執行順序、責任分配以及各步驟之間的依賴關系,從而實現流程的自動化和優化。借助元腦企智EPAI,用戶可以構建基于深度思考模型的智能體,以及針對復雜場景的多級大模型,并結合深度思考解決實際問題。
積算科技算力服務助力立體交通賽事全程
首屆"凌海御空?舟山新篇"清華未來立體通行挑戰賽聚焦無人機海事服務與立體交通領域創新應用,高度模擬海島及海域物流配送、海上應急搜救等實戰場景,通過"仿真——微景——實飛"三級遞進賽制,全面檢驗參賽團隊在無人機調度、數據分析與方案規劃中的綜合能力。自3月15日啟動以來,全國19所高校46支隊伍、152名學子參與角逐,晉級決賽的12支隊伍在舟山群島的真實海域環境中迎接更嚴峻的技術考驗。
大賽對算力平臺提出嚴苛要求。一方面,算力平臺需要具備強大性能,在比賽期間7*24小時不停機運行,保障46支參賽隊在高并發情況下擁有穩定的訓練環境,高效完成比賽任務。具體來說,平臺需承載飛行數據處理、態勢感知建模、飛行器軌跡預測、路徑規劃、動態決策反饋等復雜負載,確保高并發下的順暢運行;同時兼容賽事涉及的多元軟件與應用環境,以支持參賽隊快速構建仿真建模平臺、提升仿真訓練效率。另一方面,算力平臺還需要具備強大的調度能力,實現對CPU、GPU等多元異構算力資源的智能管理與調度,以實時響應各參賽隊的算力資源需求,同時保障各參賽隊的數據安全,確保各隊之間數據隔離、互不影響。
積算科技全程為大賽提供領先的智能算力服務,高效支撐各參賽隊開展仿真建模和算法訓練工作。
強勁算力供給:積算科技提供技術先進、性能強勁的CPU和GPU算力,配置專業運維工程師7*24小時保障算力穩定,有力支撐參賽隊開展交通仿真、優化決策、計算機視覺等算法和應用開發。算力平臺內置環境部署與性能調優工具,可快速對系統、內核及相關底層驅動進行調優,實現GPU顯存效率80%以上、網絡RDMA帶寬效率90%以上,幫助參賽隊大幅提升仿真建模平臺的構建效率。
算力資源彈性調度:積算科技聯合競賽組織方,實現了CPU和GPU算力資源的統一池化、細粒度切分與混合調度,為46支參賽隊伍快速創建配置了獨立專屬的算法開發環境,讓參賽隊能夠秒級獲取算力資源,高效、流暢、安全地訓練多種無人機算法。
開發環境一鍵部署:積算科技智能算力平臺預裝比賽鏡像,含NumPy、Pandas、PyTorch等多種深度學習框架和訓練加速庫,參賽隊可一鍵點選部署,節省繁雜的準備工作。訓練流程簡潔,參賽隊可便捷地上傳數據集和模型并啟動算法訓練。模型可視化功能讓AI算法訓練的準確率、損失曲線等關鍵指標清晰可見,助力參賽隊及時發現問題并調整優化,極大降低了算法訓練與評估的技術難度,使參賽隊能更專注于算法本身的優化與創新,充分發揮創造力與專業技能。
參賽隊伍表示,借助算力平臺的鏡像倉庫,隊員們能夠快速導入所需鏡像,高效構建訓練和仿真環境,從而將更多精力投入算法和代碼優化,更快獲取仿真結果。平臺還集成了DeepSeek 671B大模型,隊員們可以體驗流暢、準確的實時在線問答,這為算法開發和代碼優化提供了有效輔助。
積算科技以全棧方案激活低空經濟智慧新動能
近年來,隨著無人機、自動駕駛與人工智能技術的快速融合發展,低空經濟正在成為全球經濟增長的新引擎,在災后救援、物流配送、農業噴灑等領域展現重要價值。而低空場景對算力平臺要求極高。例如在災后救援中,無人機需要搭載高分辨率攝像設備,在瞬間識別地面情況并分析出最佳行動方案,在此過程中基于大量數據的即時處理能力顯得尤為重要。
面對激增的無人駕駛和低空無人機算力需求,積算科技提供涵蓋AI訓練服務平臺、AI應用開發平臺、裸金屬算力產品的全棧算力平臺解決方案。AI訓練服務平臺提供從數據處理、模型訓練至推理全流程的端到端算力支撐能力,并具備高效算力調度與智能運維體系;AI應用開發平臺支持數據管理、應用開發、大模型微調和服務構建,滿足行業智能體全流程低代碼開發需求;裸金屬算力系統提供先進算力,實現算力系統的快速交付與無憂運維。積算科技將攜手眾多合作伙伴,積極構建面向低空經濟的算力生態系統,加速算力產品與方案創新,共同繪就低空經濟智慧新圖景。
積算科技誕生于全球生成式AI浪潮,專注于智能算力服務市場,致力于成為中國最具價值的智能算力服務商。公司擁有萬卡級先進智能算力資源池,提供裸金屬、智能計算集群、專屬智能算力系統等算力服務產品,適用于大模型訓練與推理、算法研究、大數據分析、自動駕駛、智能科學計算等多元場景。其運維和服務團隊具備大規模智能算力系統設計建設、大模型開發應用及性能優化能力,可提供全棧大模型應用開發服務支持,并根據客戶需求提供靈活服務模式。積算科技已為互聯網、運營商、高校、新能源汽車等領域的多家頭部客戶提供算力服務。
實景實戰:從算法設計到系統落地的無人機賽事挑戰
"凌海御空?舟山新篇"清華未來立體通行挑戰賽是國內首個以"立體交通+海洋場景"為特色的無人機創新賽事,自 3 月 15 日啟動以來,全國 19 所高校 46 支隊伍、152 名學子參與角逐。賽事高度模擬實戰場景,打造"仿真——微景——實飛"三級遞進賽制,要求參賽隊伍在舟山海洋群島環境下使用無人機挑戰"海島物資輸送"、"海上應急救援"兩大任務:
物資運輸任務模擬海島間緊急物資運輸(如醫療用品、食品),在規定時間內完成多節點精準投送,需要設計最優航線,并平衡飛行時間、載重與能源消耗;
海上搜救任務要求快速定位并救援海上遇險目標(如落水人員),需兼顧搜救效率與準確性,對無人機目標識別能力與路徑規劃能力有很高要求;
當前,無人機技術探索在產學研多界飛速發展,依賴多種算法協同進化。路徑優化、目標檢測、動態感知、智能避障和飛行控制等算法,對無人機的飛行性能與智能操控非常關鍵。同時,在制定物資運輸與搜救執行策略時,任務優先級排序、空間分析模型與算法也至關重要。
因此,在競賽舉辦全流程中,主辦方致力于為所有參賽隊伍提供算法訓練平臺,鼓勵隊伍深入研究、優化多種算法,以全面提升無人機的任務執行和智能化水平,確保在競賽中出色完成各項挑戰。
然而,構建開放的訓練平臺面臨種種挑戰:首先,無人機算法訓練仍面臨較高技術門檻,具體表現為高質量、場景化數據集的稀缺,路徑規劃、目標檢測等關鍵算法的研發與優化難度大,以及高效、統一開發環境的構建流程復雜且耗時;其次,主辦方需在有限的算力節點基礎上,實現對CPU、GPU等多元異構算力資源的高效融合與智能調度,以滿足46支隊伍的算法訓練需求并確保運行無故障。
高效、易用、低門檻,元腦企智 EPAI加速智能算法創新
競賽組織方聯合浪潮信息,基于元腦企智EPAI平臺為參賽選手快速打造一站式算法創新開發平臺,提供完整的模型服務工具和全鏈路應用開發套件,通過多元算力資源精細化調度、秒級創建開發環境、無代碼訓練支撐,為46支參賽隊伍提供高效、低門檻的算法訓練與優化體驗,加速方案創新。
競賽期間,浪潮信息聯合競賽組織方基于元腦企智EPAI平臺,將算力資源統一池化,為46支參賽隊伍快速創建配置了獨立專屬的算法開發環境,并通過多元算力調度管理能力實現了CPU和GPU算力的精細化切割與混合調度,能夠滿足46支參賽參賽隊伍高效、流暢、安全地訓練多種無人機算法。此外,元腦企智EPAI平臺還提供7X24小時的DeepSeek 671B大模型推理服務,參賽隊伍可以在比賽環境內與DeepSeek進行代碼、方案的共創,優化無人機路徑規劃、目標檢測算法等
賽事組織方基于元腦企智 EPAI 平臺統一構建了比賽鏡像,參賽隊伍可秒級調用多種算力資源,迅速搭建涵蓋 Pytorch、Pandas、NumPy 等主流開發環境。在此環境下,隊伍可以針對海島物資輸送與應急搜救任務,對路徑優化算法進行深度優化:參賽隊伍可以上傳配送任務的訂單數據,嘗試多種方法優化最佳路徑算法,也可以基于主辦方提供的海上救援歷史數據,借助專業的空間分析模型與算法,分析海上搜救任務中人員在特定情境下的最大活動范圍,從而優化搜救路線與運行方向。同時,參賽隊伍還可以嘗試優化目標檢測算法,從而在任務中更精準迅速地識別遇險人員與物資需求點。
元腦企智EPAI平臺作為高效易用的應用開發工具,進一步簡化了算法訓練的操作流程,參賽者可以便捷地上傳數據集、模型并啟動AI算法訓練任務。平臺的實時可視化功能,讓AI算法訓練的準確率、損失曲線等關鍵指標清晰可見,助力隊伍及時調整優化方向,極大降低了算法訓練與評估的技術難度,使參賽隊伍能更專注于算法本身的優化與創新,充分發揮創造力與專業技能,提升無人機在復雜海島任務中的性能表現。
本屆清華未來立體通行挑戰賽,將無人機算法技術驗證嵌入真實戰略場景,不僅為參賽學子提供了在真實海空環境中完成 "從算法設計到系統落地" 的全流程實踐,也是國內無人機領域 "真題真場景" 賽事模式的突破性探索。
競賽組織方表示,參賽隊伍在元腦企智EPAI等競賽平臺的支撐下,快速高效地開展多種無人機算法創新,諸多隊伍在"物資輸送"與"應急搜救"兩大任務中展現出優異的配送路徑優化、高精度識別等能力,在有限時間內實現了高效的配送與救援,有力推動了技術研發與場景應用的雙向賦能,進一步拓展了無人機在應急救援、物資配送等領域的應用邊界。
數據中心運維管理核心難題 兩套系統不互通,運維粗放能耗高
據國際能源署(IEA)報告數據顯示,2024年,數據中心約占全球電力需求的1.5%,即415太瓦時;到2030年,數據中心的用電量將增長一倍以上,達到約945太瓦時。作為能耗大戶,數據中心的能耗主要來源于IT設備和制冷系統。其中,IT設備作為數據中心的核心,能耗占比最高達40%-50%;其次是制冷系統,能耗占比約30%-40%。
在傳統運維管理模式下,數據中心節能降耗主要依賴于兩套管理系統:
但由于IT和動環兩套系統獨立運行,數據不互通,動環系統只能收集到機柜級的數據,而無法獲取更精細的服務器節點級、芯片級數據,導致冷量和服務器功耗的貼合度低,對制冷系統和供電系統的運維管理粗放,無法依據服務器功耗進行精準調控,從而影響數據中心整體的能耗優化。
更重要的是,傳統粗放式運維調控手段難以實現溫度的精準把控,不穩定的服務器溫度將顯著影響設備性能與壽命。一般服務器機箱內部溫度維持在 25-30℃區間是最適宜的狀態。當服務器長期處于過熱狀態,將會加速電路老化、芯片和風扇損壞,提升硬件故障率,最終大幅縮減服務器整體使用壽命,且會導致內存與存儲設備性能下降,數據讀寫錯誤率上升,影響系統的高效穩定運行。
元腦 InManage全新升級 雙平臺統一納管,能效與穩定性雙提升
針對數據中心整體節能降耗和系統高效穩定運行的挑戰,元腦InManage數據中心智能管理平臺進行了全新升級,以"AI+一體化"為核心理念,深度融合IT基礎設施管理平臺與動力環境監控平臺,通過全域統一納管、AI精準調控兩大創新突破,保障數據中心綠色節能、高效穩定運行,讓服務器始終穩定運行在最適宜的溫度下。
// 全域統一納管,讓服務器始終穩定運行在最適宜的溫度下
全新升級的元腦InManage數據中心智能管理平臺實現跨系統深度集成,融合IT基礎設施管理與動力環境監控兩套系統,構建涵蓋溫度、濕度、風速、流速等環境參數,以及服務器功耗、運行狀態等關鍵數據的全域數據池;并通過多維度數據采集模塊實時收集、清洗和融合,確保了數據的準確性和及時性,實現核心參數的毫秒級采集與關聯分析,助力實現從服務器風扇、整機功耗調優,到數據中心空調、冷量、流量等的全方位精準調控,避免了傳統運維管理模式中由于數據單一和滯后導致的控制誤差和延遲,大幅提升系統穩定性,運維效率翻倍。
在IT和動環系統打通后,通過跨系統智能聯動,可直接監測服務器 BMC數據,整合部件級數據和環境信息,形成"部件溫度-整機負載-綜合環測-自動指令-冷量供給"的閉環控制鏈路,一旦捕捉到溫度異常,立即結合服務器負載狀態及環境溫度,調節風量和冷卻液流量,實現毫秒級響應,提升控制精度和實時性,讓服務器始終穩定運行在最適宜的溫度下。
// AI精準調控,數據中心更節能
在實現IT和動環雙平臺統一納管的基礎上,升級后的元腦InManage數據中心智能管理平臺可通過對制冷系統、供電系統等同步進行AI精準調控,實現非IT設備的能耗優化,從而推動數據中心整體節能降耗。例如,在風冷數據中心里,該平臺作為智能中樞,實時匯聚服務器、空調、配電柜等設備的運行數據,以及溫濕度、氣流壓力等環境參數,借助AI算法對海量數據深度分析,精準預測設備負載變化與溫度趨勢,一旦發現潛在熱點風險,平臺立即聯動調節空調風速、風向與制冷量,實現"以需供冷"的動態平衡,保障系統穩定運行的同時,可降低能耗15-20%以上。
針對液冷數據中心,該平臺實現了動態流量優化,相比于傳統運維的分散式數據分析模式,該平臺可基于服務器芯片功耗與液冷回路壓力數據,通過采用多目標優化算法,精確控制系統冷卻液流量,計算出系統在不同運行環境下的最優流量分配方案,通過AI精準調控,流量利用率提升50%,液冷系統再節能10%。
在管理智能化、運維精細化的發展趨勢下,全新升級的元腦InManage數據中心智能管理平臺憑借其統一納管、精準調控的核心優勢,實現從服務器節點到數據中心整體的節能降耗和穩定運行,為數據中心的智能化、綠色化轉型提供了有力支撐。未來,隨著AIOps能力的持續迭代,浪潮信息將加速對智能管理的研發創新,為全球數據中心提供更高效、更節能、更可靠的運維管理解決方案,為企業數智化轉型注入新動能。
全棧產品"All in液冷",實現節點級、機柜級、數據中心級三維解決方案
實現綠色降碳、降低PUE的關鍵路徑在于液冷技術的落地。元腦服務器第八代平臺延續 "All in 液冷" 戰略,憑借全棧液冷能力,為數據中心提供全方位的液冷整體解決方案。
此外,該方案支持模塊化數據中心和預制化數據中心架構,可高效搭載液冷散熱系統。通過冷源預制化、管路標準化及三重防漏機制,實現液冷系統的快速部署與安全可靠運行。在滿足快速交付、高密部署和彈性擴容需求的同時,助力數據中心提升能效、降低碳排放。
高效鈦金電源提升電力轉化效率,5年節省千萬運維成本
算力的盡頭是電力,元腦服務器第八代平臺還創新性地導入了自研氮化鎵(GaN)鈦金電源,相比市面傳統碳化硅(SiC)的鈦金電源,具備更高的功率密度、耐溫性、耐壓性和可靠性,電源峰值轉換效率可達98%以上,并已率先通過80PLUS認證。
據測算,在一個1萬臺服務器規模的數據中心場景中,模擬客戶側處于30%~50%的典型業務負載狀況下,針對單臺功耗為2kW的服務器,若采用鈦金電源替換鉑金電源,五年運維期內可節省約1000萬元成本,為客戶創造極為可觀的經濟價值。同時,鈦金電源還導入了更精準的故障診斷系統,通過新增計時系統以及BMC時間同步策略,確保電源內部時間與系統時間一致。此外,該電源還可對自身溫度、電流等信息實時監控,實現提前預警和精準定位故障,為系統穩定運行提供有力保障。
優化風冷散熱風道及風扇,散熱效率提升85%
隨著芯片功耗升高,整機散熱面臨更嚴苛的挑戰。為滿足傳統風冷數據中心客戶的需求,元腦服務器第八代平臺對散熱風道及風扇系統進行了全面升級。例如,針對關鍵核心部件、高功耗零件設計獨立風道,配合單風扇的散熱調控,通過系統導流結構設計,聚集風流,減少部件熱量累積,達到最高效利用系統風流的目的。
同時,還創新性驗證和導入了PCIe標卡風扇部件,配置于OCP上方slot槽位,出風口位置正對OCP光模塊,有效解決OCP光模塊等熱敏部件的關鍵散熱問題,通過不斷改良風扇充磁方式、改進扇葉曲面設計,經過上百次形狀修正和實際驗證,最終選定高效能渦流風扇,大幅節省整機系統風扇功耗。
如下圖所示,比對200G OCP網卡的散熱情況,整機系統在idle、70%load和100%load分別節能40.5W、116.5W、200.5W,最多可降低85%系統風扇功耗。
全面解耦與按需供電架構創新,供電效率提升3%
元腦服務器第八代平臺采用風扇板、管理板與主板完全解耦的全新架構,一方面,極大降低了因風扇板及管理板故障導致計算主板更換的概率,減小業務異常中斷風險;另一方面,相較于上一代產品,在相同空間布局下,與上一代產品相比,在相同空間布局上可以設計部署更高散熱效率、更大散熱面積的異形散熱器,以支持性能不斷升高、功耗也不斷攀升的處理器平臺,優化整機散熱效率。
在供電設計上,元腦服務器第八代平臺首創按需供電架構,將3V3/5V供電接口從主板遷移至riser或者背板,實現主板和riser、背板的供電解耦,最大程度減少了線纜中的電能損耗。主板上POL電流從30A降至10A級別,極大簡化供電設計,在CPU滿載時可提升3%供電效率,能夠依據客戶存儲及擴展需求,精準按需進行電能供給,實現整機系統降本增效的雙重目標。
精細化散熱策略全面升級,整機功耗降低13%
元腦服務器第八代平臺在全局部件溫度監控策略上實現了全面優化,實現在性能翻倍的同時,整機功耗降低13%。針對普通網卡、NVME、M.2、智能網卡、GPU 等關鍵部件,增設了更多溫度監控傳感器,能夠依據部件 ID 進行精準的信息識別和差異化風扇控制。
針對本身不支持溫度讀取的部件,根據部件的風量需求特點,區分為高、中、低風險三個等級,區分調用不同的風扇控制策略,保證部件正常運行、性能穩定的同時,大幅度降低風險部件配置運行時的功耗;根據服務器不同狀態下部件的發熱特點,細化出部件在不同運行狀態下的監控需求,保證對核心部件在待機、開機過程、開機完成等狀態進行全面監控。
在分區調控策略方面,平臺將原本的分區調控進一步細化為單風扇級的精細化調控。系統分區從 2 區精細擴展至 6 區或 8 區,通過更細致的區域劃分,能夠精準控制單風扇轉速,有效避免所有風扇同時提速的情況。單個風扇根據不同區域需求設置不同轉速,使系統散熱更加貼合實際情況。此外,散熱策略還完善了部件識別機制,通過判定部件位置與類型,設置差異化風扇控制參數及溫度閾值。通過這種更為精準的風扇調控策略,整體可降低 13% 的系統功耗。
元腦服務器第八代平臺更加注重綠色技術的研發創新,不僅優化了產品設計,還從制造、交付、回收等全鏈條上關注產品的綠色節能,踐行減少碳足跡的環保理念。未來,浪潮信息將持續推動綠色計算創新,助力環境可持續發展目標實現,為客戶提供更高效節能、綠色低碳的產品解決方案,助力千行百業夯實綠色算力底座。
中國質量認證中心(CQC)模塊化數據中心認證嚴格執行《GB/T 41783-2022模塊化數據中心通用規范》國家標準和技術要求,對產品的供配電系統、制冷系統、動環監控等核心部件以及能效、可靠性等關鍵性能指標進行全面檢驗,根據產品使用性質、管理要求及其在經濟和社會中的重要性劃分為A、B、C三級。元腦智算算力倉所獲A級為該認證最高等級,標志著浪潮信息在模塊化數據中心領域的技術實力與產品質量獲得權威認可。
一級能效標準、A級數據中心認證,元腦智算算力倉兼顧綠色與安全
在AI算力需求爆發的時代,傳統數據中心因部署密度低、建設周期長、能耗高、運維難等問題,無法匹配快速增長的算力需求。浪潮信息推出的元腦智算算力倉,是為AI服務器量身定制的新一代模塊化算力基礎設施,集成機柜、封閉通道件、配電系統、動環監控等模塊化組件,通過標準化設計實現高密部署、綠色節能、快速交付與安全可靠,在本次CQC產品認證中,達到國家一級能效標準,供電、制冷等系統均通過了A級數據中心認證,實現綠色、安全"兩手抓"。
標準化、高密化、綠色化、智能化,引領AI時代數據中心發展方向
隨著DeepSeek火爆,以及大模型在算力、算法和數據的驅動下蓬勃發展,AI革命撲面而來,對于數據中心的性能、能效以及適配性等方面都提出了更為嚴苛的要求。元腦智算算力倉榮獲CQC頒發的行業首張模塊化數據中心產品認證證書,不僅是對浪潮信息技術實力和服務能力的認可,更明確了AI時代數據中心的四大發展趨勢:
浪潮信息通過元腦智算算力倉等模塊化數據中心產品,重新定義了數據中心的高效、高密與綠色邊界,未來將持續以技術與產品創新,推動AI 時代數據中心向更高效、更綠色、更智能的方向演進升級,為企業數智化轉型提供堅實支撐。
當前,隨著人工智能技術的飛速發展,數據已成為新時代的"石油",驅動著各行各業的數字化轉型。大模型應用的加速落地,智算新基建的深入推進,使得存儲作為數據的基礎設施,其重要性日益凸顯。行業對存儲的需求不再僅僅滿足于容量和性能的提升,更對數據的智能處理、高效管理和安全可靠提出了更高要求。
面對行業變革,浪潮信息存儲以技術創新與生態協同為雙引擎,多維度發力。全面布局集中式存儲、固態硬盤、光纖交換機等多條產品線,滿足不同行業的多元化場景需求。同時,通過"元腦生態"開放平臺,浪潮信息存儲技術賦能伙伴,提供AI模型訓練工具鏈、自動化運維系統等資源,助力合作伙伴打造"存儲+AI"融合解決方案。此外,還革新渠道策略,優化分銷簽約機制,設立專職技術團隊與營銷賦能中心。
浪潮信息總經理助理、渠道推進部總經理毛柏林指出:"浪潮信息存儲業務自2015年啟動以來,與分銷伙伴攜手走過了十載耕耘的非凡歷程。2024年,面對復雜市場環境,存儲業務實現逆勢增長,存儲分銷伙伴隊伍不斷壯大,為2025年的突破奠定堅實的基礎。當前,人工智能正重塑產業格局,大模型應用加速落地,智算新基建邁入深水區,AI驅動的新質生產力成為核心增長點。浪潮信息將以元腦生態為戰略支點,持續打造以伙伴為中心的共贏生態,與存儲分銷伙伴群策群力,攜手開拓智能時代新篇章!"
浪潮信息存儲產品部總經理孫波強調戰略機遇:"2025年將迎來AI應用爆發與政策紅利疊加的戰略機遇期。DeepSeek等AI技術催生的數據資產化進程,為企業級存儲市場創造廣闊空間。浪潮信息將通過優化分銷簽約機制、強化營銷技術培訓賦能、設立專職團隊等舉措,通過產品創新與生態共建,助力合作伙伴在數字經濟大潮中實現商業價值的躍升。"
大模型技術的飛速發展引領行業市場邁入一片廣闊的藍海,數據成為驅動新質生產力發展的核心要素。本次大會存儲分銷伙伴代表就AI時代下行業市場趨勢、場景化應用需求、分銷價值轉型、共建元腦生態等話題進行了經驗分享和深度交流,充分展現浪潮信息存儲產品在教育、醫療、交通、制造業等多個行業中的廣泛應用和顯著成效。存儲分銷伙伴表示,將攜手浪潮信息,持續深耕存儲分銷業務,基于強大的全棧存儲產品服務能力,在產品技術創新、市場聯合開拓、產品解決方案等方面進一步拓展合作共贏的深度與廣度,實現"存儲基建-場景創新-生態協同"的價值閉環。
此次2025元腦存儲分銷合作伙伴大會的成功舉辦,不僅標志著浪潮信息與存儲分銷伙伴合作邁入了新的發展階段,也為存儲業務的未來發展注入了新的動力和活力。展望未來,浪潮信息將繼續秉承"協同共生、開放共贏"的生態理念,打造以伙伴為中心的共贏生態,與廣大存儲分銷伙伴一道,共同推動存儲產業的智能化轉型和高質量發展。
當前,全球自動駕駛市場快速發展。IDC報告顯示,預計2026年全球自動駕駛車輛規模為8,930萬輛,5年復合增長率將達到14.8%。隨著市場爆發,自動駕駛技術創新加速,主流自動駕駛方案的大模型算法參數規模已攀升到幾千萬至近億級,傳感器高頻采集產生海量數據流,實時IO吞吐和低時延要求增強,這對算力、算法提出更多挑戰。在這一背景下,軟硬協同優化成為推動自動駕駛技術突破與落地的重要路徑。
天瞳威視和浪潮信息雙方攜手,通過硬件系統、軟件環境、應用框架及算法優化等多個層面的協同創新,推動車載域控制器的算力與算法深度融合。
天瞳威視在自動駕駛領域具備強大的算法能力,涵蓋高精度目標檢測、語義分割等計算機視覺算法及多傳感器融合技術,基于端到端大模型的CalmVision V3,可接入多種傳感器,障礙物檢測精度高達95%,處于行業領先水平。該算法支持L2-L4自動駕駛的感知與決策需求,已經在全球多個車企落地應用。
浪潮信息作為全球領先的IT基礎設施產品、方案和服務提供商,從2019年起就在布局車載計算硬件,針對不同自動駕駛場景,開發定制算力解決方案,提供數據中心級強大、安全、高效的車載邊緣算力。同時,通過開源的自動駕駛軟件框架AutoDRRT2.0,實現軟硬協同優化,確保自動駕駛系統在復雜場景下穩定運行。
自動駕駛在安全性、可靠性、性能等方面的需求遠遠高于其他行業,天瞳威視與浪潮信息將致力于提升自動駕駛感知與決策能力,實現復雜環境下的安全運行,推動自動駕駛技術在多個場景下的落地應用。例如,在礦山等封閉場景,無人駕駛卡車通過車端到云端的數據閉環,顯著提升作業效率與安全性。在城市無人配送車場景,車輛能在繁忙街區精準識別行人、車輛與障礙物,并實時調整行駛路徑。
天瞳威視與浪潮信息的合作不僅是技術層面的強強聯合,更將推動自動駕駛產業鏈協同發展。雙方融合多元算力、算法優勢,有望加速自動駕駛技術的突破與商業化落地。未來,雙方還將進一步探索智駕域控制器在更多場景下的應用,為全球自動駕駛技術的發展提供助力。
目前,基于AI創新培養綜合服務平臺所構建的"教-學-訓-賽-評"閉環體系已在全國多所高校上線,日均處理實訓數據超過百萬條,使人才與崗位的匹配度提升了40%以上,有效推動了戰略新興產業的高質量人才輸送。
AI+時代,人才培養面臨產教失衡困局
AI+時代,人才培養面臨著校企信息壁壘、產教分離、課程體系滯后等核心挑戰。同時,傳統人才評測工具缺乏動態數據支持,難以滿足AI時代產教融合的需求,導致學生技能與產業需求脫節,企業陷入"招聘即培訓"的困境,最終形成"教育供給-產業需求"雙向失衡。
作為元腦生態伙伴,拓爾思長期專注于數據智能服務與垂直領域大模型研發,致力于推動智慧教育領域的智能分析與決策應用落地。面對上述挑戰,拓爾思與浪潮信息聯合打造"AI創新培養綜合服務平臺"。
該平臺作為推進教育數字化與"AI+人才"培養的重要舉措,旨在基于深度學習、知識圖譜等技術構建智能化學科實訓底座,搭建起校企協同的創新人才培養與評測體系,精準對接學科教學與崗位技能需求。一方面,該平臺需要將產業人才標準融入教學體系,深度整合企業實戰資源與教學場景,多維度認證確保培養的復合型AI人才既具備扎實專業知識,又符合企業核心技能要求。另一方面,這對平臺的建設與算力支持能力也提出了更高要求:
首先,需要構建一個支持多模態開發的算力平臺。以企業級實訓場景需求為核心,確保學校實訓環境與企業開發場景無縫對接,滿足復雜計算與多樣化開發需求。
其次,需實現智能化算力調度。根據教學任務的動態與差異化需求,完成跨課程、跨項目的資源統一管理和按需供給,提升資源利用效率與教學靈活性;
最后,強化數據與資源管理。保障硬件彈性擴展與數據安全,優化存儲架構的可靠性和可用性設計,確保學生與企業的數據資產得到全面保護。
算力+算法雙引擎驅動,推動平臺性能、資源管理、數據安全全面提升
為解決人才供需不平衡的核心問題,浪潮信息與拓爾思聯合打造"AI創新培養綜合服務平臺"。學生可依托該平臺進行實訓、競賽、技能評測,提升自身崗位技能與職業競爭力,實現教育鏈、人才鏈與產業鏈的高效對接。
該平臺使用拓爾思算法開發訓練系統,能夠實現校企聯合開發實戰化課程資源并實現技能認證,滿足AI+人才培養中"算法學習-模型開發-場景實訓-技能認證"的全流程開發應用需求。同時,依托浪潮信息元腦服務器NF5280M6/NF5270M6計算平臺以及超融合架構,構建了高性能異構算力池,并使用AIStation人工智能開發平臺實現算力高效分發,構建起覆蓋智慧教育全場景的算力基座。
從學校管理端看,該平臺精準對接產業需求,構建了產教融合的智能教育中樞,確保教育體系實現動態優化。平臺依托浪潮信息元腦服務器作為模型訓練的專用基礎設施,保障教學與實訓業務的穩定運行;同時,結合浪潮信息AIStation人工智能開發平臺與拓爾思TRS算法開發訓練系統,打造了集課程管理、知識圖譜教材和彈性算力資源于一體的教學中樞。通過校企共建的實訓平臺與智能評測體系,助力學校打造"產-研-訓"一體化創新中心,實現教學資源與企業實戰場景的無縫對接,推動高校專業設置與產業需求動態校準,縮短人才培養周期。
從用戶試用端看,該平臺提供了AI驅動的全棧式能力成長引擎,為學生打造了全方位的學習與實戰環境。學生可以在平臺上利用浪潮信息異構計算架構,靈活調用單機單卡/多卡、多機多卡的GPU算力資源池,通過虛擬化技術實現算力部署與任務調度,輕松使用拓爾思低代碼數據實訓平臺、交互式課件以及百億參數模型訓練工具。平臺還通過彈性算力調度與容器化資源隔離技術,為學生提供從多模態數據標注、算法開發到本地化高質量數據集訓練及模型部署的全流程實戰環境,徹底突破傳統課程的算力限制。借助這一平臺,學生能夠系統培養數據思維與工程實踐能力,形成雙核競爭力。同時,平臺支持學生根據自身需求規劃個性化學習路徑,并完成復雜AI任務的實戰訓練,顯著提升就業匹配度達40%以上。
從企業端來看,該平臺通過校企聯培實現資源互通,將企業實際業務場景轉化為標準化實訓模塊,構建了精準高效的人才供應鏈。企業可以通過平臺直接參與人才培養,學生使用平臺后能夠快速掌握企業所需的實戰技能,顯著縮短了入職適應期,降低了企業的二次培養成本。企業登錄平臺后,可以利用浪潮信息異構彈性算力池與拓爾思數據安全屋技術,保障企業級數據建模任務的高并發處理,同時滿足數據不出域的安全要求。平臺還支持千億級參數模型的自動評審,幫助企業構建以崗位技能標準為核心的人才選拔體系。通過競賽活動平臺沉淀的數據,企業能夠精準匹配人才畫像,提升人崗匹配度,從而高效篩選出符合需求的AI人才,為企業提供高質量的人才儲備。
目前,"AI創新培養綜合服務平臺"已在AI模型訓練、大數據競賽、跨校區協作等場景中規模化應用。拓爾思通過"百企千校"聯合計劃,聯動100余家頭部生態企業與全國1000余所高校,通過智能人才庫匹配、行業競賽能力認證和公益雙選會等創新形式,助力百萬學生實現高質量教育及就業,實現了教學場景與產業需求的零時差對接。
未來,拓爾思將與浪潮信息深化協同創新,推動智慧教育產教融合,通過開源算法生態與多模態實訓平臺激發教育創新,以彈性算力調度與智能評測體系加速技能培養閉環構建,共同打造適配產業需求、貫通職業成長、普惠人才培養的AI教育新范式。
元腦生態由浪潮信息發起,面向產業AI落地難題,聚合浪潮信息和左右手伙伴的優質AI能力,構建領先的全棧AI解決方案,助力用戶智能轉型升級。目前,元腦生態已對接600+算法廠商、8000+系統集成商,在智能制造、智慧金融、智慧科研等領域實現成功牽手和落地應用。
大模型行業應用落地加速,DeepSeek-R1 32B、QwQ-32B等模型中文能力見長,并在理解能力和知識儲備上有顯著優勢,是企業平衡性能和部署成本的最佳模型選擇。元腦CPU推理服務器僅基于通用處理器進行軟硬協同優化,可為企業32B模型推理與云計算、數據庫等通用關鍵業務場景融合提供更高效、更靈活、更穩定的AI通用算力支撐。
隨著DeepSeek等大模型在企業場景中的應用日趨廣泛,以及與企業業務系統的融合更加緊密,CPU服務器憑借其獨特優勢成為中小規模并發場景部署DeepSeek的最佳選擇。CPU服務器具備卓越的通用性和靈活性,可同時支持AI推理、云計算、數據庫等多種工作負載,避免了專用AI硬件的使用局限,為大模型應用與現有IT基礎設施的融合提供了更加靈活、經濟的方案選擇,使企業能夠以較低的硬件投入快速實現大模型應用落地。
在企業部署大模型的過程中,參數規模與其應用場景息息相關。浪潮信息與IDC聯合發布的《2025年中國人工智能計算力發展評估報告》顯示,目前92%企業使用的生成式人工智能模型平均參數量小于50B。一般而言,671B等超大規模參數的模型性能更強,但對硬件資源要求高,部署成本昂貴;而32B級模型在理解能力和知識儲備上有顯著優勢,能夠平衡性能和部署成本。以業界32B模型為例,DeepSeek-R1 32B在知識問答、智能寫作、內容生成等方面表現優秀,QwQ-32B則在數學推理、編程任務和長文本處理等方面的性能優異。DeepSeek-R1 32B和QwQ-32B的訓練數據中包含海量的高質量中文語料庫,會更加適合于國內企業應用,而Llama 70B主要基于英文語料進行訓練,對中文用戶而言不夠友好。因此,大多數企業應用場景中,如企業知識庫問答、文檔寫作、會議紀要整理等場景,32B參數級別的模型往往是最佳選擇,既能提供強大的能力支持,又能保持合理的硬件投入。
目前元腦CPU推理服務器NF8260G7和NF8480G7基于通用處理器架構進行軟硬協同優化,已經完成與DeepSeek-R1 32B和QwQ-32B等大模型的深度適配和優化。元腦CPU推理服務器通過采用先進的張量并行策略和AMX加速技術,業界主流企業級大模型推理服務框架,實現多處理器并行計算,并使用AWQ(激活感知權重量化)技術,進一步提升推理解碼性能,成功實現單用戶最高20tokens/s的最佳性能,為企業的AI大模型部署應用帶來流暢體驗。
面對CPU服務器部署大模型面臨算力和帶寬方面的挑戰,元腦CPU推理服務器采用了多項創新技術。
當前,元腦服務器研發團隊正與業內團隊密切合作,在計算架構、算子調優、并行策略、框架適配、調度管理等多個方面持續發力,旨在為用戶帶來高效、穩定的DeepSeek等大模型部署方案,助力大模型快速落地應用。
本次會議設立北京主會場與各地分會場,邀請來自國際分析機構的專家及企業、醫療、教育等多個行業的元腦生態伙伴,探討企業如何在業務流程中真正用好DeepSeek等大模型,并邀請伙伴進行應用開發實操演練,旨在搶抓生成式AI的產業發展機遇,將元腦與伙伴的產品技術能力深度耦合,加速大模型技術向產業端規模化滲透。
DeepSeek點燃了企業客戶對于大模型在企業應用落地的熱情。IDC與浪潮信息聯合發布的《2025年中國人工智能計算力發展評估報告》指出,DeepSeek在金融、醫療、汽車、電信等多個行業逐步落地,重構了產業創新范式,帶動數據中心、邊緣及端側算力建設。但在DeepSeek應用落地過程中一系列挑戰隨之涌現,如何高效選代技術棧,使DeepSeek深度融入生產、經營、管理、辦公等核心業務場景,快速釋放DeepSeek的強大生產力?如何在充分發揮企業私域數據潛力的同時,有效確保數據安全合規?這些問題正在成為如何用好DeepSeek亟待解決的關鍵。
基于此,浪潮信息全面升級元腦企智一體機,以專為大模型推理優化設計的元腦 R1 推理服務器搭載 EPAI 企業大模型開發平臺,具備模型管理、知識檢索、提示詞工程、智能體等全流程開發技術棧,集成伙伴和客戶的企業、醫療、教育、公共事業等行業高質量數據,形成多行業場景示范模板,打造"DeepSeek超級工作臺",快速激發 DeepSeek 智能生產力。
活動現場,浪潮信息將面向企業、醫療、教育等行業應用場景,實時演示從企業知識庫構建、模型微調到應用開發的全流程,幫助伙伴快速構建面向行業的DeepSeek大模型應用。目前,ISV伙伴已基于元腦企智DeepSeek一體機快速開發智能客服助手,回答準確率提升至95%以上。
浪潮信息將持續開發和迭代元腦企智一體機等產品,為元腦伙伴提供軟硬協同優化、工具鏈完備高效、行業場景深度融合的AI全棧產品和方案,堅持"更快供貨、更強支持、更精準方案"的生態扶持政策,賦能元腦伙伴抓住AI技術升級的紅利,攜手推動人工智能在千行百業的落地。
當前,DeepSeek開源多版本模型,助力各行業加速應用大模型技術推動業務升級轉型。其中,DeepSeek R1 671B模型作為全參數基礎大模型,相比蒸餾模型具有更強的泛化能力、更高的準確性和更好的上下文理解能力,但也對系統顯存容量、顯存帶寬、互連帶寬和延遲提出了更高要求:在FP8精度下至少需要約800GB顯存承載,FP16/BF16精度下需要1.4TB以上的顯存空間;此外,DeepSeek R1是典型的長思維鏈模型,具有短輸入、長輸出的應用特點,推理解碼階段依賴更高的顯存帶寬和極低的通信延遲。面向671B模型的算力特征和系統需求,元腦R1推理服務器提供領先的顯存容量、顯存帶寬和通信速度,能夠助力企業高效完成DeepSeek全參數模型的本地化部署。
元腦R1推理服務器NF5688G7是領先的高算效AI計算平臺,原生搭載FP8計算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面,提供1128GB HBM3e高速顯存,滿足671B模型 FP8精度下不低于800GB顯存容量的需求,單機支持全量模型推理情況下,仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s,完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特征,在推理解碼階段可實現全力加速。在通信方面,GPU P2P帶寬達900GB/s,保障單機部署張量并行最佳通訊性能,基于最新推理框架單機可支持20-30用戶并發。在SSD方面,搭載自研NVMe SSD,讀寫達7400/6200MB/s,可以有效保證高效存儲。同時,單臺NF5688G7配備3200Gbps無損擴展網絡,可根據用戶業務需求增長實現敏捷擴展,提供成熟的R1服務器Turnkey解決方案。
元腦R1推理服務器NF5868G8是專為大推理模型(Large Reasoning Model)創新設計的高吞吐推理服務器,業界首次實現單機支持16張標準PCIe雙寬卡,提供高達1536GB顯存容量,支持在FP16/BF16精度下單機部署DeepSeek 671B模型。創新研發基于PCIe Fabric的16卡全互連拓撲,任意兩卡P2P通信帶寬可達128GB/s,降低通信延遲超60%。通過軟硬協同優化,相較傳統2機8卡PCIe機型,NF5868G8可將DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡選配。
元腦R1推理服務器NF5868G8是基于自研部件的整體解決方案,面對DeepSeek的模型規模龐大參數,如DeepSeek-V3總參數達6710億,如此大規模的參數在模型訓練和推理過程中需要實時存儲和快速調用,SSD與CPU、GPU等硬件協同工作,減少存儲系統對整體性能的瓶頸限制,縮短訓練時間。
元腦SSD能夠提供足夠的存儲空間和快速的讀寫能力,確保參數的高效訪問,從而提升模型穩定運行速度。NS6500/6600G2 NVMe SSD集成了3D eTLC NAND 閃存,順序讀寫達7400/6200MB/s,幫助整機帶寬提升10%以上;可靠性和穩定性方面,平均無故障時間(MTBF)達280萬小時,相較業界提升40%,誤碼率(UBER)10e -18,較同類產品降低90%,特別是智能動態溫控技術,可以保障DeepSeek長時間負載不掉速且穩定運行。作為專為企業數據中心、云服務、IoT、AI及機器學習等領域打造的企業級SSD,以業界領先的性能、可靠性、穩定性、安全性全面支撐NF5688G7推理服務器高效、穩健、安全運行。
浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商,通過發展新一代以系統為核心的計算架構,打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新,并通過元腦生態攜手領先伙伴,加速人工智能的創新和應用落地。
在醫藥行業有三十多年的創新藥物研發經驗的海欣藥業借助浪潮信息的元腦服務器超融合一體機inMerge,成功升級藥企私有云平臺,將藥品生產、流向管理等一系列企業核心信息化業務系統全面升級部署,藥品生產管理核心應用程序響應時間縮短至毫秒級,關鍵業務數據零丟失,切實確保了業務的連續性和數據的安全性。同時,新業務部署上線時間由原本的24小時縮短至3小時,有效滿足了藥品研發、生產、庫存等管理功能升級快速上線的需求,為企業數字化轉型提供了強大支撐。
海欣藥業基礎設施架構云化勢在必行
海欣藥業始建于2001年12月,其前身為擁有30多年制藥歷史的老國有企業——贛南制藥廠,歷經數十年不懈奮斗,現已發展成為集藥物研發、生產、銷售于一體,以化學藥制劑為主的現代化制藥企業,目前擁有小容量注射劑、凍干粉針劑、口服溶液劑、顆粒劑、干混懸劑、原料藥等六大系列 120 多個藥品生產批文,形成了專精特新的產品布局。
隨著海欣藥業業務拓展和新產品線的增加,如何保障數據安全、如何讓關鍵應用平臺更容易部署和管理、如何降低運維成本,成為海欣藥業邁向智慧型企業過程中面臨的新挑戰。
海欣藥業企業云化轉型按下加速鍵
通過對行業的深入調研和考察,海欣藥業采用元腦服務器超融合一體機inMerge構建新數據中心私有云平臺。元腦服務器超融合一體機inMerge具有數據分散部署、一鍵式升級、彈性拓展等核心優勢,有力確保海欣藥業能夠持續、可靠地運行其關鍵業務,并大幅提升運營效率。
多節點數據分散部署,保障數據安全性:元腦服務器超融合一體機inMerge將數據分散部署在三個不同節點,通過數據并行分發和復制提供高可用性,減小醫藥企業磁盤或服務器故障對數據帶來的巨大影響。超融合架構通過集中管理數據,提高了數據安全性,確保藥品從生產到最終消費者手中跟蹤等重要數據的安全性,并為生產數據始終可用,減少了因系統故障導致的停滯時間,提高了業務連續性。
一鍵式升級,降低運維成本:在運維管理方面,一體機將超融合的簡易性發揮到極致,通過 vLCM 插件提供一鍵式升級,一次性完成超融合平臺的整體升級,升級過程全部自動化執行,無需人工值守。自動化運維管理降低了人為錯誤概率,提高了系統穩定性,經測算,相比于傳統架構,同等性能情況下降低了50%的TCO,同時提升了運維效率,節約運維成本約30%。
彈性拓展、縮短業務上線時間:IT管理能力大幅提升,平滑的從傳統復雜的三層IT基礎架構過渡到云架構。這種架構具備積木式建設、可按需快速線性擴展的特點,可快速的幫助海欣藥業提升部署效率,將流向管理系統等業務系統上線時間從24小時大幅縮短至 3 小時,這種快速部署能力使海欣藥業能夠迅速響應市場變化。
海欣藥業相關負責人表示:元腦服務器超融合一體機inMerge卓越的彈性擴展能力滿足了海欣藥業未來5年的業務增長需求,同時快速部署滿足了業務快速上線的要求。業務系統的效率提升有效的保障了數據分析結果的快速獲取,為海欣藥業應對智能化轉型中的挑戰提供了強有力的支撐,為公司的持續發展和創新奠定了堅實的基礎。
本次打榜的NF3290G8基于領先的OCM開放架構設計,計算、內存、IO實現最大化,單顆英特爾®至強®6處理器,計算核心數提升1倍,全新MRDIMM內存,相比于上一代內存帶寬提升2.3倍,三級緩存高達504MB,容量提升1.6倍,能夠大幅降低訪問延遲,且支持最新的AI開發工具套件(AMX/AVX/DSA),并進行電源、信號、散熱的系統級優化,單機SPEC CPU2017整數型和浮點型運算性能翻倍提升,滿足金融、電信、能源等不同行業關鍵場景下對服務器的極致算力需求,為企業數智化轉型提供強大算力支撐。
性能翻倍! 元腦服務器打造企業應用算力新標桿
SPEC CPU2017是SPEC組織推出的一款用于衡量計算機系統整體計算性能的評估工具。它通過模擬具有代表性的應用程序場景,如公共交通工具調度、模擬分析、AI搜索引擎優化和視頻編碼等,涵蓋了43項不同的基準測試負載。這一測試套件全面檢驗了服務器的CPU、內存、散熱系統以及主板布局等關鍵系統組件的性能,從而評估整個系統的綜合實力。由于其測試用例基于真實應用,所得數據與服務器在日常運行中的表現高度一致,因此SPEC CPU2017的測試結果一直被客戶視為選擇服務器時的關鍵性能參考指標。
全新一代元腦服務器NF3290G8基于系統創新優化,在SPEC CPU2017測試中創下行業新標桿:整數型和浮點型運算性能為上一代紀錄大幅的2.17倍和2.11倍,雙雙突破單路服務器在SPEC CPU測試中的性能紀錄,一臺的性能遠超過去兩臺,并且反超上一代雙路平臺紀錄。具體來看,該產品在人工智能計算等多項關鍵場景中性能測試獲得大幅提升,deepsjeng的α-beta樹搜索(國際象棋)智能決策場景性能是以往的2.48倍,在視頻壓縮、爆炸建模、分子動力學、光線追蹤、流體力學和計算電磁學等內容創作、科學計算等場景中性能較上一代均大幅躍升2.30倍以上,為多樣化場景應用提供強勁性能支撐。
開放定義智算,元腦服務器全棧系統創新
本次打榜的元腦服務器NF3290G8產品基于1顆英特爾®至強®6處理器CPU,TDP550W,計算內核翻倍提升,內存12通道,最大帶寬1300GB/s,支持PCIe5.0,并能兼容下一代PCIe6.0速率的電氣要求,增強了信號的可靠性,信號傳輸延遲也大幅降低,實現了極致的計算和吞吐性能,在SPEC CPU2017測試中,智能決策場景性能最大提升148%,內容創作、科學計算等場景中性能較上一代大幅躍升130%以上,1臺單路性能遠超過去2臺單路性能之和。
同時,元腦服務器基于開放的OCM系統架構設計,整機全面解耦,支持英特爾®至強®6處理器及第五代AMD EPYC? 9005系列不同平臺處理器,支持計算/供電/管理等模塊按需替換并可異步升級,方便客戶根據多樣化場景靈活、快速匹配適合的算力平臺。NF3290G8基于開放的模塊化設計,讓整機布局更加合理,最高可支持兩個單路節點,計算密度翻番。NF3290G8若采用2個單路節點配置,單機將擁有更佳的算效表現。
為支持計算性能大幅提升,元腦服務器NF3290G8在散熱、管理等方面進行了全面升級,顯著降低故障風險。散熱方面,該產品在2U空間里建立了高效的散熱通道,擁有良好的散熱能力,減少寄生電容、電感等不良影響,提升主板電氣性能。智能化方面,NF3290G8對內存、硬盤、風扇、電源的故障預警定位和管理進行全方位的智能升級,比如內存故障提前預警、錯誤實時隔離及故障智能修復,降低內存導致宕機故障率80%。
元腦服務器NF3290G8是劃時代的一款產品,不僅為開放計算模組OCM規范提供了參考設計,還實現了更高的性能和智能水平,能夠滿足復雜多變的云、虛擬化、數據庫及AI應用等場景的算力需求,加速互聯網、金融、通信、能源、交通等行業及用戶的數智化轉型創新。
服務器操作系統遷移牽一發而動全身,涉及眾多技術細節
操作系統作為連接底層硬件和上層應用的橋梁,向上銜接各種中間件和應用軟件,向下納管各種芯片、硬件、網絡和基礎設施,對于業務的穩定運行起到重要支撐作用。隨著數字化轉型與智能化升級的深入,用戶對操作系統提出了更高的需求,不但要能兼容適配各類硬件架構和設備,提供相應的驅動程序支持,還要具備AI能力,為AI應用搭建最佳運行環境,同時還要具備穩定可靠特性,符合安全合規的要求。
為了提升安全性,優化性能以滿足業務需求,特別是滿足合規性要求,遷移到新操作系統成為企業或組織在數字化轉型中的重要決策。而操作系統遷移可謂"牽一發而動全身",涵蓋環境、配置、軟硬件信息的收集及兼容性適配,遷移方案的制定與驗證,以及遷移實施與后續的系統監測優化等多個環節,涉及眾多技術細節和潛在風險。
《指南》提供行業統一標準規范指導 遷移效果可量化可評估
《指南》為用戶操作系統遷移提供了詳細的指導規范,確保遷移過程高效、可靠且標準化,讓遷移工作對業務的影響降到最低,最大限度保障數據安全,實現遷移效果可評估、可量化。
對于用戶關心的系統遷移時的數據安全問題,《指南》建議收集客戶對數據的安全性需求,包括數據收集范圍、使用處理方式和數據保護措施等,對操作系統和業務軟件遷移的技術可行性和復雜度進行評估,并對環境數據和系統配置進行備份,針對備份數據給出還原方案,以應對系統遷移失敗導致的數據丟失風險。
對于操作系統在跨CPU架構服務器間的遷移,《指南》建議做好環境信息收集整理,圍繞CPU硬件及相關業務軟件評估遷移可行性,按需改造并優化應用程序。通過模擬生產環境,驗證操作系統、業務軟件和CPU等硬件的兼容性,并通過功能測試、性能測試、穩定性測試、安全性測試驗證系統穩定性、性能和安全性。系統遷移完成后,根據生產環境的實際業務情況,圍繞CPU利用率、內存占用等系統性能方面持續開展優化,提升用戶體驗。
在遷移效果評估方面,《指南》明確了應輸出包括操作系統遷移方案、運行監測報告、日常維護記錄、系統優化方案等相關文檔。以上文檔中記錄了遷移后業務系統的資源占用情況,包括業務進程的 CPU、內存、磁盤、網絡等資源使用情況,遷移前后操作系統日志變化情況,包括系統日志異常和日志量突然增長等問題,操作系統和業務軟件的異常告警事件,包括操作系統宕機、業務軟件無法訪問等高危告警事件,以及客戶環境日常維護記錄。通過全面的文檔記錄,讓操作系統遷移效果量化可見。
《指南》的發布,為服務器操作系統遷移提供了的全面指導,對用戶而言,明確了系統遷移流程步驟,提前了解遷移過程中的風險事項,最大程度降低風險,對各廠商提供的服務可進行量化評估;對廠商而言,《指南》不僅提供了技術實現的參考標準,降低開發成本,提高服務效率,還有助于提升差異化優勢;對于操作系統及服務器產業而言,《指南》為產業發展提供有力的技術支持和指導規范,加速了遷移服務技術創新進程,促進操作系統產業健康發展。
DeepSeek R1參數量達到6710億,采用了MLA注意力機制和共享專家、路由專家共同組成的混合專家(MoE)架構,其創新的模型架構也帶來了在推理服務上的性能挑戰。浪潮信息團隊從AI服務器和推理框架入手開展了協同優化工作。
元腦R1推理服務器NF5688G7原生搭載FP8計算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失,1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求,單機支持全量模型推理情況下,仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s,完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特征,在推理解碼階段可實現極致加速。在通信方面,GPU P2P帶寬達900GB/s,保障單機部署張量并行最佳通訊性能。
SGLang是新興的開源推理框架項目,其得到活躍的社區支持,并在工業界獲得了廣泛應用。SGlang的核心特性包括:快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關注的是,SGLang針對MLA注意力機制開展了針對性的工程優化,并在框架上對MoE架構的推理做了優化設計。SGLang也是最早適配DeepSeek v3和R1的優選推理框架之一。
目前,元腦R1推理服務器 NF5688G7已完成SGLang最新版本 0.4.3的適配優化工作。通過硬件調優、算子優化、混合并行、多token預測等多方面的工程實踐,在元腦R1推理服務器 NF5688G7上運行DeepSeek 671B R1模型,成功實現了單用戶解碼最高33 tokens/s及最大用戶并發超1000的優異性能表現。
DeepSeek R1 671B是一個稀疏度較高的MoE架構模型,具有模型參數量大、計算量小的特點。和Dense模型相比,在滿足KV cache的顯存占用的前提下,可以支持更高的并發訪問需求。實測數據表明,基于單臺NF5688G7,在使用DeepSeek R1進行帶思維鏈深度思考的短輸入長輸出的問答場景下,使用100/1000作為輸入輸出長度,實測在單個用戶并發時的解碼性能為33.3tokens/s;在16個用戶并發時,每個用戶有約20 tokens/s的解碼性能;在64個用戶并發時,每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發訪問的極限測試時,單臺NF5688G7實現了3975.76 tokens/s的吞吐性能,可以滿足超高并發場景下多用戶使用需求。
浪潮信息團隊正與業內團隊密切合作,在計算架構、算子調優、并行策略、框架適配、調度管理等多個方面持續發力,旨在為用戶帶來高性能、高效穩定、性價比高的DeepSeek大模型部署服務方案,助力大模型快速落地應用。
浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商,通過發展新一代以系統為核心的計算架構,打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新,并通過元腦生態攜手領先伙伴,加速人工智能的創新和應用落地。
企業落地DeepSeek挑戰重重
DeepSeek R1 671B大模型憑借其卓越性能和廣泛應用前景廣受關注。然而,企業在實際落地DeepSeek的過程中卻面臨私有知識適配不足、知識動態變化、大模型幻覺等諸多挑戰,限制了其在特定場景中的應用潛力。
首先,企業的應用場景往往具有高度的獨特性和專業性,尤其是金融、醫療等行業,其業務邏輯復雜,涉及大量專業術語、法規政策以及內部流程。這些企業需要能夠理解并運用其私有知識的智能工具,然而DeepSeek大模型的訓練數據主要來源于通用領域的公開信息,缺乏針對專業領域的深度適配,這種先天的知識不匹配導致DeepSeek在處理企業內部專業問題時難以提供精準答案,無法滿足企業對高精度回答的需求。
其次,企業內部知識并非靜態不變,而是會隨著業務發展和技術迭代不斷更新。如果模型未能及時學習和適應這些動態變化,其輸出結果的準確性將進一步下降。尤其是在涉及實時數據分析或快速決策支持的應用場景中,模型的滯后性可能帶來嚴重后果。
此外,大模型在生成內容時,難免會出現"幻覺"問題,即生成與事實不符或缺乏依據的信息。這種現象在通用場景下可能影響有限,但在法律、醫學等對準確性要求極高的領域,幻覺問題將帶來潛在風險。如何有效降低大模型的幻覺發生率,提升生成內容的可靠性和準確性,已成為行業共同關注的焦點。
因此,要真正實現DeepSeek的落地應用,必須將企業自身積累的知識與DeepSeek深度結合,通過模型微調、Prompt工程、知識庫等方式優化模型表現,而這一過程對企業的技術能力的要求極高。此外,企業還面臨數據安全與隱私保護的雙重壓力。
元腦EPAI+DeepSeek,企業大模型應用開發如虎添翼
面對上述挑戰,元腦企智EPAI與DeepSeek R1 671B全面適配,幫助企業用戶將業務數據與DeepSeek深度融合,快速打造高準確率、安全穩定的企業專屬智能應用。元腦企智EPAI是浪潮信息的大模型應用落地解決之道,能夠為企業AI大模型落地應用提供高效、易用、安全的端到端開發平臺,幫助企業高效開發部署生成式AI應用、打造智能生產力。
浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商,通過發展新一代以系統為核心的計算架構,打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新,并通過元腦生態攜手領先伙伴,加速人工智能的創新和應用落地。
隨著AI計算負載的持續攀升,數據中心功率密度不斷增大,采用更高效的液冷散熱取代傳統風冷散熱已成為行業發展的必然趨勢。據Trend Force預測,全球數據中心液冷采用率有望從2024年的14%提升到2025年的26%。Omdia Research數據顯示,到2028年,全球數據中心液冷市場將達到168億美元,年復合增長率為25%。液冷技術憑借高效散熱、節能降耗等突出優勢,擁有了廣闊的市場空間。
然而,液冷技術非常復雜,涉及到液冷數據中心系統架構層、液冷部件及接口層、液冷基礎設施層、液冷監控系統層等多方面。要實現液冷的規模化應用,在全球化交付和售后服務等方面仍面臨諸多挑戰。在全球化交付方面,不同國家和地區有著不同的標準和規范,這使得液冷設備在生產、運輸和安裝過程中需要滿足多種要求,增加了交付的難度和復雜性。在售后服務方面,液冷相較于傳統風冷系統,實施更為復雜,需要專業人員進行安裝維護,而在海外不同地區,技術人員的專業水平參差不齊,且部分地區可能缺乏專業的售后團隊,這使得設備出現故障時難以及時修復,影響數據中心正常運行。
浪潮信息與維諦技術、嘉實多等全球液冷領導廠商展開深度合作,旨在整合各方優勢技術和資源,通過產業伙伴間的高效協同,為全球客戶打造適用的全棧液冷解決方案,提升液冷全球化交付能力和服務水平,加速液冷在全球范圍內的規模化應用。
作為全球關鍵基礎設施液冷方案領導者,維諦技術在高密度數據中心液冷部件產品方面擁有豐富經驗,其提供的CDU、Tank、供電組件具有兼容性高、適配性好等特點,能精準貼合數據中心的液冷場景需求,并與全球頭部科技企業建立了緊密的合作關系。浪潮信息與維諦技術的合作將聚焦CDU和下一代高熱服務器的前瞻性研發,通過信息共享、技術互補和交付協同等深度合作模式,雙方整合優勢資源,不僅豐富液冷產品體系,還能針對全球不同地區、不同需求的數據中心客戶提供更具針對性和專業性的全棧液冷解決方案,有效提升液冷全球化交付能力。同時在服務層面,借助雙方的技術人才儲備和售后網絡,能夠為海外客戶提供更及時、更專業的售后支持,將有力推動液冷技術在海外市場的進一步拓展。
嘉實多積極與全球液冷產業鏈上下游企業展開合作,長期專注于提供高品質冷卻液,產品具備高散熱效率、低粘度、高兼容性、高安全性等特點,可滿足高密度數據中心的散熱需求。浪潮信息與嘉實多的合作將涵蓋不同液冷方案(冷板式/浸沒式)的專用冷卻液研發、冷卻液與服務器內部材料的長周期兼容性測試、冷卻液安全指標制定等方向,持續提升散熱效率與系統兼容性,降低因冷卻液腐蝕、泄露帶來的運維風險,提高冷卻液在極端氣候地區的性能穩定性,有效幫助浪潮信息解決其在人工智能應用中的散熱問題,支持液冷解決方案在全球范圍內的規模化落地。
浪潮信息作為液冷產業領導者,長期專注于液冷技術的研發與應用,在液冷部件、整機、數據中心領域積累了深厚的技術實力和豐富的實踐經驗,目前已擁有700多項液冷相關專利,并連續三年穩居中國液冷服務器市場首位。此次與維諦技術和嘉實多的合作,是進一步提升液冷全球化交付能力的關鍵契機。一方面,通過與維諦技術、嘉實多聯合創新,打造全球化的液冷解決方案,在全球范圍內進行全面測試驗證和快速交付,滿足不同地區數據中心的要求,提高其市場適應性和競爭力;另一方面,憑借各自在全球的售后網絡,為客戶提供 7×24 小時的專業技術支持。無論是前期方案咨詢、安裝調試,還是后期運維保障、故障修復,都能快速響應,及時解決客戶問題。
通過此次戰略合作,浪潮信息與維諦技術、嘉實多將攜手為全球數據中心客戶提供更完善的液冷解決方案,提供從規劃咨詢、實施交付到運營維護的端到端服務,推動全球數據中心行業邁向綠色、高效、可持續發展的新階段。
2024年,中國智能算力規模達725.3EFLOPS,同比增長74.1%,增幅是同期通用算力增幅(20.6%)的3倍以上;市場規模為190億美元,同比增長86.9%。
未來兩年,中國智能算力仍將保持高速增長。2025年,中國智能算力規模將達到1,037.3 EFLOPS,較2024年增長43%;2026年,中國智能算力規模將達到1,460.3 EFLOPS,為2024年的兩倍。2025年中國人工智能算力市場規模將達到259億美元,較2024年增長36.2%;2026年市場規模將達到 337億美元,為2024年的1.77倍。
DeepSeek憑借"開源、成本低、性能高"迅速出圈火爆全球,正在激活市場熱情。《報告》對DeepSeek引發的AI變革進行了分析,還從算力結構、區域分布和行業滲透度等多維度,對我國人工智能計算力發展進行綜合評估,并提出了針對性的行動建議,為推動中國人工智能產業的高質量發展提供參考。
城市加大AI布局,北京、杭州、上海位列前三
根據《報告》評估,各城市通過加大人工智能投資、爭取人才以及提供政策支持等舉措,持續構筑AI競爭優勢。
在2024年中國人工智能城市排行榜中,北京和杭州依然穩居前兩位。北京聚集了大批大模型企業,憑借大量人才、成熟的企業和有力的政策扶持,持續位居首位;杭州早在2021年就提出要成為具有全球影響力的人工智能頭雁城市,在AI領域持續深度求索,保持第二位。而上海憑借其國際化優勢和政策支持,在推動人工智能世界級產業集群建設等方面表現出色,排名從2023年的第四位提升至第三位。此外,深圳、廣州、南京、成都、濟南、天津、廈門,進入城市排名前十。
AI從單點應用到多元化應用、從通用場景到行業特定場景,在各行業的滲透持續加深,具身智能的發展引發市場關注。
在2024年人工智能行業滲透度排名中,Top5的行業依次為:互聯網、金融、運營商、制造和政府。互聯網依然是AI技術研發和應用的主戰場,在大模型的研發、應用及推廣過程中持續發揮引領作用;金融行業進一步加深人工智能與風控、投資決策和個性化財富管理等場合的融合,排名從第四名攀升至第二名。
DeepSeek引發的算力變革與挑戰
《報告》認為,Scaling law在當前人工智能發展中仍然占主導地位,DeepSeek帶來的算法效率的提升并未抑制算力需求,反而因更多的用戶和場景的加入,推動大模型的普及與應用落地,帶動數據中心、邊緣及端側算力建設,驅動算力需求增長。
DeepSeek基于算法層面的極大創新,對中國乃至全球的人工智能產業帶來深刻變革,算法成為驅動人工智能發展的核心引擎,正牽引著算力的發展,也驅動了計算架構和數據中心變革。
算力發展要"擴容",更要"提效"
應對上述變革和挑戰,《報告》認為在人工智能算力發展過程中應采取"擴容"和"提效"并行的策略。
"擴容"是指增強算力資源的可獲得性。通過增加智算中心的數量,實現充足的多元算力供給。"提效"則需要從算力基礎設施建設和優化、算法創新、提高數據質量、降低能耗等方面系統性實現。
當前,我國正在實施《算力基礎設施高質量發展行動計劃》。顯然,以上 "提效"舉措,可以充分把算效發揮出來,能效提升上來,推動實現算力的高質量發展。
當前,DeepSeek開源多版本模型,助力各行業加速應用大模型技術推動業務升級轉型。其中,DeepSeek R1 671B模型作為全參數基礎大模型,相比蒸餾模型具有更強的泛化能力、更高的準確性和更好的上下文理解能力,但也對系統顯存容量、顯存帶寬、互連帶寬和延遲提出了更高要求:在FP8精度下至少需要約800GB顯存承載,FP16/BF16精度下需要1.4TB以上的顯存空間;此外,DeepSeek R1是典型的長思維鏈模型,具有短輸入、長輸出的應用特點,推理解碼階段依賴更高的顯存帶寬和極低的通信延遲。面向671B模型的算力特征和系統需求,元腦R1推理服務器提供領先的顯存容量、顯存帶寬和通信速度,能夠助力企業高效完成DeepSeek全參數模型的本地化部署。
元腦R1推理服務器NF5688G7是領先的高算效AI計算平臺,原生搭載FP8計算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面,提供1128GB HBM3e高速顯存,滿足671B模型FP8精度下不低于800GB顯存容量的需求,單機支持全量模型推理情況下,仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s,完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特征,在推理解碼階段可實現顯著加速。在通信方面,GPU P2P帶寬達900GB/s,保障單機部署張量并行更佳通訊性能,基于最新推理框架單機可支持20-30用戶并發。同時,單臺NF5688G7配備3200Gbps無損擴展網絡,可根據用戶業務需求增長實現敏捷擴展,提供成熟的R1服務器集群Turnkey解決方案。
元腦R1推理服務器NF5868G8是專為大推理模型(Large Reasoning Model)創新設計的高吞吐推理服務器,業界首次實現單機支持16張標準PCIe雙寬卡,提供高達1536GB顯存容量,支持在FP16/BF16精度下單機部署DeepSeek 671B模型。創新研發基于PCIe Fabric的16卡全互連拓撲,任意兩卡P2P通信帶寬可達128GB/s,降低通信延遲超60%。通過軟硬協同優化,相較傳統2機8卡PCIe機型,NF5868G8可將DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡選配。
浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商,通過發展新一代以系統為核心的計算架構,打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發創新,并通過元腦生態攜手領先伙伴,加速人工智能的創新和應用落地。