北京2025年11月6日 /美通社/ -- "在AI超節點系統的設計上，不應該再依照慣性思維，過分追求規模，而是應該從客戶視角出發，把token交互速度作為關鍵衡量指標，這是智能體時代AI超節點的核心商業價值。"這是浪潮信息首席AI戰略官劉軍近期接受采訪時，反復強調的一點。
浪潮信息首席AI戰略官劉軍
智能體時代，速度就是金錢
規模擴展定律（Scaling Law）一直是驅動大模型智能持續增長的底層邏輯，推動著模型參數量從百億、千億邁向現在的萬億。在后訓練階段更多的算力投入，能顯著提升模型的推理能力，而以推理能力為代表的復雜思維的涌現，是構建智能體應用的基礎。另一方面，以DeepSeek為代表的開源大模型極大的降低了創新門檻，加速了智能體產業化的到來。
Scaling Law驅動智能持續進化
劉軍指出，"智能體產業化的核心三要素是能力、速度和成本。其中，token交互速度決定了智能體的商業價值。在當下最常見的人機對話場景中，基本上按照大概50毫秒的水平，就是每秒輸出20個token，人的閱讀速度就能跟得上。但很多人還沒意識到，未來的智能體時代會更多的出現機器與機器之間的交互場景，對于智能體之間的交互而言，這個速度遠遠不夠，比如說直播電商、量化交易、欺詐防控等特定業務場景中，對token生成速度的最低要求都是10毫秒以下。"
以高強度、實時互動的直播電商場景為例。2024年底，某知名直播電商平臺進行了專家組合智能體的A/B實驗，實驗組部署了經過深度優化的智能體，對照組則使用未經優化的標準版本智能體，優化后的智能體平均響應延遲相較于對照組降低了38%。實驗結果表明，部署了低延遲智能體的直播間，其商品交易總額（GMV）平均提升了11.4%，同時用戶的復購率也取得了7.8%的顯著增長。
38%的延遲降低，并非提升了智能體回答內容的質量，而是確保了這些回答能夠被精準地投遞在用戶購買意圖最為強烈的"黃金窗口"期內。在直播電商這類場景中，用戶的購買意圖是瞬時且易逝的。一個高延遲的回答意味著當智能體還在"思考"時，用戶的注意力可能已經轉移，或者主播已經開始介紹下一件商品，從而錯失了最佳的銷售轉化窗口。
"在智能體時代，快，不再是可選項，而是商業成功的剛性約束。"劉軍強調，"只有當智能體的響應快于業務決策的窗口期，快于用戶耐心消逝的臨界點……AI才能真正成為核心生產力。"
token交互速度正在重塑AI算力價值評估體系
事實上，對于token交互速度的考量正在重構AI算力系統的價值評估體系。最近廣受關注的InferenceMax? 開源AI基準測試，正在創造一種動態追蹤模型更迭的算力評估體系，試圖在真實AI推理環境下衡量各類AI算力系統的綜合效率。在這一基準測試中，token生成速度被列為最重要的一項衡量指標。
SemiAnalysis InferenceMAX? 開源AI基準測試；橫軸：交互速度（Interactivity，單位：tok/s/user）；縱軸：單位GPU token吞吐量（Token Throughput per GPU，單位：tok/s/gpu）
同時，清華大學與中國軟件評測中心（CSTC）對20余家主流大模型服務提供商的綜合表現進行了全面評估，聯合發布了大模型服務性能排行榜，明確指出延遲指標是用戶體驗的核心，直接決定用戶留存，是平臺差異化競爭的首要技術門檻。因此，速度同樣也成為了大模型API服務提供商的核心競爭力。當前，全球主要大模型API服務商的token生成速度，基本維持在10~20 毫秒左右，而國內的生成速度普遍高于30毫秒。
全球大模型API服務商DeepSeek Token生成速度
元腦SD200將token生成速度帶入"10毫秒時代"
要實現更低延遲的token生成能力，必然要求底層算力基礎設施在系統架構、互聯協議、軟件框架等關鍵點上進行協同創新。
浪潮信息對元腦SD200超節點AI服務器進行了大量的軟硬件協同創新與優化，實現DeepSeek R1大模型單token生成速度低至8.9毫秒，帶動國內AI服務器token生成速度率先進入"10毫秒時代"。
元腦SD200超節點AI服務器
對于為何能在token生成速度上實現如此出色的性能，劉軍表示，智能體中各個模型之間的交互，很多時候通信數據包并不是很大，超高的帶寬會出現浪費，"就像是從a地到b地修了16車道的高速公路，但是車輛在16車道上只跑了很短的距離，反而在上高速和下高速這兩個節點花了很長時間。浪潮信息的優化重點，就是解決車輛上高速和下高速的卡點問題，讓車輛直通上來，直通下去。"
元腦SD200采用了獨創的多主機3D Mesh系統架構，實現單機64路本土AI芯片高密度算力擴展，原生支持開放加速模組OAM，兼容多元AI芯片。同時，元腦SD200通過遠端GPU虛擬映射技術創新，突破跨主機域統一編址難題，實現顯存統一地址空間擴增8倍，單機可以提供最大4TB顯存和64TB內存，為萬億參數、超長序列大模型提供充足鍵值緩存空間。基于創新的系統架構設計，元腦SD200單機即可承載4萬億單體模型，或者同時部署由多個萬億參數模型構成的智能體，多模協作執行復雜任務。
元腦SD200創新多主機3D Mesh系統架構
互連協議的設計是元腦SD200實現極低通信延遲的關鍵，浪潮信息做了大量的通信優化和技術創新，如采用極致精簡的3層協議棧，并原生支持 Load/Store等"內存語義"，讓GPU可直接訪問遠端節點的顯存或主存，將基礎通信延遲縮短至百納秒級；另外Open Fabric原生支持由硬件邏輯實現的鏈路層重傳，重傳延遲低至微秒級，特別是分布式、預防式的流控機制，實現全局任務均在發送前確保接收端有能力接收，從根本上避免了擁塞和丟包。
元腦SD200極低Latency通信
除了硬件方面的創新，浪潮信息也針對DeepSeek、Kimi等模型的計算特征和元腦SD200的硬件架構特征，完成了通信庫、計算框架、PD分離策略等多方面的優化，大幅提升了DeepSeek、Kimi等大模型的推理輸出速度。通信庫層面，針對Allreduce、Allgather、Alltoall等典型通信算子，浪潮信息制定了與元腦SD200深度適配的通信算法；框架層面，浪潮信息完成了并行方式、算子融合、多流水線等多方面優化，來保證計算的低延遲；在推理階段，浪潮信息開發了預填充-解碼 (Prefill-Decode) 分離軟件，針對預填充與解碼不同的計算特性，使用不同的并行計算策略、硬件配置等，提高系統整體的計算性能。
實測數據顯示，元腦SD200搭載64張本土AI芯片運行DeepSeek R1大模型，當輸入長度為4096、輸出長度為1024時，單用戶token生成達到112 tokens/s，每token生成時間僅為8.9ms，率先實現國內AI服務器token生成速度低于10ms，將推動萬億參數大模型在金融、科研、智能制造等領域快速落地。
未來十年AI經濟的增長邊界，從某種意義而言，將取決于整個行業在算法、軟件和硬件層面協同攻克延遲挑戰的能力。"速度就是金錢"不僅是一種新的商業主張，更是驅動下一代人工智能增長的核心經濟邏輯。浪潮信息將面向智能體產業化需求，持續以架構創新激發產業創新活力，讓AI成為百行千業的生產力和創新力。
