1. 從“適配”到“原生”GLM-5與國(guó)產(chǎn)算力生態(tài)的深度耦合最近關(guān)于智譜GLM-5大模型技術(shù)細(xì)節(jié)公開(kāi)并“完全適配”華為等國(guó)產(chǎn)芯片的消息在技術(shù)圈內(nèi)外都引發(fā)了不小的討論。作為一個(gè)長(zhǎng)期關(guān)注AI基礎(chǔ)設(shè)施和模型部署的從業(yè)者我第一眼看到這個(gè)標(biāo)題時(shí)內(nèi)心涌起的不是簡(jiǎn)單的興奮而是一種“終于來(lái)了”的復(fù)雜感慨。這遠(yuǎn)不止是一個(gè)技術(shù)適配的新聞它更像是一個(gè)標(biāo)志性事件標(biāo)志著國(guó)產(chǎn)大模型與國(guó)產(chǎn)算力生態(tài)正在從早期的“能用”階段加速邁向“好用”甚至“原生優(yōu)化”的深水區(qū)。在過(guò)去幾年里我們見(jiàn)證了無(wú)數(shù)國(guó)產(chǎn)大模型在英偉達(dá)GPU上訓(xùn)練和推理的輝煌也深刻體會(huì)過(guò)在國(guó)產(chǎn)化替代浪潮下將成熟模型遷移到昇騰、海光等國(guó)產(chǎn)芯片平臺(tái)時(shí)所面臨的陣痛。這種陣痛不僅僅是簡(jiǎn)單的算子兼容性問(wèn)題它涉及到從底層計(jì)算庫(kù)、編譯器、到模型架構(gòu)、訓(xùn)練框架乃至數(shù)據(jù)流水線(xiàn)的全棧重構(gòu)。因此當(dāng)GLM-5宣布“完全適配”時(shí)我關(guān)心的核心問(wèn)題不是“能不能跑起來(lái)”而是“跑得怎么樣”——它的性能損耗是多少推理延遲如何訓(xùn)練效率相比主流平臺(tái)有怎樣的變化更重要的是這種“適配”背后是淺層的接口封裝還是深度的協(xié)同優(yōu)化從網(wǎng)絡(luò)上的熱議來(lái)看大家的關(guān)注點(diǎn)也高度一致這究竟是技術(shù)實(shí)力的真實(shí)展現(xiàn)還是市場(chǎng)宣傳的噱頭對(duì)于廣大開(kāi)發(fā)者而言這意味著什么是多了另一個(gè)封閉的“黑盒”選擇還是真正開(kāi)放了一個(gè)可參與、可優(yōu)化的技術(shù)棧接下來(lái)我將結(jié)合公開(kāi)的技術(shù)信息、行業(yè)實(shí)踐以及個(gè)人在異構(gòu)計(jì)算部署中的經(jīng)驗(yàn)嘗試拆解GLM-5適配國(guó)產(chǎn)芯片背后的技術(shù)邏輯、實(shí)際挑戰(zhàn)以及它可能開(kāi)啟的產(chǎn)業(yè)新格局。2. GLM-5的技術(shù)架構(gòu)與國(guó)產(chǎn)芯片適配的核心挑戰(zhàn)要理解“完全適配”的含金量我們首先需要大致了解GLM-5是一個(gè)怎樣的模型以及國(guó)產(chǎn)芯片以華為昇騰Ascend為例與主流GPU如英偉達(dá)A100/H100在技術(shù)棧上的根本差異。2.1 GLM-5模型的技術(shù)特點(diǎn)與算力需求雖然GLM-5的完整技術(shù)報(bào)告尚未詳盡公布但從其前代GLM-4和行業(yè)趨勢(shì)可以推斷它必然是一個(gè)參數(shù)量巨大可能達(dá)到千億甚至萬(wàn)億級(jí)別、采用混合專(zhuān)家MoE等先進(jìn)架構(gòu)、支持超長(zhǎng)上下文如128K/256K tokens的下一代基礎(chǔ)模型。這類(lèi)模型對(duì)算力提出了三個(gè)維度的極致要求巨大的顯存容量承載模型參數(shù)和激活值尤其是在處理長(zhǎng)序列時(shí)顯存成為首要瓶頸。極高的計(jì)算吞吐量特別是矩陣乘法和注意力機(jī)制的計(jì)算需要強(qiáng)大的FP16/BF16張量核心算力。高效的內(nèi)存帶寬與通信模型參數(shù)在芯片內(nèi)、芯片間多卡、節(jié)點(diǎn)間多機(jī)的高效流動(dòng)決定了訓(xùn)練和推理的整體效率。2.2 國(guó)產(chǎn)芯片適配的“三重門(mén)”將這樣一個(gè)龐然大物“移植”到昇騰芯片上絕非修改幾行代碼那么簡(jiǎn)單。其核心挑戰(zhàn)在于技術(shù)棧的全面對(duì)齊與重構(gòu)我將其概括為“三重門(mén)”第一重計(jì)算算子與精度體系的重映射英偉達(dá)的CUDA生態(tài)擁有數(shù)十年積累其cuBLAS、cuDNN等庫(kù)已成為行業(yè)事實(shí)標(biāo)準(zhǔn)。昇騰則有其自研的CANNCompute Architecture for Neural Networks異構(gòu)計(jì)算架構(gòu)。GLM-5模型中每一個(gè)操作如LayerNorm、GELU激活、各種注意力變體如FlashAttention-2都需要在CANN中尋找或?qū)崿F(xiàn)對(duì)應(yīng)的、經(jīng)過(guò)高度優(yōu)化的算子。這不僅僅是功能實(shí)現(xiàn)更要追求極致的性能。此外GPU與NPU在浮點(diǎn)數(shù)格式如FP16, BF16, FP8的支持、精度累加方式上可能存在細(xì)微差異這些差異在模型規(guī)模巨大時(shí)會(huì)累積成可觀的精度損失或訓(xùn)練不穩(wěn)定性需要精細(xì)的數(shù)值穩(wěn)定性調(diào)優(yōu)。第二重分布式訓(xùn)練框架的深度集成千億級(jí)模型的訓(xùn)練必然是多卡、多機(jī)的分布式訓(xùn)練。主流的深度學(xué)習(xí)框架如PyTorch其分布式通信后端如NCCL是為GPU集群量身定制的。在昇騰平臺(tái)上需要將通信后端切換為華為的HCCLHuawei Collective Communication Library。這個(gè)過(guò)程涉及數(shù)據(jù)并行梯度同步的通信優(yōu)化。模型并行/張量并行將單個(gè)大層如前饋網(wǎng)絡(luò)FFN的參數(shù)切分到不同芯片這要求框架支持精細(xì)的模型切分策略并且通信模式與計(jì)算重疊達(dá)到最優(yōu)。流水線(xiàn)并行將模型不同層放置于不同設(shè)備需要處理復(fù)雜的微批次調(diào)度以隱藏通信氣泡。GLM-5如果采用MoE架構(gòu)還會(huì)引入“專(zhuān)家并行”等更復(fù)雜的范式與現(xiàn)有并行策略的組合與優(yōu)化是極大的工程挑戰(zhàn)。第三重編譯優(yōu)化與圖融合為了獲得最佳性能現(xiàn)代AI框架普遍采用“圖編譯”技術(shù)將動(dòng)態(tài)圖如PyTorch eager mode轉(zhuǎn)換為靜態(tài)計(jì)算圖進(jìn)行深度優(yōu)化。在昇騰上這通常通過(guò)PyTorch的昇騰后端torch_npu將計(jì)算圖下發(fā)到昇騰AI軟件棧的圖編譯器如AKG進(jìn)行處理。編譯器會(huì)進(jìn)行算子融合將多個(gè)小算子合并為一個(gè)復(fù)合大算子以減少內(nèi)核啟動(dòng)開(kāi)銷(xiāo)、內(nèi)存優(yōu)化、流水線(xiàn)調(diào)度等一系列操作。GLM-5模型的計(jì)算圖結(jié)構(gòu)復(fù)雜能否被編譯器高效地識(shí)別并優(yōu)化是決定最終性能的關(guān)鍵。一個(gè)失敗的融合策略可能導(dǎo)致性能大幅下降。注意這里的“完全適配”理想狀態(tài)下應(yīng)意味著GLM-5在上述三個(gè)層面都完成了深度優(yōu)化而不僅僅是能夠通過(guò)API調(diào)用在昇騰芯片上運(yùn)行起來(lái)。性能指標(biāo)應(yīng)接近甚至在某些場(chǎng)景下超越同規(guī)模GPU集群的水平。3. “適配”背后的工程實(shí)踐可能的技術(shù)路徑與踩坑點(diǎn)基于對(duì)現(xiàn)有開(kāi)源項(xiàng)目如MindSpore、DeepSpeed對(duì)昇騰的支持和一些企業(yè)級(jí)適配案例的觀察GLM-5團(tuán)隊(duì)可能采用了以下一種或多種混合的技術(shù)路徑來(lái)實(shí)現(xiàn)深度適配。這些路徑每一步都充滿(mǎn)了“坑”。3.1 路徑一基于PyTorch 昇騰后端的漸進(jìn)式遷移這是目前最主流、對(duì)開(kāi)發(fā)者最友好的方式。核心是使用華為提供的torch_npu插件讓PyTorch代碼能夠直接調(diào)用昇騰NPU進(jìn)行計(jì)算。實(shí)操步驟與核心配置環(huán)境準(zhǔn)備在搭載昇騰芯片的服務(wù)器上安裝特定版本的CANN驅(qū)動(dòng)、固件以及torch_npuwheel包。版本對(duì)齊是第一步也是噩夢(mèng)的開(kāi)始常常因?yàn)镻yTorch主版本、CANN版本、Python版本的不匹配導(dǎo)致安裝失敗。設(shè)備切換將代碼中所有的torch.cuda調(diào)用替換為torch.npu。例如# 原GPU代碼 device torch.device(cuda:0) model.to(device) # 修改為NPU代碼 device torch.device(npu:0) model.to(device)算子兼容性排查運(yùn)行模型利用torch_npu的算子清單逐個(gè)排查不支持的算子。對(duì)于缺失的算子需要方案A使用torch_npu提供的等效算子替換。方案B使用PyTorch原生算子可能性能不佳。方案C自己實(shí)現(xiàn)自定義算子并注冊(cè)到torch_npu工程量大。分布式訓(xùn)練改造將torch.distributed.init_process_group的后端從nccl改為hccl。分布式啟動(dòng)命令也需要從torchrun或multiprocessing模式改為使用昇騰平臺(tái)提供的hccn_tool或mpirun進(jìn)行配置。踩坑實(shí)錄內(nèi)存格式的“隱形殺手”一個(gè)極易被忽略但致命的問(wèn)題是內(nèi)存格式。GPU上通常使用NCHW批次數(shù)、通道、高度、寬度格式而昇騰NPU為了優(yōu)化卷積等操作可能默認(rèn)或推薦使用NHWC或其他格式。如果在數(shù)據(jù)加載和預(yù)處理環(huán)節(jié)沒(méi)有統(tǒng)一格式或者在模型某一部分進(jìn)行了隱式轉(zhuǎn)換會(huì)導(dǎo)致以下問(wèn)題性能急劇下降頻繁的內(nèi)存格式轉(zhuǎn)換Transpose操作會(huì)消耗大量時(shí)間。精度異常某些算子在非預(yù)期格式下的計(jì)算結(jié)果可能有微小差異在深層網(wǎng)絡(luò)中放大。排查困難錯(cuò)誤不報(bào)錯(cuò)只是結(jié)果不對(duì)非常隱蔽。解決方案在數(shù)據(jù)管道的最早期就明確規(guī)定并統(tǒng)一內(nèi)存格式。對(duì)于GLM-5這樣的Transformer模型其數(shù)據(jù)多為序列格式問(wèn)題可能體現(xiàn)在[batch, seq_len, hidden_dim]這類(lèi)張量的排布上需要仔細(xì)核對(duì)torch_npu文檔中對(duì)各算子的布局要求。3.2 路徑二借助DeepSpeed等優(yōu)化庫(kù)進(jìn)行大規(guī)模訓(xùn)練對(duì)于GLM-5這個(gè)級(jí)別的模型直接使用原生PyTorch進(jìn)行分布式訓(xùn)練幾乎不可能。微軟的DeepSpeed提供了ZeRO零冗余優(yōu)化器、3D并行數(shù)據(jù)、張量、流水線(xiàn)并行等一套完整的大模型訓(xùn)練解決方案。幸運(yùn)的是DeepSpeed已逐步支持昇騰后端。關(guān)鍵配置點(diǎn)在DeepSpeed的配置文件ds_config.json中需要明確指出使用HCLL作為通信庫(kù)并針對(duì)昇騰硬件特性調(diào)整一些參數(shù)。{ train_batch_size: auto, train_micro_batch_size_per_gpu: 4, zero_optimization: { stage: 3, offload_optimizer: { device: cpu } }, fp16: { enabled: true, loss_scale: 0, loss_scale_window: 1000, initial_scale_power: 16 }, communication_data_type: fp16, comms_logger: { enabled: true, verbose: false, prof_all: false, debug: false }, aio: { enabled: false } }啟動(dòng)命令示例deepspeed --include localhost:0,1,2,3 --master_port 29500 \ --hostfile ./hostfile \ --launcherhmpi \ # 使用華為MPI啟動(dòng)器 train.py \ --deepspeed ds_config.json經(jīng)驗(yàn)之談ZeRO Stage3與顯存墻在GPU上ZeRO Stage3可以極大地降低單卡顯存占用通過(guò)將優(yōu)化器狀態(tài)、梯度和模型參數(shù)分區(qū)到所有GPU上。在昇騰上這一機(jī)制同樣有效是訓(xùn)練超大模型的必選項(xiàng)。但需要注意的是通信開(kāi)銷(xiāo)ZeRO Stage3引入了大量的All-Gather和Reduce-Scatter通信操作。HCLL與NCCL在特定網(wǎng)絡(luò)拓?fù)湎碌男阅鼙憩F(xiàn)可能不同需要實(shí)際測(cè)試以確定最優(yōu)的partition_size等參數(shù)。碎片化與OOM頻繁的參數(shù)分區(qū)與釋放可能導(dǎo)致顯存碎片化。在訓(xùn)練長(zhǎng)時(shí)間后可能因?yàn)檎也坏揭粔K連續(xù)的顯存而觸發(fā)OOM內(nèi)存溢出。這時(shí)需要結(jié)合昇騰提供的npu_memory管理工具進(jìn)行監(jiān)控并考慮在DeepSpeed配置中啟用contiguous_gradients和overlap_comm等選項(xiàng)來(lái)緩解。3.3 路徑三模型編譯與圖優(yōu)化性能攻堅(jiān)這是將性能推向極致的關(guān)鍵一步。torch_npu支持將PyTorch模型通過(guò)torch.jit.trace或torch.compilePyTorch 2.0轉(zhuǎn)換為靜態(tài)圖然后由昇騰圖編譯器進(jìn)行優(yōu)化。操作流程import torch import torch_npu # 假設(shè)model是定義好的GLM-5模型 model.eval() example_input torch.randn(1, 1024, 4096).npu() # 輸入需要是NPU tensor # 方法1: TorchScript (trace) traced_model torch.jit.trace(model, example_input) # 執(zhí)行推理圖編譯器會(huì)在后臺(tái)優(yōu)化 output traced_model(example_input) # 方法2: Torch.compile (更推薦動(dòng)態(tài)圖友好) optimized_model torch.compile(model, backendinductor) # 注意需要昇騰后端支持torch.compile的特定后端 output optimized_model(example_input)性能調(diào)優(yōu)實(shí)戰(zhàn)圖編譯器的優(yōu)化效果取決于提供的“提示”。你需要通過(guò)環(huán)境變量或API來(lái)調(diào)整編譯策略算子融合策略設(shè)置NPU_AICPU_FUSION_ENABLE1等環(huán)境變量允許編譯器融合更多算子。內(nèi)存分配策略調(diào)整NPU_MEMORY_ALLOCATOR_TYPE選擇是使用默認(rèn)分配器還是性能更優(yōu)的但可能更耗內(nèi)存的分配器。編譯緩存首次編譯耗時(shí)很長(zhǎng)務(wù)必啟用編譯緩存NPU_COMPILER_CACHE_DIR避免每次運(yùn)行都重新編譯。一個(gè)常見(jiàn)的“坑”是動(dòng)態(tài)形狀。如果模型輸入的序列長(zhǎng)度是變化的如不同批次的文本長(zhǎng)度不同簡(jiǎn)單的torch.jit.trace會(huì)為每一種遇到的形狀編譯一個(gè)內(nèi)核導(dǎo)致緩存爆炸和性能下降。解決方案是使用torch.jit.script對(duì)代碼寫(xiě)法限制多或確保輸入通過(guò)padding等方式保持固定形狀或者依賴(lài)編譯器對(duì)動(dòng)態(tài)形狀的支持能力。4. 性能評(píng)估與對(duì)比如何客觀看待“適配”成果當(dāng)技術(shù)實(shí)現(xiàn)完成后如何評(píng)估GLM-5在國(guó)產(chǎn)芯片上的真實(shí)表現(xiàn)這需要一套嚴(yán)謹(jǐn)?shù)脑u(píng)測(cè)體系而非簡(jiǎn)單的“能跑通”。我認(rèn)為至少應(yīng)從以下幾個(gè)維度進(jìn)行對(duì)比4.1 核心性能指標(biāo)對(duì)比表評(píng)估維度具體指標(biāo)GPU (A100 80G) 參考基線(xiàn)昇騰 (如910B) 實(shí)測(cè)目標(biāo)說(shuō)明與挑戰(zhàn)單卡推理吞吐量 (tokens/sec)依模型規(guī)模和優(yōu)化程度而定達(dá)到GPU的 80%-120%衡量端到端處理速度。受內(nèi)存帶寬、算子效率、圖編譯效果影響大。首Token延遲 (ms)依模型規(guī)模和優(yōu)化程度而定與GPU持平或略高對(duì)交互式應(yīng)用至關(guān)重要。受模型加載、圖編譯、計(jì)算啟動(dòng)開(kāi)銷(xiāo)影響。單卡訓(xùn)練訓(xùn)練吞吐 (samples/sec)依模型規(guī)模和優(yōu)化程度而定達(dá)到GPU的 70%-90%衡量前向傳播、反向傳播、優(yōu)化器更新的整體速度。多卡并行效率強(qiáng)擴(kuò)展性 (Strong Scaling)線(xiàn)性加速比達(dá)到GPU的 85%以上固定總問(wèn)題規(guī)模增加卡數(shù)看速度提升比例。通信庫(kù)(HCCL)效率是關(guān)鍵。弱擴(kuò)展性 (Weak Scaling)線(xiàn)性加速比達(dá)到GPU的 90%以上固定單卡問(wèn)題規(guī)模增加卡數(shù)看總規(guī)模擴(kuò)大能力。反映系統(tǒng)平衡性。顯存效率最大可承載模型規(guī)模由顯存大小和ZeRO策略決定同等顯存下承載規(guī)模相近考驗(yàn)ZeRO等內(nèi)存優(yōu)化技術(shù)在昇騰上的實(shí)現(xiàn)成熟度。系統(tǒng)穩(wěn)定性長(zhǎng)時(shí)間訓(xùn)練MTBF數(shù)百小時(shí)達(dá)到同等量級(jí)連續(xù)訓(xùn)練一周/一個(gè)月不出硬件或軟件錯(cuò)誤。涉及驅(qū)動(dòng)、固件、框架的穩(wěn)定性。生態(tài)易用性代碼修改量0 (原生) 10% (理想)從CUDA代碼遷移到NPU所需修改的代碼行數(shù)比例。4.2 性能對(duì)比的實(shí)踐方法在實(shí)際操作中進(jìn)行公平對(duì)比非常困難因?yàn)橛布渲脙?nèi)存帶寬、互聯(lián)拓?fù)洹④浖姹尽⒒鶞?zhǔn)測(cè)試程序都可能引入偏差。一個(gè)相對(duì)可行的實(shí)踐是控制變量在相同的模型架構(gòu)同一份模型定義文件、相同的超參數(shù)批次大小、學(xué)習(xí)率等、相同的數(shù)據(jù)集和數(shù)據(jù)處理流程下進(jìn)行測(cè)試。預(yù)熱與測(cè)量在正式測(cè)量前進(jìn)行足夠輪數(shù)的“預(yù)熱”運(yùn)行讓JIT編譯、CUDA/NPU內(nèi)核初始化、緩存預(yù)熱都完成避免將編譯時(shí)間計(jì)入性能。多次測(cè)量取平均運(yùn)行多次去掉最高和最低的異常值取平均結(jié)果。同時(shí)記錄性能的方差以評(píng)估穩(wěn)定性。監(jiān)控系統(tǒng)資源使用nvidia-smiGPU和npu-smi昇騰工具實(shí)時(shí)監(jiān)控顯存占用、算力利用率、功耗和溫度。算力利用率低往往意味著存在瓶頸如內(nèi)存帶寬、通信或調(diào)度。個(gè)人經(jīng)驗(yàn)在早期適配項(xiàng)目中我們經(jīng)常發(fā)現(xiàn)NPU的算力利用率Utilization看起來(lái)很高但實(shí)際吞吐量卻上不去。這通常是因?yàn)榇嬖凇半[形”的瓶頸例如內(nèi)存帶寬不足模型雖然計(jì)算密集但更受限于從顯存中讀取權(quán)重的速度。這時(shí)需要進(jìn)一步優(yōu)化模型的內(nèi)存訪(fǎng)問(wèn)模式或者利用昇騰的“片上存儲(chǔ)”特性。調(diào)度開(kāi)銷(xiāo)大大量的小算子導(dǎo)致內(nèi)核啟動(dòng)開(kāi)銷(xiāo)Launch Overhead成為主導(dǎo)。這正是圖編譯和算子融合需要解決的核心問(wèn)題。通信等待在分布式訓(xùn)練中計(jì)算卡經(jīng)常在等待其他卡的數(shù)據(jù)通信氣泡。需要通過(guò)調(diào)整流水線(xiàn)并行微批次大小、優(yōu)化通信與計(jì)算重疊來(lái)掩蓋。因此看待GLM-5的適配成果不能只看峰值算力或某個(gè)孤立指標(biāo)而要看在端到端的、接近真實(shí)業(yè)務(wù)負(fù)載的場(chǎng)景下其綜合效能是否達(dá)到了可接受、可商用的水平。5. 產(chǎn)業(yè)影響與開(kāi)發(fā)者機(jī)遇超越技術(shù)適配的思考GLM-5深度適配國(guó)產(chǎn)芯片其意義遠(yuǎn)超一個(gè)公司的技術(shù)成果。它正在為整個(gè)AI產(chǎn)業(yè)尤其是中國(guó)的AI應(yīng)用開(kāi)發(fā)者打開(kāi)一扇新的大門(mén)同時(shí)也帶來(lái)了新的挑戰(zhàn)和選擇。5.1 對(duì)開(kāi)發(fā)者的直接影響更低的門(mén)檻與更多的選擇國(guó)產(chǎn)化項(xiàng)目“硬門(mén)檻”降低在金融、能源、政務(wù)等對(duì)信創(chuàng)有強(qiáng)制要求的領(lǐng)域過(guò)去要部署大模型要么用性能損耗巨大的轉(zhuǎn)譯方案要么從頭開(kāi)始用國(guó)產(chǎn)框架訓(xùn)練小模型。現(xiàn)在GLM-5提供了一個(gè)經(jīng)過(guò)驗(yàn)證的、性能相對(duì)有保障的“開(kāi)箱即用”選項(xiàng)大大降低了合規(guī)性項(xiàng)目的技術(shù)風(fēng)險(xiǎn)和實(shí)施成本。算力成本的新平衡雖然國(guó)產(chǎn)芯片的絕對(duì)性能可能在某些方面與頂級(jí)GPU仍有差距但其供應(yīng)穩(wěn)定性和潛在的成本優(yōu)勢(shì)尤其是在特定采購(gòu)背景下不容忽視。開(kāi)發(fā)者現(xiàn)在可以在“性能-成本-合規(guī)”三角中做出更靈活的選擇。例如在推理部署場(chǎng)景如果昇騰芯片能提供滿(mǎn)足延遲和吞吐要求的、更具成本效益的方案它就會(huì)成為一個(gè)有力的競(jìng)爭(zhēng)者。技術(shù)棧的多元化過(guò)去AI開(kāi)發(fā)幾乎等同于“CUDA生態(tài)開(kāi)發(fā)”。現(xiàn)在開(kāi)發(fā)者開(kāi)始需要了解CANN、HCLL、torch_npu等新概念。這雖然增加了學(xué)習(xí)成本但也避免了技術(shù)棧的單一壟斷風(fēng)險(xiǎn)從長(zhǎng)遠(yuǎn)看有利于培養(yǎng)更全面的系統(tǒng)優(yōu)化人才。5.2 對(duì)模型部署與優(yōu)化行業(yè)的催生GLM-5的適配不是終點(diǎn)而是起點(diǎn)。它預(yù)示著一個(gè)新的細(xì)分領(lǐng)域——大模型異構(gòu)計(jì)算部署優(yōu)化——的興起。未來(lái)我們可能會(huì)看到專(zhuān)業(yè)的模型移植服務(wù)幫助客戶(hù)將基于GPU訓(xùn)練的PyTorch或TensorFlow模型高效地部署到昇騰、海光、寒武紀(jì)等各種國(guó)產(chǎn)芯片上。自動(dòng)化優(yōu)化工具鏈出現(xiàn)類(lèi)似TVM、TensorRT-XLA的編譯器能夠自動(dòng)分析模型計(jì)算圖并為不同的硬件后端生成高度優(yōu)化的代碼。云端“模型即服務(wù)”的異構(gòu)化云服務(wù)商如華為云、阿里云會(huì)提供預(yù)裝了GLM-5等大模型、并針對(duì)其底層昇騰硬件做了極致優(yōu)化的鏡像或API服務(wù)。開(kāi)發(fā)者無(wú)需關(guān)心底層適配按需調(diào)用即可。5.3 面臨的挑戰(zhàn)與未來(lái)方向當(dāng)然前路并非一片坦途。GLM-5的適配案例也暴露了當(dāng)前生態(tài)的一些共性挑戰(zhàn)軟件棧的成熟度與兼容性torch_npu等適配層的更新能否緊跟PyTorch主版本和模型架構(gòu)的快速迭代第三方庫(kù)如accelerate, transformers, vLLM對(duì)NPU的支持是否及時(shí)這決定了整個(gè)生態(tài)的易用性。社區(qū)與開(kāi)源生態(tài)CUDA擁有龐大的開(kāi)發(fā)者社區(qū)和開(kāi)源項(xiàng)目支持。國(guó)產(chǎn)芯片的社區(qū)建設(shè)剛剛起步遇到問(wèn)題時(shí)能否快速找到解決方案或獲得社區(qū)支持是一個(gè)關(guān)鍵因素。標(biāo)準(zhǔn)化與開(kāi)放性為了避免每家芯片廠(chǎng)商都搞一套自己的適配方案導(dǎo)致開(kāi)發(fā)者碎片化產(chǎn)業(yè)界需要推動(dòng)更上層的抽象和標(biāo)準(zhǔn)。例如OpenXLA等跨硬件編譯器的普及或許能從更高維度解決適配問(wèn)題。從我個(gè)人的實(shí)踐體會(huì)來(lái)看GLM-5的這次“全公開(kāi)”適配最寶貴的可能不是那幾個(gè)性能百分比數(shù)字而是其過(guò)程中積累的經(jīng)驗(yàn)、工具鏈和最佳實(shí)踐。如果智譜能夠?qū)⑵渲胁糠止ぞ呷缱远x算子庫(kù)、分布式訓(xùn)練配置模板、性能調(diào)試腳本開(kāi)源或者發(fā)布詳細(xì)的技術(shù)白皮書(shū)其價(jià)值將遠(yuǎn)超模型本身。它能幫助無(wú)數(shù)后來(lái)者少踩坑加速整個(gè)國(guó)產(chǎn)AI軟硬件生態(tài)的成熟。技術(shù)的競(jìng)爭(zhēng)歸根結(jié)底是生態(tài)的競(jìng)爭(zhēng)。GLM-5邁出的這一步不僅是為自己開(kāi)辟了一條新路更像是在國(guó)產(chǎn)算力的土壤上播下了一顆名為“成熟生態(tài)”的種子。它的成長(zhǎng)需要芯片廠(chǎng)商、模型開(kāi)發(fā)商、框架團(tuán)隊(duì)和廣大開(kāi)發(fā)者共同澆灌。作為開(kāi)發(fā)者我們不妨以更開(kāi)放、務(wù)實(shí)的心態(tài)去了解、測(cè)試甚至參與其中因?yàn)檫@很可能就是未來(lái)十年AI基礎(chǔ)設(shè)施演進(jìn)的一個(gè)重要方向。畢竟多一個(gè)選擇永遠(yuǎn)好過(guò)別無(wú)選擇。