(相關(guān)資料圖)

華泰證券研報(bào)表示，模型壓縮技術(shù)是實(shí)現(xiàn)AI大模型在邊/端部署的核心技術(shù)。當(dāng)前，谷歌、微軟、騰訊等廠商在該領(lǐng)域均有布局，將加速AI技術(shù)與智能終端融合，國(guó)內(nèi)SoC設(shè)計(jì)公司有望深度受益。模型壓縮技術(shù)可在保有大模型原有性能和精度基本不變前提下降低對(duì)推理算力的需求：1）量化：將浮點(diǎn)計(jì)算轉(zhuǎn)成低比特定點(diǎn)計(jì)算；2）網(wǎng)絡(luò)剪枝：去除神經(jīng)網(wǎng)絡(luò)中冗余的通道、神經(jīng)元節(jié)點(diǎn)等；3）知識(shí)蒸餾：將大模型作為教師模型，用其輸出訓(xùn)練性能接近、結(jié)構(gòu)更簡(jiǎn)的學(xué)生模型。

關(guān)鍵詞：