7月9日，由中國(guó)人民大學(xué)信息資源管理學(xué)院錢(qián)明輝教授主持的國(guó)家社科基金重點(diǎn)項(xiàng)目舉行階段性成果線(xiàn)上發(fā)布會(huì)，發(fā)布了中國(guó)人民大學(xué)研究團(tuán)隊(duì)與微點(diǎn)研究院聯(lián)合開(kāi)發(fā)的“政研大模型（PSLLM-14B）”。

據(jù)錢(qián)明輝介紹，該模型基于Multi-Task Transformer架構(gòu)，共計(jì)140億神經(jīng)網(wǎng)絡(luò)參數(shù)，在政策文本分析挖掘任務(wù)中展現(xiàn)出良好的性能，具有“可信”、“可知”、“可用”三大特點(diǎn)。

“可信”是指“政研大模型（PSLLM-14B）”具有一套可信的系統(tǒng)框架，該框架的構(gòu)成要素包括可信的訓(xùn)練數(shù)據(jù)集、可信的模型架構(gòu)、可信的參數(shù)設(shè)置、可信的推理結(jié)果、可信的數(shù)據(jù)保護(hù)能力、可信的硬件設(shè)備、可信的網(wǎng)絡(luò)環(huán)境等。

【資料圖】

錢(qián)明輝稱(chēng)，在訓(xùn)練數(shù)據(jù)集上，模型主要使用了經(jīng)過(guò)嚴(yán)格篩選和清洗的高質(zhì)量政策文本，同時(shí)利用不同的數(shù)據(jù)來(lái)源進(jìn)行多樣化訓(xùn)練，以降低數(shù)據(jù)偏差；其次，在模型架構(gòu)和參數(shù)設(shè)置上，采用了經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證的Transformer架構(gòu)，并且根據(jù)政策文本的特點(diǎn)調(diào)整了模型參數(shù)，以提高模型的泛化性和準(zhǔn)確性；最后，模型的推理結(jié)果采用了一系列驗(yàn)證和評(píng)估手段，包括內(nèi)部測(cè)試、公開(kāi)評(píng)測(cè)等，以保證推理結(jié)果的準(zhǔn)確性和魯棒性。

“可知”是指“政研大模型（PSLLM-14B）”的推理過(guò)程及輸出結(jié)果具有較好的可解釋性。此次發(fā)布的“政研大模型（PSLLM-14B）”一大特點(diǎn)在于具有一定的思維鏈（Chain-of-thought, CoT）能力。

所謂思維鏈，是指一系列有邏輯關(guān)系的思考步驟，形成了一個(gè)完整的思考過(guò)程?！罢写竽Ｐ停≒SLLM-14B）”將思維鏈這一步驟分解的方式應(yīng)用在提示學(xué)習(xí)中，通過(guò)將大模型的推理過(guò)程分解成多個(gè)步驟，模型生成的結(jié)果具有更加清晰的邏輯鏈路，能夠?qū)崿F(xiàn)對(duì)大模型智能化推理過(guò)程更加清晰、透明的解釋。

而在政務(wù)相關(guān)的場(chǎng)景中，特別是政策制定和解讀，往往涉及到復(fù)雜的邏輯和決策過(guò)程，因此，思維鏈技術(shù)在這些場(chǎng)景中就可以幫助政策研究者、政策執(zhí)行者、政策受眾更好地理解和分析政策文本，把握政策的目標(biāo)取向和內(nèi)在邏輯。

“可用”則是指“政研大模型（PSLLM-14B）”作為政研領(lǐng)域的首個(gè)大模型，相比其他通用大模型具有性能優(yōu)越性。在解決政策研究相關(guān)問(wèn)題的過(guò)程中，“政研大模型（PSLLM-14B）”表現(xiàn)出更高的準(zhǔn)確率，即對(duì)政策解讀任務(wù)或評(píng)估政策數(shù)據(jù)集上生成結(jié)果的正確性與真實(shí)情況的一致性更高。

在實(shí)際部署的過(guò)程中，“政研大模型（PSLLM-14B）”會(huì)以插件化的形式融入現(xiàn)有的數(shù)字基礎(chǔ)設(shè)施和政務(wù)系統(tǒng)。錢(qián)明輝舉例，該大模型可以作為政策文本分析和解讀的智能數(shù)字輔助工具，幫助政策研究人員更快地獲取政策信息，更準(zhǔn)確地理解政策含義；也可以根據(jù)未來(lái)“政務(wù)云”系統(tǒng)的建設(shè)需要，將“政研大模型（PSLLM-14B）”在云端進(jìn)行部署，提升“政務(wù)云”的智能化服務(wù)能力。

為了降低部署成本和提高適配效率，“政研大模型（PSLLM-14B）”團(tuán)隊(duì)也在模型設(shè)計(jì)和優(yōu)化方面做了工作。

錢(qián)明輝表示，首先團(tuán)隊(duì)在模型設(shè)計(jì)上考慮到了與硬件兼容性，模型主要模塊采用的是廣泛應(yīng)用且兼容性好的Pytorch框架編寫(xiě)。其次，團(tuán)隊(duì)通過(guò)一系列的模型壓縮和量化技術(shù)，降低了模型的復(fù)雜度，提高了模型的運(yùn)行效率，使其在CPU設(shè)備上也能高效運(yùn)行。最后，團(tuán)隊(duì)還提供了一整套的模型部署和運(yùn)維方案，包括模型轉(zhuǎn)換、部署、測(cè)試、監(jiān)控等，以解決軟硬件適配問(wèn)題，確保模型的穩(wěn)定運(yùn)行。

（文章來(lái)源：界面新聞）

關(guān)鍵詞：