2023年3月30日，金融信息提供商彭博社發(fā)布了專為金融領(lǐng)域打造的大語(yǔ)言模型（Large Language Model，LLM）Bloomberg GPT。該模型依托彭博社的大量金融數(shù)據(jù)源，構(gòu)建了一個(gè)3630億個(gè)標(biāo)簽的數(shù)據(jù)集，支持金融行業(yè)內(nèi)的各類任務(wù)，在執(zhí)行金融任務(wù)上的表現(xiàn)遠(yuǎn)超過(guò)現(xiàn)有模型，在通用場(chǎng)景上的表現(xiàn)與現(xiàn)有模型也能一較高下。

(資料圖片僅供參考)

華泰證券分析師謝春生（執(zhí)業(yè)：S0570519080006）認(rèn)為，掌握金融數(shù)據(jù)的國(guó)內(nèi)廠商也有望復(fù)制Bloomberg GPT的路徑，實(shí)現(xiàn)大語(yǔ)言模型在金融場(chǎng)景的有效賦能。

核心突破在于金融語(yǔ)料

盡管Bloomberg GPT的模型參數(shù)介于GPT-2與GPT-3之間。但BloombergGPT的金融垂直能力遠(yuǎn)超GPT系列。

分析師指出：

根據(jù)論文《Bloomberg GPT: A Large Language Model for Finance》的模型介紹顯示，Bloomberg GPT同樣基于典型的Transformer架構(gòu)，Bloomberg GPT的模型參數(shù)介于GPT-2與GPT-3之間，GPT-2模型參數(shù)為1.5億，GPT-3模型參數(shù)為1,750億，Bloomberg GPT的模型參數(shù)為500億。

官方論文《Bloomberg GPT: A Large Language Model for Finance》中的測(cè)試結(jié)果顯示，Bloomberg GPT在執(zhí)行金融任務(wù)上的表現(xiàn)超過(guò)現(xiàn)有的通用LLM模型，在通用場(chǎng)景上的表現(xiàn)與現(xiàn)有通用LLM模型能力基本持平。

盡管Bloomberg GPT的模型參數(shù)相較于GPT-3較小，但分析師表示，依托彭博社的大量金融數(shù)據(jù)源，Bloomberg GPT在預(yù)訓(xùn)練中獲得了大量高質(zhì)量金融數(shù)據(jù)，并對(duì)預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行了一系列的清洗、標(biāo)注，Bloomberg GPT在通用能力與GPT-3基本持平的情況下，實(shí)現(xiàn)了金融垂直能力的大幅增強(qiáng)。

開(kāi)拓開(kāi)源模型+垂直數(shù)據(jù)的LLM新思路

Bloomberg GPT在開(kāi)發(fā)方式上有何獨(dú)特之處？分析師認(rèn)為，在模型構(gòu)建上，Bloomberg GPT顯示出了卓越的創(chuàng)新，為國(guó)內(nèi)金融數(shù)據(jù)公司開(kāi)發(fā)大模型提供了有意義的路徑參考。

具體而言，主要體現(xiàn)在五個(gè)方面：

1）垂直領(lǐng)域語(yǔ)言模型：過(guò)去的大語(yǔ)言模型多為基于通用文本訓(xùn)練的通用模型，垂直領(lǐng)域模型多為僅基于垂直領(lǐng)域數(shù)據(jù)訓(xùn)練垂直模型，Bloomberg GPT開(kāi)創(chuàng)了通用+垂直的混合訓(xùn)練方法，讓模型兼具通用性與專業(yè)性；

2）訓(xùn)練數(shù)據(jù)：過(guò)去的大語(yǔ)言模型的預(yù)訓(xùn)練數(shù)據(jù)很大程度上依賴于網(wǎng)頁(yè)抓取數(shù)據(jù)，如C4、ThePile、Wikipedia等，Bloomberg自建了高質(zhì)量的大規(guī)模金融數(shù)據(jù)集；

3）模型評(píng)估：Bloomberg在對(duì)模型進(jìn)行了公共、金融NLP基準(zhǔn)測(cè)試之外，還對(duì)模型進(jìn)行了一系列基于Bloomberg內(nèi)部任務(wù)的性能測(cè)試；

4）Token化（Tokenizer）：將訓(xùn)練文本Token化是模型訓(xùn)練的關(guān)鍵步驟，Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型，實(shí)現(xiàn)更智能的token化轉(zhuǎn)換；

5）模型構(gòu)建方法：以GPT-3、GPT-4為代表的大語(yǔ)言模型均由大型的專業(yè)人工智能團(tuán)隊(duì)開(kāi)發(fā)，并且模型訓(xùn)練需要大量算力；受益于開(kāi)源模型BLOOM的項(xiàng)目實(shí)踐與Bloomberg在垂直領(lǐng)域高質(zhì)量數(shù)據(jù)的深厚積累，Bloomberg GPT成功證明了一個(gè)中等規(guī)模的團(tuán)隊(duì)可以在垂直領(lǐng)域的特定數(shù)據(jù)上生產(chǎn)同樣具有競(jìng)爭(zhēng)力的大語(yǔ)言模型。

金融GPT未來(lái)可期

分析師認(rèn)為，Bloomberg GPT未來(lái)有望應(yīng)用于以下三大場(chǎng)景：

1）Bloomberg查詢語(yǔ)言的生成：Bloomberg GPT可以將用戶自然語(yǔ)言查詢轉(zhuǎn)換為有效的Bloomberg查詢語(yǔ)言，使與金融數(shù)據(jù)的交互更加自然；

2）新聞標(biāo)題的建議：Bloomberg GPT可以為Bloomberg的新聞應(yīng)用程序提供支持，協(xié)助新聞工作者完成新聞短標(biāo)題的撰寫(xiě)；

3）金融問(wèn)答：得益于金融垂直領(lǐng)域知識(shí)的輸入，Bloomberg GPT可以更加準(zhǔn)確地回答金融相關(guān)的問(wèn)題，例如在識(shí)別公司CEO的問(wèn)答上，Bloomberg GPT的回答相較通用模型更為準(zhǔn)確。

分析師指出，作為并非聚焦人工智金融垂直領(lǐng)域廠商，Bloomberg為金融GPT發(fā)展提供了具有參考價(jià)值的有益示范。

掌握豐富的金融垂直知識(shí)與現(xiàn)有AI產(chǎn)品布局，基于高質(zhì)量的金融數(shù)據(jù)與開(kāi)源的大語(yǔ)言模型，同樣有機(jī)會(huì)打造專屬金融場(chǎng)景的大語(yǔ)言模型，實(shí)現(xiàn)大語(yǔ)言模型在金融場(chǎng)景的有效落地，讓大語(yǔ)言模型成為底層的AI操作系統(tǒng)。

本文主要觀點(diǎn)來(lái)自華泰證券分析師謝春生（執(zhí)業(yè)：S0570519080006）撰寫(xiě)的報(bào)告《從BloombergGPT看金融GPT機(jī)遇》，有刪節(jié)

關(guān)鍵詞：