6月30日，百度正式開(kāi)源文心大模型4.5系列模型，涵蓋47B、3B激活參數(shù)的混合專(zhuān)家（MoE）模型，與0.3B參數(shù)的稠密型模型等10款模型，并實(shí)現(xiàn)預(yù)訓(xùn)練權(quán)重和推理代碼的完全開(kāi)源。目前，文心大模型4.5開(kāi)源系列已可在飛槳星河社區(qū)、HuggingFace等平臺(tái)下載部署使用，同時(shí)開(kāi)源模型API服務(wù)也可在百度智能云千帆大模型平臺(tái)使用。早在今年2月，百度就已預(yù)告了文心大模型4.5系列的推出計(jì)劃，并明確將于6月30日起正式開(kāi)源。

文心大模型4.5系列開(kāi)源模型

此次百度一次性推出10款文心大模型4.5系列開(kāi)源模型，在獨(dú)立自研模型數(shù)量占比、模型類(lèi)型數(shù)量、參數(shù)豐富度、開(kāi)源寬松度與可靠性等關(guān)鍵維度上，均處于行業(yè)領(lǐng)先位置。

據(jù)介紹，文心大模型4.5開(kāi)源系列針對(duì)MoE架構(gòu)提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu)，適用于從大語(yǔ)言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練范式，在保持甚至提升文本任務(wù)性能的基礎(chǔ)上，顯著增強(qiáng)了多模態(tài)理解能力，其優(yōu)越的性能主要得益于多模態(tài)混合專(zhuān)家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架和針對(duì)模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)點(diǎn)。

此外，文心大模型4.5開(kāi)源系列均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語(yǔ)言模型的預(yù)訓(xùn)練中，模型FLOPs利用率（MFU）達(dá)到47%。實(shí)驗(yàn)結(jié)果顯示，其系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，尤其在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理任務(wù)上效果突出。

在文本模型方面，文心大模型4.5開(kāi)源系列基礎(chǔ)能力強(qiáng)、事實(shí)準(zhǔn)確性高、指令遵循能力強(qiáng)、推理和編程能力出色，在多個(gè)主流基準(zhǔn)評(píng)測(cè)中超越DeepSeek-V3、Qwen3等模型。在多模態(tài)模型方面，文心大模型4.5開(kāi)源系列擁有卓越的視覺(jué)感知能力，同時(shí)精通豐富視覺(jué)常識(shí)，并實(shí)現(xiàn)了思考與非思考統(tǒng)一，在視覺(jué)常識(shí)、多模態(tài)推理、視覺(jué)感知等主流的多模態(tài)大模型評(píng)測(cè)中優(yōu)于閉源的OpenAI o1。此外，在輕量模型上，文心4.5-21B-A3B-Base文本模型效果與同量級(jí)的Qwen3相當(dāng)，文心4.5-VL-28B-A3B多模態(tài)模型也是目前同量級(jí)最好的多模態(tài)開(kāi)源模型，甚至與更大參數(shù)模型Qwen2.5-VL-32B不相上下。

文心4.5預(yù)訓(xùn)練模型在主流基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異

文心4.5-300B-A47B模型在主流基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異

文心多模態(tài)后訓(xùn)練模型（支持思考、關(guān)閉思考）在多個(gè)多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平

據(jù)了解，文心大模型4.5開(kāi)源系列權(quán)重按照Apache 2.0協(xié)議開(kāi)源，支持開(kāi)展學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用。此外，基于飛槳提供開(kāi)源的產(chǎn)業(yè)級(jí)開(kāi)發(fā)套件，廣泛兼容多種芯片，降低模型的后訓(xùn)練和部署門(mén)檻。

作為國(guó)內(nèi)最早投入AI研發(fā)的企業(yè)之一，百度在算力、框架、模型到應(yīng)用的四層布局構(gòu)建了明顯的AI全棧技術(shù)優(yōu)勢(shì)。其中，飛槳是中國(guó)首個(gè)自主研發(fā)、功能豐富、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，基于多年飛槳開(kāi)源技術(shù)與生態(tài)系統(tǒng)積累，此次文心大模型4.5開(kāi)源系列同步升級(jí)發(fā)布文心大模型開(kāi)發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy，為文心大模型4.5系列及開(kāi)發(fā)者提供開(kāi)箱即用的工具和全流程支持。

值得關(guān)注的是，此次文心大模型4.5系列開(kāi)源后，百度實(shí)現(xiàn)了框架層與模型層的“雙層開(kāi)源”。