百度文心大模型4.5系列全面开源:10款模型引领AI技术创新

百度近日宣布了一项重大举措,正式对外开源了其文心大模型4.5系列,这一系列涵盖了多达10款模型,包括拥有47B和3B激活参数的混合专家(MoE)模型,以及一款0.3B参数的稠密型模型。尤为百度不仅开放了预训练权重,还一并公开了推理代码,实现了真正的全面开源。

目前,开发者已经可以在飞桨星河社区、HuggingFace等多个平台上下载并部署文心大模型4.5系列。同时,百度智能云千帆大模型平台也提供了开源模型的API服务,进一步降低了使用门槛。

百度此次开源的10款模型,在多个关键维度上均展现出了行业领先地位。无论是独立自研的模型数量,还是模型类型的多样性、参数的丰富程度,乃至开源的宽松度和可靠性,百度都表现出了强大的竞争力。

文心大模型4.5系列在MoE架构上进行了创新,提出了一种全新的多模态异构模型结构。这种结构不仅适用于从大语言模型向多模态模型的持续预训练,而且在保持或提升文本任务性能的同时,显著增强了多模态理解能力。这一突破主要得益于多模态混合专家模型预训练、高效训练推理框架以及针对模态的后训练等关键技术。

所有文心大模型4.5系列均基于飞桨深度学习框架进行训练、推理和部署,实现了高效的资源利用。在大语言模型的预训练中,模型的FLOPs利用率高达47%,彰显了飞桨框架的强大性能。

实验数据表明,文心大模型4.5系列在多个文本和多模态基准测试中均达到了业界领先水平。特别是在指令遵循、世界知识记忆、视觉理解和多模态推理等任务上,其表现尤为突出。

在文本模型方面,文心大模型4.5系列展现出了强大的基础能力、高事实准确性、出色的指令遵循能力以及卓越的推理和编程能力。在多个主流基准评测中,它甚至超越了DeepSeek-V3、Qwen3等模型,彰显了其强大的竞争力。

而在多模态模型领域,文心大模型4.5系列同样表现出色。它拥有卓越的视觉感知能力和丰富的视觉常识,实现了思考与非思考的统一。在视觉常识、多模态推理、视觉感知等主流评测中,它的表现优于闭源的OpenAI o1模型。

文心大模型4.5系列在轻量模型上也取得了显著成果。例如,文心4.5-21B-A3B-Base文本模型的效果与同量级的Qwen3相当,而文心4.5-VL-28B-A3B多模态模型则是目前同量级中最好的多模态开源模型,其性能甚至与更大参数的Qwen2.5-VL-32B模型不相上下。

文心大模型4.5系列的权重按照Apache 2.0协议进行开源,这为学术研究和产业应用提供了极大的便利。同时,基于飞桨提供的开源产业级开发套件,这些模型可以广泛兼容多种芯片,进一步降低了模型的后训练和部署门槛。

作为国内AI研发的先行者之一,百度在算力、框架、模型到应用的全链条布局上构建了显著的AI全栈技术优势。飞桨作为中国首个自主研发、功能丰富、开源开放的产业级深度学习平台,经过多年的积累,已经形成了完善的开源技术与生态系统。

此次文心大模型4.5系列的开源发布,还同步升级了文心大模型开发套件ERNIEKit和大模型高效部署套件FastDeploy。这些工具为文心大模型4.5系列及开发者提供了开箱即用的便捷体验和全流程支持,进一步推动了AI技术的普及和应用。

文章采集于互联网