近日,科技圈内掀起了一场关于大型语言模型相似性的热议风波。事件的起因是,一项在GitHub和arXiv平台上发布的研究报告指出,华为推出的盘古大模型(Pangu Pro MoE)与阿里巴巴达摩院发布的通义千问Qwen-2.5 14B模型在参数结构上存在显著的相似之处,这一发现迅速引发了业界的广泛关注。
据详细爆料,某研究团队在名为HonestAGI/LLM-Fingerprint的GitHub项目中,对多个主流的大型语言模型进行了深入比对。他们惊人地发现,盘古Pangu Pro MoE与Qwen-2.5 14B模型在注意力模块上的相似性极高,这一特征在其他模型的对比中并未出现。这一结果引发了业界对于盘古模型是否基于Qwen模型进行训练或修改的质疑。
面对这一风波,华为盘古Pro MoE技术开发团队迅速做出了回应。他们发表声明称,盘古Pro MoE开源模型的部分基础组件代码实现确实参考了业界的开源实践,并涉及了其他开源大模型的部分代码。但华为方面强调,他们严格遵循了开源许可证的要求,并在开源代码文件中清晰标注了开源代码的版权声明。这一做法不仅符合开源社区的通行规则,也彰显了业界倡导的开源协作精神。
华为团队进一步表示,他们始终坚持开放创新的理念,尊重第三方的知识产权,并积极提倡包容、公平、开放、团结和可持续的开源理念。他们感谢全球开发者与合作伙伴对盘古大模型的关注和支持,并高度重视开源社区的建设性意见。华为希望通过盘古大模型的开源,与志同道合的伙伴一起探索并不断优化模型能力,共同推动技术的突破与产业的落地。
文章采集于互联网