阿里前副总裁贾扬清吐槽国产大模型“套壳”，李开复公司回应称有借鉴公开成果

出品 | 搜狐科技

作者 | 梁昌均

国内大模型再陷“套壳”争议。阿里巴巴前副总裁、知名AI框架大牛贾扬清发朋友圈，感慨做小公司不容易，希望国内企业如果就是开源的模型结构，不要做换名伪装，免得做多余的适配工作。

根据贾扬清的朋友圈，他表示有某海外客户要其公司帮他们适配某国内大厂的新模型，但后来有朋友告知，这个大厂新模型完全就是LLaMA的架构，但为了表示不一样，把代码里面的名字从LLaMA改成了他们的名字，然后换了几个变量名。此外，海外也有工程师直接指出了这一点。

“我们是小公司也不想得罪大佬们，名字我就不说了，不过各位大佬，开源社区不容易，如果你们就是开源的模型结构，求高抬贵手就叫原来的名字吧，免得我们还做一堆工作就为了适配你们改名字。”贾扬清说。

前述消息在业内传开后，国内不少基于开源的LLaMA的国产大模型纷纷躺枪。但贾扬清所说的“大厂”到底是谁并不定论，他还特别声明到不是老东家阿里。LLaMA是Meta在今年开源的系列大模型，参数包括13B、65B等。

展开全文

不过，业内的怀疑对象指向刚发布首款预训练大模型Yi-34B的零一万物，其是李开复在今年7月入局AI大模型新成立的公司，由李开复牵头创办并担任CEO。

搜狐科技注意到，零一万物开源发布的Yi-34B模型目前在Hugging Face的Open LLM Leaderboard开源大语言模型排行榜排名第一。但此前有开发者在Hugging Face社区的Yi-34B项目讨论区留言称，除了两个张量被重新命名外（input_layernorm 和 post_attention_layernorm），Yi完全使用了LLaMA的架构。

“因为围绕LLaMA架构有大量的投资和工具，所以对张量使用相同的名称是有价值的。开源社区肯定会重新发布Yi，并重新命名张量，以便有一个符合LLaMA架构的版本。我们希望您能考虑在该模型获得大量采用之前，在您的官方模型中采用这一更改，以便它最终能够享受它应得的采用。”该留言称。

对于市场质疑，零一万物方面对搜狐科技回应称，GPT是一个业内公认的成熟架构，LLaMA在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构，借鉴了行业顶尖水平的公开成果，由于大模型技术发展还在非常初期，与行业主流保持一致的结构，更有利于整体的适配与未来的迭代。同时基于零一万物团队对模型和训练的理解做了大量工作，也在持续探索模型结构层面本质上的突破。

零一万物还表示，模型结构仅是模型训练其中一部分。Yi 开源模型在其他方面的精力，比如数据工程、训练方法、baby sitting（训练过程监测）的技巧、hyperparameter设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI infra 能力等，投入了大量研发和打底工作，这些工作往往比起基本结构能起到更大的作用跟价值，这些也是零一万物在大模型预训练阶段的核心技术护城河。

“在大量训练实验过程中，由于实验执行的需要对代码做了更名，我们尊重开源社区的反馈，将代码进行更新，也更好的融入Transformer生态。”零一万物称，非常感谢社区的反馈，希望和大家携手共创社区繁荣，Yi Open-source 会尽最大努力持续进步。

对于Hugging Face上提到的留言，零一万物有关负责人也对其作出了回复，称会按照留言的建议，把张量的命名从Yi改为LLaMA，保证准确度和透明度。

“这个命名问题是我们的疏忽。在大量的实验中，我们对代码进行了多次重命名，以满足试验要求，但在推出发行版前没有把名字换回来。”该回应称，零一万物将加强流程，保证这样的失误不会再次发生，并将检查所有代码，确保其它没有问题。

零一万物在11月初正式发布首款预训练大模型 Yi系列模型，包含34B和6B两个版本，其中34B模型版本开源。零一万物当时宣称，根据 Hugging Face 英文开源社区平台和C-Eval中文评测的最新榜单，Yi-34B预训练模型成为全球开源大模型“双料冠军”，这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。

此前，国内不少大模型都陷入过“套壳”质疑，不少企业正是基于开源模型（特别是LLaMA系列）做微调，包括二次训练等，也有企业直接基于开源模型做应用层的开发，因此研发成本更低，但往往缺乏技术护城河，不被市场看好。

OpenAI CEO Sam Altman此前就表示，“套壳”OpenAI的公司活不长久，因为OpenAI已经在解决模型本身的问题，同时这些仅在成本和速度上与OpenAI一较高下的公司，竞争优势并不会长久且持续，企业必须提供真正独特的价值。