AI领域群雄并起，LLM大战正酣

上个月，AI界爆发了一场"动物之战"。

这场争斗的一方是Meta推出的Llama模型。由于其开源特性，Llama深受开发者欢迎。日本电气公司NEC在研究Llama论文和代码后，迅速开发出了日语版ChatGPT，解决了日本在AI领域的短板。

另一方是名为Falcon的大模型。今年5月，Falcon-40B问世后登顶了开源LLM排行榜。该榜单由Hugging Face社区制作，为评估LLM能力提供了标准。排行榜基本上就是Llama和Falcon轮流占据榜首。

Llama 2发布后，暂时夺回了优势。但9月初，Falcon推出180B版本，再次取得更高排名。

有趣的是，Falcon的开发者并非科技公司，而是位于阿布扎比的科技创新研究所。阿联酋官员表示，他们参与这个领域是为了颠覆核心玩家。

180B版本发布次日，阿联酋人工智能部长入选《时代周刊》评选的"AI领域最具影响力的100人"。与他一同入选的还有"AI教父"辛顿、OpenAI的阿尔特曼等。

如今，AI领域已进入百家争鸣阶段。有一定财力的国家和企业都在尝试打造自己的大语言模型。仅在海湾地区，就不止一个玩家。8月，沙特为国内大学购买了3000多块H100芯片用于训练LLM。

有投资人吐槽道:"当年看不起互联网的商业模式创新，觉得没有壁垒。没想到硬科技大模型创业，依然是百模大战..."

本以为是高难度硬科技，怎么就变成了人人都能参与的比赛？

Transformer改变了游戏规则

无论是美国初创公司、中国科技巨头,还是中东石油大亨,能够投身大模型研发,都要归功于那篇著名论文:《Attention Is All You Need》。

2017年,8位谷歌科学家在这篇论文中公布了Transformer算法。这篇论文目前是AI史上被引用第三多的论文,Transformer的出现引发了此轮AI热潮。

当前各种大模型,包括轰动一时的GPT系列,都是建立在Transformer基础之上的。

在此之前,"教机器读书"一直是公认的学术难题。与图像识别不同,人类阅读时不仅关注当前词句,还会结合上下文理解。

但早期神经网络的输入都是独立的,无法理解长篇文章的整体含义,因此常有误译问题。

2014年,谷歌科学家伊利亚首次取得突破。他使用循环神经网络(RNN)处理自然语言,使谷歌翻译性能大幅提升。

RNN提出了"循环设计",让神经元既接收当前输入,也接收上一时刻输入,从而具备了"结合上下文"的能力。

RNN的出现激发了学界热情,Transformer论文作者沙泽尔也曾深入研究。但开发者们很快发现RNN存在严重缺陷:

该算法使用顺序计算,虽然解决了上下文问题,但运行效率不高,难以处理大量参数。

RNN的繁琐设计让沙泽尔感到厌烦。因此从2015年开始,沙泽尔和7位同事着手开发RNN替代品,最终成果便是Transformer。

相比RNN,Transformer有两大变革:

一是用位置编码取代循环设计,实现并行计算,大大提升了训练效率,使AI迈入大模型时代;二是进一步加强了理解上下文的能力。

Transformer一举解决多项缺陷,逐渐成为NLP领域的标准方案,有"天不生Transformer,NLP万古如长夜"之感。连伊利亚也抛弃了RNN,转投Transformer阵营。

换言之,Transformer是当今所有大模型的基石,它将大模型从理论研究变成了纯工程问题。

2019年,OpenAI基于Transformer开发的GPT-2惊艳学界。作为回应,谷歌迅速推出了性能更强的Meena。

与GPT-2相比,Meena并无算法创新,仅是增加了8.5倍训练参数、14倍算力。Transformer作者沙泽尔对这种"暴力堆砌"大受震撼,写下"Meena吞噬世界"的备忘录。

Transformer问世后,底层算法创新速度放缓。数据工程、算力规模、模型架构等工程要素,日益成为AI竞赛的关键,只要有一定技术能力的公司,都能开发出大模型。

因此,科学家吴恩达在斯坦福演讲时提出:"AI是一系列工具的集合,包括监督学习、无监督学习、强化学习以及现在的生成式AI。这些都是通用技术,类似于电力和互联网。"

OpenAI仍是LLM的风向标,但半导体分析机构Semi Analysis认为,GPT-4的优势源自工程方案——如果开源,任何竞争对手都能迅速复制。

该分析师预计,其他大型科技公司可能很快就能开发出与GPT-4性能相当的大模型。

护城河并非坚不可摧

如今,"百模大战"已不再是比喻,而是现实。

据报告显示,截至今年7月,中国大模型数量已达130个,超过美国的114个,各种神话传说已经快不够国内科技公司取名用了。

除中美之外,许多较富裕国家也实现了"一国一模":除日本和阿联酋外,还有印度政府主导的Bhashini、韩国Naver公司开发的HyperClova X等。

这种情况让人想起了互联网早期泡沫横飞、资本狂欢的场景。

如前所述,Transformer使大模型变成纯工程问题,只要有人才、资金和计算资源,就能开发。但入场容易,成为AI时代巨头却并非易事。

开头提到的"动物之战"就是典型案例:Falcon虽然暂时领先Llama,但很难说对Meta造成多大影响。

众所周知,企业开源自身成果,既是分享科技福祉,也希望借助社会力量。随着学界、研究机构、企业不断使用改进Llama,Meta可以将这些成果应用到自身产品中。

对开源大模型而言,活跃的开发者社区才是核心竞争力。

早在2015年组建AI实验室时,Meta就确定了开源路线;扎克伯格本就靠社交媒体起家,更懂得"搞好群众关系"的重要性。

例如10月,Meta专门举办了"AI创作者激励"活动:用Llama 2解决教育、环境等社会问题的开发者,有机会获得50万美元资助。

如今,Meta的Llama系列已成为开源LLM的标杆。

截至10月初,Hugging Face开源LLM排行榜前10中,有8个基于Llama 2开发,使用其开源协议。仅在Hugging Face上,使用Llama 2协议的LLM已超过1500个。

当然,像Falcon那样提高性能也未尝不可,但目前市面上大多数LLM与GPT-4仍有明显差距。

例如不久前,GPT-4以4.41分的成绩在AgentBench测试中夺冠。AgentBench由清华大学与多所美国名校共同推出,用于评估LLM在多维度开放环境中的推理和决策能力,测试内容包括操作系统、数据库、知识图谱、卡牌对战等8个不同环境的任务。

测试结果显示,第二名Claude仅得2.77分,差距明显。至于那些声势浩大的开源LLM,成绩多在1分左右,还不到GPT-4的四分之一。

要知道,GPT-4发布于今年3月,这还是全球同行追赶大半年后的结果。造成这种差距的,是OpenAI高水平的科研团队与长期积累的经验,因此能始终保持领先。

也就是说,大模型的核心能力并非参数,而是生态建设(开源)或纯粹的推理能力(闭源)。

随着开源社区日益活跃,各LLM性能可能趋同,因为大家都在使用相似的模型架构和数据集。

另一个更直观的问题是:除了Midjourney,似乎还没有哪个大模型能盈利。

价值的锚定

今年8月,一篇题为"OpenAI可能于2024年底破产"的文章引发关注。文章主旨几乎可用一句话概括:OpenAI烧钱速度太快。

文中提到,自开发ChatGPT以来,OpenAI亏损迅速扩大,2022年就亏损约5.4亿美元,只能依赖微软投资。

文章标题虽然耸人听闻,却也道出了许多大模型提供商的现状:成本与收入严重失衡。

过高的成本导致目前靠AI赚大钱的只有英伟达,顶多再加上博通。

据咨询公司Omdia估计,英伟达今年二季度售出超30万块H100。这是一款效率极高的AI芯片,全球科技公司、研究机构都在抢购。如果将这30万块H100叠在一起,重量相当于4.5架波音747。

英伟达业绩随之飙升,同比营收增长854%,震惊华尔街。值得一提的是,H100在二手市场已被炒到4-5万美元,而其物料成本仅约3000美元。

高昂的算力成本在某种程度上已成为行业发展阻力。红杉资本曾估算:全球科技公司每年预计将花费2000亿美元用于大模型基础设施建设;相比之下,大模型每年最多只能创造750亿美元收入,中间存在至少1250亿美元缺口。

此外,除了Midjourney等少数例外,多数软件公司在投入巨资后还未找到盈利模式。尤其是行业领头羊微软和Adobe都遇到了困难。

微软与OpenAI合作开发的AI代码生成工具GitHub Copilot,虽然每月收费10美元,但由于设施成本,微软反而每用户亏损20美元,重度用户甚至让微软月亏80美元。由此推测,定价30美元的Microsoft 365 Copilot可能亏损更多。

同样,刚发布Firefly AI工具的Adobe也迅速推出了积分系统,防止用户过度使用导致公司亏损。一旦用户超出每月分配积分,Adobe就会降低服务速度。

要知道微软和Adobe已是业务场景明确、拥有大量付费用户的软件巨头。而大多数参数堆积如山的大模型,最大应用场景仍是聊天。

不可否认,如果没有OpenAI和ChatGPT横空出世,这场AI革命可能根本不会发生;但目前,训练大模型所创造的价值恐怕还有待商榷。

而且,随着同质化竞争加剧,以及开源模型日益增多,单纯的大模型供应商可能面临更大挑战。

iPhone 4的成功不是因为45nm制程的A4处理器,而是它能玩植物大战僵尸和愤怒的小鸟。