AI領域羣雄並起，LLM大戰正酣

上個月，AI界爆發了一場"動物之戰"。

這場爭鬥的一方是Meta推出的Llama模型。由於其開源特性，Llama深受開發者歡迎。日本電氣公司NEC在研究Llama論文和代碼後，迅速開發出了日語版ChatGPT，解決了日本在AI領域的短板。

另一方是名爲Falcon的大模型。今年5月，Falcon-40B問世後登頂了開源LLM排行榜。該榜單由Hugging Face社區制作，爲評估LLM能力提供了標準。排行榜基本上就是Llama和Falcon輪流佔據榜首。

Llama 2發布後，暫時奪回了優勢。但9月初，Falcon推出180B版本，再次取得更高排名。

有趣的是，Falcon的開發者並非科技公司，而是位於阿布扎比的科技創新研究所。阿聯酋官員表示，他們參與這個領域是爲了顛覆核心玩家。

180B版本發布次日，阿聯酋人工智能部長入選《時代周刊》評選的"AI領域最具影響力的100人"。與他一同入選的還有"AI教父"辛頓、OpenAI的阿爾特曼等。

如今，AI領域已進入百家爭鳴階段。有一定財力的國家和企業都在嘗試打造自己的大語言模型。僅在海灣地區，就不止一個玩家。8月，沙特爲國內大學購買了3000多塊H100芯片用於訓練LLM。

有投資人吐槽道:"當年看不起互聯網的商業模式創新，覺得沒有壁壘。沒想到硬科技大模型創業，依然是百模大戰..."

本以爲是高難度硬科技，怎麼就變成了人人都能參與的比賽？

Transformer改變了遊戲規則

無論是美國初創公司、中國科技巨頭,還是中東石油大亨,能夠投身大模型研發,都要歸功於那篇著名論文:《Attention Is All You Need》。

2017年,8位谷歌科學家在這篇論文中公布了Transformer算法。這篇論文目前是AI史上被引用第三多的論文,Transformer的出現引發了此輪AI熱潮。

當前各種大模型,包括轟動一時的GPT系列,都是建立在Transformer基礎之上的。

在此之前,"教機器讀書"一直是公認的學術難題。與圖像識別不同,人類閱讀時不僅關注當前詞句,還會結合上下文理解。

但早期神經網路的輸入都是獨立的,無法理解長篇文章的整體含義,因此常有誤譯問題。

2014年,谷歌科學家伊利亞首次取得突破。他使用循環神經網路(RNN)處理自然語言,使谷歌翻譯性能大幅提升。

RNN提出了"循環設計",讓神經元既接收當前輸入,也接收上一時刻輸入,從而具備了"結合上下文"的能力。

RNN的出現激發了學界熱情,Transformer論文作者沙澤爾也曾深入研究。但開發者們很快發現RNN存在嚴重缺陷:

該算法使用順序計算,雖然解決了上下文問題,但運行效率不高,難以處理大量參數。

RNN的繁瑣設計讓沙澤爾感到厭煩。因此從2015年開始,沙澤爾和7位同事着手開發RNN替代品,最終成果便是Transformer。

相比RNN,Transformer有兩大變革:

一是用位置編碼取代循環設計,實現並行計算,大大提升了訓練效率,使AI邁入大模型時代;二是進一步加強了理解上下文的能力。

Transformer一舉解決多項缺陷,逐漸成爲NLP領域的標準方案,有"天不生Transformer,NLP萬古如長夜"之感。連伊利亞也拋棄了RNN,轉投Transformer陣營。

換言之,Transformer是當今所有大模型的基石,它將大模型從理論研究變成了純工程問題。

2019年,OpenAI基於Transformer開發的GPT-2驚豔學界。作爲回應,谷歌迅速推出了性能更強的Meena。

與GPT-2相比,Meena並無算法創新,僅是增加了8.5倍訓練參數、14倍算力。Transformer作者沙澤爾對這種"暴力堆砌"大受震撼,寫下"Meena吞噬世界"的備忘錄。

Transformer問世後,底層算法創新速度放緩。數據工程、算力規模、模型架構等工程要素,日益成爲AI競賽的關鍵,只要有一定技術能力的公司,都能開發出大模型。

因此,科學家吳恩達在斯坦福演講時提出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式AI。這些都是通用技術,類似於電力和互聯網。"

OpenAI仍是LLM的風向標,但半導體分析機構Semi Analysis認爲,GPT-4的優勢源自工程方案——如果開源,任何競爭對手都能迅速復制。

該分析師預計,其他大型科技公司可能很快就能開發出與GPT-4性能相當的大模型。

護城河並非堅不可摧

如今,"百模大戰"已不再是比喻,而是現實。

據報告顯示,截至今年7月,中國大模型數量已達130個,超過美國的114個,各種神話傳說已經快不夠國內科技公司取名用了。

除中美之外,許多較富裕國家也實現了"一國一模":除日本和阿聯酋外,還有印度政府主導的Bhashini、韓國Naver公司開發的HyperClova X等。

這種情況讓人想起了互聯網早期泡沫橫飛、資本狂歡的場景。

如前所述,Transformer使大模型變成純工程問題,只要有人才、資金和計算資源,就能開發。但入場容易,成爲AI時代巨頭卻並非易事。

開頭提到的"動物之戰"就是典型案例:Falcon雖然暫時領先Llama,但很難說對Meta造成多大影響。

衆所周知,企業開源自身成果,既是分享科技福祉,也希望借助社會力量。隨着學界、研究機構、企業不斷使用改進Llama,Meta可以將這些成果應用到自身產品中。

對開源大模型而言,活躍的開發者社區才是核心競爭力。

早在2015年組建AI實驗室時,Meta就確定了開源路線;扎克伯格本就靠社交媒體起家,更懂得"搞好羣衆關係"的重要性。

例如10月,Meta專門舉辦了"AI創作者激勵"活動:用Llama 2解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。

如今,Meta的Llama系列已成爲開源LLM的標杆。

截至10月初,Hugging Face開源LLM排行榜前10中,有8個基於Llama 2開發,使用其開源協議。僅在Hugging Face上,使用Llama 2協議的LLM已超過1500個。

當然,像Falcon那樣提高性能也未嘗不可,但目前市面上大多數LLM與GPT-4仍有明顯差距。

例如不久前,GPT-4以4.41分的成績在AgentBench測試中奪冠。AgentBench由清華大學與多所美國名校共同推出,用於評估LLM在多維度開放環境中的推理和決策能力,測試內容包括操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示,第二名Claude僅得2.77分,差距明顯。至於那些聲勢浩大的開源LLM,成績多在1分左右,還不到GPT-4的四分之一。

要知道,GPT-4發布於今年3月,這還是全球同行追趕大半年後的結果。造成這種差距的,是OpenAI高水平的科研團隊與長期積累的經驗,因此能始終保持領先。

也就是說,大模型的核心能力並非參數,而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM性能可能趨同,因爲大家都在使用相似的模型架構和數據集。

另一個更直觀的問題是:除了Midjourney,似乎還沒有哪個大模型能盈利。

價值的錨定

今年8月,一篇題爲"OpenAI可能於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI燒錢速度太快。

文中提到,自開發ChatGPT以來,OpenAI虧損迅速擴大,2022年就虧損約5.4億美元,只能依賴微軟投資。

文章標題雖然聳人聽聞,卻也道出了許多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠AI賺大錢的只有英偉達,頂多再加上博通。

據諮詢公司Omdia估計,英偉達今年二季度售出超30萬塊H100。這是一款效率極高的AI芯片,全球科技公司、研究機構都在搶購。如果將這30萬塊H100疊在一起,重量相當於4.5架波音747。

英偉達業績隨之飆升,同比營收增長854%,震驚華爾街。值得一提的是,H100在二手市場已被炒到4-5萬美元,而其物料成本僅約3000美元。

高昂的算力成本在某種程度上已成爲行業發展阻力。紅杉資本曾估算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能創造750億美元收入,中間存在至少1250億美元缺口。

此外,除了Midjourney等少數例外,多數軟件公司在投入巨資後還未找到盈利模式。尤其是行業領頭羊微軟和Adobe都遇到了困難。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖然每月收費10美元,但由於設施成本,微軟反而每用戶虧損20美元,重度用戶甚至讓微軟月虧80美元。由此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛發布Firefly AI工具的Adobe也迅速推出了積分系統,防止用戶過度使用導致公司虧損。一旦用戶超出每月分配積分,Adobe就會降低服務速度。

要知道微軟和Adobe已是業務場景明確、擁有大量付費用戶的軟件巨頭。而大多數參數堆積如山的大模型,最大應用場景仍是聊天。

不可否認,如果沒有OpenAI和ChatGPT橫空出世,這場AI革命可能根本不會發生;但目前,訓練大模型所創造的價值恐怕還有待商榷。

而且,隨着同質化競爭加劇,以及開源模型日益增多,單純的大模型供應商可能面臨更大挑戰。

iPhone 4的成功不是因爲45nm制程的A4處理器,而是它能玩植物大戰僵屍和憤怒的小鳥。