Lĩnh vực AI đang diễn ra cuộc chiến khốc liệt, cuộc chiến LLM đang rất sôi động
Tháng trước, một cuộc "chiến tranh động vật" đã bùng nổ trong giới AI.
Bên tham gia cuộc tranh đấu này là mô hình Llama do Meta phát triển. Nhờ vào tính chất mã nguồn mở, Llama được các nhà phát triển ưa chuộng. Công ty điện tử Nhật Bản NEC, sau khi nghiên cứu bài báo và mã nguồn của Llama, đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật, giải quyết điểm yếu của Nhật Bản trong lĩnh vực AI.
Bên kia là một mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B ra mắt và đứng đầu bảng xếp hạng LLM mã nguồn mở. Bảng xếp hạng này được cộng đồng Hugging Face tạo ra và cung cấp tiêu chuẩn để đánh giá khả năng LLM. Bảng xếp hạng chủ yếu là Llama và Falcon lần lượt chiếm giữ vị trí số một.
Llama 2 phát hành đã tạm thời lấy lại ưu thế. Nhưng vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B, một lần nữa đạt được thứ hạng cao hơn.
Thú vị là, các nhà phát triển của Falcon không phải là công ty công nghệ, mà là Viện Nghiên cứu Đổi mới Công nghệ có trụ sở tại Abu Dhabi. Các quan chức UAE cho biết, họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.
Ngày sau khi phát hành phiên bản 180B, Bộ trưởng Trí tuệ Nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" do tạp chí Time bình chọn. Cùng được chọn còn có "cha đẻ của AI" Geoffrey Hinton, Sam Altman của OpenAI, và nhiều người khác.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn hàng trăm tiếng nói. Các quốc gia và doanh nghiệp có tiềm lực tài chính đang cố gắng xây dựng mô hình ngôn ngữ lớn riêng của mình. Chỉ riêng ở khu vực Vịnh, không chỉ có một người chơi. Vào tháng 8, Ả Rập Xê Út đã mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Có nhà đầu tư phàn nàn rằng: "Năm xưa tôi không coi trọng sự đổi mới mô hình kinh doanh của internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn trong công nghệ cứng vẫn là cuộc chiến giữa hàng trăm mô hình..."
Tôi đã nghĩ đây là công nghệ khó, sao lại trở thành một cuộc thi mà ai cũng có thể tham gia?
Transformer đã thay đổi quy tắc trò chơi
Dù là công ty khởi nghiệp Mỹ, gã khổng lồ công nghệ Trung Quốc hay ông trùm dầu mỏ Trung Đông, việc có thể tham gia vào nghiên cứu phát triển mô hình lớn đều phải cảm ơn bài báo nổi tiếng: "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo này hiện là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã kích thích làn sóng AI lần này.
Các mô hình lớn hiện nay, bao gồm cả series GPT gây chấn động, đều được xây dựng trên nền tảng Transformer.
Trước đây, "dạy máy đọc sách" luôn là một bài toán học thuật được công nhận. Khác với nhận diện hình ảnh, khi con người đọc, họ không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với bối cảnh để hiểu.
Nhưng đầu vào của mạng nơ-ron sớm đều độc lập, không thể hiểu được ý nghĩa tổng thể của một bài viết dài, vì vậy thường gặp vấn đề dịch sai.
Năm 2014, nhà khoa học Google Ilya lần đầu tiên đạt được đột phá. Ông đã sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất Google Dịch cải thiện đáng kể.
RNN đã đề xuất "thiết kế vòng lặp", cho phép các nơ-ron nhận cả đầu vào hiện tại và đầu vào của thời điểm trước, từ đó có khả năng "kết hợp bối cảnh".
Sự xuất hiện của RNN đã kích thích niềm đam mê trong giới học thuật, tác giả bài báo Transformer là Sha Zhe Er cũng đã nghiên cứu sâu. Nhưng các nhà phát triển nhanh chóng phát hiện ra rằng RNN có những thiếu sót nghiêm trọng:
Thuật toán này sử dụng tính toán tuần tự, mặc dù đã giải quyết được vấn đề ngữ cảnh, nhưng hiệu suất chạy không cao, khó xử lý nhiều tham số.
Thiết kế phức tạp của RNN khiến Shazer cảm thấy chán nản. Do đó, từ năm 2015, Shazer cùng 7 đồng nghiệp bắt tay vào phát triển một sản phẩm thay thế cho RNN, và kết quả cuối cùng chính là Transformer.
So với RNN, Transformer có hai cuộc cách mạng lớn:
Một là sử dụng mã vị trí thay thế cho thiết kế vòng lặp, thực hiện tính toán song song, nâng cao đáng kể hiệu suất huấn luyện, đưa AI vào thời đại mô hình lớn; Hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer giải quyết nhiều khuyết điểm một cách nhanh chóng, dần dần trở thành giải pháp tiêu chuẩn trong lĩnh vực NLP, có cảm giác "nếu không có Transformer, NLP sẽ mãi mãi như đêm dài". Thậm chí Ilia cũng đã từ bỏ RNN, chuyển sang ủng hộ đội ngũ Transformer.
Nói cách khác, Transformer là nền tảng của tất cả các mô hình lớn hiện nay, nó đã biến mô hình lớn từ nghiên cứu lý thuyết thành vấn đề thuần túy về kỹ thuật.
Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer gây ấn tượng trong giới học thuật. Để đáp lại, Google đã nhanh chóng tung ra Meena với hiệu suất mạnh mẽ hơn.
So với GPT-2, Meena không có đổi mới về thuật toán, chỉ tăng 8.5 lần tham số đào tạo, 14 lần sức mạnh tính toán. Tác giả của Transformer, Shazeer, rất sốc trước việc "xếp chồng bạo lực" này, đã viết một bản ghi nhớ có tiêu đề "Meena nuốt chửng thế giới".
Sau khi Transformer ra đời, tốc độ đổi mới thuật toán cơ bản đã chậm lại. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, và kiến trúc mô hình ngày càng trở thành chìa khóa trong cuộc đua AI, chỉ cần có năng lực kỹ thuật nhất định, bất kỳ công ty nào cũng có thể phát triển được mô hình lớn.
Do đó, nhà khoa học Ngô Ân Đạt đã đề xuất trong buổi diễn thuyết tại Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là AI sinh tạo. Tất cả đều là công nghệ tổng quát, giống như điện và internet."
OpenAI vẫn là tiêu chí dẫn dắt cho LLM, nhưng tổ chức phân tích bán dẫn Semi Analysis cho rằng, lợi thế của GPT-4 đến từ giải pháp kỹ thuật - nếu mã nguồn mở, bất kỳ đối thủ cạnh tranh nào cũng có thể nhanh chóng sao chép.
Nhà phân tích này dự đoán rằng các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.
Hào thành không phải là không thể phá vỡ
Ngày nay, "trận chiến trăm mô hình" không còn là phép ẩn dụ nữa, mà đã trở thành hiện thực.
Theo báo cáo, tính đến tháng 7 năm nay, số lượng mô hình lớn ở Trung Quốc đã đạt 130, vượt qua 114 của Mỹ, và các truyền thuyết thần thoại dường như đã không đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, nhiều quốc gia giàu có khác cũng đã thực hiện "mô hình một quốc gia một mô hình": ngoài Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất, còn có Bhashini do chính phủ Ấn Độ dẫn dắt, HyperClova X do công ty Naver Hàn Quốc phát triển, v.v.
Tình huống này gợi nhớ đến cảnh tượng bùng nổ của Internet vào những năm đầu, khi mà vốn đầu tư hoành hành.
Như đã đề cập trước đó, Transformer biến các mô hình lớn thành một vấn đề kỹ thuật thuần túy, chỉ cần có nhân tài, vốn và tài nguyên tính toán là có thể phát triển. Nhưng vào sân thì dễ, trở thành ông lớn trong thời đại AI không phải là điều dễ dàng.
Câu chuyện "Cuộc chiến của các loài động vật" được đề cập ở đầu là một ví dụ điển hình: Falcon mặc dù tạm thời dẫn trước Llama, nhưng rất khó để nói rằng nó gây ra ảnh hưởng lớn đến Meta.
Ai cũng biết, việc các doanh nghiệp mở nguồn các thành quả của mình không chỉ là chia sẻ phúc lợi công nghệ mà còn hy vọng tận dụng sức mạnh xã hội. Khi các học giả, tổ chức nghiên cứu và doanh nghiệp không ngừng sử dụng và cải tiến Llama, Meta có thể áp dụng những thành quả này vào sản phẩm của mình.
Đối với mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động chính là lợi thế cạnh tranh cốt lõi.
Ngay từ năm 2015, khi thành lập phòng thí nghiệm AI, Meta đã xác định con đường mã nguồn mở; Zuckerberg vốn đã khởi nghiệp từ mạng xã hội, càng hiểu rõ tầm quan trọng của việc "xây dựng mối quan hệ tốt với công chúng".
Ví dụ, vào tháng 10, Meta đã tổ chức sự kiện "Khuyến khích người sáng tạo AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội như giáo dục, môi trường, có cơ hội nhận được 500.000 đô la tài trợ.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở.
Đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở của Hugging Face, có 8 cái dựa trên Llama 2 phát triển, sử dụng giao thức mã nguồn mở của nó. Chỉ riêng trên Hugging Face, số LLM sử dụng giao thức Llama 2 đã vượt quá 1500 cái.
Tất nhiên, việc nâng cao hiệu suất như Falcon cũng không phải là không thể, nhưng hiện tại hầu hết các LLM trên thị trường vẫn còn khoảng cách rõ rệt so với GPT-4.
Ví dụ, không lâu trước đây, GPT-4 đã giành chiến thắng trong bài kiểm tra AgentBench với số điểm 4.41. AgentBench được Đại học Thanh Hoa và nhiều trường đại học danh tiếng của Mỹ cùng phát triển, nhằm đánh giá khả năng suy luận và ra quyết định của LLM trong môi trường mở đa chiều, nội dung kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và trận chiến thẻ.
Kết quả kiểm tra cho thấy, người đứng thứ hai Claude chỉ đạt 2.77 điểm, chênh lệch rõ rệt. Còn về những LLM mã nguồn mở hoành tráng đó, điểm số thường chỉ khoảng 1 điểm, chưa đến một phần tư của GPT-4.
Cần biết rằng, GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau hơn nửa năm theo đuổi của các đồng nghiệp toàn cầu. Nguyên nhân gây ra khoảng cách này là do đội ngũ nghiên cứu khoa học trình độ cao của OpenAI và kinh nghiệm tích lũy lâu dài, vì vậy họ có thể luôn duy trì vị thế dẫn đầu.
Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy luận thuần túy ( mã nguồn đóng ).
Với việc cộng đồng mã nguồn mở ngày càng sôi động, hiệu suất của các LLM có thể trở nên đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và bộ dữ liệu tương tự.
Một câu hỏi trực quan khác là: Ngoài Midjourney, dường như không có mô hình lớn nào khác có thể tạo ra lợi nhuận.
Neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể phá sản vào cuối năm 2024" đã thu hút sự chú ý. Nội dung chính của bài viết gần như có thể được tóm tắt bằng một câu: OpenAI tiêu tốn tiền quá nhanh.
Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng mở rộng thua lỗ, vào năm 2022 công ty đã thua lỗ khoảng 5,4 tỷ USD và chỉ có thể phụ thuộc vào đầu tư của Microsoft.
Mặc dù tiêu đề bài viết có phần giật gân, nhưng nó cũng phản ánh thực trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.
Chi phí quá cao dẫn đến việc hiện tại chỉ có Nvidia kiếm được nhiều tiền từ AI, có lẽ cộng thêm Broadcom.
Theo ước tính của công ty tư vấn Omdia, Nvidia đã bán ra hơn 300.000 chiếc H100 trong quý hai năm nay. Đây là một con chip AI có hiệu suất cực cao, các công ty công nghệ toàn cầu và các tổ chức nghiên cứu đang tranh giành mua sắm. Nếu xếp chồng 300.000 chiếc H100 lại với nhau, trọng lượng tương đương với 4,5 chiếc Boeing 747.
Doanh thu của Nvidia sau đó tăng vọt, tăng 854% so với năm trước, gây sốc cho Phố Wall. Đáng chú ý, H100 đã được thổi phồng lên tới 40-50 nghìn đô la trên thị trường thứ cấp, trong khi chi phí vật liệu chỉ khoảng 3000 đô la.
Chi phí tính toán cao đã trở thành một trở ngại cho sự phát triển của ngành công nghiệp ở một mức độ nào đó. Sequoia Capital từng ước tính: các công ty công nghệ toàn cầu dự kiến sẽ chi 200 tỷ USD mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; so với đó, mô hình lớn chỉ có thể tạo ra tối đa 75 tỷ USD doanh thu mỗi năm, có ít nhất 125 tỷ USD khoảng cách ở giữa.
Ngoài ra, trừ một số ngoại lệ như Midjourney, hầu hết các công ty phần mềm vẫn chưa tìm ra mô hình có lãi sau khi đầu tư khổng lồ. Đặc biệt, các ông lớn trong ngành như Microsoft và Adobe đều gặp khó khăn.
Công cụ tạo mã AI GitHub Copilot được phát triển bởi Microsoft và OpenAI, mặc dù có phí hàng tháng 10 đô la, nhưng do chi phí cơ sở, Microsoft lại lỗ 20 đô la cho mỗi người dùng, những người dùng nặng thậm chí khiến Microsoft lỗ 80 đô la mỗi tháng. Do đó, có thể suy đoán rằng Microsoft 365 Copilot có giá 30 đô la có thể lỗ nhiều hơn.
Tương tự, Adobe vừa phát hành công cụ Firefly AI cũng nhanh chóng ra mắt hệ thống điểm, ngăn chặn người dùng lạm dụng dẫn đến thua lỗ cho công ty. Một khi người dùng vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Cần biết rằng Microsoft và Adobe đã là những gã khổng lồ phần mềm có bối cảnh kinh doanh rõ ràng và sở hữu nhiều người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với vô số tham số, ứng dụng lớn nhất của chúng vẫn là trò chuyện.
Không thể phủ nhận, nếu không có sự ra đời của OpenAI và ChatGPT, cuộc cách mạng AI này có thể sẽ không xảy ra; nhưng hiện tại, giá trị được tạo ra từ việc đào tạo các mô hình lớn có lẽ vẫn cần phải xem xét.
Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và số lượng mô hình mã nguồn mở ngày càng tăng, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với những thách thức lớn hơn.
Sự thành công của iPhone 4 không phải vì bộ vi xử lý A4 quy trình 45nm, mà là vì nó có thể chơi Plants vs Zombies và Angry Birds.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
12 thích
Phần thưởng
12
7
Chia sẻ
Bình luận
0/400
DAOplomacy
· 2giờ trước
thực sự chỉ là một cuộc đua không bền vững khác đến đáy... đã thấy bộ phim này trước đây
Cuộc chiến mô hình lớn: Các anh hùng trong lĩnh vực AI nổi lên, các mô hình ngôn ngữ lớn đối mặt với thách thức lợi nhuận
Lĩnh vực AI đang diễn ra cuộc chiến khốc liệt, cuộc chiến LLM đang rất sôi động
Tháng trước, một cuộc "chiến tranh động vật" đã bùng nổ trong giới AI.
Bên tham gia cuộc tranh đấu này là mô hình Llama do Meta phát triển. Nhờ vào tính chất mã nguồn mở, Llama được các nhà phát triển ưa chuộng. Công ty điện tử Nhật Bản NEC, sau khi nghiên cứu bài báo và mã nguồn của Llama, đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật, giải quyết điểm yếu của Nhật Bản trong lĩnh vực AI.
Bên kia là một mô hình lớn có tên là Falcon. Vào tháng 5 năm nay, Falcon-40B ra mắt và đứng đầu bảng xếp hạng LLM mã nguồn mở. Bảng xếp hạng này được cộng đồng Hugging Face tạo ra và cung cấp tiêu chuẩn để đánh giá khả năng LLM. Bảng xếp hạng chủ yếu là Llama và Falcon lần lượt chiếm giữ vị trí số một.
Llama 2 phát hành đã tạm thời lấy lại ưu thế. Nhưng vào đầu tháng 9, Falcon đã ra mắt phiên bản 180B, một lần nữa đạt được thứ hạng cao hơn.
Thú vị là, các nhà phát triển của Falcon không phải là công ty công nghệ, mà là Viện Nghiên cứu Đổi mới Công nghệ có trụ sở tại Abu Dhabi. Các quan chức UAE cho biết, họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.
Ngày sau khi phát hành phiên bản 180B, Bộ trưởng Trí tuệ Nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" do tạp chí Time bình chọn. Cùng được chọn còn có "cha đẻ của AI" Geoffrey Hinton, Sam Altman của OpenAI, và nhiều người khác.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn hàng trăm tiếng nói. Các quốc gia và doanh nghiệp có tiềm lực tài chính đang cố gắng xây dựng mô hình ngôn ngữ lớn riêng của mình. Chỉ riêng ở khu vực Vịnh, không chỉ có một người chơi. Vào tháng 8, Ả Rập Xê Út đã mua hơn 3000 chip H100 cho các trường đại học trong nước để đào tạo LLM.
Có nhà đầu tư phàn nàn rằng: "Năm xưa tôi không coi trọng sự đổi mới mô hình kinh doanh của internet, cảm thấy không có rào cản. Không ngờ khởi nghiệp mô hình lớn trong công nghệ cứng vẫn là cuộc chiến giữa hàng trăm mô hình..."
Tôi đã nghĩ đây là công nghệ khó, sao lại trở thành một cuộc thi mà ai cũng có thể tham gia?
Transformer đã thay đổi quy tắc trò chơi
Dù là công ty khởi nghiệp Mỹ, gã khổng lồ công nghệ Trung Quốc hay ông trùm dầu mỏ Trung Đông, việc có thể tham gia vào nghiên cứu phát triển mô hình lớn đều phải cảm ơn bài báo nổi tiếng: "Attention Is All You Need".
Năm 2017, 8 nhà khoa học của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo này hiện là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã kích thích làn sóng AI lần này.
Các mô hình lớn hiện nay, bao gồm cả series GPT gây chấn động, đều được xây dựng trên nền tảng Transformer.
Trước đây, "dạy máy đọc sách" luôn là một bài toán học thuật được công nhận. Khác với nhận diện hình ảnh, khi con người đọc, họ không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với bối cảnh để hiểu.
Nhưng đầu vào của mạng nơ-ron sớm đều độc lập, không thể hiểu được ý nghĩa tổng thể của một bài viết dài, vì vậy thường gặp vấn đề dịch sai.
Năm 2014, nhà khoa học Google Ilya lần đầu tiên đạt được đột phá. Ông đã sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất Google Dịch cải thiện đáng kể.
RNN đã đề xuất "thiết kế vòng lặp", cho phép các nơ-ron nhận cả đầu vào hiện tại và đầu vào của thời điểm trước, từ đó có khả năng "kết hợp bối cảnh".
Sự xuất hiện của RNN đã kích thích niềm đam mê trong giới học thuật, tác giả bài báo Transformer là Sha Zhe Er cũng đã nghiên cứu sâu. Nhưng các nhà phát triển nhanh chóng phát hiện ra rằng RNN có những thiếu sót nghiêm trọng:
Thuật toán này sử dụng tính toán tuần tự, mặc dù đã giải quyết được vấn đề ngữ cảnh, nhưng hiệu suất chạy không cao, khó xử lý nhiều tham số.
Thiết kế phức tạp của RNN khiến Shazer cảm thấy chán nản. Do đó, từ năm 2015, Shazer cùng 7 đồng nghiệp bắt tay vào phát triển một sản phẩm thay thế cho RNN, và kết quả cuối cùng chính là Transformer.
So với RNN, Transformer có hai cuộc cách mạng lớn:
Một là sử dụng mã vị trí thay thế cho thiết kế vòng lặp, thực hiện tính toán song song, nâng cao đáng kể hiệu suất huấn luyện, đưa AI vào thời đại mô hình lớn; Hai là tăng cường khả năng hiểu ngữ cảnh.
Transformer giải quyết nhiều khuyết điểm một cách nhanh chóng, dần dần trở thành giải pháp tiêu chuẩn trong lĩnh vực NLP, có cảm giác "nếu không có Transformer, NLP sẽ mãi mãi như đêm dài". Thậm chí Ilia cũng đã từ bỏ RNN, chuyển sang ủng hộ đội ngũ Transformer.
Nói cách khác, Transformer là nền tảng của tất cả các mô hình lớn hiện nay, nó đã biến mô hình lớn từ nghiên cứu lý thuyết thành vấn đề thuần túy về kỹ thuật.
Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer gây ấn tượng trong giới học thuật. Để đáp lại, Google đã nhanh chóng tung ra Meena với hiệu suất mạnh mẽ hơn.
So với GPT-2, Meena không có đổi mới về thuật toán, chỉ tăng 8.5 lần tham số đào tạo, 14 lần sức mạnh tính toán. Tác giả của Transformer, Shazeer, rất sốc trước việc "xếp chồng bạo lực" này, đã viết một bản ghi nhớ có tiêu đề "Meena nuốt chửng thế giới".
Sau khi Transformer ra đời, tốc độ đổi mới thuật toán cơ bản đã chậm lại. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, và kiến trúc mô hình ngày càng trở thành chìa khóa trong cuộc đua AI, chỉ cần có năng lực kỹ thuật nhất định, bất kỳ công ty nào cũng có thể phát triển được mô hình lớn.
Do đó, nhà khoa học Ngô Ân Đạt đã đề xuất trong buổi diễn thuyết tại Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là AI sinh tạo. Tất cả đều là công nghệ tổng quát, giống như điện và internet."
OpenAI vẫn là tiêu chí dẫn dắt cho LLM, nhưng tổ chức phân tích bán dẫn Semi Analysis cho rằng, lợi thế của GPT-4 đến từ giải pháp kỹ thuật - nếu mã nguồn mở, bất kỳ đối thủ cạnh tranh nào cũng có thể nhanh chóng sao chép.
Nhà phân tích này dự đoán rằng các công ty công nghệ lớn khác có thể sớm phát triển các mô hình lớn có hiệu suất tương đương với GPT-4.
Hào thành không phải là không thể phá vỡ
Ngày nay, "trận chiến trăm mô hình" không còn là phép ẩn dụ nữa, mà đã trở thành hiện thực.
Theo báo cáo, tính đến tháng 7 năm nay, số lượng mô hình lớn ở Trung Quốc đã đạt 130, vượt qua 114 của Mỹ, và các truyền thuyết thần thoại dường như đã không đủ để các công ty công nghệ trong nước đặt tên.
Ngoài Trung Quốc và Mỹ, nhiều quốc gia giàu có khác cũng đã thực hiện "mô hình một quốc gia một mô hình": ngoài Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất, còn có Bhashini do chính phủ Ấn Độ dẫn dắt, HyperClova X do công ty Naver Hàn Quốc phát triển, v.v.
Tình huống này gợi nhớ đến cảnh tượng bùng nổ của Internet vào những năm đầu, khi mà vốn đầu tư hoành hành.
Như đã đề cập trước đó, Transformer biến các mô hình lớn thành một vấn đề kỹ thuật thuần túy, chỉ cần có nhân tài, vốn và tài nguyên tính toán là có thể phát triển. Nhưng vào sân thì dễ, trở thành ông lớn trong thời đại AI không phải là điều dễ dàng.
Câu chuyện "Cuộc chiến của các loài động vật" được đề cập ở đầu là một ví dụ điển hình: Falcon mặc dù tạm thời dẫn trước Llama, nhưng rất khó để nói rằng nó gây ra ảnh hưởng lớn đến Meta.
Ai cũng biết, việc các doanh nghiệp mở nguồn các thành quả của mình không chỉ là chia sẻ phúc lợi công nghệ mà còn hy vọng tận dụng sức mạnh xã hội. Khi các học giả, tổ chức nghiên cứu và doanh nghiệp không ngừng sử dụng và cải tiến Llama, Meta có thể áp dụng những thành quả này vào sản phẩm của mình.
Đối với mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động chính là lợi thế cạnh tranh cốt lõi.
Ngay từ năm 2015, khi thành lập phòng thí nghiệm AI, Meta đã xác định con đường mã nguồn mở; Zuckerberg vốn đã khởi nghiệp từ mạng xã hội, càng hiểu rõ tầm quan trọng của việc "xây dựng mối quan hệ tốt với công chúng".
Ví dụ, vào tháng 10, Meta đã tổ chức sự kiện "Khuyến khích người sáng tạo AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội như giáo dục, môi trường, có cơ hội nhận được 500.000 đô la tài trợ.
Hiện nay, dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở.
Đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở của Hugging Face, có 8 cái dựa trên Llama 2 phát triển, sử dụng giao thức mã nguồn mở của nó. Chỉ riêng trên Hugging Face, số LLM sử dụng giao thức Llama 2 đã vượt quá 1500 cái.
Tất nhiên, việc nâng cao hiệu suất như Falcon cũng không phải là không thể, nhưng hiện tại hầu hết các LLM trên thị trường vẫn còn khoảng cách rõ rệt so với GPT-4.
Ví dụ, không lâu trước đây, GPT-4 đã giành chiến thắng trong bài kiểm tra AgentBench với số điểm 4.41. AgentBench được Đại học Thanh Hoa và nhiều trường đại học danh tiếng của Mỹ cùng phát triển, nhằm đánh giá khả năng suy luận và ra quyết định của LLM trong môi trường mở đa chiều, nội dung kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và trận chiến thẻ.
Kết quả kiểm tra cho thấy, người đứng thứ hai Claude chỉ đạt 2.77 điểm, chênh lệch rõ rệt. Còn về những LLM mã nguồn mở hoành tráng đó, điểm số thường chỉ khoảng 1 điểm, chưa đến một phần tư của GPT-4.
Cần biết rằng, GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau hơn nửa năm theo đuổi của các đồng nghiệp toàn cầu. Nguyên nhân gây ra khoảng cách này là do đội ngũ nghiên cứu khoa học trình độ cao của OpenAI và kinh nghiệm tích lũy lâu dài, vì vậy họ có thể luôn duy trì vị thế dẫn đầu.
Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy luận thuần túy ( mã nguồn đóng ).
Với việc cộng đồng mã nguồn mở ngày càng sôi động, hiệu suất của các LLM có thể trở nên đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và bộ dữ liệu tương tự.
Một câu hỏi trực quan khác là: Ngoài Midjourney, dường như không có mô hình lớn nào khác có thể tạo ra lợi nhuận.
Neo giá trị
Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể phá sản vào cuối năm 2024" đã thu hút sự chú ý. Nội dung chính của bài viết gần như có thể được tóm tắt bằng một câu: OpenAI tiêu tốn tiền quá nhanh.
Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, OpenAI đã nhanh chóng mở rộng thua lỗ, vào năm 2022 công ty đã thua lỗ khoảng 5,4 tỷ USD và chỉ có thể phụ thuộc vào đầu tư của Microsoft.
Mặc dù tiêu đề bài viết có phần giật gân, nhưng nó cũng phản ánh thực trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.
Chi phí quá cao dẫn đến việc hiện tại chỉ có Nvidia kiếm được nhiều tiền từ AI, có lẽ cộng thêm Broadcom.
Theo ước tính của công ty tư vấn Omdia, Nvidia đã bán ra hơn 300.000 chiếc H100 trong quý hai năm nay. Đây là một con chip AI có hiệu suất cực cao, các công ty công nghệ toàn cầu và các tổ chức nghiên cứu đang tranh giành mua sắm. Nếu xếp chồng 300.000 chiếc H100 lại với nhau, trọng lượng tương đương với 4,5 chiếc Boeing 747.
Doanh thu của Nvidia sau đó tăng vọt, tăng 854% so với năm trước, gây sốc cho Phố Wall. Đáng chú ý, H100 đã được thổi phồng lên tới 40-50 nghìn đô la trên thị trường thứ cấp, trong khi chi phí vật liệu chỉ khoảng 3000 đô la.
Chi phí tính toán cao đã trở thành một trở ngại cho sự phát triển của ngành công nghiệp ở một mức độ nào đó. Sequoia Capital từng ước tính: các công ty công nghệ toàn cầu dự kiến sẽ chi 200 tỷ USD mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; so với đó, mô hình lớn chỉ có thể tạo ra tối đa 75 tỷ USD doanh thu mỗi năm, có ít nhất 125 tỷ USD khoảng cách ở giữa.
Ngoài ra, trừ một số ngoại lệ như Midjourney, hầu hết các công ty phần mềm vẫn chưa tìm ra mô hình có lãi sau khi đầu tư khổng lồ. Đặc biệt, các ông lớn trong ngành như Microsoft và Adobe đều gặp khó khăn.
Công cụ tạo mã AI GitHub Copilot được phát triển bởi Microsoft và OpenAI, mặc dù có phí hàng tháng 10 đô la, nhưng do chi phí cơ sở, Microsoft lại lỗ 20 đô la cho mỗi người dùng, những người dùng nặng thậm chí khiến Microsoft lỗ 80 đô la mỗi tháng. Do đó, có thể suy đoán rằng Microsoft 365 Copilot có giá 30 đô la có thể lỗ nhiều hơn.
Tương tự, Adobe vừa phát hành công cụ Firefly AI cũng nhanh chóng ra mắt hệ thống điểm, ngăn chặn người dùng lạm dụng dẫn đến thua lỗ cho công ty. Một khi người dùng vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.
Cần biết rằng Microsoft và Adobe đã là những gã khổng lồ phần mềm có bối cảnh kinh doanh rõ ràng và sở hữu nhiều người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với vô số tham số, ứng dụng lớn nhất của chúng vẫn là trò chuyện.
Không thể phủ nhận, nếu không có sự ra đời của OpenAI và ChatGPT, cuộc cách mạng AI này có thể sẽ không xảy ra; nhưng hiện tại, giá trị được tạo ra từ việc đào tạo các mô hình lớn có lẽ vẫn cần phải xem xét.
Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và số lượng mô hình mã nguồn mở ngày càng tăng, các nhà cung cấp mô hình lớn đơn thuần có thể phải đối mặt với những thách thức lớn hơn.
Sự thành công của iPhone 4 không phải vì bộ vi xử lý A4 quy trình 45nm, mà là vì nó có thể chơi Plants vs Zombies và Angry Birds.