Merkeziyetsizlik Eğitimi: AI'nın Kutsal Kâsesinin Keşfi

Yapay zekanın tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engel olan aşamadır; bu durum, modelin yetenek sınırını ve gerçek uygulama etkisini doğrudan belirler. Çıkarım aşamasındaki hafif çağrılara kıyasla, eğitim süreci sürekli olarak büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritmaları desteği gerektirir; bu, AI sistemlerinin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmalara göre, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federal öğrenme ve bu çalışmanın odaklandığı Merkeziyetsizlik eğitimi.

Merkeziyetsiz eğitim en yaygın geleneksel yöntemdir, tek bir kurum tarafından yerel yüksek performanslı kümeler içinde tüm eğitim süreci tamamlanır; donanım, temel yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri tek bir kontrol sistemi tarafından koordine edilir. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata tolerans mekanizmalarının verimliliğini en üst düzeye çıkarır, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunlar da taşımaktadır.

Dağıtık eğitim, günümüzde büyük model eğitiminde yaygın bir yöntemdir, esas olarak model eğitim görevlerinin parçalanıp birden fazla makineye dağıtılarak birlikte yürütülmesi üzerine kuruludur; bu, tek bir makinenin hesaplama ve depolama darboğazlarını aşmayı hedefler. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen zamanlama ve senkronizasyon altında çalışır ve genellikle yüksek hızlı yerel alan ağı ortamlarında, NVLink yüksek hızlı bağlantı teknolojisi aracılığıyla ana düğüm tarafından tüm alt görevlerin koordinasyonu sağlanır. Ana akım yöntemler şunlardır:

• Veri paralelliği: Her bir düğüm farklı veri parametrelerini paylaşarak eğitilir, model ağırlıklarının eşleşmesi gerekir.
• Model paralelliği: Modelin farklı kısımlarını farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlamak
• Boru Hattı Paralelliği: Aşamalı Seri Uygulama, Verimliliği Artırır
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölerek, paralel yoğunluğu artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur, tıpkı aynı patronun uzaktan birden fazla "ofis" çalışanını görev tamamlamak için koordine etmesi gibi. Şu anda neredeyse tüm ana akım büyük modeller bu yöntemle eğitim tamamlamaktadır.

Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm, merkezi bir koordine edici olmadan eğitim görevlerini iş birliği içinde tamamlar; genellikle protokoller aracılığıyla görev dağıtımı ve iş birliği sağlanır ve katkının dürüstlüğünü güvence altına almak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar şunlardır:

• Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordinasyonu zordur, görev bölme verimliliği düşüktür.
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyon darboğazı belirgin.
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birlikte Koordinasyon Eksikliği: Merkezi bir yöneticinin olmaması, görev dağıtımı ve hata geri alma mekanizmasının karmaşık olması.

Merkeziyetsizlik eğitimi, dünya genelinde bir grup gönüllünün, her birinin hesaplama gücünü katkıda bulunarak model eğitimi yaptığı şekilde anlaşılabilir. Ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olarak kalmakta, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanı içermektedir. Ancak "iş birliği etkili + dürüstlüğü teşvik etme + sonuç doğru" olup olamayacağı henüz erken prototip keşif aşamasındadır.

Federated learning, bir geçiş biçimi olarak dağıtık ve Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi bir şekilde toplanmasını vurgular; gizlilik uyumuna önem veren senaryolar için uygundur. Federated learning, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahipken, aynı zamanda Merkeziyetsizlik eğitimindeki veri dağıtım avantajlarını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre karşı dayanıklı bir özellik taşımaz. Gizlilik uyumu senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir; eğitim görevleri, güven yapılandırması ve iletişim mekanizmaları açısından görece ılımlıdır ve endüstride geçici dağıtım mimarisi olarak daha uygundur.

Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçek yolları

Eğitim paradigması açısından, Merkeziyetsizlik eğitim tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya iş birliği zorluğu nedeniyle, doğal olarak heterojen, güvensiz düğümler arasında verimli bir şekilde tamamlanması zorlaşır. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, bu nedenle açık ağda etkili bir şekilde bölünmesi ve senkronizasyonu zordur; veri gizliliği ve egemenlik kısıtlamaları güçlü olan görevler yasal uyum ve etik sınırlamalar nedeniyle açıkça paylaşılamaz; iş birliği teşvikleri olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut Merkeziyetsizlik eğitimindeki gerçek kısıtlamaları oluşturur.

Ancak bu, merkeziyetsizlik eğitimlerinin bir safsata olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralelleştirilebilir ve teşvik edici görev türlerinde, merkeziyetsizlik eğitiminin belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayar, davranış hizalama sonrası eğitim görevleri, veri kalabalık eğitim ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genellikle yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans gibi özelliklere sahiptir ve P2P ağlar, Swarm protokolleri, dağıtık optimizasyoncular gibi yöntemlerle işbirlikçi eğitim için son derece uygundur.

Merkeziyetsizlik eğitim klasik proje analizi

Şu anda merkeziyetsizlik eğitimi ve federatif öğrenim öncülüğünde, temsilci blockchain projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımında birçok özgün keşif sunmakta ve mevcut teorik araştırmanın öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, başlangıç mühendislik ilerlemeleri görülmektedir.

Prime Intellect: Eğitim yolu doğrulanabilir güçlendirme öğrenimi işbirlikçi ağ öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır, bu sayede herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilir, açık ve teşvik mekanizması tam olan bir AI merkeziyetsizlik eğitim sistemi inşa etmeyi hedeflemektedir.

Prime Intellect protokol yığını yapısı ve ana modül değeri

Prime Intellect'in temel mekanizmaları şunlardır:

PRIME-RL: Ayrık Asenkron Pekiştirme Öğrenme Görev Mimarisi

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özel olarak tasarlanmış bir görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılımcılar için özel olarak tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak benimser, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız bir görev döngüsünü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve birleştirme mekanizmalarıyla iş birliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur, bu hem sistem karmaşıklığını azaltır hem de çoklu görev paralelliğini ve strateji evrimini desteklemeye zemin hazırlar.

TOPLOC:Ağırlık antrenmanı davranış doğrulama mekanizması

TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayanarak etkili bir strateji öğrenimi tamamlayıp tamamlamadığını belirlemek için kullanılan doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC, tüm modelin yeniden hesaplanmasına dayanmaz, bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izini analiz ederek hafif yapısal doğrulama gerçekleştirir. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk uygulamadır ve güvene dayanmayan eğitim ödül dağıtımını gerçekleştirmenin anahtar yeniliğidir. Denetlenebilir ve teşvik edici bir merkeziyetsiz işbirliği eğitim ağı oluşturmak için uygulanabilir bir yol sunmaktadır.

SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ile yerel senkronizasyon stratejilerini birleştirir ve birden fazla düğümün senkronize olmayan durumlarda sürekli olarak kısmi güncellemeler göndermesine olanak tanır, bu da ağırlıkların kademeli yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık konsensüsü ve sürekli eğitim iterasyonları oluşturmanın temel temelidir.

OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo konseptinin bağımsız olarak gerçekleştirilip açık kaynaklı hale getirilmiş bir iletişim optimizasyon çerçevesidir. Merkeziyetsizlik eğitiminde yaygın olan bant genişliği kısıtları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmaktadır, Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta ve yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeleri ve kesinti tolerans mekanizmasını birleştirerek, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazlarının eğitim görevlerine istikrarlı bir şekilde katılmasına olanak tanıyıp, küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta ve merkeziyetsiz eğitim ağlarının inşası için kritik bir iletişim altyapısı olmaktadır.

PCCL: İşbirliği İletişim Kütüphanesi

PCCL, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyet senkronizasyonunu ve kesinti kurtarmayı desteklemektedir; tüketici sınıfı GPU'lar ve istikrarsız düğümlerde çalışabilir ve OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağını inşa etmek için "son bir mil" iletişim altyapısını sağlamaktadır.

Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı inşa etti; bu sayede herkes görevlerde yer alabilir ve gerçek katkılara dayalı ödüller alabilir. Protokol, üç ana rol temelinde çalışmaktadır:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımla
• Eğitim düğümü: Yerel eğitim gerçekleştirme, ağırlık güncellemeleri ve gözlem izlerini gönderme
• Doğrulama Düğümü: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanarak ödül hesaplamasına ve strateji birleştirmeye katılır.

Protokolün ana süreçleri, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir, bu da "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngüsü oluşturur.

INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması

Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri ile işbirliği yaparak eğitilen ilk büyük ölçekli pekiştirme öğrenme modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğümün işbirliği ile tamamlanmıştır. Tamamen asenkron bir mimari kullanarak, eğitim süresi 400 saati aşmış ve asenkron işbirliği ağının uygulanabilirliği ve kararlılığını göstermiştir. Bu model, yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect'in önerdiği "eğitim, konsensustur" paradigmasının ilk sistematik uygulanmasıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre ederek, Merkeziyetsizlik eğitim ağının eğitim sürecinin açık, doğrulayıcı ve ekonomik teşvik döngüsünü ilk kez gerçekleştirmiştir.

Performans açısından, INTELLECT-2 QwQ-32B üzerinde eğitildi ve kod ile matematikte özel bir RL eğitimi yapıldı, mevcut açık kaynaklı RL ince ayarındadır.