Децентрализация тренировки: Поиск святого грааля ИИ

В полной цепочке создания стоимости искусственного интеллекта обучение моделей является этапом, который требует наибольших ресурсов и имеет самые высокие технологические барьеры, что непосредственно определяет предельные возможности моделей и фактическую эффективность их применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет обсуждено в данной статье.

Централизованное обучение является наиболее распространенным традиционным способом, когда весь процесс обучения выполняется единственным учреждением на локальном высокопроизводительном кластере, где все компоненты, от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до обучающего фреймворка, координируются единой контрольной системой. Эта глубоко согласованная архитектура позволяет достичь оптимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.

Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задач по обучению модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "Децентрализация"-характеристиками, в целом он по-прежнему контролируется централизованной организацией для управления и синхронизации, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
• Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма

Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс удаленно командует несколькими сотрудниками "офисов", чтобы совместно выполнить задачу. В настоящее время практически все основные модели обучаются таким образом.

Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, совместно выполняющих задачи обучения без централизованного координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптоощущения для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:

• Сложности с гетерогенностью устройств и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Узкие места в эффективности связи: нестабильная сеть, явные узкие места в синхронизации градиентов
• Отсутствие доверенного выполнения: недостаток доверенной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
• Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизмы отката сложны.

Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая массовая децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, проверку модели и многие другие аспекты, но вопрос о том, можно ли "совместно эффективно + стимулировать честность + получать правильные результаты", все еще находится на стадии раннего прототипирования.

Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает сохранение данных на месте и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными способностями, одновременно имея преимущества распределенных данных в Децентрализация, но все же зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, с относительно мягкими условиями в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она по своей природе не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, сильно ограниченные конфиденциальностью данных и суверенитетом, подвержены юридическим и этическим ограничениям, в результате чего их нельзя открыто делить; а задачи, лишенные основы для сотрудничества, не имеют внешних стимулов для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.

Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в задачах с легкой структурой, легкостью параллелизации и возможностью мотивации, Децентрализация обучения показывает явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, связанные с выравниванием поведения, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сцены кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.

Децентрализация тренировки классических проектов

В настоящее время в области децентрализации и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмового проектирования, что представляет собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальные инженерные достижения.

Prime Intellect: Проверяемая траектория обучения для кооперативной сети усиленного обучения

Prime Intellect стремится создать сеть обучения ИИ без необходимости доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с возможностью проверки, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

Структура стека протокола Prime Intellect и ценность ключевых модулей

Основной механизм Prime Intellect включает в себя:

PRIME-RL: Архитектура задач асинхронного усиленного обучения с разъединением

PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация сценариев обучения, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач на локальном уровне и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.

TOPLOC: Легковесный механизм проверки поведения обучения

TOPLOC является ядром механизма проверки обучаемости, предложенное Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторных вычислений всей модели, а вместо этого анализирует локально согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Впервые он преобразует поведенческие траектории в процессе обучения в объекты, подлежащие проверке, что является ключевым нововведением для реализации распределения наград за обучение без доверия, обеспечивая жизнеспособный путь для построения аудируемой и стимулируемой Децентрализация сети сотрудничества в обучении.

SHARDCAST: Асинхронная агрегация весов и протокол распространения

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронного состояния, что приводит к постепенному сходимости весов и эволюции нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и устойчивость к ошибкам в децентрализованном обучении, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo является независимой реализацией и открытым исходным кодом фреймворка оптимизации связи, разработанного командой Prime Intellect на основе идеи DiLoCo, предложенной DeepMind. Он специально разработан для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы. Его архитектура основана на параллелизме данных, с помощью построения разреженных топологических структур, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации и завершить совместное обучение модели, полагаясь только на локальных соседей узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая участие в глобальном кооперативном обучении и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.

PCCL: Библиотека совместной связи

PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, направленная на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает терпимость к пропускной способности сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, ненадежной сети совместного обучения.

Сеть Prime Intellect и распределение ролей

Prime Intellect построил сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
• Участвующие узлы: выполнение локального обучения, отправка обновлений весов и наблюдение за траекториями
• Верификационные узлы: использование механизма TOPLOC для проверки подлинности поведения обучения и участия в расчете вознаграждения и агрегации стратегий.

Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг "реального тренинга".

INTELLECT-2:Первый проверяемый Децентрализация обучающий модель.

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и впервые реализует предложенную Prime Intellect парадигму "обучение — это согласие". INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первый случай, когда децентрализованная обучающая сеть достигла открытости, верифицируемости и замкнутого экономического стимула в процессе обучения.

В аспекте производительности INTELLECT-2 основан на QwQ-32B и прошёл специализированное RL обучение в коде и математике, находясь на текущей стадии открытого RL дообучения.