Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация совместной технологии революции
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание в данной статье.
Централизованная тренировка является наиболее распространенным традиционным методом, осуществляемым единственной организацией в локальном высокопроизводительном кластере, где весь процесс тренировки выполняется от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов тренировочной рамки, которые координируются единой системой управления. Эта архитектура глубокой координации позволяет достичь наилучшей эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для тренировки крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но в то же время имея такие проблемы, как монополия данных, барьеры ресурсов, потребление энергии и риск единой точки.
Распределенная тренировка является основным способом тренировки больших моделей в настоящее время, ее суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Хотя физически она обладает "распределенными" характеристиками, в целом она все еще контролируется централизованными организациями для управления и синхронизации, обычно работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные с общими параметрами, необходимо сопоставить веса модели
Модельная параллельность: развертывание различных частей модели на разных узлах для обеспечения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышающее пропускную способность
Тензорное параллельное вычисление: уточненное разделение матричных вычислений, повышение степени параллелизма
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими офисными работниками для совместного выполнения задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре дорожную карту будущего. Его ключевая особенность заключается в том, что несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или периферийными устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность согласования гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сетевое соединение, явные узкие места в синхронизации градиентов
Отсутствие надежного выполнения: отсутствие надежной среды выполнения, трудно проверить, действительно ли узлы участвуют в вычислениях
Недостаток единой координации: отсутствует центральный диспетчер, сложное распределение задач и механизм отката при исключениях
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" остается системной инженерной задачей, затрагивающей множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и др., но возможность "совместной эффективности + стимуляции честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина и финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но все еще зависит от надежных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структуры доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
) Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых случаях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ###, такие как медицина, финансы и конфиденциальные данные (, ограничены юридическими нормами и этическими ограничениями, и не могут быть открыто поделены; а задачи, которые не имеют оснований для совместного стимулирования ), такие как закрытые модели компаний или внутреннее обучение прототипов (, лишены внешнего мотива для участия. Эти границы вместе составляют реальные ограничения Децентрализованного обучения в настоящее время.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулированы, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послебазовой тренировки, такие как RLHF, DPO), задачи по обучению и аннотированию данных с использованием краудсорсинга, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способны терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и так далее.
( Децентрализация тренировочного классического проекта анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмового проектирования, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, мы можем увидеть предварительный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также далее обсуждаются их различия и взаимодополняющие отношения в рамках системы Децентрализация AI обучения.
)# Prime Intellect: Проверяемая траектория обучения для усиленного обучения в кооперативной сети
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полностью развитой системой стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей:
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация учебных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в среде без центрального управления, что снижает сложность системы и закладывает основу для поддержки многозадачности и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC###Доверенное Наблюдение & Проверка Политики-Локальности### является основным механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые превращает поведенческие траектории в процессе обучения в объекты, которые можно проверить, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для создания可审计,可激励的去中心化协作训练网络.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, который оптимизирован для реальных сетевых условий с асинхронными, ограниченными по пропускной способности и изменяющимися состояниями узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает постепенную сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного коммуникационного фреймворка, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанного для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, часто встречающиеся в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и строит разреженные топологии, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой для связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, предназначенной для решения проблем адаптации традиционных библиотек связи(, таких как NCCL, Gloo), на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает допустимость пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Стимулирующая сеть Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол работает на основе трех основных ролей:
Автор задачи: определяет среду обучения, начальную модель, функцию вознаграждения и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки истинности поведения обучения, а также участие в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, доверительных децентрализованных узлов, с параметрами размером 32B. Модель INTELLECT-2 была окончена благодаря совместному обучению более чем 100 гетерогенных узлов GPU, распределенных по трем континентам, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперационной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрировала асинхронную структуру обучения PRIME-RL(, TOPLOC) обучающего поведения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
8
Поделиться
комментарий
0/400
ProxyCollector
· 07-24 16:12
Все еще в сосредоточенной тренировке? Это уже устарело.
Посмотреть ОригиналОтветить0
BrokenYield
· 07-24 16:11
smh централизованное обучение ИИ - это просто еще одна единственная точка отказа... классический системный риск
Посмотреть ОригиналОтветить0
fork_in_the_road
· 07-24 10:35
Тренировочные расходы слишком высоки, маленькие компании не могут себе этого позволить.
Посмотреть ОригиналОтветить0
BuyHighSellLow
· 07-21 17:01
Этот токен вырос? Если поймешь, то я проиграл.
Посмотреть ОригиналОтветить0
TokenVelocityTrauma
· 07-21 17:00
Можно так играть, круто!
Посмотреть ОригиналОтветить0
SigmaValidator
· 07-21 16:55
Ах, кто сказал, что децентрализация невозможна?
Посмотреть ОригиналОтветить0
SignatureDenied
· 07-21 16:41
Не преувеличивай, тренировки тоже чисто затратная игра.
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализацияному сотрудничеству
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация совместной технологии революции
В полной цепочке создания ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено внимание в данной статье.
Централизованная тренировка является наиболее распространенным традиционным методом, осуществляемым единственной организацией в локальном высокопроизводительном кластере, где весь процесс тренировки выполняется от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов тренировочной рамки, которые координируются единой системой управления. Эта архитектура глубокой координации позволяет достичь наилучшей эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для тренировки крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но в то же время имея такие проблемы, как монополия данных, барьеры ресурсов, потребление энергии и риск единой точки.
Распределенная тренировка является основным способом тренировки больших моделей в настоящее время, ее суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Хотя физически она обладает "распределенными" характеристиками, в целом она все еще контролируется централизованными организациями для управления и синхронизации, обычно работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими офисными работниками для совместного выполнения задач. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре дорожную карту будущего. Его ключевая особенность заключается в том, что несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или периферийными устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно жизнеспособная масштабируемая децентрализация тренировки" остается системной инженерной задачей, затрагивающей множество аспектов, таких как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и др., но возможность "совместной эффективности + стимуляции честности + правильных результатов" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина и финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но все еще зависит от надежных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структуры доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
) Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых случаях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ###, такие как медицина, финансы и конфиденциальные данные (, ограничены юридическими нормами и этическими ограничениями, и не могут быть открыто поделены; а задачи, которые не имеют оснований для совместного стимулирования ), такие как закрытые модели компаний или внутреннее обучение прототипов (, лишены внешнего мотива для участия. Эти границы вместе составляют реальные ограничения Децентрализованного обучения в настоящее время.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулированы, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послебазовой тренировки, такие как RLHF, DPO), задачи по обучению и аннотированию данных с использованием краудсорсинга, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и способны терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и так далее.
( Децентрализация тренировочного классического проекта анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмового проектирования, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, мы можем увидеть предварительный прогресс в инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также далее обсуждаются их различия и взаимодополняющие отношения в рамках системы Децентрализация AI обучения.
)# Prime Intellect: Проверяемая траектория обучения для усиленного обучения в кооперативной сети
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полностью развитой системой стимулов, используя три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеков протокола Prime Intellect и ценность ключевых модулей:
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, разработанным Prime Intellect для Децентрализация учебных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в среде без центрального управления, что снижает сложность системы и закладывает основу для поддержки многозадачности и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения тренировок
TOPLOC###Доверенное Наблюдение & Проверка Политики-Локальности### является основным механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Он впервые превращает поведенческие траектории в процессе обучения в объекты, которые можно проверить, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет осуществимый путь для создания可审计,可激励的去中心化协作训练网络.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, который оптимизирован для реальных сетевых условий с асинхронными, ограниченными по пропускной способности и изменяющимися состояниями узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает постепенную сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированного коммуникационного фреймворка, разработанного командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально разработанного для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, часто встречающиеся в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных и строит разреженные топологии, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой для связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, предназначенной для решения проблем адаптации традиционных библиотек связи(, таких как NCCL, Gloo), на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает допустимость пропускной способности сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Стимулирующая сеть Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждения за реальные вклады. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
INTELLECT-2:Первый выпущенный可验证ный Децентрализация обучающий модель.
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, доверительных децентрализованных узлов, с параметрами размером 32B. Модель INTELLECT-2 была окончена благодаря совместному обучению более чем 100 гетерогенных узлов GPU, распределенных по трем континентам, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперационной сети. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение равно консенсус" предложенной Prime Intellect. INTELLECT-2 интегрировала асинхронную структуру обучения PRIME-RL(, TOPLOC) обучающего поведения.