Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация сотрудничества в технической революции
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует непрерывных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет обсуждено в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, при котором единый институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, где все компоненты, начиная от аппаратного обеспечения, базового программного обеспечения, системы управления кластером и заканчивая учебными фреймворками, координируются единой контрольной системой. Эта структура глубокой координации обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но при этом существуя проблемы монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его основная идея заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что в физическом смысле он обладает "дистрибутивными" характеристиками, в целом он все еще контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, и главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Параллелизм моделей: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллельные трубы: поэтапное последовательное выполнение, увеличение пропускной способности;
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение степени параллелизма.
Распределенное обучение — это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптоощущения, обеспечивающих честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Отсутствие доверительного выполнения: отсутствие доверительной вычислительной среды затрудняет проверку того, действительно ли узел участвует в вычислениях;
Нехватка единой координации: отсутствие центрального диспетчера, сложная система распределения задач и механизм отката ошибок.
Децентрализация обучения можно понять как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация обучения" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, верификация моделей и так далее, но вопрос о том, может ли это быть "совместным эффективным + стимулирующим честность + правильным результатом", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сцен, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежных координирующих сторон и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценах соблюдения конфиденциальности, где тренировка задач, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного сектора.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими нормами и этическими ограничениями и не могут быть открыто поделены; а задачи, которые не имеют стимулов для сотрудничества, испытывают нехватку внешнего участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не означает, что децентрализованное обучение является ложной концепцией. На самом деле в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулированы, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеобучения, связанные с согласованием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В этой статье последовательно будут разобраны ключевые технологии и инженерные архитектуры, лежащие в основе этих пяти проектов, а также будет дополнительно обсуждено их различие и взаимодополнение в децентрализованной системе обучения ИИ.
Prime Intellect: Проверяемая траектория обучения в сети коллаборации с усилением
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком для моделирования и выполнения задач, специально разработанным Prime Intellect для Децентрализация тренировочных сценариев, предназначенным для гетерогенных сетей и асинхронного участия. Он использует усиленное обучение в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и сотрудничать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: легкий механизм проверки поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от пересчета всей модели, а завершает валидацию легковесной структуры, анализируя локальную последовательность согласованности между "наблюдательными последовательностями ↔ обновление стратегии". Он впервые преобразует траекторию поведения в процессе тренировки в проверяемый объект, являясь ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивирующей сети децентрализованного совместного обучения.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменчивых условий узлов в реальных сетевых средах. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, обеспечивая прогрессивное сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основополагающей базой для построения стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, созданная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и низкоскоростных сетей. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает терпимость сети к полосе пропускания и совместимость устройств, открывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в заданиях и получать вознаграждение за реальные вклады. Протокол функционирует на основе трех основных ролей:
инициатор задачи: определить тренировочную среду, начальную модель, функцию вознаграждения и стандарты валидации
Тренировочный узел: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы верификации: использование механизма TOPLOC для проверки подлинности поведения тренировки и участия в расчете вознаграждений и агрегировании стратегий
Основные процессы соглашения включают в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов и распределение вознаграждений, что создает замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и впервые системно реализует предложенную Prime Intellect парадигму "обучение — это консенсус". INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
9 Лайков
Награда
9
6
Репост
Поделиться
комментарий
0/400
Whale_Whisperer
· 08-12 12:33
Слишком много тратится на это.
Посмотреть ОригиналОтветить0
MemeCurator
· 08-12 12:10
Тренировка сжигает деньги, от этого уже голова болит.
Посмотреть ОригиналОтветить0
LazyDevMiner
· 08-09 17:17
Моделям требуется огромное количество денег для обучения, бедные не могут себе этого позволить.
Посмотреть ОригиналОтветить0
Degentleman
· 08-09 17:12
Не могу играть в централизованные маленькие студии, брат, все уже ушли играть в федерацию.
Посмотреть ОригиналОтветить0
DefiPlaybook
· 08-09 17:10
Тренировка еще не децентрализована? Это же равносильно тому, что смарт-контракты полностью размещены на aws.
Революция в обучении ИИ: технологическая эволюция от централизованных к Децентрализация
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация сотрудничества в технической революции
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, который напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует непрерывных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных оптимизационных алгоритмов, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет обсуждено в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, при котором единый институт выполняет весь процесс обучения на локальном высокопроизводительном кластере, где все компоненты, начиная от аппаратного обеспечения, базового программного обеспечения, системы управления кластером и заканчивая учебными фреймворками, координируются единой контрольной системой. Эта структура глубокой координации обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но при этом существуя проблемы монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его основная идея заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что в физическом смысле он обладает "дистрибутивными" характеристиками, в целом он все еще контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, и главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение — это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов криптоощущения, обеспечивающих честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понять как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация обучения" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, верификация моделей и так далее, но вопрос о том, может ли это быть "совместным эффективным + стимулирующим честность + правильным результатом", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сцен, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежных координирующих сторон и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценах соблюдения конфиденциальности, где тренировка задач, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного сектора.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими нормами и этическими ограничениями и не могут быть открыто поделены; а задачи, которые не имеют стимулов для сотрудничества, испытывают нехватку внешнего участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не означает, что децентрализованное обучение является ложной концепцией. На самом деле в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулированы, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеобучения, связанные с согласованием поведения, задачи обучения и аннотирования данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P-сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В этой статье последовательно будут разобраны ключевые технологии и инженерные архитектуры, лежащие в основе этих пяти проектов, а также будет дополнительно обсуждено их различие и взаимодополнение в децентрализованной системе обучения ИИ.
Prime Intellect: Проверяемая траектория обучения в сети коллаборации с усилением
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Одна, Структура стека протоколов Prime Intellect и ценность ключевых модулей
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком для моделирования и выполнения задач, специально разработанным Prime Intellect для Децентрализация тренировочных сценариев, предназначенным для гетерогенных сетей и асинхронного участия. Он использует усиленное обучение в качестве приоритетного адаптивного объекта, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать циклы задач локально и сотрудничать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: легкий механизм проверки поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от пересчета всей модели, а завершает валидацию легковесной структуры, анализируя локальную последовательность согласованности между "наблюдательными последовательностями ↔ обновление стратегии". Он впервые преобразует траекторию поведения в процессе тренировки в проверяемый объект, являясь ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивирующей сети децентрализованного совместного обучения.
SHARDCAST: Протокол асинхронной агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и изменчивых условий узлов в реальных сетевых средах. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, обеспечивая прогрессивное сходимость весов и многоверсионную эволюцию. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основополагающей базой для построения стабильного консенсуса весов и непрерывной итерации обучения.
OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, созданная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе Децентрализация обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и устройствам на краю сети стабильно участвовать в обучающих задачах, значительно повышая доступность глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и низкоскоростных сетей. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает терпимость сети к полосе пропускания и совместимость устройств, открывая «последнюю милю» коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три. Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в заданиях и получать вознаграждение за реальные вклады. Протокол функционирует на основе трех основных ролей:
Основные процессы соглашения включают в себя публикацию задач, обучение узлов, валидацию траекторий, агрегацию весов и распределение вознаграждений, что создает замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры. Время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной кооперативной сети. Эта модель не только является прорывом в производительности, но и впервые системно реализует предложенную Prime Intellect парадигму "обучение — это консенсус". INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой Децентрализация.