Исследование передового опыта Децентрализации тренировок
В полной цепочке создания стоимости искусственного интеллекта обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это самый распространенный традиционный метод, при котором все процессы обучения выполняются одним учреждением на локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, низкоуровенного программного обеспечения, системы управления кластером и заканчивая всеми компонентами обучающего фреймворка, которые координируются единым управляющим системой. Эта глубокая координация архитектуры позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает его очень подходящим для обучения крупных моделей, таких как GPT и Gemini, имея преимущества высокой эффективности и управляемых ресурсов, но одновременно сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределённое обучение является основным способом обучения современных больших моделей, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически имеется "дистрибутивная" характеристика, в целом процесс всё равно контролируется централизованной организацией, которая управляет синхронизацией и распределением, часто осуществляется в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельная обработка: поэтапное последовательное выполнение, повышение пропускной способности
Тензорная параллельность: детальная сегментация матричных вычислений, повышение степени параллелизма
Распределенное обучение — это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет совместной работой сотрудников из нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, которые управляют распределением задач и сотрудничеством, а также с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенные устройства и трудности разделения: высокая сложность координации гетерогенных устройств и низкая эффективность разделения задач
Отсутствие доверенного исполнения: нехватка доверенной среды исполнения, трудно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката ошибок
Децентрализация тренировки можно понимать как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы и валидация моделей, но возможность "совместного эффекта + стимулы для честности + правильные результаты" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сцен с акцентом на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно имея преимущества распределенных данных в Децентрализация обучения, но по-прежнему полагается на доверенные координирующие стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной структуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, ненадежных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, связанные с конфиденциальностью данных и жесткими ограничениями суверенитета, ограничены юридическими и этическими нормами, что делает невозможным открытое распространение; а задачи, лишенные основы для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной идеей. На самом деле, в типах задач, которые имеют легкую структуру, легко параллелизируются и поощряют участие, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеподготовки с выравниванием поведения, краудсорсинговое обучение и аннотирование данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализации тренировок и федеративного обучения ведущими блокчейн-проектами являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации.
Prime Intellect: Проверяемые тренировочные траектории для согласованной сети усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Подробное объяснение основной механики
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, созданным Prime Intellect для децентрализованных тренировочных сценариев, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо завершать циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами верификации и агрегации. В отличие от традиционного процесса обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной координации, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения обучения
TOPLOC — это механизм核心可验证性, предложенный Prime Intellect, который используется для определения, действительно ли узел на основе наблюдаемых данных завершил эффективное обучение стратегии. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а вместо этого осуществляет легковесную структурную верификацию, анализируя локальные последовательности согласованности между "наблюдательными последовательностями↔обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для достижения распределения вознаграждений за обучение без необходимости доверия, обеспечивая практический путь для создания可审计,可激励的 Децентрализация сотрудничества в обучении.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол весовой передачи и агрегации, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и с переменным состоянием узлов в реальных сетевых условиях. Он сочетает в себе механизмы передачи gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной платформы, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь лишь на локальных соседних узлов для совместного обучения моделей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения, что делает его одним из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для Децентрализация среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect Ин incentivizing сеть и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешения, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет среду обучения, начальную модель, функцию вознаграждения и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности учебного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траектории, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
INTELLECT-2: Первый выпущенный верифицируемый Децентрализация обучающий модель
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронной, не требующей доверия Децентрализации узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была разработана с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полностью асинхронной архитектурой, длительность обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперационной сети. Эта модель не только представляет собой прорыв в производительности, но и является первым системным внедрением парадигмы "обучение — это консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, проверяемости и экономического стимула в процессе обучения децентрализованной сети.
В плане производительности INTELLECT-2 основан на обучении QwQ-32B и прошел специализированное обучение RL в коде и математике, находясь на переднем крае современных открытых моделей RL. Несмотря на то, что он еще не превзошел GPT-4 или
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Децентрализация тренировка: новая парадигма и передовые исследования в области ИИ
Исследование передового опыта Децентрализации тренировок
В полной цепочке создания стоимости искусственного интеллекта обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных вычислительных мощностей, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что является настоящей "тяжелой промышленностью" в построении AI-систем. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основным предметом обсуждения в данной статье.
Централизованное обучение — это самый распространенный традиционный метод, при котором все процессы обучения выполняются одним учреждением на локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, низкоуровенного программного обеспечения, системы управления кластером и заканчивая всеми компонентами обучающего фреймворка, которые координируются единым управляющим системой. Эта глубокая координация архитектуры позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает его очень подходящим для обучения крупных моделей, таких как GPT и Gemini, имея преимущества высокой эффективности и управляемых ресурсов, но одновременно сталкиваясь с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределённое обучение является основным способом обучения современных больших моделей, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически имеется "дистрибутивная" характеристика, в целом процесс всё равно контролируется централизованной организацией, которая управляет синхронизацией и распределением, часто осуществляется в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует подзадачи. Основные методы включают:
Распределенное обучение — это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет совместной работой сотрудников из нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, которые управляют распределением задач и сотрудничеством, а также с использованием криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей такие аспекты, как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы и валидация моделей, но возможность "совместного эффекта + стимулы для честности + правильные результаты" все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сцен с акцентом на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно имея преимущества распределенных данных в Децентрализация обучения, но по-прежнему полагается на доверенные координирующие стороны и не обладает полностью открытыми и антицензурными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной структуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, ненадежных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, связанные с конфиденциальностью данных и жесткими ограничениями суверенитета, ограничены юридическими и этическими нормами, что делает невозможным открытое распространение; а задачи, лишенные основы для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной идеей. На самом деле, в типах задач, которые имеют легкую структуру, легко параллелизируются и поощряют участие, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: дообучение LoRA, задачи послеподготовки с выравниванием поведения, краудсорсинговое обучение и аннотирование данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализации тренировок и федеративного обучения ведущими блокчейн-проектами являются Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации.
Prime Intellect: Проверяемые тренировочные траектории для согласованной сети усиленного обучения
Prime Intellect стремится создать сеть обучения ИИ, которая не требует доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Подробное объяснение основной механики
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования и выполнения задач, созданным Prime Intellect для децентрализованных тренировочных сценариев, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо завершать циклы задач локально и сотрудничать через стандартизированные интерфейсы с механизмами верификации и агрегации. В отличие от традиционного процесса обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центральной координации, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации поведения обучения
TOPLOC — это механизм核心可验证性, предложенный Prime Intellect, который используется для определения, действительно ли узел на основе наблюдаемых данных завершил эффективное обучение стратегии. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а вместо этого осуществляет легковесную структурную верификацию, анализируя локальные последовательности согласованности между "наблюдательными последовательностями↔обновлениями стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для достижения распределения вознаграждений за обучение без необходимости доверия, обеспечивая практический путь для создания可审计,可激励的 Децентрализация сотрудничества в обучении.
SHARDCAST: Асинхронный протокол агрегирования и распространения весов
SHARDCAST — это протокол весовой передачи и агрегации, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и с переменным состоянием узлов в реальных сетевых условиях. Он сочетает в себе механизмы передачи gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям в децентрализованном обучении, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo:Разреженная асинхронная коммуникационная платформа
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной платформы, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в децентрализованном обучении. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь лишь на локальных соседних узлов для совместного обучения моделей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального совместного обучения, что делает его одним из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для Децентрализация среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect Ин incentivizing сеть и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешения, может быть проверена и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траектории, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".
INTELLECT-2: Первый выпущенный верифицируемый Децентрализация обучающий модель
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная с помощью асинхронной, не требующей доверия Децентрализации узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была разработана с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полностью асинхронной архитектурой, длительность обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной кооперационной сети. Эта модель не только представляет собой прорыв в производительности, но и является первым системным внедрением парадигмы "обучение — это консенсус", предложенной Prime Intellect. INTELLECT-2 интегрировала ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, проверяемости и экономического стимула в процессе обучения децентрализованной сети.
В плане производительности INTELLECT-2 основан на обучении QwQ-32B и прошел специализированное обучение RL в коде и математике, находясь на переднем крае современных открытых моделей RL. Несмотря на то, что он еще не превзошел GPT-4 или