AI Eğitim Paradigmasının Evrimi: Merkezi Kontrolden Merkeziyetsizlik İşbirliğine Teknik Devrim
AI'nin tam değer zincirinde, model eğitimi, kaynak tüketimi en yüksek ve teknik eşiği en yüksek aşamadır; bu, modelin yetenek sınırını ve gerçek uygulama etkisini doğrudan belirler. Çıkarım aşamasındaki hafif çağrılarla karşılaştırıldığında, eğitim süreci sürekli olarak büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritması desteği gerektirir; bu, AI sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigması açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalenin odaklandığı Merkeziyetsiz eğitim.
Merkeziyetsizlik eğitimi, tek bir kurum tarafından yerel yüksek performanslı kümeler içinde tamamlanan en yaygın geleneksel yöntemdir. Donanım, alt düzey yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilerek çalışır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır ve GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur. Yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da beraberinde getirir.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir, bunun temelinde model eğitim görevlerinin bölünmesi ve çok sayıda makineye dağıtılarak işbirliği içinde gerçekleştirilmesi bulunmaktadır, bu sayede tek makine hesaplama ve depolama darboğazlarının üstesinden gelinmektedir. Fiziksel olarak "dağıtık" özelliklere sahip olsalar da, genel olarak merkezi bir kuruluş tarafından kontrol edilen, yönetilen ve senkronize edilen bir yapıya sahiptirler, genellikle yüksek hızlı yerel ağ ortamlarında çalışırlar, NVLink yüksek hızlı bağlantı otobüsü teknolojisi sayesinde, ana düğüm her bir alt görevi koordine eder. Ana akım yöntemler arasında:
Veri paralelliği: Her düğüm farklı veri üzerinde eğitim yapar, parametreler paylaşılır, model ağırlıkları eşleşmelidir.
Model paralelliği: Modelin farklı kısımlarını farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlama
Boru Hattı Paralelliği: Aşamalı Seri İcra, Verimliliği Artırma
Tensör paralelliği: Matris hesaplamalarını ince bir şekilde böler, paralellik granülaritesini arttırır.
Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birkaç "ofis" çalışanını görevleri tamamlamak için koordine etmesine benzer. Şu anda neredeyse tüm ana akım büyük modeller (GPT-4, Gemini, LLaMA vb. ) bu yöntemle eğitimlerini tamamlamaktadır.
Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu anlamına gelir. Temel özelliği, birbirine güvenmeyen birden fazla düğümün ( ev bilgisayarları, bulut GPU'ları veya kenar cihazları ) olmaksızın merkezi bir koordinatör aracılığıyla işbirliği yaparak eğitim görevlerini tamamlamasıdır. Genellikle, görev dağıtımı ve işbirliği protokollerle yönlendirilir ve katkının güvenilirliğini sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar şunlardır:
Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordine edilmesi zor, görev bölme verimliliği düşük
İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin.
Birlikte koordine eksikliği: merkezi bir denetleyici yok, görev dağıtımı ve hata geri alma mekanizması karmaşık
Merkeziyetsizlik eğitimi, dünyanın dört bir yanındaki gönüllülerin, her birinin hesaplama gücünü katkıda bulunarak modeli birlikte eğitmesi olarak anlaşılabilir. Ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hâlâ sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanı kapsamaktadır. Fakat "etkili iş birliği + dürüstlük teşviki + doğru sonuçlar" sağlanıp sağlanamayacağı hâlâ erken prototip keşif aşamasındadır.
Federated learning, bir geçiş biçimi olarak dağıtılmışlık ve Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular. Bu, gizlilik uyumuna önem veren senaryolar için uygundur, örneğin sağlık ve finans (. Federated learning, dağıtılmış eğitim mühendislik yapısına ve yerel iş birliği yeteneğine sahiptir, aynı zamanda Merkeziyetsizlik eğitiminde verilerin dağılma avantajını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumlu senaryolar altında "kontrollü merkeziyetsizlik" çözümü olarak görülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizması açısından oldukça ılımlıdır ve daha çok endüstri geçişi için uygun bir dağıtım mimarisi olarak değerlendirilebilir.
) Merkeziyetsizlik eğitimindeki sınırlar, fırsatlar ve gerçek yollar
Eğitim paradigması açısından, merkeziyetsiz eğitim her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin son derece yüksek olması veya işbirliği zorluğu nedeniyle, heterojen, güvenilmez düğümler arasında verimli bir şekilde tamamlanması doğal olarak uygun değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, bu nedenle açık ağlarda etkili bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamalarının güçlü olduğu görevler ###, örneğin sağlık, finans, gizli veriler (, yasal uyumluluk ve etik kısıtlamalardan dolayı açıkça paylaşılamaz; işbirliği teşvik temeli olmayan görevler ), örneğin kurumsal kapalı kaynak modeller veya iç prototip eğitimi (, dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir kavram olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralel hale getirilebilen ve teşvik edici görev türlerinde merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri ), RLHF, DPO (, veri toplama eğitimi ve etiketleme görevleri, kaynak kontrolüne tabi küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları yer almaktadır. Bu görevler genellikle yüksek paralellik, düşük bağımlılık ve heterojen hesaplama gücüne tolerans özellikleri taşır ve bu nedenle P2P ağlar, Swarm protokolü, dağıtık optimizatörler gibi yöntemlerle işbirlikçi eğitim için son derece uygundur.
![AI eğitim paradigmalarının evrimi: Merkezi kontrolünden Merkeziyetsizlik işbirliğine teknik devrim])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp(
) Merkeziyetsizlik eğitim klasik proje analizi
Şu anda merkeziyetsizlik eğitim ve federasyon öğrenimi öncü alanında, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io yer almaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda daha fazla özgün keşif önermiştir ve güncel teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, ilk mühendislik ilerlemeleri gözlemlenmektedir. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik yapılarını sırayla analiz edecek ve merkeziyetsiz AI eğitim sistemindeki farklılıkları ve tamamlayıcı ilişkileri daha derinlemesine tartışacaktır.
Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kendini adamıştır, böylece herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST adlı üç ana modül aracılığıyla, doğrulanabilir, açık ve teşvik mekanizması tam olan bir AI merkeziyetsiz eğitim sistemi inşa etmeyi hedeflemektedir.
Prime Intellect protokol yığını yapısı ve ana modül değerleri:
PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir ve heterojen ağlar ile asenkron katılımcılar için tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız bir şekilde görev döngüsünü tamamlayabilir ve standartlaştırılmış arayüzler aracılığıyla doğrulama ve birleştirme mekanizmaları ile işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitim sağlamak için daha uygundur, bu hem sistem karmaşıklığını azaltır hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.
TOPLOC:Ağırlığı az olan eğitim eylemi doğrulama mekanizması
TOPLOC###Güvenilir Gözlem & Politika-Yerellik Kontrolü(, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayanarak etkili bir politika öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan eğitimde doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔politika güncelleme" arasındaki yerel tutarlılık izini analiz ederek hafif yapı doğrulaması gerçekleştirir. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk uygulama olup, güvenilir olmayan eğitim ödül dağıtımını gerçekleştirmek için kritik bir yenilik sunar ve denetlenebilir, teşvik edici bir Merkeziyetsizlik işbirliği eğitim ağı oluşturmak için uygulanabilir bir yol sağlar.
SHARDCAST: Asenkron Ağırlık Birleştirme ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve birleştirme protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Bu protokol, gossip yayılım mekanizması ile yerel senkronizasyon stratejisini birleştirir, böylece birden fazla düğüm senkronize olmayan durumlarda sürekli kısmi güncellemeler gönderebilir, ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini sağlar. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık mutabakatı ve sürekli eğitim iterasyonu için temel bir altyapıdır.
OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak uygulayıp açık kaynak haline getirdiği bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde yaygın olarak karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklara özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmakta ve Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta, yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti toleransı mekanizmaları ile bir araya getirildiğinde, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazların eğitim görevlerine de istikrarlı bir şekilde katılabilmesini sağlamakta ve küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta, merkeziyetsiz eğitim ağı kurmanın temel iletişim altyapılarından biri olmaktadır.
PCCL: İşbirliği İletişim Kütüphanesi
PCCL)Prime Collective Communication Library(, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Bu kütüphane, geleneksel iletişim kütüphanelerinin), NCCL ve Gloo( gibi heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesintiden kurtarmayı destekler, tüketici seviyesindeki GPU'lar ve kararsız düğümler üzerinde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırır ve gerçekten açık, güven gerektirmeyen işbirlikçi eğitim ağları inşa etmek için "son bir mil" iletişim altyapısını sağlar.
Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herkesin görevlere katılmasını ve gerçek katkılara dayalı ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmalarına sahip bir eğitim ağı inşa etti. Protokol, üç ana rol türüne dayanmaktadır:
Görev başlatıcısı: eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlar
Eğitim Düğümleri: Yerel eğitim yürütme, ağırlık güncellemelerini ve gözlem izlerini gönderme
Doğrulama Düğümleri: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanır ve ödül hesaplaması ile strateji birleştirmesine katılır.
Protokolün ana süreçleri görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme )SHARDCAST( ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.
![AI eğitim paradigmasının evrimi: Merkezî kontrolden Merkeziyetsizlik işbirliğine teknik devrim])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması
Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümleri ile iş birliği içinde eğitilen ilk büyük ölçekli pekiştirmeli öğrenme modelidir ve parametre boyutu 32B'dir. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğüm tarafından iş birliği içinde eğitilmiştir, tamamen asenkron bir yapı kullanarak, eğitim süresi 400 saatten fazla sürmüştür ve asenkron iş birliği ağının uygulanabilirliğini ve istikrarını göstermiştir. Bu model sadece performansta bir atılım değil, aynı zamanda Prime Intellect'in "eğitim, uzlaşmadır" paradigmasının ilk sistematik uygulamasıdır. INTELLECT-2, PRIME-RL) asenkron eğitim yapısını( ve TOPLOC) eğitim davranışını entegre etmiştir.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
11 Likes
Reward
11
8
Share
Comment
0/400
ProxyCollector
· 07-24 16:12
Hala yoğun eğitim mi yapıyorsun? Eski moda!
View OriginalReply0
BrokenYield
· 07-24 16:11
smh merkezi AI eğitimi sadece başka bir tek hata noktası... klasik sistemik risk
View OriginalReply0
fork_in_the_road
· 07-24 10:35
Eğitim maliyeti çok pahalı, küçük şirketler buna katlanamaz.
View OriginalReply0
BuyHighSellLow
· 07-21 17:01
Bu coin yükseldi mi? Anladıysan kaybettim.
View OriginalReply0
TokenVelocityTrauma
· 07-21 17:00
Bunu da böyle oynayabiliriz, heyecanlı!
View OriginalReply0
SigmaValidator
· 07-21 16:55
Ah, kim dedi merkeziyetsiz olamaz?
View OriginalReply0
SignatureDenied
· 07-21 16:41
Boşuna konuşma, antrenman da tamamen para yakma oyunu.
AI eğitim paradigmasının evrimi: Merkezi kontrol sisteminden Merkeziyetsizlik iş birliğine
AI Eğitim Paradigmasının Evrimi: Merkezi Kontrolden Merkeziyetsizlik İşbirliğine Teknik Devrim
AI'nin tam değer zincirinde, model eğitimi, kaynak tüketimi en yüksek ve teknik eşiği en yüksek aşamadır; bu, modelin yetenek sınırını ve gerçek uygulama etkisini doğrudan belirler. Çıkarım aşamasındaki hafif çağrılarla karşılaştırıldığında, eğitim süreci sürekli olarak büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritması desteği gerektirir; bu, AI sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigması açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalenin odaklandığı Merkeziyetsiz eğitim.
Merkeziyetsizlik eğitimi, tek bir kurum tarafından yerel yüksek performanslı kümeler içinde tamamlanan en yaygın geleneksel yöntemdir. Donanım, alt düzey yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilerek çalışır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır ve GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur. Yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da beraberinde getirir.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir, bunun temelinde model eğitim görevlerinin bölünmesi ve çok sayıda makineye dağıtılarak işbirliği içinde gerçekleştirilmesi bulunmaktadır, bu sayede tek makine hesaplama ve depolama darboğazlarının üstesinden gelinmektedir. Fiziksel olarak "dağıtık" özelliklere sahip olsalar da, genel olarak merkezi bir kuruluş tarafından kontrol edilen, yönetilen ve senkronize edilen bir yapıya sahiptirler, genellikle yüksek hızlı yerel ağ ortamlarında çalışırlar, NVLink yüksek hızlı bağlantı otobüsü teknolojisi sayesinde, ana düğüm her bir alt görevi koordine eder. Ana akım yöntemler arasında:
Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birkaç "ofis" çalışanını görevleri tamamlamak için koordine etmesine benzer. Şu anda neredeyse tüm ana akım büyük modeller (GPT-4, Gemini, LLaMA vb. ) bu yöntemle eğitimlerini tamamlamaktadır.
Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu anlamına gelir. Temel özelliği, birbirine güvenmeyen birden fazla düğümün ( ev bilgisayarları, bulut GPU'ları veya kenar cihazları ) olmaksızın merkezi bir koordinatör aracılığıyla işbirliği yaparak eğitim görevlerini tamamlamasıdır. Genellikle, görev dağıtımı ve işbirliği protokollerle yönlendirilir ve katkının güvenilirliğini sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar şunlardır:
Merkeziyetsizlik eğitimi, dünyanın dört bir yanındaki gönüllülerin, her birinin hesaplama gücünü katkıda bulunarak modeli birlikte eğitmesi olarak anlaşılabilir. Ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hâlâ sistematik bir mühendislik zorluğu olup, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanı kapsamaktadır. Fakat "etkili iş birliği + dürüstlük teşviki + doğru sonuçlar" sağlanıp sağlanamayacağı hâlâ erken prototip keşif aşamasındadır.
Federated learning, bir geçiş biçimi olarak dağıtılmışlık ve Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular. Bu, gizlilik uyumuna önem veren senaryolar için uygundur, örneğin sağlık ve finans (. Federated learning, dağıtılmış eğitim mühendislik yapısına ve yerel iş birliği yeteneğine sahiptir, aynı zamanda Merkeziyetsizlik eğitiminde verilerin dağılma avantajını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumlu senaryolar altında "kontrollü merkeziyetsizlik" çözümü olarak görülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizması açısından oldukça ılımlıdır ve daha çok endüstri geçişi için uygun bir dağıtım mimarisi olarak değerlendirilebilir.
) Merkeziyetsizlik eğitimindeki sınırlar, fırsatlar ve gerçek yollar
Eğitim paradigması açısından, merkeziyetsiz eğitim her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin son derece yüksek olması veya işbirliği zorluğu nedeniyle, heterojen, güvenilmez düğümler arasında verimli bir şekilde tamamlanması doğal olarak uygun değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, bu nedenle açık ağlarda etkili bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamalarının güçlü olduğu görevler ###, örneğin sağlık, finans, gizli veriler (, yasal uyumluluk ve etik kısıtlamalardan dolayı açıkça paylaşılamaz; işbirliği teşvik temeli olmayan görevler ), örneğin kurumsal kapalı kaynak modeller veya iç prototip eğitimi (, dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir kavram olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralel hale getirilebilen ve teşvik edici görev türlerinde merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri ), RLHF, DPO (, veri toplama eğitimi ve etiketleme görevleri, kaynak kontrolüne tabi küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları yer almaktadır. Bu görevler genellikle yüksek paralellik, düşük bağımlılık ve heterojen hesaplama gücüne tolerans özellikleri taşır ve bu nedenle P2P ağlar, Swarm protokolü, dağıtık optimizatörler gibi yöntemlerle işbirlikçi eğitim için son derece uygundur.
![AI eğitim paradigmalarının evrimi: Merkezi kontrolünden Merkeziyetsizlik işbirliğine teknik devrim])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp(
) Merkeziyetsizlik eğitim klasik proje analizi
Şu anda merkeziyetsizlik eğitim ve federasyon öğrenimi öncü alanında, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io yer almaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda daha fazla özgün keşif önermiştir ve güncel teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, ilk mühendislik ilerlemeleri gözlemlenmektedir. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik yapılarını sırayla analiz edecek ve merkeziyetsiz AI eğitim sistemindeki farklılıkları ve tamamlayıcı ilişkileri daha derinlemesine tartışacaktır.
Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kendini adamıştır, böylece herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST adlı üç ana modül aracılığıyla, doğrulanabilir, açık ve teşvik mekanizması tam olan bir AI merkeziyetsiz eğitim sistemi inşa etmeyi hedeflemektedir.
Prime Intellect protokol yığını yapısı ve ana modül değerleri:
PRIME-RL: Decoupled Asynchronous Reinforcement Learning Task Architecture
PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir ve heterojen ağlar ile asenkron katılımcılar için tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız bir şekilde görev döngüsünü tamamlayabilir ve standartlaştırılmış arayüzler aracılığıyla doğrulama ve birleştirme mekanizmaları ile işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitim sağlamak için daha uygundur, bu hem sistem karmaşıklığını azaltır hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.
TOPLOC:Ağırlığı az olan eğitim eylemi doğrulama mekanizması
TOPLOC###Güvenilir Gözlem & Politika-Yerellik Kontrolü(, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayanarak etkili bir politika öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan eğitimde doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔politika güncelleme" arasındaki yerel tutarlılık izini analiz ederek hafif yapı doğrulaması gerçekleştirir. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk uygulama olup, güvenilir olmayan eğitim ödül dağıtımını gerçekleştirmek için kritik bir yenilik sunar ve denetlenebilir, teşvik edici bir Merkeziyetsizlik işbirliği eğitim ağı oluşturmak için uygulanabilir bir yol sağlar.
SHARDCAST: Asenkron Ağırlık Birleştirme ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve birleştirme protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Bu protokol, gossip yayılım mekanizması ile yerel senkronizasyon stratejisini birleştirir, böylece birden fazla düğüm senkronize olmayan durumlarda sürekli kısmi güncellemeler gönderebilir, ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini sağlar. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık mutabakatı ve sürekli eğitim iterasyonu için temel bir altyapıdır.
OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak uygulayıp açık kaynak haline getirdiği bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde yaygın olarak karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklara özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmakta ve Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta, yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti toleransı mekanizmaları ile bir araya getirildiğinde, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazların eğitim görevlerine de istikrarlı bir şekilde katılabilmesini sağlamakta ve küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta, merkeziyetsiz eğitim ağı kurmanın temel iletişim altyapılarından biri olmaktadır.
PCCL: İşbirliği İletişim Kütüphanesi
PCCL)Prime Collective Communication Library(, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Bu kütüphane, geleneksel iletişim kütüphanelerinin), NCCL ve Gloo( gibi heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesintiden kurtarmayı destekler, tüketici seviyesindeki GPU'lar ve kararsız düğümler üzerinde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırır ve gerçekten açık, güven gerektirmeyen işbirlikçi eğitim ağları inşa etmek için "son bir mil" iletişim altyapısını sağlar.
Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herkesin görevlere katılmasını ve gerçek katkılara dayalı ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmalarına sahip bir eğitim ağı inşa etti. Protokol, üç ana rol türüne dayanmaktadır:
Protokolün ana süreçleri görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme )SHARDCAST( ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.
![AI eğitim paradigmasının evrimi: Merkezî kontrolden Merkeziyetsizlik işbirliğine teknik devrim])https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp(
INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması
Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümleri ile iş birliği içinde eğitilen ilk büyük ölçekli pekiştirmeli öğrenme modelidir ve parametre boyutu 32B'dir. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğüm tarafından iş birliği içinde eğitilmiştir, tamamen asenkron bir yapı kullanarak, eğitim süresi 400 saatten fazla sürmüştür ve asenkron iş birliği ağının uygulanabilirliğini ve istikrarını göstermiştir. Bu model sadece performansta bir atılım değil, aynı zamanda Prime Intellect'in "eğitim, uzlaşmadır" paradigmasının ilk sistematik uygulamasıdır. INTELLECT-2, PRIME-RL) asenkron eğitim yapısını( ve TOPLOC) eğitim davranışını entegre etmiştir.