Децентрализация хранилищ: долгий путь от концепции до практики

Децентрализация хранения когда-то была одной из популярных ниш в блокчейн-индустрии. Filecoin, как ведущий проект предыдущего бычьего рынка, в какой-то момент имел рыночную капитализацию, превышающую 10 миллиардов долларов. Arweave, благодаря концепции постоянного хранения, также достиг капитализации в 3,5 миллиарда долларов. Однако, с учетом сомнений в доступности холодного хранения данных, необходимость постоянного хранения также подверглась сомнению, и вопрос о том, сможет ли Децентрализация хранения действительно стать реальностью, остается открытым.

Недавно появление Walrus принесло новую жизнь в давно затихшую сферу хранения данных. Проект Shelby, запущенный совместно Aptos и Jump Crypto, пытается добиться прорыва в области горячего хранения данных. Так возможно ли, что Децентрализация хранения данных вернется и предоставит решения для широкого спектра приложений? Или это всего лишь еще один виток спекуляций? В этой статье мы проанализируем пути развития четырех проектов: Filecoin, Arweave, Walrus и Shelby, чтобы исследовать изменения в нарративе Децентрализации хранения данных и попытаться ответить на вопрос: насколько далеко еще путь к популяризации Децентрализации хранения данных?

Filecoin: Хранение — это лишь видимость, а майнинг — это суть

Filecoin является одной из ранних возвраставших криптовалют, и его направление развития, естественно, сосредоточено на Децентрализации. Это общая характеристика ранних криптовалют — искать смысл Децентрализации в различных традиционных областях. Filecoin не является исключением, он связывает хранение с Децентрализацией и указывает на проблемы доверия централизованных поставщиков услуг хранения данных. Таким образом, цель Filecoin заключается в том, чтобы перейти от централизованного хранения к Децентрализованному хранению. Однако некоторые аспекты, которые были жертвованы в процессе достижения Децентрализации, стали теми болевыми точками, которые позднее попытались решить проекты Arweave или Walrus. Чтобы понять, почему Filecoin на самом деле является просто майнинг-криптовалютой, необходимо понять объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.

IPFS:Децентрализация архитектуры передачи узких мест

IPFS( Межзвёздная файловая система) была представлена около 2015 года с целью революционизировать традиционный протокол HTTP через адресацию по содержимому. Главный недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные поставщики данных могут достигать откликов на уровне миллисекунд, получение файла через IPFS всё ещё занимает десятки секунд, что затрудняет его внедрение в реальных приложениях и объясняет, почему, кроме нескольких блокчейн-проектов, он редко используется в традиционной индустрии.

Основной P2P-протокол на базе IPFS в основном подходит для "холодных данных", то есть для статического контента, который не часто меняется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения с использованием искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.

Хотя IPFS сам по себе не является блокчейном, его концепция дизайна на основе ориентированного ациклического графа (DAG) в значительной степени соответствует многим публичным блокчейнам и протоколам Web3, что делает его естественным выбором в качестве основы для блокчейна. Поэтому, даже если у него нет практической ценности, как основная структура для блокчейн-нарратива он уже достаточно хорош; ранним проектам-клонам просто нужна была работоспособная структура, чтобы начать путь к звёздам и морям. Но когда Filecoin достиг определённой стадии развития, серьезные недостатки IPFS начали препятствовать его прогрессу.

Логика майнинговых монет под внешней оболочкой

Изначальная цель дизайна IPFS заключалась в том, чтобы позволить пользователям хранить данные и одновременно быть частью сети хранения. Однако без экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей просто сохранят файлы на IPFS, но не будут вносить свой объем хранилища и не будут хранить файлы других. Именно на таком фоне возник Filecoin.

В модели токеномики Filecoin основными ролями являются три: пользователи отвечают за оплату услуг хранения данных; майнеры хранения получают токенальные стимулы за хранение данных пользователей; майнеры извлечения предоставляют данные по запросу пользователей и получают вознаграждение.

Эта модель имеет потенциальное пространство для злонамеренных действий. Хранители данных могут заполнять мусорными данными после предоставления хранилища, чтобы получить вознаграждение. Поскольку эти мусорные данные не подлежат извлечению, их потеря не активирует механизм штрафования для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копии в Filecoin может гарантировать, что пользовательские данные не были удалены без разрешения, но не может предотвратить заполнение мусорными данными.

Функционирование Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Несмотря на то что проект продолжает итерации, на данном этапе построение экосистемы Filecoin больше соответствует определению "логики майнинга", а не "приложений".

Arweave: Успех благодаря долгосрочной стратегии, провал из-за долгосрочной стратегии

Если говорить о том, что дизайн Filecoin направлен на создание стимулирующей, проверяемой Децентрализации "облака данных", то Arweave движется в другую крайность в области хранения: предоставление возможности постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, его вся система строится вокруг одной ключевой гипотезы - важные данные должны храниться единожды и оставаться в сети навсегда. Эта крайняя долгосрочность делает Arweave совершенно отличным от Filecoin как по механизму, так и по модели стимулов, от требований к оборудованию до нарратива.

Arweave использует биткойн в качестве объекта обучения, пытаясь постоянно оптимизировать свою сеть постоянного хранения на долгосрочной основе, измеряемой годами. Arweave не заботится о маркетинге, не беспокоится о конкурентах и трендах на рынке. Он просто продолжает двигаться вперед по пути итерации сетевой архитектуры, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности, Arweave пользовался большой популярностью в предыдущем бычьем рынке; и также благодаря долгосрочности, даже упав на дно, Arweave все еще может пережить несколько раундов бычьего и медвежьего рынков. Но останется ли место для Arweave в будущем децентрализованном хранении? Существующая ценность постоянного хранения может быть доказана только временем.

С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю обсуждаемости на рынке, она продолжает работать над тем, чтобы большее количество майнеров могло участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, что способствует постоянному повышению устойчивости всей сети. Arweave хорошо осознает, что не соответствует рыночным предпочтениям, поэтому выбрала консервативный путь, не принимая майнинг-сообщества, экосистема полностью застопорилась, с минимальными затратами обновляя основную сеть, при этом постоянно снижая аппаратные требования без ущерба для безопасности сети.

Обзор пути обновления 1.5-2.9

Версия Arweave 1.5 выявила уязвимость, позволяющую майнерам полагаться на стек GPU вместо реального хранения для оптимизации вероятности создания блока. Чтобы сдержать эту тенденцию, версия 1.7 вводит алгоритм RandomX, ограничивая использование специализированной вычислительной мощности и требуя участия универсальных ЦП в майнинге, что ослабляет централизацию вычислительной мощности.

В версии 2.0 Arweave использует SPoA, преобразуя доказательства данных в компактный путь структуры дерева Меркла и вводя транзакции формата 2 для уменьшения нагрузки синхронизации. Эта архитектура облегчает давление на пропускную способность сети, значительно усиливая способность узлов к совместной работе. Тем не менее, некоторые майнеры все еще могут избежать ответственности за реальное хранение данных с помощью стратегии централизованных высокоскоростных хранилищ.

Для коррекции этого уклона в версии 2.4 был представлен механизм SPoRA, который вводит глобальный индекс и медленный хэш для случайного доступа, заставляя майнеров действительно владеть блоками данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и высокоскоростных устройств для чтения и записи. В версии 2.6 был введен контроль ритма создания блоков с помощью хэш-цепочки, что сбалансировало предельную полезность высокопроизводительных устройств и предоставило равные возможности для участия малым и средним майнерам.

Последующие версии进一步强化 сетевое сотрудничество и разнообразие хранения: 2.7 добавляет механизмы совместного майнинга и майнинг-пулов, повышая конкурентоспособность мелких майнеров; 2.8 представляет механизм композитной упаковки, позволяющий устройствам с большой емкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно увеличивая эффективность и снижающую зависимость от вычислений, завершая замкнутый цикл модели майнинга, ориентированной на данные.

В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: продолжая сопротивляться тенденции централизации вычислительной мощности, он постоянно снижает барьеры для участия, обеспечивая возможность долгосрочной работы протокола.

Walrus: Объятие горячих данных — это мода или скрытая мудрость?

Дизайн Walrus принципиально отличается от Filecoin и Arweave. Исходная точка Filecoin заключается в создании децентрализованной проверяемой системы хранения, ценой которой является хранение холодных данных; исходная точка Arweave — это создание онлайновой Александрийской библиотеки, которая может хранить данные навсегда, ценой которой является слишком мало сценариев; исходная точка Walrus заключается в оптимизации затрат на хранение для протокола хранения горячих данных.

Магия модифицированных кодов исправления: инновация в затратах или старая песня в новых бутылках?

В отношении дизайна стоимости хранения Walrus считает, что затраты на хранение Filecoin и Arweave неразумны, так как оба используют полностью копируемую архитектуру, основным преимуществом которой является то, что каждый узел имеет полную копию, что обеспечивает высокую отказоустойчивость и независимость между узлами. Такая архитектура может гарантировать, что даже если часть узлов отключена, сеть все равно сохраняет доступность данных. Однако это также означает, что системе требуется многократное резервирование для поддержания надежности, что, в свою очередь, повышает стоимость хранения. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет резервное хранение узлов, чтобы повысить безопасность данных. В отличие от этого, Filecoin более гибок в контроле затрат, но ценой этого является то, что некоторые низкозатратные хранилища могут иметь более высокий риск потери данных. Walrus пытается найти баланс между этими двумя подходами, его механизм контролирует затраты на копирование, одновременно увеличивая доступность с помощью структурированного резервирования, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.

Redstuff, разработанный Walrus, является ключевой технологией для снижения избыточности узлов, он основан на кодировании Рида-Соломона ( RS ). Кодирование RS - это очень традиционный алгоритм кодов исправления ошибок, который позволяет удвоить набор данных путем добавления избыточных фрагментов ( erasure code ), и может быть использован для восстановления оригинальных данных. От CD-ROM до спутниковой связи и QR-кодов, он часто используется в повседневной жизни.

Коды исправления ошибок позволяют пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами исправления ошибок. Если любой байт в блоке потерян, пользователь может легко восстановить эти байты с помощью кода. Даже если потерян блок размером до 1 МБ, вы можете восстановить весь блок. Технология аналогичного типа позволяет компьютерам считывать все данные с CD-ROM, даже если он поврежден.

В настоящее время наиболее распространенным является кодирование РС. Реализация заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в разных координатах x, чтобы получить кодовые блоки. Используя коды РС, вероятность случайной выборки больших объемов потерянных данных очень мала.

Какова основная особенность RedStuff? Благодаря улучшенному алгоритму кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные блоки данных в более мелкие фрагменты, которые распределенно хранятся в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя лишь часть фрагментов. Это стало возможным при сохранении коэффициента репликации всего лишь от 4 до 5 раз.

Таким образом, определение Walrus как легковесного протокола избыточности и восстановления, переработанного для децентрализованного сценария, является разумным. В отличие от традиционных кодов корректировки ошибок (, таких как Рид-Соломон ), RedStuff больше не стремится к строгой математической согласованности, а вместо этого принимает реалистичные компромиссы в отношении распределения данных, проверки хранения и вычислительных затрат. Эта модель отказывается от механизма немедленного декодирования, требуемого централизованным планированием, и вместо этого использует проверку на основе Proof в блокчейне, чтобы подтвердить, имеют ли узлы определенные копии данных, что позволяет адаптироваться к более динамичной, маргинализованной сетевой структуре.

Ядро дизайна RedStuff заключается в разделении данных на два типа: основные срезы и вторичные срезы. Основные срезы используются для восстановления исходных данных, их создание и распределение подвержены строгим ограничениям, порог восстановления составляет f+1, и требуется 2f+1 подписей в качестве подтверждения доступности; вторичные срезы же...