Децентрализация хранения: от концептуального хайпа до практического применения
Хранение когда-то было одной из популярных областей в индустрии блокчейна. Filecoin, будучи лидером последнего бычьего рынка, на время превышал рыночную капитализацию в 10 миллиардов долларов. Arweave с акцентом на постоянное хранение достиг максимальной капитализации в 3,5 миллиарда долларов. Однако, с сомнениями относительно осуществимости хранения холодных данных, необходимость в постоянном хранении также подверглась сомнению. Может ли децентрализованное хранение действительно стать жизнеспособным - большой вопрос. Появление Walrus принесло новую жизнь в давно затихшую нарратив о хранении, а теперь Aptos и Jump Crypto запустили Shelby, чтобы повысить применение децентрализованного хранения в области горячих данных. Итак, сможет ли децентрализованное хранение вернуться и предложить широкий спектр приложений? Или это снова всего лишь спекуляция? В этой статье мы рассмотрим развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, проанализируем изменения в нарративе децентрализованного хранения и обсудим, как далеко еще нужно пройти для его распространения.
Filecoin: Поверхностное хранилище, на самом деле майнинг
Filecoin является одним из ранних токенов, и его развитие естественно сосредоточено на Децентрализации. Это общая черта того времени для альткоинов — искать смысл Децентрализации в различных традиционных областях. Filecoin не является исключением, он связывает хранение с Децентрализацией и указывает на недостатки централизованного хранения данных: предположение о доверии к централизованным поставщикам услуг хранения. Таким образом, Filecoin пытается преобразовать централизованное хранение в Децентрализованное. Тем не менее, некоторые аспекты, пожертвованные ради Децентрализации, впоследствии стали болью, которую такие проекты, как Arweave или Walrus, пытались решить. Чтобы понять, почему Filecoin по сути является просто майнинг-токеном, необходимо осознать объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS:Децентрализация архитектура, ограниченная узкими местами передачи
IPFS( Межзвёздная файловая система) появилась примерно в 2015 году с целью революционизировать традиционный протокол HTTP с помощью адресации по содержимому. Основной недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные поставщики данных могут достигать откликов на уровне миллисекунд, получение файла в IPFS все еще занимает десятки секунд, что затрудняет его внедрение в практическое применение и объясняет, почему, кроме нескольких блокчейн-проектов, он редко используется в традиционной отрасли.
P2P-протокол, лежащий в основе IPFS, в основном подходит для "холодных данных", то есть для статического контента, который не часто изменяется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения на основе искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Несмотря на то, что IPFS сам по себе не является блокчейном, его концепция дизайна на основе ориентированного ациклического графа (DAG) в высокой степени соответствует многим публичным блокчейнам и протоколам Web3, что делает его естественно подходящим в качестве базовой строительной рамки для блокчейна. Поэтому, даже если у него нет практической ценности, как базовая структура для повествования о блокчейне, этого уже достаточно. Ранние проекты-клоны могли просто использовать работающую рамку, чтобы начать грандиозное видение, но когда Filecoin достиг определённой стадии, врождённые недостатки IPFS начали препятствовать его продвижению.
Логика майнинга под оболочкой хранения
Изначальная идея дизайна IPFS заключалась в том, чтобы пользователи, храня данные, также стали частью сети хранения. Однако без экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, но не будут вносить свой собственный объем хранения и не будут хранить файлы других. Именно на этом фоне появился Filecoin.
В модели токеномики Filecoin основными ролями являются три: пользователи отвечают за оплату за хранение данных; майнеры хранилищ получают токены в качестве вознаграждения за хранение данных пользователей; майнеры извлечения предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут извлекаться, даже если они будут потеряны, это не вызовет механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования в Filecoin может гарантировать, что пользовательские данные не были удалены без разрешения, но не может предотвратить заполнение мусорными данными со стороны майнеров.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает итерации, на текущем этапе экосистема Filecoin больше соответствует определению «логики майнинга», чем «приложению-ориентированному» проекту хранения.
Arweave: Успех и неудача долгосрочного подхода
Если говорить о том, что цель дизайна Filecoin заключается в создании стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в другом направлении хранения на крайности: предоставляет возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, вся ее система строится вокруг одной ключевой гипотезы - важные данные должны храниться единожды и навсегда оставаться в сети. Эта крайняя долгосрочная перспектива делает Arweave совершенно отличным от Filecoin как по механизмам, так и по стимулирующим моделям, от требований к аппаратному обеспечению до нарратива.
Arweave, изучая биткойн, стремится постоянно оптимизировать свою сеть постоянного хранения на длинных временных интервалах, измеряемых годами. Arweave не заботится о маркетинге, не интересуется конкурентами и тенденциями рынка. Он просто продолжает двигаться вперед по пути итерации архитектуры сети, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большим спросом в прошлый бычий рынок; также из-за долгосрочности, даже упав до дна, Arweave все еще может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованном хранении?
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю рыночной дискуссии, она продолжает работать над тем, чтобы позволить более широкому кругу майнеров участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, что постоянно повышает устойчивость всей сети. Arweave отлично понимает, что не соответствует рыночным предпочтениям, поэтому придерживается осторожного подхода, не объединяясь с майнерскими группами, экосистема полностью остановилась, обновляя основную сеть с минимальными затратами и постоянно снижая порог оборудования, не нанося ущерба безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, при которой майнеры могли полагаться на стек GPU, а не на реальное хранилище, чтобы оптимизировать вероятность создания блока. Чтобы сдержать эту тенденцию, версия 1.7 введет алгоритм RandomX, ограничивая использование специализированной вычислительной мощности и требуя участия универсальных ЦПУ в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в лаконичный путь структуры Меркла и вводя транзакции формата 2 для уменьшения нагрузки на синхронизацию. Эта архитектура снижает давление на сетевую пропускную способность, значительно улучшая совместные возможности узлов. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных, используя стратегию централизованных высокоскоростных хранилищ.
Для корректировки этого уклона в версии 2.4 был введен механизм SPoRA, который включает глобальный индекс и медленный хэш для случайного доступа, заставляя майнеров реально держать блоки данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 был введен контроль темпа создания блоков с помощью хэш-цепочки, что сбалансировало предельную полезность высокопроизводительных устройств и обеспечило公平ное участие для мелких и средних майнеров.
Последующие версии будут еще больше укреплять сетевые возможности сотрудничества и разнообразие хранения: 2.7 добавляет механизм совместного майнинга и пулов, повышая конкурентоспособность мелких майнеров; 2.8 представляет комбинированный механизм упаковки, позволяя устройствам с большой емкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели майнинга, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятия горячих данных — это хайп или что-то большее?
Дизайнерская концепция Walrus полностью отличается от Filecoin и Arweave. Отправной точкой Filecoin является создание системы хранения данных, которую можно децентрализованно проверять, ценой чего является хранение холодных данных; отправной точкой Arweave является создание онлайновой Александрийской библиотеки, которая может хранить данные навсегда, ценой чего является недостаток сцен; отправной точкой Walrus является оптимизация затрат на хранение в протоколе хранения горячих данных.
Магическая модификация кодов корректировки: инновации в затратах или старая бутылка с новым вином?
В отношении проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave неразумны. Оба используют архитектуру полной репликации, их основное преимущество заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура может гарантировать, что даже если часть узлов отключена, сеть все равно обладает доступностью данных. Однако это также означает, что системе необходимо иметь множественные резервные копии для поддержания надежности, что, в свою очередь, повышает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В сравнении с этим, Filecoin более гибок в контроле затрат, но за это платит более высоким риском потери данных для некоторых узлов с низкой стоимостью хранения. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно увеличивая доступность через структурированное избыточное хранение, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, созданный Walrus, является ключевой технологией для уменьшения избыточности узлов, он основан на кодировании Рида-Соломона ( RS ). Кодирование RS – это очень традиционный алгоритм кодов коррекции ошибок, код коррекции ошибок – это техника, которая позволяет удваивать набор данных путем добавления избыточных фрагментов ( erasure code ), и может быть использована для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, он часто используется в повседневной жизни.
Код корректировки ошибок позволяет пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами корректировки ошибок. Если какой-либо байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, вы все равно можете восстановить весь блок. Технология, позволяющая компьютерам считывать все данные с CD-ROM, даже если он поврежден, основана на том же принципе.
В настоящее время наиболее часто используется кодирование RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированный блок. Используя коды исправления ошибок RS, вероятность случайной выборки потери больших объемов данных чрезвычайно мала.
Пример: разделить файл на 6 блоков данных и 4 проверочных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая отказоустойчивость, широко применяется в CD/DVD, системах RAID( для защиты от сбоев), а также в облачных хранилищах(, таких как Azure Storage, Facebook F4).
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и планирования данных в централизованных условиях вне блокчейна.
В условиях Децентрализация, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенных сетей. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм избыточного хранения.
Какова основная особенность Redstuff? Улучшая алгоритм кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные данные в меньшие фрагменты, которые будут распределенно храниться в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя лишь часть фрагментов. Это становится возможным при сохранении коэффициента репликации всего в 4-5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, переработанный вокруг Децентрализация-сценария. В отличие от традиционных кодов стирания (, таких как Рид-Соломон ), RedSt
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
16 Лайков
Награда
16
4
Поделиться
комментарий
0/400
MysteriousZhang
· 1ч назад
Будущее хранения выглядит многообещающе
Посмотреть ОригиналОтветить0
WhaleMistaker
· 1ч назад
Я оптимистично настроен по поводу сектора хранения.
Децентрализация хранения: от FIL до Shelby технологическая эволюция и внедрение приложений
Децентрализация хранения: от концептуального хайпа до практического применения
Хранение когда-то было одной из популярных областей в индустрии блокчейна. Filecoin, будучи лидером последнего бычьего рынка, на время превышал рыночную капитализацию в 10 миллиардов долларов. Arweave с акцентом на постоянное хранение достиг максимальной капитализации в 3,5 миллиарда долларов. Однако, с сомнениями относительно осуществимости хранения холодных данных, необходимость в постоянном хранении также подверглась сомнению. Может ли децентрализованное хранение действительно стать жизнеспособным - большой вопрос. Появление Walrus принесло новую жизнь в давно затихшую нарратив о хранении, а теперь Aptos и Jump Crypto запустили Shelby, чтобы повысить применение децентрализованного хранения в области горячих данных. Итак, сможет ли децентрализованное хранение вернуться и предложить широкий спектр приложений? Или это снова всего лишь спекуляция? В этой статье мы рассмотрим развитие четырех проектов: Filecoin, Arweave, Walrus и Shelby, проанализируем изменения в нарративе децентрализованного хранения и обсудим, как далеко еще нужно пройти для его распространения.
Filecoin: Поверхностное хранилище, на самом деле майнинг
Filecoin является одним из ранних токенов, и его развитие естественно сосредоточено на Децентрализации. Это общая черта того времени для альткоинов — искать смысл Децентрализации в различных традиционных областях. Filecoin не является исключением, он связывает хранение с Децентрализацией и указывает на недостатки централизованного хранения данных: предположение о доверии к централизованным поставщикам услуг хранения. Таким образом, Filecoin пытается преобразовать централизованное хранение в Децентрализованное. Тем не менее, некоторые аспекты, пожертвованные ради Децентрализации, впоследствии стали болью, которую такие проекты, как Arweave или Walrus, пытались решить. Чтобы понять, почему Filecoin по сути является просто майнинг-токеном, необходимо осознать объективные ограничения его базовой технологии IPFS, которая не подходит для обработки горячих данных.
IPFS:Децентрализация архитектура, ограниченная узкими местами передачи
IPFS( Межзвёздная файловая система) появилась примерно в 2015 году с целью революционизировать традиционный протокол HTTP с помощью адресации по содержимому. Основной недостаток IPFS заключается в крайне медленной скорости получения. В эпоху, когда традиционные поставщики данных могут достигать откликов на уровне миллисекунд, получение файла в IPFS все еще занимает десятки секунд, что затрудняет его внедрение в практическое применение и объясняет, почему, кроме нескольких блокчейн-проектов, он редко используется в традиционной отрасли.
P2P-протокол, лежащий в основе IPFS, в основном подходит для "холодных данных", то есть для статического контента, который не часто изменяется, такого как видео, изображения и документы. Однако при обработке горячих данных, таких как динамические веб-страницы, онлайн-игры или приложения на основе искусственного интеллекта, P2P-протокол не имеет явных преимуществ по сравнению с традиционными CDN.
Несмотря на то, что IPFS сам по себе не является блокчейном, его концепция дизайна на основе ориентированного ациклического графа (DAG) в высокой степени соответствует многим публичным блокчейнам и протоколам Web3, что делает его естественно подходящим в качестве базовой строительной рамки для блокчейна. Поэтому, даже если у него нет практической ценности, как базовая структура для повествования о блокчейне, этого уже достаточно. Ранние проекты-клоны могли просто использовать работающую рамку, чтобы начать грандиозное видение, но когда Filecoin достиг определённой стадии, врождённые недостатки IPFS начали препятствовать его продвижению.
Логика майнинга под оболочкой хранения
Изначальная идея дизайна IPFS заключалась в том, чтобы пользователи, храня данные, также стали частью сети хранения. Однако без экономических стимулов пользователям трудно добровольно использовать эту систему, не говоря уже о том, чтобы стать активными узлами хранения. Это означает, что большинство пользователей будут просто хранить файлы в IPFS, но не будут вносить свой собственный объем хранения и не будут хранить файлы других. Именно на этом фоне появился Filecoin.
В модели токеномики Filecoin основными ролями являются три: пользователи отвечают за оплату за хранение данных; майнеры хранилищ получают токены в качестве вознаграждения за хранение данных пользователей; майнеры извлечения предоставляют данные по запросу пользователей и получают вознаграждение.
Эта модель имеет потенциальное пространство для злоупотреблений. Хранители данных могут заполнять мусорными данными после предоставления пространства для хранения, чтобы получить вознаграждение. Поскольку эти мусорные данные не будут извлекаться, даже если они будут потеряны, это не вызовет механизм наказания для хранителей данных. Это позволяет хранителям данных удалять мусорные данные и повторять этот процесс. Консенсус на основе доказательства копирования в Filecoin может гарантировать, что пользовательские данные не были удалены без разрешения, но не может предотвратить заполнение мусорными данными со стороны майнеров.
Работа Filecoin в значительной степени зависит от постоянных вложений майнеров в токеномику, а не от реального спроса конечных пользователей на распределенное хранилище. Хотя проект продолжает итерации, на текущем этапе экосистема Filecoin больше соответствует определению «логики майнинга», чем «приложению-ориентированному» проекту хранения.
Arweave: Успех и неудача долгосрочного подхода
Если говорить о том, что цель дизайна Filecoin заключается в создании стимулирующей, доказуемой Децентрализации "облака данных", то Arweave идет в другом направлении хранения на крайности: предоставляет возможность постоянного хранения данных. Arweave не пытается создать распределенную вычислительную платформу, вся ее система строится вокруг одной ключевой гипотезы - важные данные должны храниться единожды и навсегда оставаться в сети. Эта крайняя долгосрочная перспектива делает Arweave совершенно отличным от Filecoin как по механизмам, так и по стимулирующим моделям, от требований к аппаратному обеспечению до нарратива.
Arweave, изучая биткойн, стремится постоянно оптимизировать свою сеть постоянного хранения на длинных временных интервалах, измеряемых годами. Arweave не заботится о маркетинге, не интересуется конкурентами и тенденциями рынка. Он просто продолжает двигаться вперед по пути итерации архитектуры сети, даже если никто не интересуется, потому что это суть команды разработчиков Arweave: долгосрочность. Благодаря долгосрочности Arweave пользовался большим спросом в прошлый бычий рынок; также из-за долгосрочности, даже упав до дна, Arweave все еще может пережить несколько циклов бычьего и медвежьего рынков. Но будет ли у Arweave место в будущем децентрализованном хранении?
С момента версии 1.5 до последней версии 2.9 основной сети Arweave, несмотря на потерю рыночной дискуссии, она продолжает работать над тем, чтобы позволить более широкому кругу майнеров участвовать в сети с минимальными затратами и стимулировать майнеров максимально хранить данные, что постоянно повышает устойчивость всей сети. Arweave отлично понимает, что не соответствует рыночным предпочтениям, поэтому придерживается осторожного подхода, не объединяясь с майнерскими группами, экосистема полностью остановилась, обновляя основную сеть с минимальными затратами и постоянно снижая порог оборудования, не нанося ущерба безопасности сети.
Обзор пути обновления 1.5-2.9
Версия Arweave 1.5 выявила уязвимость, при которой майнеры могли полагаться на стек GPU, а не на реальное хранилище, чтобы оптимизировать вероятность создания блока. Чтобы сдержать эту тенденцию, версия 1.7 введет алгоритм RandomX, ограничивая использование специализированной вычислительной мощности и требуя участия универсальных ЦПУ в майнинге, тем самым ослабляя централизацию вычислительной мощности.
В версии 2.0 Arweave использует SPoA, преобразуя доказательство данных в лаконичный путь структуры Меркла и вводя транзакции формата 2 для уменьшения нагрузки на синхронизацию. Эта архитектура снижает давление на сетевую пропускную способность, значительно улучшая совместные возможности узлов. Однако некоторые майнеры все еще могут избежать реальной ответственности за хранение данных, используя стратегию централизованных высокоскоростных хранилищ.
Для корректировки этого уклона в версии 2.4 был введен механизм SPoRA, который включает глобальный индекс и медленный хэш для случайного доступа, заставляя майнеров реально держать блоки данных для участия в эффективном создании блоков, тем самым ослабляя эффект накопления вычислительной мощности. В результате майнеры начали обращать внимание на скорость доступа к хранилищу, что способствовало применению SSD и устройств с высокой скоростью чтения и записи. В версии 2.6 был введен контроль темпа создания блоков с помощью хэш-цепочки, что сбалансировало предельную полезность высокопроизводительных устройств и обеспечило公平ное участие для мелких и средних майнеров.
Последующие версии будут еще больше укреплять сетевые возможности сотрудничества и разнообразие хранения: 2.7 добавляет механизм совместного майнинга и пулов, повышая конкурентоспособность мелких майнеров; 2.8 представляет комбинированный механизм упаковки, позволяя устройствам с большой емкостью и низкой скоростью гибко участвовать; 2.9 вводит новый процесс упаковки в формате replica_2_9, значительно повышая эффективность и снижая зависимость от вычислений, завершая замкнутый цикл модели майнинга, ориентированной на данные.
В целом, путь обновления Arweave четко демонстрирует его долгосрочную стратегию, ориентированную на хранение: одновременно противодействуя тенденции концентрации вычислительной мощности, он продолжает снижать порог участия, обеспечивая возможность долгосрочной работы протокола.
Walrus: Объятия горячих данных — это хайп или что-то большее?
Дизайнерская концепция Walrus полностью отличается от Filecoin и Arweave. Отправной точкой Filecoin является создание системы хранения данных, которую можно децентрализованно проверять, ценой чего является хранение холодных данных; отправной точкой Arweave является создание онлайновой Александрийской библиотеки, которая может хранить данные навсегда, ценой чего является недостаток сцен; отправной точкой Walrus является оптимизация затрат на хранение в протоколе хранения горячих данных.
Магическая модификация кодов корректировки: инновации в затратах или старая бутылка с новым вином?
В отношении проектирования затрат на хранение Walrus считает, что затраты на хранение Filecoin и Arweave неразумны. Оба используют архитектуру полной репликации, их основное преимущество заключается в том, что каждый узел имеет полную копию, что обеспечивает высокую устойчивость к сбоям и независимость между узлами. Эта архитектура может гарантировать, что даже если часть узлов отключена, сеть все равно обладает доступностью данных. Однако это также означает, что системе необходимо иметь множественные резервные копии для поддержания надежности, что, в свою очередь, повышает затраты на хранение. Особенно в дизайне Arweave механизм консенсуса сам по себе поощряет избыточное хранение узлов для повышения безопасности данных. В сравнении с этим, Filecoin более гибок в контроле затрат, но за это платит более высоким риском потери данных для некоторых узлов с низкой стоимостью хранения. Walrus пытается найти баланс между двумя, его механизм контролирует затраты на репликацию, одновременно увеличивая доступность через структурированное избыточное хранение, тем самым устанавливая новый компромисс между доступностью данных и эффективностью затрат.
Redstuff, созданный Walrus, является ключевой технологией для уменьшения избыточности узлов, он основан на кодировании Рида-Соломона ( RS ). Кодирование RS – это очень традиционный алгоритм кодов коррекции ошибок, код коррекции ошибок – это техника, которая позволяет удваивать набор данных путем добавления избыточных фрагментов ( erasure code ), и может быть использована для восстановления оригинальных данных. От CD-ROM до спутниковой связи и до QR-кодов, он часто используется в повседневной жизни.
Код корректировки ошибок позволяет пользователям получить блок, например, размером 1 МБ, а затем "увеличить" его до 2 МБ, где дополнительные 1 МБ представляют собой специальные данные, называемые кодами корректировки ошибок. Если какой-либо байт в блоке потерян, пользователи могут легко восстановить эти байты с помощью кода. Даже если потерян целый блок размером до 1 МБ, вы все равно можете восстановить весь блок. Технология, позволяющая компьютерам считывать все данные с CD-ROM, даже если он поврежден, основана на том же принципе.
В настоящее время наиболее часто используется кодирование RS. Способ реализации заключается в том, чтобы начать с k информационных блоков, построить соответствующий многочлен и оценить его в различных координатах x, чтобы получить кодированный блок. Используя коды исправления ошибок RS, вероятность случайной выборки потери больших объемов данных чрезвычайно мала.
Пример: разделить файл на 6 блоков данных и 4 проверочных блока, всего 10 частей. Достаточно сохранить любые 6 частей, чтобы полностью восстановить исходные данные.
Преимущества: высокая отказоустойчивость, широко применяется в CD/DVD, системах RAID( для защиты от сбоев), а также в облачных хранилищах(, таких как Azure Storage, Facebook F4).
Недостатки: сложность вычислений при декодировании, высокие затраты; не подходит для сценариев с частыми изменениями данных. Поэтому обычно используется для восстановления и планирования данных в централизованных условиях вне блокчейна.
В условиях Децентрализация, Storj и Sia адаптировали традиционное RS-кодирование для удовлетворения реальных потребностей распределенных сетей. Walrus также на этой основе предложил свой вариант - алгоритм кодирования RedStuff, чтобы обеспечить более низкие затраты и более гибкий механизм избыточного хранения.
Какова основная особенность Redstuff? Улучшая алгоритм кодирования с коррекцией ошибок, Walrus может быстро и надежно кодировать неструктурированные данные в меньшие фрагменты, которые будут распределенно храниться в сети узлов хранения. Даже если потеряно до двух третей фрагментов, оригинальный блок данных можно быстро восстановить, используя лишь часть фрагментов. Это становится возможным при сохранении коэффициента репликации всего в 4-5 раз.
Поэтому разумно определить Walrus как легковесный протокол избыточности и восстановления, переработанный вокруг Децентрализация-сценария. В отличие от традиционных кодов стирания (, таких как Рид-Соломон ), RedSt