Descentralização de armazenamento: da especulação do conceito à evolução prática

O armazenamento foi uma das trilhas mais populares na indústria de blockchain. Filecoin, como líder do último mercado em alta, teve um valor de mercado que ultrapassou 10 bilhões de dólares. Arweave, com armazenamento permanente como seu ponto de venda, alcançou um valor máximo de mercado de 3,5 bilhões de dólares. No entanto, à medida que a viabilidade do armazenamento de dados frios é questionada, a necessidade de armazenamento permanente também é desafiada, tornando-se uma grande questão se o armazenamento descentralizado pode realmente prosperar. O surgimento do Walrus trouxe nova vitalidade para a narrativa de armazenamento que estava adormecida há muito tempo, e agora Aptos e Jump Crypto lançaram o Shelby, visando aumentar a aplicação do armazenamento descentralizado na área de dados quentes. Então, será que o armazenamento descentralizado pode ressurgir e oferecer cenários de aplicação amplos? Ou será mais uma especulação? Este artigo analisará a evolução da narrativa de armazenamento descentralizado a partir das trajetórias de desenvolvimento de quatro projetos: Filecoin, Arweave, Walrus e Shelby, explorando até onde o armazenamento descentralizado ainda precisa avançar para se tornar popular.

Filecoin: armazenamento superficial, na verdade mineração

Filecoin é um dos projetos de tokens que surgiram precocemente, e sua direção de desenvolvimento naturalmente gira em torno da Descentralização. Esta era uma característica comum das altcoins da época - buscar o significado da Descentralização em vários campos tradicionais. Filecoin não é exceção, pois relaciona armazenamento com Descentralização, apontando assim as desvantagens do armazenamento de dados centralizado: a suposição de confiança nos provedores de serviços de armazenamento centralizados. Portanto, Filecoin tenta transformar o armazenamento centralizado em armazenamento Descentralizado. No entanto, certos aspectos sacrificados para alcançar a Descentralização tornaram-se, posteriormente, pontos problemáticos que projetos como Arweave ou Walrus tentaram resolver. Para entender por que Filecoin é essencialmente apenas uma moeda minerada, é necessário compreender as limitações objetivas da sua tecnologia subjacente IPFS, que não é adequada para lidar com dados quentes.

IPFS:Descentralização arquitetura, limitado por gargalos de transmissão

IPFS(Sistema de Arquivos Interplanetário)foi lançado por volta de 2015, com o objetivo de revolucionar o protocolo HTTP tradicional através da endereçamento por conteúdo. A maior desvantagem do IPFS é a velocidade de obtenção extremamente lenta. Em uma era em que os provedores de serviços de dados tradicionais conseguem tempos de resposta na ordem de milissegundos, a obtenção de um arquivo no IPFS ainda leva mais de dez segundos, o que dificulta sua promoção em aplicações práticas e explica por que, além de alguns projetos de blockchain, ele raramente é adotado pela indústria tradicional.

O protocolo P2P subjacente do IPFS é principalmente adequado para "dados frios", ou seja, conteúdos estáticos que não mudam frequentemente, como vídeos, imagens e documentos. No entanto, ao lidar com dados quentes, como páginas web dinâmicas, jogos online ou aplicações de inteligência artificial, o protocolo P2P não apresenta vantagens significativas em relação aos CDN tradicionais.

Apesar de o IPFS não ser uma blockchain em si, o conceito de design de grafo acíclico dirigido (DAG) que adota está altamente alinhado com muitas blockchains e protocolos Web3, tornando-o naturalmente adequado como uma estrutura de construção subjacente para blockchain. Portanto, mesmo que careça de valor prático, como estrutura subjacente para a narrativa da blockchain, já é suficiente; os primeiros projetos de cópias apenas precisavam de uma estrutura funcional para iniciar a grande visão, mas quando o Filecoin se desenvolveu até certo ponto, as deficiências inerentes trazidas pelo IPFS começaram a obstruir seu progresso.

Lógica de mineração sob o armazenamento

O design do IPFS tem como objetivo permitir que os usuários, ao armazenar dados, também se tornem parte da rede de armazenamento. No entanto, na ausência de incentivos econômicos, é difícil para os usuários utilizarem voluntariamente este sistema, quanto mais se tornarem nós de armazenamento ativos. Isso significa que a maioria dos usuários apenas armazenará arquivos no IPFS, mas não contribuirá com seu espaço de armazenamento nem armazenará arquivos de outros. É neste contexto que o Filecoin surgiu.

No modelo econômico de tokens do Filecoin, existem três papéis principais: os usuários são responsáveis por pagar taxas para armazenar dados; os mineradores de armazenamento recebem incentivos em tokens por armazenar dados dos usuários; os mineradores de recuperação fornecem dados quando os usuários precisam e recebem incentivos.

Este modelo apresenta um potencial espaço para comportamentos maliciosos. Mineradores de armazenamento podem, após fornecer espaço de armazenamento, preencher com dados lixo para obter recompensas. Como esses dados lixo não serão recuperados, mesmo que sejam perdidos, não acionarão o mecanismo de penalização dos mineradores de armazenamento. Isso permite que os mineradores de armazenamento excluam os dados lixo e repitam esse processo. O consenso de prova de replicação do Filecoin só pode garantir que os dados do usuário não foram excluídos de forma privada, mas não pode impedir que os mineradores preencham dados lixo.

A operação do Filecoin depende em grande parte do investimento contínuo dos mineradores na economia dos tokens, e não da demanda real dos usuários finais por armazenamento distribuído. Embora o projeto ainda esteja em iteração contínua, nesta fase, a construção do ecossistema do Filecoin se alinha mais com a definição de projeto de armazenamento "baseado em mineração" do que "impulsionado por aplicações".

Arweave: O Sucesso e o Fracasso do Longo Prazo

Se o objetivo de design do Filecoin é construir uma "nuvem de dados" descentralizada, incentivada e comprovável, então o Arweave segue para o extremo em outra direção em termos de armazenamento: oferecendo a capacidade de armazenamento permanente para os dados. O Arweave não tenta construir uma plataforma de computação distribuída; todo o seu sistema gira em torno de uma hipótese central - dados importantes devem ser armazenados uma única vez e permanecer para sempre na rede. Este extremismo de longo prazo faz com que o Arweave difira significativamente do Filecoin em termos de mecanismos, modelos de incentivo, requisitos de hardware e perspectivas narrativas.

Arweave utiliza o Bitcoin como objeto de estudo, tentando otimizar continuamente a sua rede de armazenamento permanente ao longo de longos períodos, medidos em anos. Arweave não se preocupa com marketing, nem com concorrentes ou as tendências do mercado. Ele apenas avança continuamente na iteração da arquitetura da rede, mesmo que ninguém preste atenção, porque essa é a essência da equipe de desenvolvimento da Arweave: o longo prazo. Graças ao longo prazo, Arweave foi muito procurado no último mercado em alta; e também devido ao longo prazo, mesmo que caia ao fundo, Arweave ainda pode sobreviver a várias oscilações de mercado. A única dúvida é se no futuro o armazenamento Descentralização terá um lugar para a Arweave. O valor de existência do armazenamento permanente só pode ser provado pelo tempo.

A mainnet do Arweave, desde a versão 1.5 até à mais recente 2.9, embora tenha perdido a discussão no mercado, tem-se empenhado em permitir que um maior número de mineradores participe na rede com o menor custo possível, incentivando os mineradores a armazenar dados ao máximo, aumentando continuamente a robustez de toda a rede. O Arweave está ciente de que não se alinha com as preferências do mercado, por isso adotou uma abordagem conservadora, não abraçando a comunidade de mineradores, com um ecossistema completamente estagnado, atualizando a mainnet com o menor custo possível, e reduzindo continuamente a barreira de hardware, sem comprometer a segurança da rede.

Revisão do caminho de atualização de 1.5-2.9

A versão 1.5 do Arweave expôs uma vulnerabilidade que permite aos mineradores depender de empilhamento de GPU em vez de armazenamento real para otimizar a probabilidade de criação de blocos. Para conter essa tendência, a versão 1.7 introduziu o algoritmo RandomX, limitando o uso de poder computacional especializado e exigindo a participação de CPUs comuns na mineração, enfraquecendo assim a centralização do poder computacional.

Na versão 2.0, o Arweave adotou SPoA, transformando a prova de dados em um caminho simplificado de estrutura de árvore Merkle, e introduziu transações de formato 2 para reduzir a carga de sincronização. Esta arquitetura alivia a pressão da largura de banda da rede, permitindo um aumento significativo na capacidade de colaboração dos nós. No entanto, alguns mineradores ainda podem evitar a responsabilidade real pela posse de dados através de estratégias de pool de armazenamento centralizado de alta velocidade.

Para corrigir essa tendência, a versão 2.4 lançou o mecanismo SPoRA, introduzindo um índice global e acesso aleatório a hashes lentos, fazendo com que os mineradores precisem realmente possuir blocos de dados para participar da validação eficaz de blocos, diminuindo assim o efeito de empilhamento de poder computacional. Como resultado, os mineradores começaram a se concentrar na velocidade de acesso ao armazenamento, impulsionando a aplicação de SSDs e dispositivos de leitura e gravação de alta velocidade. A versão 2.6 introduziu uma cadeia de hashes para controlar o ritmo de criação de blocos, equilibrando os benefícios marginais de dispositivos de alto desempenho e proporcionando um espaço de participação justa para mineradores de pequeno e médio porte.

Versões subsequentes reforçam ainda mais a capacidade de colaboração em rede e a diversidade de armazenamento: a 2.7 adiciona mineração colaborativa e mecanismos de pool de mineração, aumentando a competitividade dos pequenos mineiros; a 2.8 apresenta um mecanismo de empacotamento composto, permitindo que dispositivos de grande capacidade e baixa velocidade participem de forma flexível; a 2.9 introduz um novo fluxo de empacotamento no formato replica_2_9, aumentando significativamente a eficiência e reduzindo a dependência de cálculo, completando o ciclo do modelo de mineração orientado a dados.

De uma forma geral, o caminho de atualização do Arweave apresenta claramente a sua estratégia de longo prazo orientada para o armazenamento: ao resistir continuamente à tendência de concentração de poder de computação, ao mesmo tempo que reduz continuamente as barreiras de entrada, garantindo a viabilidade do funcionamento do protocolo a longo prazo.

Walrus: abraçar dados quentes é apenas uma moda ou tem um significado mais profundo?

A abordagem de design do Walrus é completamente diferente da do Filecoin e do Arweave. O ponto de partida do Filecoin é criar um sistema de armazenamento descentralizado e verificável, com o custo de armazenamento de dados frios; o ponto de partida do Arweave é criar uma biblioteca de Alexandria em cadeia que pode armazenar dados permanentemente, com o custo de ter poucos cenários; o ponto de partida do Walrus é otimizar o custo de armazenamento do protocolo de armazenamento de dados quentes.

Modificação mágica do código de correção: inovação de custo ou vinho novo em garrafa velha?

Em termos de design de custos de armazenamento, a Walrus considera que os custos de armazenamento do Filecoin e do Arweave são irracionais, uma vez que ambos adotam uma arquitetura de cópia completa, cuja principal vantagem é que cada nó possui uma cópia completa, apresentando uma forte capacidade de tolerância a falhas e independência entre os nós. Esse tipo de arquitetura garante que, mesmo que alguns nós fiquem offline, a rede ainda mantém a disponibilidade de dados. No entanto, isso também significa que o sistema precisa de redundância de múltiplas cópias para manter a robustez, o que eleva os custos de armazenamento. Especialmente no design do Arweave, o mecanismo de consenso em si incentiva o armazenamento redundante dos nós para aumentar a segurança dos dados. Em comparação, o Filecoin tem mais flexibilidade no controle de custos, mas isso vem com o custo de que alguns armazenamentos de baixo custo podem ter um risco maior de perda de dados. A Walrus tenta encontrar um equilíbrio entre os dois, sua mecânica controla os custos de cópia enquanto aumenta a disponibilidade através de uma forma de redundância estruturada, estabelecendo assim um novo caminho de compromisso entre a disponibilidade de dados e a eficiência de custos.

A Redstuff criado pela Walrus é a tecnologia chave para reduzir a redundância dos nós, derivando da codificação Reed-Solomon(RS). A codificação RS é um algoritmo de correção de erros muito tradicional, e a correção de erros é uma técnica que permite duplicar conjuntos de dados através da adição de fragmentos redundantes(erasure code), podendo ser usada para reconstruir os dados originais. Desde CD-ROM até comunicações via satélite e códigos QR, é frequentemente utilizada na vida cotidiana.

Os códigos de correção de erros permitem que os usuários obtenham um bloco, por exemplo, com 1MB de tamanho, e depois "ampliem" para 2MB, onde o 1MB adicional é chamado de dados especiais de correção de erros. Se qualquer byte no bloco for perdido, o usuário pode facilmente recuperar esses bytes através do código. Mesmo que até 1MB do bloco seja perdido, você ainda pode recuperar o bloco inteiro. A mesma técnica pode permitir que os computadores leiam todos os dados em um CD-ROM, mesmo que este esteja danificado.

Atualmente, o mais utilizado é o código RS. A forma de implementação é a seguinte: a partir de k blocos de informação, constrói-se um polinómio relacionado e avalia-se em diferentes coordenadas x para obter os blocos codificados. Usando códigos de correção de erros RS, a probabilidade de amostragem aleatória de grandes blocos de dados perdidos é muito pequena.

Exemplo: Dividir um arquivo em 6 blocos de dados e 4 blocos de verificação, totalizando 10 partes. Desde que se mantenham quaisquer 6 partes, é possível recuperar completamente os dados originais.

Vantagens: elevada tolerância a falhas, amplamente utilizado em CD/DVD, arrays de discos rígidos à prova de falhas (RAID), bem como em sistemas de armazenamento em nuvem ( como Azure Storage, Facebook F4).

Desvantagens: a decodificação é complexa e os custos são elevados; não é adequada para cenários de dados com mudanças frequentes. Portanto, geralmente é usada para recuperação e agendamento de dados em ambientes centralizados fora da cadeia.

Na Descentralização, Storj e Sia ajustaram a codificação RS tradicional para atender às necessidades práticas das redes distribuídas. O Walrus também apresentou sua própria variação - o algoritmo de codificação RedStuff, para alcançar um mecanismo de armazenamento redundante mais barato e flexível.

Qual é a principal característica do Redstuff? Através da melhoria do algoritmo de codificação de correção de erros, o Walrus é capaz de codificar rapidamente e de forma robusta blocos de dados não estruturados em fragmentos menores, que são armazenados distribuídos em uma rede de nós de armazenamento. Mesmo que até dois terços dos fragmentos se percam, é possível reconstruir rapidamente o bloco de dados original utilizando fragmentos parciais. Isso se torna possível mantendo o fator de replicação apenas entre 4 e 5 vezes.

Portanto, é razoável definir o Walrus como um protocolo leve de redundância e recuperação projetado em torno de um cenário de Descentralização. Em comparação com códigos de correção tradicionais ( como Reed-Solomon ), RedSt