A importância dos dados da Blockchain e a evolução dos métodos de pesquisa

Os dados são o núcleo da tecnologia Blockchain, fornecendo a base para o desenvolvimento de aplicações descentralizadas (dApp). Embora a maioria das discussões atuais se concentre na disponibilidade de dados (DA), a acessibilidade dos dados é igualmente importante, mas frequentemente ignorada.

Na era do Blockchain modular, as soluções DA tornaram-se uma parte indispensável. Elas garantem que todos os participantes possam acessar os dados de transação, permitindo a validação em tempo real e mantendo a integridade da rede. No entanto, a camada DA é mais como um outdoor do que um banco de dados, o que significa que os dados não serão armazenados indefinidamente, mas serão excluídos ao longo do tempo.

Em comparação, a acessibilidade dos dados concentra-se na capacidade de recuperar dados históricos, o que é crucial para o desenvolvimento de dApps e a realização de análises de blockchain. Embora haja menos discussões, a acessibilidade dos dados é tão importante quanto a disponibilidade dos dados. Ambos desempenham papéis diferentes, mas complementares, no ecossistema blockchain, e uma abordagem abrangente de gestão de dados deve abordar essas duas questões simultaneamente para apoiar aplicações blockchain robustas e eficientes.

Métodos tradicionais de recuperação de dados em Blockchain

A Blockchain, desde a sua criação, mudou completamente a infraestrutura, impulsionando a criação de dApps em várias áreas, como jogos, finanças e redes sociais. No entanto, a construção desses dApps requer acesso a uma grande quantidade de dados de Blockchain, o que é tanto difícil quanto caro.

Para os desenvolvedores de dApp, uma opção é hospedar e executar o seu próprio nó RPC de arquivo. Esses nós armazenam todos os dados históricos do blockchain desde o início, permitindo acesso total aos dados. No entanto, a manutenção de nós de arquivo é cara, com capacidades de consulta limitadas, incapazes de consultar dados no formato necessário pelos desenvolvedores. Embora executar nós mais baratos seja uma opção, a capacidade de recuperação de dados desses nós é limitada, o que pode afetar a operação do dApp.

Outra forma é usar provedores de nós RPC comerciais. Esses provedores são responsáveis pelos custos e pela gestão dos nós, e fornecem dados através de pontos finais RPC. Os pontos finais RPC públicos são gratuitos, mas têm limites de taxa, o que pode afetar negativamente a experiência do usuário do dApp. Os pontos finais RPC privados oferecem melhor desempenho ao reduzir a congestão, mas mesmo a recuperação de dados simples requer uma quantidade significativa de comunicação. Isso os torna pesados em solicitações e ineficientes para consultas de dados complexas. Além disso, os pontos finais RPC privados geralmente são difíceis de escalar e carecem de compatibilidade entre diferentes redes.

Indexador de Blockchain: uma melhor alternativa

Os indexadores de blockchain desempenham um papel fundamental na organização de dados em cadeia e no envio deles para um banco de dados para facilitar a consulta, sendo frequentemente chamados de "Google do blockchain". Eles indexam dados de blockchain e usam uma linguagem de consulta semelhante ao SQL (, como a API GraphQL ), tornando-os disponíveis a qualquer momento. Os indexadores fornecem uma interface de consulta unificada para os desenvolvedores, permitindo a recuperação rápida e precisa das informações necessárias usando uma linguagem de consulta padronizada, simplificando significativamente o processo.

Diferentes tipos de indexadores otimizam a recuperação de dados de várias maneiras:

1. Indexador de nós completos: executa um nó completo de Blockchain e extrai dados diretamente, garantindo que os dados sejam completos e precisos, mas requer uma grande quantidade de armazenamento e capacidade de processamento.

2. Indexador leve: depende de nós completos para obter dados específicos conforme necessário, reduzindo os requisitos de armazenamento, mas pode aumentar o tempo de consulta.

3. Indexador dedicado: Para certos tipos de dados ou blockchains específicos, pode otimizar a recuperação para casos de uso específicos, como dados de NFT ou transações DeFi.

4. Agregador de Índice: extrai dados de várias Blockchains e fontes, incluindo informações off-chain, oferecendo uma interface de consulta unificada, especialmente útil para dApps multi-chain.

Apenas o Ethereum requer 3TB de espaço de armazenamento, e à medida que a Blockchain continua a crescer, a quantidade de dados armazenados por nós de arquivo também aumentará continuamente. O protocolo de indexação implanta múltiplos indexadores, permitindo indexar e consultar grandes volumes de dados de forma eficiente, algo que o RPC não consegue realizar.

Os indexadores também permitem consultas complexas, filtragem fácil de dados e extração para análise posterior. Alguns indexadores podem agregar dados de várias fontes, evitando a necessidade de implantar várias APIs em dApps multichain. Com a distribuição em vários nós, os indexadores oferecem segurança e desempenho aprimorados, enquanto os provedores de RPC podem enfrentar interrupções e inatividade devido à sua natureza centralizada.

De um modo geral, em comparação com os provedores de nós RPC, os indexadores melhoraram a eficiência e a confiabilidade da recuperação de dados, ao mesmo tempo em que reduziram o custo de implantar um único nó. Isso fez com que o protocolo de indexador de Blockchain se tornasse a escolha preferida dos desenvolvedores de dApps.

Caso de uso do indexador

Para construir uma dApp, é necessário recuperar e ler dados da blockchain para que os seus serviços funcionem. Isso inclui qualquer tipo de dApp, como DeFi, plataformas NFT, jogos ou até redes sociais, pois estas plataformas precisam primeiro ler os dados para executar outras transações.

DeFi

Os protocolos DeFi precisam de informações diferentes para fornecer aos usuários preços, taxas, custos específicos, etc. O market maker automático (AMM) necessita de informações sobre os preços e a liquidez de certos pools de liquidez para calcular as taxas de swap, enquanto os protocolos de empréstimo precisam da taxa de utilização para determinar as taxas de empréstimo e o rácio de liquidação da dívida. É essencial inserir informações em suas dApps antes de calcular as taxas que os usuários executam.

Jogo

GameFi precisa de indexação rápida e acesso a dados para garantir que os usuários joguem jogos de forma fluida. Somente através da recuperação e execução de dados em um piscar de olhos, os jogos Web3 podem competir em desempenho com os jogos Web2, atraindo assim mais usuários. Esses jogos necessitam de dados como propriedade de terras, saldo de tokens dentro do jogo, operações dentro do jogo, etc. Com o uso de indexadores, eles podem garantir melhor um fluxo de dados estável e um tempo de atividade estável, assegurando uma experiência de jogo perfeita.

NFT

O mercado de NFT e a plataforma de empréstimos precisam de indexação de dados para acessar várias informações, como metadados de NFT, dados de propriedade e transferência, informações sobre royalties, entre outros. Indexar rapidamente esses dados pode evitar a necessidade de navegar individualmente por cada NFT para encontrar dados de propriedade ou atributos de NFT.

Quer seja um AMM( que necessita de informações sobre preços e liquidez, ou uma aplicação SocialFi que precisa de atualizações sobre novos posts de utilizadores, a capacidade de recuperar dados rapidamente é crucial para o funcionamento normal de dApps. Com a ajuda de indexadores, eles podem recuperar dados de forma eficiente e correta, proporcionando assim uma experiência de utilizador fluida.

Análise

O indexador oferece uma forma de extrair dados específicos de dados brutos de Blockchain ), incluindo eventos de contratos inteligentes em cada Bloco (. Isso proporciona oportunidades para uma análise de dados mais específica, oferecendo assim percepções abrangentes.

Por exemplo, um protocolo de negociação perpétua pode identificar quais tokens têm um grande volume de negociação, quais tokens geram taxas, e assim decidir se esses tokens devem ser listados como contratos perpétuos em sua plataforma. Um desenvolvedor de DEX pode criar um painel para seu produto, obtendo uma compreensão mais profunda de quais pools de liquidez têm os maiores retornos ou a maior liquidez. Também pode criar painéis públicos, permitindo que os desenvolvedores consultem livremente qualquer tipo de dados que desejam exibir em gráficos.

Devido à disponibilidade de vários indexadores de Blockchain, é crucial identificar as diferenças entre os protocolos de indexação para garantir que os desenvolvedores escolham o indexador mais adequado às suas necessidades.

![Desenvolvimento de Acesso a Dados Web3: Introdução a Indexadores e Projetos Relacionados])https://img-cdn.gateio.im/webp-social/moments-53dbb4fd659cf6a7184990c886901658.webp(

Blockchain Indexer Overview

The Graph

The Graph é o primeiro protocolo de indexação lançado no Ethereum, que permite consultar facilmente dados de transações que anteriormente eram difíceis de acessar. Ele utiliza subgráficos para definir e filtrar subconjuntos de dados coletados da Blockchain, como todas as transações relacionadas ao pool USDC/ETH de um DEX.

Usando prova de índice, os indexadores apostam o token nativo GRT para serviços de indexação e consulta, e os delegadores podem optar por apostar seus tokens aqui. Os curadores podem acessar subgráficos de alta qualidade para ajudar os indexadores a determinar quais subgráficos compilar dados para ganhar as melhores taxas de consulta. No processo de transição para uma maior descentralização, o The Graph eventualmente interromperá seus serviços de hospedagem e solicitará a atualização dos subgráficos para sua rede, ao mesmo tempo que fornecerá indexadores atualizados.

A sua infraestrutura faz com que o custo médio de cada milhão de consultas atinja 40 dólares, o que é muito mais baixo do que o custo de nós auto-hospedados. Usando fontes de dados de arquivos, também suporta a indexação paralela de dados on-chain e off-chain, para uma recuperação de dados eficiente.

As recompensas do indexador do The Graph têm crescido de forma constante nos últimos trimestres. Isso se deve em parte ao aumento do volume de consultas, mas também é atribuído ao crescimento do preço dos tokens, uma vez que planeiam integrar consultas assistidas por inteligência artificial no futuro.

Subsquid

Subsquid é um lago de dados descentralizado, ponto a ponto e escalável horizontalmente, que agrega de forma eficiente grandes quantidades de dados on-chain e off-chain, e protege esses dados através de provas de conhecimento zero. Como uma rede de trabalho descentralizada, cada nó é responsável por armazenar dados de um subconjunto específico de blocos, acelerando o processo de recuperação de dados através da identificação rápida dos nós que contêm os dados necessários.

Subsquid também suporta indexação em tempo real, permitindo a indexação antes da confirmação final do bloco. Ele também suporta o armazenamento de dados em formatos escolhidos pelos desenvolvedores, facilitando a análise com ferramentas como BigQuery, Parquet ou CSV. Além disso, subgrafos podem ser implantados na rede Subsquid sem a necessidade de migração para o Squid SDK, permitindo uma implantação sem código.

Apesar de ainda estar na fase de teste, a Subsquid alcançou estatísticas impressionantes, com mais de 80.000 usuários na rede de testes, mais de 60.000 indexadores Squid implantados e mais de 20.000 desenvolvedores verificados na rede. Recentemente, no dia 3 de junho, a Subsquid lançou a mainnet do seu lago de dados.

Além do índice, o lago de dados da Subsquid Network também pode substituir o RPC em casos de uso como análise, processadores ZK/TEE, agentes de IA e Oráculos.

SubQuery

SubQuery é uma rede de infraestrutura de middleware descentralizada que oferece serviços de RPC e indexação de dados. Inicialmente, suportava as redes Polkadot e Substrate, mas agora se expandiu para incluir mais de 200 cadeias. Seu funcionamento é semelhante ao The Graph, que usa provas de indexação; os indexadores indexam dados e fornecem solicitações de consulta, enquanto os delegadores fazem stake de suas participações para os indexadores. No entanto, introduz consumidores para submeter ordens de compra, a fim de garantir a receita dos indexadores, em vez de depender de gerentes.

Ele irá introduzir nós de dados SubQuery que suportam fragmentação, a fim de evitar a sincronização contínua de novos dados entre cada nó, otimizando assim a eficiência das consultas, enquanto avança em direção a uma maior descentralização. Os usuários podem optar por pagar cerca de 1 SQT em taxas de computação para cada 1000 solicitações, ou definir taxas personalizadas para indexadores através do protocolo.

Apesar de a SubQuery ter lançado o seu token apenas no início deste ano, as recompensas de emissão para nós e delegados também aumentaram em valor em dólares, o que representa um aumento contínuo no número de serviços de consulta disponíveis na sua plataforma. Desde o TGE, o total de SQT em staking aumentou de 6 milhões para 125 milhões, destacando o aumento da participação na sua rede.

Covalent

Covalent é uma rede de indexadores descentralizada, criada por produtores de amostras de blocos )BSP( que, através da exportação em massa, fazem cópias dos dados da blockchain e publicam provas na blockchain Covalent L1. Esses dados são então refinados por produtores de resultados de blocos )BRP( de acordo com regras estabelecidas, filtrando os dados que atendem aos requisitos.

Através de uma API unificada, os desenvolvedores podem facilmente extrair dados relevantes de blockchain em um formato consistente de pedidos e respostas, sem necessidade de escrever consultas complexas personalizadas para aceder aos dados. É possível utilizar o token CQT, que é liquidado na Moonbeam, como meio de pagamento para extrair estes conjuntos de dados pré-configurados dos operadores de rede.

As recompensas da Covalent parecem ter uma tendência geral de crescimento do primeiro trimestre de 2023 até o primeiro trimestre de 2024, em parte devido à valorização do preço do token Covalent CQT.

![Desenvolvimento do acesso a dados Web3: Introdução a indexadores e projetos relacionados])https://img-cdn.gateio.im/webp-social/moments-52ee29205aa307720198994a5f3de61f.webp(

Considerações ao escolher um indexador

Personalização de Dados

Alguns indexadores ), como o Covalent (, são indexadores genéricos que fornecem conjuntos de dados predefinidos padrão apenas através de API. Embora possam ser rápidos, não oferecem flexibilidade para desenvolvedores que precisam de conjuntos de dados personalizados. Ao usar a estrutura de indexadores, permite-se um processamento de dados mais personalizado para atender às necessidades específicas da aplicação.

Segurança

Os dados de índice devem ser seguros, caso contrário, os dApps construídos com base nesses indexadores também estarão vulneráveis a ataques. Por exemplo, se transações e saldos de carteiras puderem ser manipulados.