Evolución del acceso a datos en Web3: Resumen de indexadores y proyectos relacionados

En la tecnología blockchain, los datos juegan un papel crucial y son la base para el desarrollo de aplicaciones descentralizadas. Aunque actualmente la discusión se centra principalmente en la disponibilidad de datos, la accesibilidad de los datos es igualmente importante pero a menudo se pasa por alto.

En la era de la blockchain modular, las soluciones de disponibilidad de datos se vuelven imprescindibles. Aseguran que todos los participantes puedan acceder a los datos de las transacciones, lo que permite la verificación en tiempo real y mantiene la integridad de la red. Sin embargo, la capa de disponibilidad de datos se asemeja más a un cartel publicitario que a una base de datos; los datos no se almacenan indefinidamente, sino que se eliminan con el tiempo.

En comparación, la accesibilidad de los datos se centra en la capacidad de recuperar datos históricos, lo cual es crucial para el desarrollo de aplicaciones descentralizadas y la realización de análisis de blockchain. Aunque se discute menos, la accesibilidad de los datos es tan importante como la disponibilidad de los datos. Ambos juegan roles diferentes pero complementarios en el ecosistema de blockchain, y un enfoque integral de la gestión de datos debe abordar ambos problemas simultáneamente para apoyar aplicaciones de blockchain robustas y eficientes.

Desde su nacimiento, la blockchain ha transformado por completo la infraestructura, impulsando la creación de aplicaciones descentralizadas en áreas como los juegos, las finanzas y las redes sociales. Sin embargo, construir estas aplicaciones requiere acceder a una gran cantidad de datos de blockchain, lo cual es tanto difícil como costoso.

Para los desarrolladores, una opción es alojar y ejecutar su propio nodo RPC de archivo. Estos nodos almacenan todos los datos históricos de la cadena de bloques desde el principio, lo que permite un acceso completo a los datos. Sin embargo, mantener un nodo de archivo es costoso y su capacidad de consulta es limitada. Ejecutar nodos más baratos es otra opción, pero la capacidad de recuperación de datos de estos nodos es limitada, lo que puede obstaculizar el funcionamiento normal de la aplicación.

Otra forma es utilizar proveedores de nodos RPC comerciales. Estos proveedores son responsables de los costos y la gestión de los nodos, y ofrecen datos a través de puntos finales de RPC. Los puntos finales de RPC públicos son gratuitos, pero tienen límites de velocidad, lo que puede afectar negativamente la experiencia del usuario de la aplicación. Los puntos finales de RPC privados ofrecen un mejor rendimiento al reducir la congestión, pero incluso la recuperación simple de datos requiere una gran cantidad de comunicación de ida y vuelta, lo que resulta ineficiente. Además, los puntos finales de RPC privados suelen ser difíciles de escalar y carecen de compatibilidad entre diferentes redes.

Los indexadores de blockchain juegan un papel clave en la organización de datos en la cadena y su envío a bases de datos para facilitar la consulta, por lo que se les llama "el motor de búsqueda de la blockchain". Su funcionamiento consiste en indexar los datos de la blockchain y hacerlos disponibles en cualquier momento a través de un lenguaje de consulta similar a SQL. Al proporcionar una interfaz de consulta unificada, los indexadores permiten a los desarrolladores recuperar rápidamente y con precisión la información necesaria utilizando un lenguaje de consulta estandarizado, simplificando enormemente el proceso.

Diferentes tipos de indexadores optimizan la recuperación de datos de diversas maneras:

1. Indexador de nodos completos: extrae datos directamente de nodos de blockchain completos, asegurando que los datos sean completos y precisos, pero requiere una gran cantidad de almacenamiento y capacidad de procesamiento.

2. Indexador ligero: depende de nodos completos para obtener datos específicos según sea necesario, reduciendo los requisitos de almacenamiento pero puede aumentar el tiempo de consulta.

3. Indexador dedicado: optimiza la recuperación para ciertos tipos de datos o blockchain específicos, como datos NFT o transacciones DeFi.

4. Agregador de índices: extrae datos de múltiples blockchains y fuentes, incluyendo información fuera de la cadena, proporcionando una interfaz de consulta unificada, especialmente útil para aplicaciones multichain.

Se necesitan 3 TB de espacio de almacenamiento solo para Ethereum, y a medida que la blockchain sigue creciendo, la cantidad de datos almacenados por los nodos de archivo también seguirá aumentando. El protocolo de indexador implementa múltiples indexadores, lo que permite indexar de manera eficiente y consultar grandes volúmenes de datos a alta velocidad, algo que no puede lograr el RPC.

El indexador también permite realizar consultas complejas, filtrar datos fácilmente según diferentes criterios y extraer datos para su análisis posterior. Algunos indexadores también permiten la agregación de datos de múltiples fuentes, evitando la necesidad de implementar múltiples API en aplicaciones multichain. Al estar distribuidos en múltiples nodos, los indexadores ofrecen una mayor seguridad y rendimiento, mientras que los proveedores de RPC pueden experimentar interrupciones y tiempos de inactividad debido a su naturaleza centralizada.

En general, en comparación con los proveedores de nodos RPC, los indexadores han mejorado la eficiencia y la fiabilidad de la recuperación de datos, al mismo tiempo que han reducido el costo de desplegar un solo nodo. Esto convierte al protocolo de indexador de blockchain en la opción preferida para los desarrolladores de aplicaciones.

Construir aplicaciones descentralizadas requiere recuperar y leer datos de la blockchain para poder operar sus servicios. Esto incluye cualquier tipo de aplicación, incluidas DeFi, plataformas NFT, juegos e incluso redes sociales, ya que estas plataformas necesitan leer datos primero para poder ejecutar otras transacciones.

Los protocolos DeFi requieren diferentes informaciones para proporcionar a los usuarios precios, tasas, comisiones, etc. Los creadores de mercado automáticos necesitan información sobre los precios y la liquidez de los fondos para calcular las tasas de intercambio, mientras que los protocolos de préstamo necesitan la tasa de utilización para determinar las tasas de interés de los préstamos y la relación de deuda de liquidación. Es esencial ingresar esta información en sus aplicaciones antes de calcular las tasas que los usuarios ejecutan.

GameFi necesita indexar y acceder a datos rápidamente para asegurar que los usuarios jueguen de manera fluida. Solo a través de una recuperación y ejecución de datos relámpago, los juegos Web3 pueden competir en rendimiento con los juegos Web2, atrayendo así a más usuarios. Estos juegos requieren datos como la propiedad de tierras, el saldo de tokens dentro del juego, operaciones dentro del juego, etc. Utilizando indexadores, pueden asegurar mejor un flujo de datos estable y un tiempo de actividad normal constante para garantizar una experiencia de juego perfecta.

El mercado de NFT y la plataforma de préstamos necesitan indexar datos para acceder a diversas informaciones, como los metadatos de NFT, datos de propiedad y transferencia, información sobre regalías, etc. Indexar rápidamente este tipo de datos puede evitar tener que navegar uno por uno a través de cada NFT para encontrar datos de propiedad o atributos de NFT.

Ya sea un creador de mercado automático DeFi que necesita información sobre precios y liquidez, o una aplicación social que requiere actualizar publicaciones de nuevos usuarios, poder recuperar datos rápidamente es crucial para el funcionamiento normal de la aplicación. Con la ayuda de un indexador, pueden recuperar datos de manera eficiente y precisa, lo que proporciona una experiencia de usuario fluida.

El indexador proporciona un método para extraer datos específicos de los datos originales de la cadena de bloques. Esto ofrece la oportunidad de realizar un análisis de datos más específico, lo que proporciona una visión completa.

Por ejemplo, un protocolo de negociación perpetua puede identificar qué tokens tienen un alto volumen de negociación y cuáles generan tarifas, para decidir si incluir estos tokens como contratos perpetuos en su plataforma. Los desarrolladores de intercambios descentralizados pueden crear paneles para sus productos, profundizando en cuáles son los fondos con mayor rentabilidad o liquidez. También pueden crear paneles públicos que permitan a los desarrolladores consultar libremente y de manera flexible cualquier tipo de datos que deseen mostrar en los gráficos.

Dado que hay múltiples indexadores de blockchain disponibles, identificar las diferencias entre los protocolos de indexación es crucial para asegurar que los desarrolladores elijan el indexador que mejor se adapte a sus necesidades.

The Graph es el primer protocolo de indexación lanzado en Ethereum, que permite consultar fácilmente datos de transacciones que anteriormente eran difíciles de acceder. Utiliza subgráficos para definir y filtrar subconjuntos de datos recopilados de la blockchain. Usando prueba de índice, los indexadores apuestan tokens nativos para servicios de indexación y consulta, y los delegadores pueden optar por apostar sus tokens aquí. Los curadores pueden acceder a subgráficos de alta calidad para ayudar a los indexadores a determinar cuáles subgráficos deben compilar datos para ganar las mejores tarifas de consulta.

Su infraestructura hace que el costo medio por millón de consultas sea de 40 dólares, lo que es mucho más bajo que el costo de los nodos autohospedados. Utilizando fuentes de datos de archivos, también admite la indexación paralela de datos en cadena y fuera de cadena para lograr una recuperación de datos eficiente.

Las recompensas del indexador de The Graph han crecido de manera constante en los últimos trimestres. Esto se debe en parte al aumento en el volumen de consultas, pero también se atribuye al crecimiento del precio de los tokens, ya que planean integrar consultas asistidas por inteligencia artificial en el futuro.

Subsquid es un lago de datos descentralizado, escalable horizontalmente y punto a punto, que agrega de manera eficiente una gran cantidad de datos tanto en cadena como fuera de cadena, y los protege mediante pruebas de conocimiento cero. Como una red de trabajadores descentralizada, cada nodo es responsable de almacenar datos de un subconjunto de bloques específicos, acelerando el proceso de recuperación de datos al identificar rápidamente los nodos que contienen los datos necesarios.

Subsquid también admite la indexación en tiempo real, lo que permite indexarla antes de que el bloque se finalice. También admite el almacenamiento de datos en el formato que el desarrollador elija, facilitando un análisis más sencillo con diversas herramientas. Además, los subgráficos se pueden implementar en la red Subsquid sin necesidad de migrar al Squid SDK, lo que permite un despliegue sin código.

A pesar de que aún se encuentra en la fase de prueba, Subsquid ha logrado estadísticas impresionantes, con más de 80,000 usuarios en la red de prueba, más de 60,000 indexadores Squid desplegados y más de 20,000 desarrolladores verificados en la red. El 3 de junio, Subsquid lanzó la red principal de su lago de datos.

Además del índice, el lago de datos de Subsquid Network también puede reemplazar RPC en casos de uso como análisis, coprocesadores ZK/TEE, agentes de IA y Oracle.

SubQuery es una red de infraestructura de middleware descentralizada que proporciona servicios de RPC y de indexación de datos. Inicialmente, soportaba las redes Polkadot y Substrate, pero ahora se ha expandido para incluir más de 200 cadenas. Su funcionamiento es similar al de The Graph, que utiliza pruebas de indexación; los indexadores indexan datos y proporcionan solicitudes de consulta, mientras que los delegadores apuestan sus participaciones a los indexadores. Sin embargo, introduce consumidores para presentar órdenes de compra, lo que garantiza que los ingresos de los indexadores estén asegurados, en lugar de depender de los administradores.

Se introducirá un nodo de datos SubQuery que soporta fragmentación, para evitar la sincronización constante de nuevos datos entre cada nodo, optimizando así la eficiencia de las consultas y avanzando hacia una mayor descentralización. Los usuarios pueden elegir pagar aproximadamente 1 token SQT como costo de computación por cada 1000 solicitudes, o establecer tarifas personalizadas para el indexador a través del protocolo.

A pesar de que SubQuery lanzó su token a principios de este año, las recompensas de emisión para nodos y delegados también han crecido en valor en dólares en comparación con el mes anterior, lo que representa un aumento en la cantidad de servicios de consulta disponibles en su plataforma. Desde el evento de generación del token, la cantidad total de SQT en staking ha aumentado de 6 millones a 125 millones, destacando el crecimiento en la participación de su red.

Covalent es una red de indexadores descentralizada, creada por nodos de la red de productores de muestras de bloques que generan copias de datos de blockchain mediante exportaciones masivas y publican pruebas en la blockchain L1 de Covalent. Estos datos son luego refinados por nodos productores de resultados de bloques según las reglas establecidas, filtrando los datos que cumplen con los requisitos.

A través de una API unificada, los desarrolladores pueden extraer fácilmente datos de blockchain relevantes en un formato de solicitud y respuesta consistente, sin necesidad de escribir consultas complejas personalizadas para acceder a los datos. Se pueden utilizar tokens CQT, que se liquidan en una blockchain específica, como medio de pago para extraer estos conjuntos de datos preconfigurados de los proveedores de red.

Las recompensas de Covalent parecen mostrar una tendencia general al crecimiento desde el primer trimestre de 2023 hasta el primer trimestre de 2024, en parte debido al aumento del precio del token CQT de Covalent.

Al elegir un indexador, se deben considerar los siguientes factores:

Personalización de los datos: algunos indexadores son indexadores generales que solo ofrecen conjuntos de datos preconfigurados estándar a través de API. Aunque pueden ser rápidos, no brindan flexibilidad a los desarrolladores que necesitan conjuntos de datos personalizados. El uso de un marco de indexadores permite un mayor procesamiento de datos personalizados para satisfacer las necesidades específicas de la aplicación.

Seguridad: Los datos de índice deben ser seguros, de lo contrario, las aplicaciones construidas sobre esos indexadores también son susceptibles a ataques. Aunque todos los indexadores adoptan alguna forma de seguridad a través de la participación de tokens, otras soluciones de indexadores pueden utilizar pruebas para mejorar aún más la seguridad.

Velocidad y escalabilidad: a medida que la blockchain continúa creciendo, el volumen de transacciones también aumenta, lo que hace que la indexación de grandes cantidades de datos sea más complicada. Mantener la eficiencia se vuelve más difícil, pero el protocolo de indexador ha introducido soluciones para satisfacer estas crecientes demandas.

Redes compatibles: A pesar de que la mayoría de las actividades de blockchain todavía se realizan en Ethereum, con el tiempo, diferentes blockchains están ganando popularidad. Brindar soporte a ciertas cadenas que no son compatibles con otros protocolos de indexación puede generar mayores ingresos de participación en el mercado.

A pesar de que los indexadores se utilizan ampliamente en el desarrollo de aplicaciones descentralizadas, su potencial sigue siendo enorme, especialmente en el contexto de la integración de la inteligencia artificial. A medida que la IA se vuelve cada vez más común en Web2 y Web3, su capacidad de mejora depende del acceso a datos relevantes.