区块链数据的重要性及索引器的崛起

数据是区块链技术的核心,也是开发去中心化应用(dApp)的基础。虽然目前大多数讨论集中在数据可用性(DA)上,但数据可访问性同样重要却常被忽视。

在模块化区块链时代,DA解决方案已成为不可或缺的一部分。它们确保所有参与者都能访问交易数据,从而实现实时验证并维护网络完整性。然而,DA层更像是一个公告板而非数据库,数据不会长期存储。

相比之下,数据可访问性侧重于检索历史数据的能力,这对开发dApp和区块链分析至关重要。尽管讨论较少,但数据可访问性与数据可用性同等重要。两者在区块链生态系统中发挥着不同但互补的作用,全面的数据管理方法必须同时解决这两个问题,以支持强大高效的区块链应用。

区块链数据检索的传统方法

区块链的出现彻底改变了基础设施,推动了游戏、金融和社交网络等领域dApp的创建。但构建这些dApp需要访问大量区块链数据,这既困难又昂贵。

对开发者来说,一种选择是托管和运行自己的存档RPC节点。这些节点存储所有历史区块链数据,允许完全访问。但维护成本高昂,查询能力有限。运行较便宜的节点是另一种选择,但数据检索能力有限,可能影响dApp运行。

使用商业RPC节点提供商是另一种方法。这些提供商负责节点成本和管理,通过RPC端点提供数据。公共RPC端点免费但有速率限制,可能影响用户体验。私有RPC端点性能更好,但即使简单数据检索也需要大量通信,效率低下且难以扩展。

区块链索引器:更优的解决方案

区块链索引器在组织链上数据并将其发送到数据库以便查询方面发挥着关键作用,因此被称为"区块链的谷歌"。它们索引区块链数据,通过类似SQL的查询语言使数据可用。索引器提供统一的查询接口,大大简化了数据检索过程。

不同类型的索引器优化数据检索:

1. 完整节点索引器:直接从完整区块链节点提取数据,确保完整准确,但需要大量存储和处理能力。

2. 轻量级索引器:根据需要从完整节点获取特定数据,减少存储需求但可能增加查询时间。

3. 专用索引器:针对特定数据类型或区块链优化,如NFT数据或DeFi交易。

4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询接口,适用于多链dApp。

索引器协议部署多个索引器,可高效索引和快速查询大量数据。它们还允许复杂查询、数据过滤和后分析。一些索引器可聚合多个来源的数据,避免在多链dApp中部署多个API。分布在多个节点上,索引器提供了更好的安全性和性能。

总的来说,与RPC节点提供商相比,索引器提高了数据检索的效率和可靠性,同时降低了部署成本。这使得区块链索引器协议成为dApp开发者的首选。

索引器的应用场景

构建dApp需要检索和读取区块链数据才能运行服务。这包括DeFi、NFT平台、游戏甚至社交网络等各类dApp,因为它们需要先读取数据才能执行其他交易。

DeFi

DeFi协议需要各种信息来为用户提供具体价格、比率和费用。自动做市商(AMM)需要资金池的价格和流动性信息来计算掉期利率,借贷协议需要利用率来确定借贷利率和清算的债务比率。在计算用户执行的利率之前,这些信息对dApp至关重要。

游戏

GameFi需要快速索引和访问数据,以确保用户流畅游戏体验。只有通过快速的数据检索和执行,Web3游戏才能在性能上与Web2游戏相媲美,从而吸引更多用户。这些游戏需要土地所有权、游戏内代币余额、游戏内操作等数据。使用索引器可以更好地确保稳定的数据流和正常运行时间,保证完美的游戏体验。

NFT

NFT市场和借贷平台需要索引各种信息,如NFT元数据、所有权和转让数据、版税信息等。快速索引这些数据可避免逐个浏览每个NFT以查找所有权或属性数据。

无论是需要价格和流动性信息的DeFi AMM,还是需要更新新用户帖子的SocialFi应用,快速检索数据对dApp正常运行至关重要。借助索引器,它们可以高效准确地检索数据,提供流畅的用户体验。

分析

索引器提供了从原始区块链数据(包括每个区块中的智能合约事件)中提取特定数据的方法。这为更具体的数据分析提供了机会,从而得出全面的见解。

例如,永续交易协议可以发现哪些代币交易量大、产生费用,从而决定是否将其列为永续合约。DEX开发者可以为自己的产品创建仪表板,深入了解哪些资金池回报率最高或流动性最强。还可以创建公共仪表板,让开发者灵活查询任何类型的数据并在图表中显示。

由于有多个区块链索引器可用,了解它们之间的差异对于开发者选择最适合自己需求的索引器至关重要。

主要区块链索引器概述

The Graph

The Graph是首个在以太坊上启动的索引器协议,可轻松查询以前难以访问的交易数据。它使用子图定义和过滤从区块链收集的数据子集,如与某个特定资金池相关的所有交易。

索引器质押原生代币GRT用于索引和查询服务,委托人可选择质押代币。策展人可访问高质量子图,帮助索引器确定要编制哪些子图以赚取最佳查询费用。The Graph正逐步向更去中心化过渡,最终将停止托管服务,要求子图升级到其网络。

其基础设施使每百万次查询的平均成本达到40美元,远低于自托管节点。使用文件数据源,它还支持同时对链上和链下数据进行并行索引,实现高效数据检索。

The Graph的索引器奖励在过去几个季度稳步增长,部分源于查询量增加,也得益于代币价格上涨。他们计划在未来整合AI辅助查询。

Subsquid

Subsquid是一个点对点、可水平扩展的去中心化数据湖,可高效聚合大量链上和链下数据,并通过零知识证明保护。作为去中心化工作器网络,每个节点负责存储特定区块子集的数据,通过快速识别所需数据的节点来加快检索过程。

Subsquid支持实时索引,允许在区块最终确定前进行索引。它还支持以开发者选择的格式存储数据,便于使用各种工具进行分析。此外,子图可在Subsquid网络上无代码部署。

虽然仍处于测试网阶段,Subsquid已取得令人印象深刻的成果,拥有超过8万测试网用户,部署了6万多个索引器,网络上有2万多名经过验证的开发者。Subsquid最近启动了其数据湖主网。

除索引外,Subsquid Network数据湖还可在分析、ZK/TEE协处理器、AI代理和预言机等用例中替代RPC。

SubQuery

SubQuery是一个去中心化的中间件基础设施网络,提供RPC和索引数据服务。它最初支持Polkadot和Substrate网络,现已扩展到200多个链。其工作原理类似于使用索引证明的The Graph,但引入了消费者来提交购买订单,以保障索引器收入。

SubQuery将引入支持分片的数据节点,以优化查询效率,同时实现更大程度去中心化。用户可选择按每1000个请求支付约1 SQT代币的计算费用,或通过协议为索引器设置自定义费用。

尽管SubQuery今年才推出代币,但节点和委托人的发行奖励也呈现美元价值环比增长,反映其平台上提供的查询服务数量不断增加。自TGE以来,质押的SQT总量从600万增加到1.25亿,凸显了网络参与度的增长。

Covalent

Covalent是一个去中心化索引器网络,由区块样本生产者(BSP)节点创建区块链数据副本并在Covalent L1链上发布证明。这些数据再由区块结果生产者(BRP)节点根据规则筛选出符合要求的数据。

通过统一API,开发者可轻松以一致的格式提取区块链数据,无需编写复杂查询。可使用在Moonbeam上结算的CQT代币从网络运营商处提取这些预配置数据集。

Covalent的奖励从23年第一季度到24年第一季度总体呈增长趋势,部分原因是CQT代币价格上涨。

选择索引器的考虑因素

数据可定制性

一些索引器(如Covalent)仅通过API提供标准预配置数据集。虽然速度快,但缺乏灵活性。使用索引器框架则允许更多自定义数据处理,以满足特定应用需求。

安全性

索引数据必须安全,否则基于这些索引器构建的dApp也容易受攻击。所有索引器都通过质押代币来保障安全,但一些解决方案还使用额外证明机制。

Subsquid提供乐观和零知识证明选项,Covalent发布包含区块哈希的证明。The Graph为索引器查询提供争议挑战期,SubQuery为每个区块生成Merkle Mountain证明。

速度和可扩展性

随着区块链增长和交易量上升,索引大量数据变得更加繁琐。索引器协议引入了解决方案来应对这些需求。

Subsquid通过添加更多节点来水平扩展。The Graph提供并行流数据以加快同步,SubQuery引入节点分片来加速同步过程。

支持的网络

虽然以太坊仍是主要活动场所,但其他区块链也日益受欢迎。为其他索引器不支持的链提供服务可获得更多市场份额。索引数据密集型网络(如Solana)并非易事,目前只有Subsquid成功为其提供索引支持。

结语

尽管索引器在dApp开发中广泛应用,但其潜力仍然巨大,特别是在与AI集成方面。随着AI在Web2和Web3中普及,其改进取决于访问相关数据来训练模型和开发AI代理。确保数据完整性对AI应用至关重要,可防止模型受到有偏见或不准确信息的影响。

在索引器解决方案领域,Subsquid在性能和用户指标方面取得重大进展。用户已开始尝试使用Subsquid构建AI代理,展示了该平台的多功能性和潜力。此外,AutoAgora等工具帮助索引器使用AI为The Graph上的查询服务提供动态定价,SubQuery支持多个AI网络以实现透明的数据索引。

AI与索引器的集成有望增强区块链生态系统中的数据可访问性和可用性。通过利用AI技术,索引器可提供更高效准确的数据检索,使开发者能构建更复杂的dApp和分析工具。随着AI和索引器继续共同发展,我们对数据索引的未来及其在塑造去中心化数字格局中的作用保持乐观。