Dencun升级后,以太坊历史数据的长期存储与访问问题怎么解决?

互联网 阅读 1015 2024-06-17 18:02:00

以太坊状态数据膨胀问题与解决方案

随着以太坊网络的流行和应用需求的增加,其历史状态数据开始快速增长。为应对这一问题,以太坊一步步改进,从最初的全节点到轻客户端,再到近期的 Dencun 升级引入状态过期功能来自动清理长期未使用的数据。

以太坊的长期目标之一是通过实现分片将数据分散到不同的区块链上,来减少单个区块链的负载,Dencun 升级中实施的 EIP-4844 是以太坊网络向全面实施分片的重要一步。EIP-4844 引入了「blobs」临时数据类型,让 Rollup 以更低的成本提交更多数据到以太坊主链。为了控制状态数据膨胀,以太坊将 blobs 数据在共识层节点存储约 18 天后删除。

除了以太坊自身的改进,还有一些项目比如Celestia、Avail和EigenDA也在构建解决方案以改善数据问题。他们提供了有效的短期数据可用性(DA)解决方案,增强了区块链的实时操作和可扩展性。然后这些方案并没有解决那些需要长期访问历史数据的应用,如那些依赖于长期存储用户身份验证数据的 dApp 或需要进行人工智能模型训练的 dApp。

为了解决以太坊生态系统中长期数据存储的挑战,EthStorage、Pinax、Covalent等项目提出了解决方法。EthStorage 为 Rollup 提供了长期的 DA,确保数据可以长期被访问和使用。Pinax、The Graph和StreamingFast联合开发了长期存储和检索 blobs 数据包的方案。Covalent 的 Ethereum Wayback Machine(EWM)不仅是一个长期数据存储解决方案,也是一个可以实现数据查询和分析的完整系统。

随着人工智能成为全球技术发展的主流趋势,其与区块链技术的结合也被视为未来的发展方向。这种趋势导致了对历史数据访问和分析需求在不断增长。在这种背景下,EWM 展示出其独特的优势。EWM 提供了对以太坊历史数据归档和数据处理,使得用户可以检索复杂的数据结构,对智能合约的内部状态、交易结果、事件日志等进行深入分析和查询。

Ethereum Wayback Machine (EWM) 简介

Ethereum Wayback Machine(EWM)借鉴了 Wayback Machine 的概念,保存以太坊上的历史数据,并使其可以被访问和验证。Wayback Machine 是由互联网档案馆 (Internet Archive) 创建的一个数字档案项目,旨在记录和保存互联网的历史。这个工具允许用户查看过去不同时间点上某个网站的存档版本,帮助人们了解网站内容的历史变化。

历史数据是区块链诞生的根本原因,不仅支撑了区块链的技术架构,也是其经济模型的基石。区块链设计之初,就是为了提供一个公开、不可更改的历史记录。比如比特币,是为了创建一个不可篡改、去中心化的账本,它记录每一笔交易的历史,以保证交易的透明性和安全性。历史数据的需求场景非常广泛,但目前缺乏一种高效且可验证的存储方式。EWM 作为长期 DA 解决方案,能够永久存储数据,包括 blob 数据,可以应对因状态过期和数据分片带来的历史数据可访问性问题。EWM 专注以太坊上历史数据的归档和长期可访问性,支持复杂的数据结构查询。接下来,我们将详细探讨 EWM 如何通过其独特的数据处理流程,实现这一目标。

EWM 的数据处理流程:提取、精炼与索引

Covalent 是为用户提供对区块链数据的访问和查询服务的平台。它通过捕获和索引区块链数据,并将其存储在网络上的多个节点上,实现了数据的可靠存储和快速访问。Covalent 通过 Ethereum Wayback Machine(EWM)来处理数据,确保区块链历史数据的持续可访问性。EWM 数据处理流程包括三个关键步骤:提取和导出(Extraction and Export)、精炼(Refinement)、索引和查询(Indexing and Query)。

  1. 提取和导出:这是流程的第一步,涉及到从区块链网络中直接提取历史交易数据。这一步骤由专门的实体,即 Block Specimen Producers(BSP),执行。BSP 的主要任务是创建并保存「区块样本」,即区块链数据的原始快照。这些区块样本作为区块链历史状态的规范表示,关键在于保持数据的完整性和准确性。创建后,这些区块样本会被上传到分布式服务器上(基于 IPFS 构建),并通过 ProofChain 合约进行发布和验证。这样不仅确保了数据的安全性,同时也为其他人提供了关于数据已被安全保存的信号。

  2. 精炼:在数据提取后,由 Block Results Producers(BRP)来精炼。BRP 负责将基础数据转化为更有用的形式。传统的区块链数据访问方法通常只能提供有限的信息,且不易于查询复杂的数据结构。通过重新执行和转换数据,BRP 能够提供更详尽的信息,如合约内部状态、交易执行路径等。此外,BRP 通过预处理和存储加工后的数据,显著减少了对每次查询或数据分析重新运行完整节点的需求,从而提高了查询速度,并降低了存储和计算成本。至此,原始的「区块样本」被转化为更容易被查询和分析的形式「区块结果」。这一过程不仅加快了 Covalent 网络的性能,也为数据的进一步查询和分析提供了更多的可能性。

  3. 索引和查询:最后查询运营商(Query Operators)将处理好的数据整理并保存在便于查找的位置。根据 API 用户的需求,从分布式服务器中提取数据,确保历史和实时数据都可以用于响应 API 查询。这样用户便能够有效地访问和利用存储在 Covalent 网络中的区块链数据。

Covalent 提供统一的 GoldRush API,支持从多个区块链(如以太坊、Polygon、Solana 等)获取历史数据。这个 GoldRush API 为开发者提供一站式数据解决方案,允许开发者通过单一的调用获取账户的 ERC20 代币余额和 NFT 数据,从而轻松构建加密货币和 NFT 钱包(如Rainbow、Zerion),极大简化了开发流程。此外,使用 API 访问 DA 数据需要消耗信用积分(Credit),不同类型的请求被分为不同类别(A 类、B 类、C 类等),每个类别都有自己特定的信用成本。这笔收入用于支持运营商网络。

未来展望

随着 AI 的快速发展,AI 与区块链的结合趋势愈发明显。区块链技术为 AI 提供了一个不可篡改且分布式验证的数据来源,增强了数据透明度和信任度,使 AI 模型在数据分析和决策制定时更精确可靠。AI 通过分析链上数据,能优化算法和预测趋势,从而直接执行复杂任务和交易,显著提高 dApp 的效率和降低成本。通过 EWM,AI 模型可以访问广泛的链上结构化 Web3 数据集,并且这些数据具有完整性和可验证性。EWM 作为 AI 模型与区块链之间的桥梁,极大地方便了AI 开发人员的数据检索和利用。

目前已经有一些 AI 项目整合了 Covalent:

  • SmartWhales:利用 AI 技术优化复制交易(copy trading)投资策略的平台。复制交易依赖于对历史数据的分析来识别成功的交易模式和策略。 Covalent 提供全面且详尽的区块链数据集,SmartWhales 通过这些数据分析过去的交易行为和结果,识别出哪些策略在特定市场条件下表现良好推荐给用户。

  • BotFi:DeFi 交易机器人。通过整合 Covalent 的数据来分析市场趋势和自动化交易策略,并根据市场变化自动进行买卖操作​。

  • Laika AI:利用 AI 进行全面的链上分析。Laika AI 平台通过整合 Covalent 提供的结构化区块链数据,来驱动其 AI 模型,帮助用户进行复杂的链上数据分析。

  • Entendre Finance: 自动化 DeFi 资产管理,提供实时洞察和预测分析。其 AI 利用 Covalent 的结构化数据来简化和自动化资产管理,比如监控和管理数字资产的持有情况、自动执行特定的交易策略等。

EWM 也在随着需求的改变不断的改进升级,Covalent 工程师Pranay Valson 表示,未来 EWM 将扩展协议规范以支持其他区块链如 Polygon 和 Arbitrum,并会将 BSP 分叉集成到如 Nethermind 和 Besu 等以太坊客户端中,以实现更广泛的兼容性和应用。此外,EWM 在信标链上处理 blob 交易时,将使用 KZG 承诺,以提升数据的存储和检索效率,减少存储成本。

免责声明:
1.资讯内容不构成投资建议,投资者应独立决策并自行承担风险
2.本文版权归属原作所有,仅代表作者本人观点,不代表本站的观点或立场
上一篇:Coinbase 峰会笔记:这是第一个机构周期,对ETF的真正需求尚未出现 下一篇:赛博朋克游戏巨头Pixelverse迎来新一轮550万美元融资

您可能感兴趣

  • 解读CKB版 “闪电网络” Fiber Network:比特币可编程性扩展的另一种思路
    解读CKB版 “闪电网络” Fiber Network:比特币可编程性扩展的另一种思路

    作者:NingNing行业周期与宏观金融周期共振,加密行业正处在与 2019 年相似的整体性迷茫之中,现阶段不仅流动性枯竭,叙事貌似也在枯竭。市场不但对 VC 叙事兴趣阙如,对反 VC 的 Meme 叙事也已经疲倦。就像每次哲学危机,人们都会回归柏拉图寻找出路,当加密行业危机时,我们也需要回归比特币、回归中本聪。正如 CKB 生态 RGB++ 协议创始人 Cipher 在最新 Blog 里所阐述的,加密行业需要对以太坊 “链上计算” 的路径依赖进行反思,回归P2P经济学,让计算归于链下,让验证归于链上。因

    每日资讯 2024-09-02 12:06 1448
  • 面对NFL球员工会起诉,“退圈”的DraftKings竟主动承认NFT是证券?
    面对NFL球员工会起诉,“退圈”的DraftKings竟主动承认NFT是证券?

    作者:Zen,PANews近日,美国国家橄榄球联盟球员协会 (NFLPA) 指控数字体育娱乐和游戏公司DraftKings 逃避了其 NFT 球员许可协议的付款义务。在放弃NFT业务后,涉嫌出售未注册证券而遭到集体诉讼的DraftKings又背上了一起官司。而有趣的是,在与NFLPA的纠纷中,DraftKings的立场似乎已从反驳转变为积极承认“NFT就是证券”。放弃NFT业务:驳回集体诉讼的动议遭到否决今年7月底,Draftkings在给用户的电子邮件中表示:“经过慎重考虑,DraftKings 决定终

    每日资讯 2024-09-02 12:06 1544
  • 简析两种最新比特币智能合约实现方案:OP_NET与Arch有何区别?
    简析两种最新比特币智能合约实现方案:OP_NET与Arch有何区别?

    作者:Cookie过去半个月,OP_NET 与 Arch 这两个比特币主网上的智能合约实现方案引发了较多的讨论。有意思的事情是,OP_NET 这个名字与大家熟悉的 OP_CAT 很像,都以「OP_」开头,具有很强的、让大家认为这哥俩差不多的迷惑性。所以,在开篇要和大家先提一嘴 OP_CAT。首先,OP_CAT 是比特币操作码,从去年开始有以「量子猫」Quantum Cats,也就是「大巫师」Taproot Wizards 的创始人 Udi Wertheimer 为首的社区力量一直在呼喊要「复活」OP_CA

    每日资讯 2024-09-02 12:06 1455
  • 争议不断,以太坊正在失去“万链之王”的权威
    争议不断,以太坊正在失去“万链之王”的权威

    作者:Climber,金色财经近期围绕以太坊的话题和争议越来越多,不仅 Vitalik 本人需要下场解释观点,就连以太坊基金会也要发布公告来平息社区的质疑声。在本轮牛市周期中,以太坊的表现可谓平平。而美国以太坊现货 ETF 的通过也并未让 ETH 走势如投资者期待般爆发,相反却在币价方面越走越低。这就不免让有着「万链之王」美誉的以太坊逐渐失去投资者和社区的尊重,进而质疑起有关以太坊的方方面面。争议不断,以太坊亟需重塑权威最近一段时间以来社区成员对 Vitalik 言论观点、以太坊基金会乃至以太坊生态系统的

    每日资讯 2024-09-02 12:06 1166
  • 从《黑神话:悟空》谈起,GameFi何时能取得真经?
    从《黑神话:悟空》谈起,GameFi何时能取得真经?

    作者:YBB Capital Researcher Zeke前言本文是市场垃圾时间中的一些闲聊,需要对传统游戏市场有一定程度了解。大家可以把这篇文章当作日记或者随想观看,这些只是我在游玩《黑神话:悟空》之后对GameFi的一些粗浅思考,以及对这个赛道未来的看法。一、游戏科学的九九八十一难三天全网销量破千万、Steam玩家同时在线峰值破235万、多家品牌联名周边销售爆火、国家级媒体多次采访、多个游戏取景地可凭游戏通关记录终身免费进入、86版《西游记》YouTube观看量超400万。以上,是《黑神话:悟空》上

    每日资讯 2024-09-02 12:06 834
  • Gavin Wood:如何防止女巫攻击进行有效空投?
    Gavin Wood:如何防止女巫攻击进行有效空投?

    演讲:Gavin WoodGavin 近期一直在关注的女巫攻击(civil resistance)的问题,PolkaWorld 回顾了 Gavin Wood 博士在 Polkadot Decoded 2024 上的主题演讲,想要探究 Gavin 在如何防止女巫攻击上的一些见解。什么是女巫攻击?你们可能知道,我一直在研究一些项目,我在编写灰皮书,专注于 JAM 项目,也在这个方向上做了一些代码的工作。实际上,在过去的两年时间里,我一直在思考一个非常关键的问题,这个问题在这个领域中非常重要,那就是如何防止女巫

    每日资讯 2024-09-02 12:06 1401
  • 市场热议,链抽象将成加密新叙事?
    市场热议,链抽象将成加密新叙事?

    2024年,加密货币领域的技术创新持续加速,链抽象(Chain Abstraction)逐渐成为行业内的焦点。链抽象技术的核心在于通过隐藏底层技术的复杂性,让用户能够更加便捷地在多个区块链之间进行操作。传统的区块链技术通常要求用户掌握不同链的操作流程,并需要应对跨链操作中的技术难题,这极大地吸引了新用户的进入。而链抽象的出现,则为这些问题提供了有效的解决方案,成为Web3建设不可忽视的重要一环。01、什么是链抽象及其作用链抽象能够将不同的区块链之间的差异整合在一个统一的操作界面中,使得用户只需一个账户即可

    每日资讯 2024-09-02 12:05 693
  • 今日日报|马斯克和特斯拉赢得“被指控操纵狗狗币”的诉讼;稳定币支付平台Bridge完成5800万美元融资
    今日日报|马斯克和特斯拉赢得“被指控操纵狗狗币”的诉讼;稳定币支付平台Bridge完成5800万美元融资

    今日要闻提示:马斯克和特斯拉赢得驳回指控他们操纵狗狗币的诉讼OpenAI和Anthropic已同意将其主要新AI模型在发布前共享给美国政府OKX将上线Hamster Kombat(HMSTR)现货交易X平台纽约总部将于9月13日关闭,预计将迁往得州萨尔瓦多总统布克尔成为《时代》杂志最新一期封面人物稳定币支付公司Bridge完成5800万美元融资数据:MATIC、SHIB、UNI代币头部地址持仓均超50%网龙今年上半年通过出售2.9亿元的加密货币,获利5100万元人民币监管消息美国众议院计划在9月举行多场加

    每日资讯 2024-09-02 12:05 1191