El camino de la innovación de la tecnología de Fragmentación: Shardeum y la fragmentación de estado dinámica

El 15 de septiembre de 2022, Ethereum completó la fusión (Merge). Este es un momento histórico, Ethereum se preparó para esto durante 5 años y lo pospuso 6 veces. Debido al largo desarrollo y depuración, sumado al efecto de halo muy publicitado, muchas personas asumieron erróneamente que la fusión naturalmente traería mayor escalabilidad, seguridad y sostenibilidad, pero en realidad no es así. La transición de PoW( prueba de trabajo) a PoS( prueba de participación) es solo un cambio de rieles y ruedas, no traerá directamente mayor velocidad, mayor capacidad ni menores costos. Lo que realmente puede lograr estos objetivos es un conjunto completo de soluciones: una red principal con capacidad de fragmentación y soluciones Layer2 que mejoren la escalabilidad.

Como señaló el fundador de Ethereum, Vitalik Buterin, la Fragmentación es una solución de escalabilidad en el dilema de la escalabilidad, que consiste en dividir los nodos de la red en grupos más pequeños, procesando diferentes conjuntos de transacciones y logrando un procesamiento en paralelo. Al aliviar la carga de procesar la gran cantidad de datos necesarios para la recopilación en toda la red, de la misma manera que en Walmart, al abrir más canales de pago en la caja, se puede reducir visualmente el tiempo de espera y mejorar la eficiencia de pago.

Esta es la lógica de la Fragmentación, directa y simple, sin embargo, el diablo está en los detalles - el principio y la dirección son correctos, pero siempre se encuentran muchos problemas en la implementación. Este artículo quiere aclarar la dirección y los dilemas en el camino de la "Fragmentación", dibujando un mapa de exploradores de fragmentación que mire hacia las estrellas y esté en la tierra. Al mismo tiempo, comparando las soluciones de fragmentación existentes, se buscarán algunos problemas comunes y se propondrá una dirección de exploración viable: Shardeum y fragmentación dinámica.

Uno, sobre "Fragmentación"

En pocas palabras, considerando las restricciones del triángulo imposible, partiendo de Ethereum como el origen del sistema de coordenadas (, 0), según dos enfoques: "vertical" y "horizontal", clasificamos los métodos de escalabilidad actuales de la cadena de bloques en dos grandes categorías:

Escalado vertical (: Se logra aumentando el rendimiento del hardware existente del sistema. Establecer una red descentralizada, donde cada nodo en la red tiene capacidades de supercomputación, es decir, cada nodo necesita hardware "mejor" - este enfoque es simple y efectivo, y puede lograr una mejora inicial en el rendimiento, especialmente adecuado para aplicaciones de negociación de alta frecuencia, juegos y otros escenarios que son sensibles a la latencia. Sin embargo, este método de escalado limita el nivel de descentralización de la red, ya que el costo de ejecutar nodos de validación o nodos completos se ha incrementado. Mantener el nivel de descentralización está limitado por la tasa de crecimiento aproximada del rendimiento del hardware de cálculo ) lo que se conoce como "Ley de Moore": el número de transistores en un chip se duplica aproximadamente cada dos años, y el costo de cálculo se reduce a la mitad (.

Escalado Horizontal ): El escalado horizontal generalmente tiene varias ideas. Una es, en el contexto de la blockchain, dispersar la carga de cálculo de transacciones de un determinado ecosistema en múltiples blockchains independientes, cada cadena con sus propios productores de bloques y capacidad de ejecución. Este método permite una personalización completa de la capa de ejecución de cada cadena, como los requisitos de hardware de los nodos, funciones de privacidad, costos de gas, máquinas virtuales y configuraciones de permisos, entre otros. Otra solución de escalado horizontal es la blockchain modular, que divide la infraestructura de la blockchain en capas de ejecución, capas de disponibilidad de datos (DA) y capas de consenso. El mecanismo modular de blockchain más común son los rollups. Otra opción es dividir una blockchain en muchas partes, ejecutándose en paralelo. Cada fragmento puede considerarse una blockchain, lo que significa que muchas blockchains pueden ejecutarse en paralelo. Además, normalmente habrá una cadena principal, cuya única tarea es mantener todas las fragmentaciones sincronizadas.

Es necesario señalar que las ideas de escalabilidad anteriores no existen de manera aislada; cada solución encuentra un punto de equilibrio dentro del triángulo de imposibilidad, combinándose con el diseño de mecanismos de incentivo creados por las fuerzas económicas en el sistema para lograr un equilibrio efectivo a niveles macro y micro.

Para discutir "Fragmentación", necesitamos empezar desde cero.

Aún supongamos una situación así, en la caja de Walmart, para mejorar la eficiencia del proceso de pago y reducir el tiempo de espera de los clientes, ampliamos de un solo canal de pago a 10 ventanillas de pago. Para evitar errores en los libros, en este momento necesitamos establecer reglas unificadas:

Primero, si tenemos 10 cajeros, ¿cómo los asignamos a qué ventanilla trabajar?

Segundo, si tenemos 1000 clientes en fila esperando, ¿cómo decidimos a qué ventanilla irá cada cliente a pagar?

Tercero, ¿cómo se deben resumir los 10 libros contables individuales correspondientes a estas 10 ventanas?

Cuarto, ¿cómo se puede evitar que los cajeros cometan errores para prevenir discrepancias en las cuentas?

Estas preguntas corresponden a varios problemas clave en la Fragmentación, que son:

¿Cómo determinar a qué fragmentación pertenecen los nodos/validadores de toda la red? Es decir: ¿cómo realizar la fragmentación de red (NetworkSharding)?

¿Cómo determinar a qué fragmentación se asigna cada transacción? Es decir: ¿cómo realizar la fragmentación de transacciones (Transaction Sharding);

¿Cómo se almacenan los datos de blockchain en diferentes Fragmentación? Es decir: ¿cómo se realiza la Fragmentación de Estado (State Sharding);

La complejidad implica riesgo, sobre todo en lo anterior, ¿cómo evitar la fragmentación de la seguridad de todo el sistema?

( 01 Fragmentación)Network Sharding###

Si entendemos la cadena de bloques de manera simple como un libro mayor descentralizado, ya sea el mecanismo de consenso PoS o PoW, ambos están diseñados para que cada nodo compita por el derecho a registrar según ciertas reglas establecidas, garantizando la precisión del libro mayor en este proceso. La fragmentación de la red se refiere a la necesidad de otra regla establecida que divida la red de la cadena de bloques, permitiendo que cada fragmento maneje las transacciones en la cadena mientras se minimiza la comunicación entre ellos, compitiendo por el derecho a registrar - es decir, la regla de agrupación de nodos.

Y el problema encontrado en este proceso es que, a medida que los nodos internos de la blockchain se dividen en diferentes Fragmentación, la dificultad y el costo para los atacantes disminuyen drásticamente. Podemos inferir que, suponiendo que las reglas y resultados de este proceso de agrupamiento son fijos y predecibles, un atacante que quiera controlar toda la red de blockchain solo necesita controlar de manera dirigida uno de los Fragmentación y sobornar a algunos nodos dentro de este.

El fundador de Near, Alexander Skidanov, describe este problema de la siguiente manera: si una cadena única con X validadores decide bifurcarse en una cadena de fragmentación y divide los X validadores en 10 fragmentos, cada fragmento ahora tiene solo X/10 validadores, y destruir un fragmento solo requiere destruir el 5.1% del total de validadores ( 51% / 10). Esto plantea el segundo punto: ¿quién elige los validadores para cada fragmento? Solo cuando todos estos validadores del 5.1% están en el mismo fragmento, controlar el 5.1% de los validadores es perjudicial. Si los validadores no pueden elegir en qué fragmento validar, es muy poco probable que los participantes que controlan el 5.1% de los validadores coloquen a todos los validadores en el mismo fragmento, lo que reduce drásticamente su capacidad para dañar el sistema.

El sistema de fragmentación debe desarrollar un mecanismo para confiar en que la red no revertirá estas transacciones desde fragmentos externos. Hasta ahora, la mejor respuesta puede ser asegurarse de que el número de validadores dentro de un fragmento sea mayor que un umbral mínimo, de modo que la probabilidad de que validadores deshonestos abrumen un solo fragmento sea muy baja. La forma más común es construir un cierto grado de aleatoriedad imparcial, utilizando métodos matemáticos para minimizar la probabilidad de éxito de un atacante. Por ejemplo, Ethereum, la solución de Ethereum es seleccionar aleatoriamente un validador para un fragmento de entre todos los validadores, y cada 6.4 minutos ( la duración de un epoch ) se cambia el validador.

Dicho de manera simple, se trata de agrupar nodos aleatoriamente y luego asignar el trabajo para que cada grupo de nodos valide de forma independiente.

Sin embargo, es necesario señalar que la aleatoriedad en la blockchain es un tema muy desafiante. Lógicamente, el proceso de generación de este número aleatorio no debería depender del cálculo de ningún fragmento específico. Para este cálculo, muchas de las ideas de diseño existentes consisten en desarrollar una blockchain separada que mantenga toda la red. Estas cadenas se llaman Beacon chain en Ethereum y Near, Relay chain en PolkaDot, y Cosmos Hub en Cosmos.

( 02 Transacción Fragmentación)

La fragmentación de transacciones se refiere a las reglas sobre "qué transacciones deben ser asignadas a qué fragmentos", lo que puede lograr el objetivo de procesamiento en paralelo y evitar la aparición del problema del doble gasto. Las diferentes modelos de libro mayor de blockchain pueden afectar el desarrollo de la fragmentación de transacciones.

Actualmente existen dos tipos de métodos de contabilidad en la red blockchain, que son el modelo de Salidas de Transacción No Gastadas (UTXO)### y el modelo de cuenta/saldo. El primero está representado típicamente por BTC, mientras que el segundo lo está por ETH.

Modelo UTXO: En las transacciones de BTC, cada transacción puede tener una o más salidas. UTXO se refiere a las salidas de transacciones en la blockchain que no han sido gastadas y pueden ser utilizadas como entradas para nuevas transacciones, mientras que las salidas de transacciones ya gastadas no pueden volver a ser gastadas, similar al caso de pagos y cambios en transacciones con billetes. Un cliente paga al comerciante con uno o más billetes, y el comerciante le devuelve uno o más billetes como cambio. Bajo el modelo UTXO, la fragmentación de transacciones requiere comunicación entre fragmentos. Una transacción puede incluir múltiples entradas y múltiples salidas, no existe el concepto de cuentas, ni se registran saldos. Una posible manera es: procesar su valor de entrada de alguna transacción a través de una función hash para obtener un valor hash discreto que determine a qué fragmento deberían ir los datos. A continuación:

Para asegurar que las entradas se coloquen de manera consistente en la fragmentación correcta, los valores introducidos en la función hash deben provenir de la misma columna. Esta columna se llama Shard Key. Luego, las transacciones que generan un valor de 1 se asignan a la fragmentación 1, y las transacciones que generan un valor de 2 se asignan a la fragmentación 2. Sin embargo, el inconveniente de este enfoque es que las fragmentaciones deben comunicarse entre sí para evitar ataques de doble gasto. Limitar las transacciones entre fragmentaciones restringiría la disponibilidad de la plataforma, mientras que permitir transacciones entre fragmentaciones debe sopesar el costo de la comunicación entre fragmentaciones y los beneficios de las mejoras en el rendimiento.

Modelo de cuenta/saldo: El sistema registra el saldo de cada cuenta, y al realizar una transacción, el sistema verifica si la cuenta tiene saldo suficiente para el pago, similar a cuando un banco registra el saldo de cada cuenta durante una transferencia bancaria, donde la transacción solo puede llevarse a cabo si el saldo de la cuenta es mayor que el monto requerido para la transferencia. Bajo el modelo de cuenta/saldo, dado que una transacción tiene solo una entrada, al fragmentar la transacción según la dirección del remitente, se puede garantizar que múltiples transacciones de la misma cuenta se procesen en la misma fragmentación, lo que previene efectivamente el doble gasto. Por lo tanto, la mayoría de las blockchains que utilizan tecnología de fragmentación son sistemas de libro mayor de cuentas, como Ethereum.

( 03 Estado Fragmentación)State Sharding(

La fragmentación de estado se refiere a cómo se distribuyen los datos de la blockchain en diferentes fragmentos para su almacenamiento.

Siguiendo con nuestro ejemplo de la cola en Walmart, cada ventana tiene una cuenta, ¿cómo se registran sus libros contables? Si: el cliente se une a una cola, se registra en esa cuenta, por ejemplo, si el cliente A fue a la ventana A, al día siguiente el cliente fue a otra ventana de pago, por ejemplo, a la ventana B, y la ventana B no tiene la información de cuenta previa del cliente ), como por ejemplo, si se trata de métodos de pago como tarjetas de valor almacenado ###, ¿qué se debería hacer? ¿Llamar a la ventana A para obtener la información de la cuenta de ese cliente?

La fragmentación del estado es el mayor desafío de la fragmentación, más complicado que la fragmentación de red y la fragmentación de transacciones mencionadas anteriormente. Debido a que bajo el mecanismo de fragmentación, las transacciones se asignan a diferentes fragmentos según las direcciones, es decir, el estado solo se almacenará en el fragmento donde se encuentra su dirección. En este momento, uno de los problemas que se enfrenta es que las transacciones no se realizarán solo en un fragmento, a menudo implican la fragmentación cruzada (Cross-Sharding).

Considera un caso de transferencia, la cuenta A transfiere 10U a la cuenta B, y la dirección de A está asignada en Fragmentación 1, el registro de la transacción también se almacenará en Fragmentación 1. La dirección de B está asignada en Fragmentación 2, el registro de la transacción se almacenará en Fragmentación 2.

Una vez que A quiere transferir fondos a B, se formará una transacción de fragmentación cruzada, fragmentación 2 llamará al pasado registro de transacciones de fragmentación 1 para confirmar la validez de la transacción. Si A envía monedas a B con frecuencia, fragmentación 2 tendrá que interactuar constantemente con fragmentación 1, lo que reducirá la eficiencia del procesamiento de las transacciones. Sin embargo, si no se descarga y verifica toda la historia de una fragmentación específica, los participantes no podrán determinar si el estado de su interacción es el resultado de una secuencia de bloques válidos y si tal secuencia de bloques es realmente la cadena estándar dentro de la fragmentación.

Por lo tanto, en comparación con una cadena única sin fragmentación, el sistema de fragmentación enfrenta el nuevo desafío de que los usuarios no