Interrupción del servicio Cloudflare R2 por un error de rotación de contraseña

AXCESS · Marzo 26, 2025, 12:12:36 AM

No tienes permitido ver enlaces. Registrate o Entra a tu cuenta

Cloudflare anunció que su almacenamiento de objetos R2 y los servicios dependientes sufrieron una interrupción que duró 1 hora y 7 minutos, lo que provocó fallos del 100 % de escritura y del 35 % de lectura a nivel global.

Cloudflare R2 es un servicio de almacenamiento de objetos escalable y compatible con S3 con recuperación de datos gratuita, replicación multirregional y una estrecha integración con Cloudflare.

El incidente, que duró entre las 21:38 UTC y las 22:45 UTC, se debió, según se informa, a una rotación de credenciales que provocó que R2 Gateway (API frontend) perdiera el acceso de autenticación al almacenamiento backend.

En concreto, se implementaron nuevas credenciales por error en un entorno de desarrollo en lugar de en el de producción, y al eliminar las credenciales antiguas, el servicio de producción se quedó sin credenciales válidas.

El problema se originó en la omisión de un indicador en la línea de comandos, '--env production', que provoca que las nuevas credenciales se implementen en el Worker de R2 Gateway de producción en lugar del Worker de producción.

Diagrama de autenticación de R2 Gateway Worker

Debido a la naturaleza del problema y al funcionamiento de los servicios de Cloudflare, la configuración incorrecta no se detectó de inmediato, lo que provocó más retrasos en su solución.

"La disminución de las métricas de disponibilidad de R2 fue gradual y no se observó de inmediato debido a un retraso en la propagación de la eliminación de credenciales anterior a la infraestructura de almacenamiento", explicó Cloudflare en su informe de incidentes.

"Esto supuso un retraso en nuestro descubrimiento inicial del problema. En lugar de basarnos en las métricas de disponibilidad tras actualizar el antiguo conjunto de credenciales, deberíamos haber validado explícitamente qué token utilizaba el servicio R2 Gateway para autenticarse con la infraestructura de almacenamiento de R2".

Aunque el incidente no provocó la pérdida ni la corrupción de datos de los clientes, sí causó una degradación parcial o total del servicio en:

R2: 100 % de errores de escritura y 35 % de errores de lectura (los objetos en caché permanecieron accesibles).

Reserva de caché: Mayor tráfico de origen debido a lecturas fallidas.

Imágenes y transmisión: Todas las cargas fallaron, la entrega de imágenes se redujo al 25 % y la de transmisión al 94 %.

Seguridad del correo electrónico, Vectorizar, Entrega de registros, Facturación, Auditor de transparencia de claves: Diversos niveles de degradación del servicio.

Para evitar que incidentes similares se repitan en el futuro, Cloudflare ha mejorado el registro y la verificación de credenciales y ahora exige el uso de herramientas de implementación automatizadas para evitar errores humanos.

La compañía también está actualizando los procedimientos operativos estándar (POE) para exigir una doble validación para acciones de alto impacto, como la rotación de credenciales, y planea mejorar las comprobaciones de estado para una detección más rápida de la causa raíz.

El servicio R2 de Cloudflare sufrió otra interrupción de una hora en febrero, también causada por un error humano.

Un operador, en respuesta a un informe de abuso sobre una URL de phishing en el servicio, desactivó por completo el servicio R2 Gateway en lugar de bloquear el endpoint específico.

La falta de medidas de seguridad y comprobaciones de validación para acciones de alto impacto provocó la interrupción, lo que llevó a Cloudflare a planificar e implementar medidas adicionales para mejorar el aprovisionamiento de cuentas, un control de acceso más estricto y procesos de aprobación bipartita para acciones de alto riesgo.

Fuente:
BleepingComputer
No tienes permitido ver enlaces. Registrate o Entra a tu cuenta

Interrupción del servicio Cloudflare R2 por un error de rotación de contraseña

AXCESS

Marzo 26, 2025, 12:12:36 AM