Saltar al contenido
Underc0de /foro

La gerencia quiere exigir 100% de cobertura de código en todos los repos. ¿Qué opinás? ¿Qué mide y qué no la cobertura, y qué propondrías?

$ interview --rol qa

Evalúa el criterio senior sobre métricas de calidad, los límites de la cobertura, el conocimiento de mutation testing y la capacidad de proponer una política razonable.

QA / Testingnivel senior#qa-testing

Respuesta

La cobertura dice qué código se ejecutó durante los tests, no qué código se verificó. Un test sin asserts puede dar 100% de cobertura de líneas y no detectar nada.

Código: python
def es_mayor(edad):
    return edad >= 18

def test_es_mayor():
    assert es_mayor(30)  # 100% de líneas cubiertas

Si alguien cambia >= por >, este test sigue pasando. Para atraparlo falta probar el límite, es decir, edad 18.

Problemas de exigir 100%:
  • Ley de Goodhart: cuando la métrica se vuelve objetivo, aparecen tests de getters, tests sin asserts reales o exclusiones forzadas para llegar al número.
  • El costo marginal del último 5 a 10% suele ser altísimo (manejo de errores improbables, código generado) y el beneficio es bajo.
  • Se generan tests acoplados a la implementación, que frenan los refactors.

Qué propondría:
  • Usar la cobertura como señal para encontrar zonas sin probar, no como meta. Priorizar la cobertura de ramas sobre la de líneas.
  • Poner un umbral sobre el código nuevo o modificado en cada PR, en lugar de un número global, y exigir más en los módulos críticos (pagos, permisos).
  • Mutation testing en esos módulos, con herramientas como PIT (Java), Stryker (JS/.NET) o mutmut (Python). Estas herramientas introducen cambios pequeños en el código y, si los tests siguen pasando, el mutante "sobrevive": eso indica asserts débiles. Es costoso, así que lo correría de forma incremental o en un nightly.
  • Mirar métricas de resultado: bugs escapados a producción, en qué capa se detectan los defectos y tiempo de detección.

Le plantearía a la gerencia que el objetivo real es reducir el riesgo, y que eso se mide mejor combinando estas señales que con un único porcentaje.

Errores comunes

Defender o rechazar el 100% sin argumentos. No distinguir entre código ejecutado y código verificado. Desconocer la cobertura de ramas o el mutation testing y no proponer una alternativa concreta.

Redactado con el asistente Underc0de IA. Actualizado el 16/11/2026. ¿Ves un error? Contanos en el foro.

Grupo de WhatsApp