¿Qué son las pruebas de mutación (mutation testing)?

Question

Accepted Answer

Las **pruebas de mutación** (mutation testing) evalúan la **calidad de un conjunto de pruebas** introduciendo deliberadamente pequeños errores ("mutantes") en el código y comprobando si las pruebas los **detectan**. Miden qué tan buenas son realmente las pruebas para detectar defectos — yendo más allá de la cobertura, que solo mide la ejecución.

## Cómo funcionan las pruebas de mutación

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## Por qué es mejor que la cobertura

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## Consideraciones

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## Por qué es importante

Comprender las pruebas de mutación es un conocimiento valioso de nivel sénior porque proporcionan una **medida de la calidad de las pruebas mucho más sólida que la cobertura**, abordando la principal debilidad de esta, por lo que resultan útiles para evaluar y mejorar los conjuntos de pruebas.

La idea fundamental es que la **cobertura mide la ejecución, no la verificación** — el código puede estar "cubierto" (ejecutado) por pruebas que en realidad no verifican su comportamiento (afirmaciones débiles o ausentes), dando una falsa confianza. Las **pruebas de mutación** abordan esto midiendo si las pruebas realmente **detectan errores**: introducen pequeños errores deliberados (mutantes) en el código y comprueban si las pruebas los detectan (un mutante "eliminado" por pruebas que fallan es bueno; un mutante "superviviente" significa que las pruebas no detectaron ese error).

La **puntuación de mutación** (porcentaje de mutantes eliminados) es una señal mucho más sólida de la calidad de las pruebas que la cobertura, porque revela si las pruebas verifican genuinamente el comportamiento — un **mutante superviviente expone una brecha real** (las pruebas ejecutan el código pero no lo verifican bien, p. ej. afirmaciones débiles o comportamiento no probado) que la cobertura pasaría por alto.

Comprender esto — que las pruebas de mutación revelan pruebas débiles que se ocultan tras una alta cobertura — es el valor clave, abordando la limitación de que una alta cobertura no garantiza buenas pruebas.

Comprender las **consideraciones** — que son **computacionalmente costosas** (ejecutando el conjunto de pruebas una vez por mutante, lo que las hace lentas), que los "mutantes equivalentes" (mutaciones que no cambian el comportamiento) son falsos supervivientes que deben ignorarse, y que existen herramientas (Stryker, PIT, mutmut) — refleja una conciencia práctica de cuándo y cómo usarlas (en código crítico, periódicamente, en lugar de constantemente).

Dado que la calidad de las pruebas importa de verdad (la cobertura por sí sola puede dar una falsa confianza) y que las pruebas de mutación proporcionan una medida mucho más sólida al comprobar si las pruebas realmente detectan errores, y dado que comprenderlas, su ventaja sobre la cobertura y sus consideraciones prácticas resulta útil para evaluar y mejorar de verdad los conjuntos de pruebas, entender las pruebas de mutación es un conocimiento valioso de nivel sénior — una técnica sofisticada para medir la calidad real de las pruebas, que aborda la debilidad clave de la cobertura y refleja la comprensión más profunda de la eficacia de las pruebas que se espera en roles sénior preocupados por la calidad genuina de las pruebas, y no solo por las cifras de cobertura.