რა არის mutation testing?

Question

Accepted Answer

**Mutation testing** აფასებს **ტესტის ნაკრების ხარისხს** კოდში მცირე ხარftვების ("მუტანტების") განზრახ შემოღებით და იმის შემოწმებით, **აჭერთ თუ არა ტესტები მათ**. ის ზომავს, რამდენად კარგად ამჩნევენ ტესტები დეფექტებს — გარემოვლის მიღმა მივით, რომელიც მხოლოდ შესრულებას ზომავს.

## როგორ მუშაობს mutation testing

```text
1. A tool makes small changes (MUTATIONS) to the code, e.g.:
   → change + to -, > to >=, true to false, remove a statement, change a constant
   → each mutation = a deliberate "bug" (a MUTANT version of the code)
2. Run the TEST SUITE against each mutant:
   → tests FAIL → the mutant is "KILLED" (good — tests caught the bug) ✓
   → tests PASS → the mutant "SURVIVED" (bad — tests DIDN'T catch the bug) ✗
3. MUTATION SCORE = % of mutants killed → measures how good the tests are at catching bugs
```

## რატომ უფრო ভাল, ვიდრე დაფარვა

```text
COVERAGE → measures if code was EXECUTED (not if behavior was verified) → can be high with
  weak tests (no real assertions)
MUTATION TESTING → measures if tests actually DETECT bugs (changes in behavior):
  → a surviving mutant reveals a GAP — tests execute that code but don't verify it well
    (weak/missing assertions, untested behavior)
→ A much stronger signal of TEST QUALITY than coverage.
```

## განსაზღვრებანი

```text
✓ Reveals weak tests (high coverage but surviving mutants = false confidence)
⚠️ COMPUTATIONALLY EXPENSIVE (runs the suite many times — once per mutant) → slow
⚠️ "Equivalent mutants" (mutations that don't change behavior) → false survivors to ignore
→ Tools: Stryker (JS), PIT (Java), mutmut (Python). Use on critical code; run periodically.
```

## რატომ არის ის მნიშვნელოვანი

mutation testing-ის გაცნობა ღირებული უმცროსი დონის ცოდნაა, რადგან ის უზრუნველყოფს **გაცილებით ძლიერ ზომას ტესტის ხარისხისთვის, ვიდრე დაფარვა**, წინაკვე დაფარვის ძირითადი სუსტობა, ამიტომ სასარგებლოა ტესტის ნაკრების შეფასება და გაუმჯობესებისთვის.

ფუნდამენტური ინსაიტია, რომ **დაფარვა ზომავს შესრულებას, არა გადამოწმებას** — კოდი შეიძლება იყოს "დაფარული" (შესრულებული) ტესტებით, რომლებიც სინამდვილეში არ ამოწმებენ მის ქცევას (სუსტი ან აკლული assertions), რაც გამოიყენებს მცდარ ნდობას. **Mutation testing** ამას ხსნის იმის ზომით, აჭერთ თუ არა ტესტები სინამდვილეში ხარვეზებს: ის შემოღებს მცირე დაკვირვებული ხარვეზებს (მუტანტებს) კოდში და იმის შემოწმებით, აჭერთ თუ არა ტესტები მათ (მუტანტი "მოკლულია" არის კარგი ტესტებით უარყოფილი; "გადაჭარბებული" მუტანტი ნიშნავს, რომ ტესტები აი ხარვეზი არ აჭერენ).

**mutation score** (მუტანტების პროცენტი დაბეჭდილი) არის გაცილებით ძლიერი სიგნალი ტესტის ხარისხისთვის, ვიდრე დაფარვა, რადგან ის გამოაკვეთს, არის თუ არა ტესტები გადამოწმებაზე ზოგადი ქცევა — **გადაჭარბებული მუტანტი ამოკვეთს სინამდვილე უფსხოვნებას** (ტესტები შესრულებენ კოდს, მაგრამ იგი კარგად არ გადამოწმებენ, მაგ. სუსტი assertions ან შემოწმებული ქცევა), რომელიც დაფარვა გამოუტოვებდა.

ამ გაგება — რომ mutation testing ნიშნავს სუსტ ტესტებს, რომლებიც მაღალი დაფარვის მიღმა იმალებიან — არის სიმპტომის რეალური მნიშვნელობა, განტოლება დაფარვის ლიმიტაციის, რომ მაღალი დაფარვა არ გარანტია კარგი ტესტებისთვის.

**განსაზღვრებათა** — რომ ის არის **გამოთვლითად ძვირი** (ნაკრების ერთ წამში განმეორება, რაც ღია ნელი აკეთებს), რომ "ეკვივალენტი მუტანტები" (მუტაციები არ იცვლებენ ქცევას) არის მცდარი გადამწვერები, რომ უგულებელყოთ და რომ ხელსაწყოები არსებობენ (Stryker, PIT, mutmut) — აჩვენებს პრაქტიკული გაცნობიერებას სად და როგორ გამოიყენოთ იგი (კრიტიკული კოდში, პერიოდულად, არა მუდმივად).

ვინაიდან ტესტის ხარისხი სინამდვილეში მნიშვნელოვანია (დაფარვა მხოლოდ შეიძლება მცდარი ნდობა მოცემული) და mutation testing უზრუნველყოფს გაცილებით ძლიერ ზომას იმის შემოწმებით, აჭერთ თუ არა ტესტები სინამდვილეში ხარვეზებს, და რადგან მისი გაგება, სარგებელი დაფარვის მეტი და პრაქტიკული განსაზღვრებანი სასარგებლოა ტესტის ხარისხის ჭეშმარიტად შეფასება და გაუმჯობესებისთვის, mutation testing-ის გაგება არის ღირებული უმცროსი დონის ცოდნა — დახვეწილი ტექნიკა რეალური ტესტის ხარისხის გაზომვით, წინაკვე დაფარვის სუსტობის გადასაჭრელად და დაფიქსირება უფრო დიდი გაგებაზე ტესტის ეფექტიანობის, სხვა რომელიმე უმცროსი როლებისთვის შეშფოთებული რეალური ტესტის ხარისხზე, არა მხოლოდ დაფარვის ნომრებზე.