Πώς κάνετε profile και βελτιστοποιείτε την απόδοση της Python;

Question

Accepted Answer

Η βελτιστοποίηση της Python ξεκινά με **profiling για να βρείτε το πραγματικό σημείο συμφόρησης** — ποτέ μην μαντέψετε. Η διερμηνευμένη, δυναμική φύση της Python την κάνει πιο αργή από τις μεταγλωττισμένες γλώσσες, επομένως η βελτιστοποίηση εστιάζει σε καλύτερους αλγορίθμους, αξιοποίηση βιβλιοθηκών C και μείωση της υπερφόρτωσης του διερμηνέα στις ζεστές διαδρομές.

## Κάντε profile πρώτα

```python
import cProfile
cProfile.run("my_function()")   # shows time spent per function call

# line-level profiling (third-party)
# pip install line_profiler → @profile decorator → kernprof -l -v script.py
```

```bash
python -m cProfile -s cumtime script.py   # sort by cumulative time → find hotspots
```

Το profiling αποκαλύπτει *που* πήγαινε ο χρόνος, επομένως βελτιστοποιείτε το 20% του κώδικα που σημαίνει — όχι τυχαίες εικασίες.

## Η μεγαλύτερη νίκη: καλύτεροι αλγόριθμοι και δομές δεδομένων

```python
# ❌ O(n) membership test in a list — slow for large data
if item in my_list: ...          # scans every element

# ✅ O(1) membership test in a set/dict
if item in my_set: ...           # hash lookup — dramatically faster at scale
```

Οι αλγοριθμικές βελτιώσεις (σωστή δομή δεδομένων, αποφυγή μοτίβων O(n²)) συνήθως υπερκαλύπτουν τις μικρο-βελτιστοποιήσεις — μια αναζήτηση συνόλου έναντι σάρωσης λίστας μπορεί να είναι κατά τάξεις μεγέθους ταχύτερη.

## Χρησιμοποιήστε βιβλιοθήκες C για βαρύ αριθμητικό έργο

```python
# ❌ pure-Python loop over millions of numbers — slow (interpreter overhead per element)
result = [x * 2 for x in big_list]

# ✅ NumPy does it in optimized C, vectorized — far faster
import numpy as np
result = np.array(big_list) * 2
```

Για αριθμητικό/έργο δεδομένων, βιβλιοθήκες όπως **NumPy/pandas** εκτελούν τους βαριούς βρόχους σε C (απελευθερώνουν το GIL), υπερτερώντας κατά πολύ τους καθαρούς βρόχους Python.

## Άλλες τεχνικές βελτιστοποίησης

```text
✓ Caching/memoization: @functools.lru_cache for repeated expensive calls
✓ Use built-ins (sum, map, sorted) — implemented in C, faster than manual loops
✓ Use generators for large data (avoid building huge lists in memory)
✓ Use local variables in hot loops (local lookup is faster than global/attribute)
✓ Use __slots__ to reduce per-object memory for many instances
✓ For CPU parallelism: multiprocessing (bypass the GIL)
✓ Last resort: rewrite hotspots in C / Cython / Rust (PyO3), or try PyPy
```

## Παράδειγμα αποθήκευσης

```python
from functools import lru_cache

@lru_cache(maxsize=None)
def fib(n):
    return n if n < 2 else fib(n-1) + fib(n-2)   # memoized → exponential becomes linear
```

## Μη βελτιστοποιείτε πρόωρα

```text
"Premature optimization is the root of all evil." Write clear code first,
profile to find real bottlenecks, then optimize those specifically.
```

## Γιατί είναι σημαντικό

Η σχετική αργοδοσία της Python κάνει την ευαισθητοποίηση απόδοσης πολύτιμη, αλλά η αποτελεσματική βελτιστοποίηση είναι **disiplinary**: κάντε profile πρώτα (cProfile/line_profiler) για να βρείτε το πραγματικό σημείο συμφόρησης, στη συνέχεια εφαρμόστε τη διόρθωση με τη μεγαλύτερη επίδραση — συνήθως ένας καλύτερος αλγόριθμος/δομή δεδομένων (O(n) → O(1) lookups), βιβλιοθήκες C (NumPy/pandas) για αριθμητικό έργο, caching για επαναλαμβανόμενο υπολογισμό και ενσωματωμένες/γεννήτριες για απόδοση.

Η γνώση αυτών των τεχνικών — και η αρχή της μέτρησης πριν την βελτιστοποίηση αντί της εικασίας ή της πρόωρης μικρο-βελτιστοποίησης — είναι αυτό που σας επιτρέπει να κάνετε την Python αρκετά γρήγορη όπου σημαίνει διατηρώντας τον κώδικα σαφή παντού αλλού.