Python 성능을 어떻게 프로파일링하고 최적화하나요?

Question

Accepted Answer

Python 최적화는 **프로파일링으로 실제 병목을 찾는 것**에서 시작합니다 — 절대 추측하지 마세요. Python의 인터프리터 방식, 동적 본질은 컴파일 언어보다 느리게 만들므로, 최적화는 더 나은 알고리즘, C 기반 라이브러리 활용, 핫 경로에서 인터프리터 오버헤드 줄이기에 집중됩니다.

## 먼저 프로파일링

```python
import cProfile
cProfile.run("my_function()")   # 함수 호출별로 소요된 시간을 보여줌

# 라인 수준 프로파일링 (서드파티)
# pip install line_profiler → @profile decorator → kernprof -l -v script.py
```

```bash
python -m cProfile -s cumtime script.py   # 누적 시간으로 정렬 → 핫스팟 찾기
```

프로파일링은 시간이 실제로 *어디에* 가는지 드러내므로, 무작위 추측이 아니라 중요한 20%의 코드를 최적화합니다.

## 가장 큰 이득: 더 나은 알고리즘과 자료 구조

```python
# ❌ 리스트에서 O(n) 멤버십 테스트 — 대용량 데이터에 느림
if item in my_list: ...          # 모든 요소를 스캔

# ✅ set/dict에서 O(1) 멤버십 테스트
if item in my_set: ...           # 해시 조회 — 규모가 커질수록 극적으로 빠름
```

알고리즘 개선(올바른 자료 구조, O(n²) 패턴 피하기)은 보통 마이크로 최적화를 압도합니다 — set 조회 vs 리스트 스캔은 수십 배 빠를 수 있습니다.

## 무거운 수치 작업에는 C 기반 라이브러리 사용

```python
# ❌ 수백만 개의 숫자에 대한 순수 Python 루프 — 느림 (요소당 인터프리터 오버헤드)
result = [x * 2 for x in big_list]

# ✅ NumPy는 최적화된 C에서, 벡터화하여 처리 — 훨씬 빠름
import numpy as np
result = np.array(big_list) * 2
```

수치/데이터 작업의 경우, NumPy/pandas 같은 라이브러리는 무거운 루프를 C에서 실행하여(GIL을 해제하면서) 순수 Python 루프를 크게 능가합니다.

## 기타 최적화 기법

```text
✓ 캐싱/메모이제이션: 반복되는 비싼 호출에 @functools.lru_cache
✓ 내장 함수(sum, map, sorted) 사용 — C로 구현됨, 수동 루프보다 빠름
✓ 대용량 데이터에 generator 사용 (메모리에 거대한 리스트 구축 피하기)
✓ 핫 루프에서 지역 변수 사용 (지역 조회가 전역/속성보다 빠름)
✓ 많은 인스턴스의 객체당 메모리를 줄이려면 __slots__ 사용
✓ CPU 병렬성: multiprocessing (GIL 우회)
✓ 최후의 수단: 핫스팟을 C / Cython / Rust(PyO3)로 재작성, 또는 PyPy 시도
```

## 캐싱 예시

```python
from functools import lru_cache

@lru_cache(maxsize=None)
def fib(n):
    return n if n < 2 else fib(n-1) + fib(n-2)   # 메모이제이션 → 지수가 선형이 됨
```

## 조기 최적화하지 말 것

```text
"조기 최적화는 모든 악의 근원이다." 먼저 명확한 코드를 작성하고,
프로파일링으로 실제 병목을 찾은 다음, 그것들을 구체적으로 최적화하세요.
```

## 왜 중요한가

Python의 상대적인 느림은 성능 의식을 가치 있게 만들지만, 효과적인 최적화는 **규율 있습니다**: 먼저 프로파일링하여(cProfile/line_profiler) 진짜 병목을 찾고, 그다음 가장 효과적인 수정 — 보통 더 나은 알고리즘/자료 구조(O(n) → O(1) 조회), 수치 작업용 C 기반 라이브러리(NumPy/pandas), 반복 계산용 캐싱, 효율성을 위한 내장 함수/generator — 를 적용합니다.

이 기법들 — 그리고 추측하거나 조기에 마이크로 최적화하기보다 최적화 전에 측정하는 원칙 — 을 아는 것이 중요한 곳에서 Python을 충분히 빠르게 만들면서 다른 모든 곳에서는 코드를 명확하게 유지할 수 있게 합니다.