Büyük bir tablodaki yavaş toplulaştırma sorguları nasıl hızlandırılır?

Question

IT Interview Practice · Accepted Answer

Yavaş bir toplulaştırmayı iyileştirmek için önce **sonucun ne anlama geldiğini ve hangi işlemin zaman harcadığını** belirleyin. Toplulaştırma, satırları satıcı başına gelir gibi bir özette birleştirir. Maliyeti, okunup birleştirilmesi gereken veri miktarına bağlıdır.

Geçen ayın gelirini gösteren bir panel düşünün. Sorguyu iyileştirmek, önceden hazırlanmış bir özet saklamak veya raporlamayı başka yere taşımak arasında karar vermek için bu örneği kullanalım.

## 1. Hızlandırmadan önce yanıtın doğruluğunu onaylayın

Gelirin ödenmiş mi yoksa oluşturulmuş siparişleri mi ifade ettiğini, iadelerin nasıl işlendiğini ve hangi para birimlerinin dahil olduğunu netleştirin. Panelin ne kadar güncel olması gerektiğini de sorun. Bu seçimler hem sorguyu hem de iyileştirme seçeneklerini değiştirir.

Yaygın bir hata, bir ödemeyi birden fazla sipariş kalemiyle birleştirip ödeme tutarını toplamaktır:

```text
[Payment: 100] -> [Join with 3 items] -> [100, 100, 100]
                                               |
                                          [SUM = 300]
```

Sayılar örnektir. Sorgu ödemeyi çoğalttığı için hızlandırmak yalnızca yanlış toplamı daha çabuk döndürür. Performansı değerlendirmeden önce amaçlanan iş düzeyinde toplulaştırın veya birleştirmeyi değiştirin.

## 2. Yürütmenin pahalı kısmını bulun

Yürütme planı, sonucu elde etmek için kullanılan işlemleri gösterir. Tablonun yalnızca başka bir indekse ihtiyacı olduğunu varsaymak yerine pahalı adımları ve girdi boyutlarını kontrol edin.

| Gözlem | Araştırılacak soru |
| --- | --- |
| Çok sayıda ilgisiz satır okunuyor | Filtreler veya bölüm eleme bunları dışlayabilir mi? |
| Gerçek satır sayısı tahminden çok farklı | İstatistikler bu veriyi temsil ediyor mu? |
| Bir birleştirme aynı işi defalarca yapıyor | Girdisi çok büyük mü veya erişim yolu uygunsuz mu? |
| Gruplama veya sıralama geçici veriyi diske yazıyor | Bellek sınırlarını değiştirmeden önce girdi azaltılabilir mi? |

PostgreSQL'de EXPLAIN (ANALYZE, BUFFERS) sorguyu çalıştırır ve çalışma zamanı bilgilerini raporlar. Pahalı incelemeleri kontrollü bir ortamda veya üretim için bilinçli belirlenmiş bir kaynak bütçesiyle yapın. [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html).

## 3. Mevcut veritabanındaki işi azaltın

Panel için gerekli ayı ve sütunları seçin. Planın ilgisiz bölümleri gerçekten atladığını ve birleştirmelerin özetin ihtiyaç duymadığı verileri getirmediğini kontrol edin.

İndeks, yeterli miktarda okumayı önlediğinde yararlıdır. Rapor satırların çoğunu gerektiriyorsa sıralı tarama uygun olabilir. Yalnızca planda indeks görünmesine değil, ortaya çıkan plana ve ölçülen maliyete bakın.

Sıralama diske taşıyorsa girdiyi azaltmak sorunu çözebilir. Her sorgunun belleğini artırmak ise birçok rapor birlikte çalıştığında RAM'i tüketebilir. Temsilî eşzamanlı yük altında test edin.

## 4. Sonucu önceden hazırlayıp hazırlamayacağınıza karar verin

Birçok kullanıcı aynı toplamları istiyor ve gecikme kabul ediliyorsa ham siparişleri tekrar tekrar taramak gereksiz iştir. Bir özet tablosu gün, satıcı ve para birimine göre toplamları saklayabilir; panel bu küçük sonuçları birleştirir.

```text
[Orders] -> [Scheduled / incremental calculation]
                              |
                       [Daily summaries] -> [Dashboard]
```

Kazanç, ortak hesaplamaları her istekte değil bir kez yapmaktan gelir. Materialized view, kendi yenileme davranışıyla sorgu sonucunu saklamanın başka bir yoludur.

Bu tasarruf yeni sorumluluklar getirir:

- Sonuçların ne sıklıkla yenileneceğini tanımlayın ve ilgili güncellik bilgisini kullanıcıya gösterin.
- İadeleri, geç siparişleri ve düzeltmeleri çift saymadan uygulayın.
- Tekrarlanan işlemeyi güvenli yapın ve özetleri yeniden oluşturmanın bir yolunu koruyun.
- Ortalamaları birleştirirken toplamı ve sayıyı saklayın; ortalamaların ortalaması yanlış olabilir.

Bu panel için hazır özetler ancak güncellik ve düzeltme kuralları ilk adımdaki gereksinimi karşılıyorsa adaydır.

## 5. Ölçümler gerektiriyorsa raporlamayı ayırın

Geniş analitik taramalar pahalı kalıyor ve satın alımları etkiliyorsa bu iş yüküne uygun analitik depolamayı değerlendirin. Eşitleme gecikmesini, kurtarmayı ve başka bir sistem işletmenin maliyetini dahil edin.

Okuma replikası raporlama yükünü yalıtabilir, ancak aynı sorgu orada da pahalı olabilir. Ayırma, maliyetin nerede ödendiğini değiştirir; onu mutlaka ortadan kaldırmaz.

Her değişikliği güvenilir bir sonuçla ve aynı test yüküyle karşılaştırın. Yanıt süresini, kaynakları, güncelliği ve yazmalara etkisini kontrol edin.

**Unutmayın:** doğru sonuç → ölçülmüş darboğaz → daha az gereksiz iş → uygunsa hazır özetler → hâlâ gerekiyorsa ayrı analitik sistem.

Gözlem	Araştırılacak soru
Çok sayıda ilgisiz satır okunuyor	Filtreler veya bölüm eleme bunları dışlayabilir mi?
Gerçek satır sayısı tahminden çok farklı	İstatistikler bu veriyi temsil ediyor mu?
Bir birleştirme aynı işi defalarca yapıyor	Girdisi çok büyük mü veya erişim yolu uygunsuz mu?
Gruplama veya sıralama geçici veriyi diske yazıyor	Bellek sınırlarını değiştirmeden önce girdi azaltılabilir mi?

1. Hızlandırmadan önce yanıtın doğruluğunu onaylayın

2. Yürütmenin pahalı kısmını bulun

3. Mevcut veritabanındaki işi azaltın

4. Sonucu önceden hazırlayıp hazırlamayacağınıza karar verin

5. Ölçümler gerektiriyorsa raporlamayı ayırın

İlgili sorular