Si optimizohen agregimet e ngadalta në një tabelë të madhe?

Question

IT Interview Practice · Accepted Answer

Për të përmirësuar një agregim të ngadaltë, identifikoni **çfarë do të thotë rezultati dhe cili operacion konsumon kohën**. Agregimi bashkon rreshta në një përmbledhje, si të ardhurat për tregtar. Kostoja varet nga sasia që lexohet dhe bashkohet.

Mendoni një panel me të ardhurat e muajit të kaluar. Përdoreni për të vendosur nëse duhet përmirësuar query, ruajtur një përmbledhje paraprake apo zhvendosur raportimi.

## 1. Konfirmoni përgjigjen para se ta shpejtoni

Sqaroni nëse të ardhurat nënkuptojnë porosi të paguara apo të krijuara, si trajtohen rimbursimet dhe cilat monedha përfshihen. Pyesni edhe sa aktual duhet të jetë paneli. Këto zgjedhje ndryshojnë query dhe optimizimet e mundshme.

Një gabim i zakonshëm është bashkimi i një pagese me disa artikuj dhe pastaj mbledhja e shumës së pagesës:

```text
[Payment: 100] -> [Join with 3 items] -> [100, 100, 100]
                                               |
                                          [SUM = 300]
```

Numrat janë ilustrues. Query e ka shumëzuar pagesën, ndaj përshpejtimi vetëm kthen më shpejt një total të gabuar. Agregoni në nivelin e synuar të biznesit ose ndryshoni join para vlerësimit të performancës.

## 2. Gjeni pjesën e kushtueshme të ekzekutimit

Plani i ekzekutimit tregon operacionet që prodhojnë rezultatin. Kontrolloni hapat e kushtueshëm dhe madhësinë e hyrjes, në vend që të supozoni se duhet thjesht një indeks tjetër.

| Vëzhgimi | Pyetja për hetim |
| --- | --- |
| Lexohen shumë rreshta të parëndësishëm | A mund t'i përjashtojnë filtrat ose shmangia e particioneve? |
| Numrat realë ndryshojnë shumë nga vlerësimet | A e përfaqësojnë statistikat këtë grup të dhënash? |
| Një join përsërit shumë punë | Është hyrja tepër e madhe apo rruga e aksesit e papërshtatshme? |
| Grupimi ose renditja shkruan përkohësisht në disk | A mund të zvogëlohet hyrja para rritjes së memories? |

Në PostgreSQL, EXPLAIN (ANALYZE, BUFFERS) e ekzekuton query dhe raporton sjelljen reale. Hetimin e kushtueshëm bëjeni në mjedis të kontrolluar ose me buxhet të qëllimshëm burimesh në prodhim. [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html).

## 3. Zvogëloni punën në databazën aktuale

Për panelin zgjidhni muajin dhe kolonat e nevojshme. Kontrolloni nëse plani vërtet anashkalon particionet e tjera dhe nëse joins sjellin të dhëna që përmbledhjes nuk i duhen.

Indeksi ndihmon kur shmang lexim të mjaftueshëm. Nëse raporti kërkon shumicën e rreshtave, skanimi sekuencial mund të jetë i drejtë. Vlerësoni planin dhe koston e matur, jo vetëm praninë e indeksit.

Nëse renditja kalon në disk, zvogëlimi i hyrjes mund ta zgjidhë. Rritja e memories për çdo query mund të shterojë RAM kur raportet punojnë bashkë. Testoni me ngarkesë të njëkohshme përfaqësuese.

## 4. Vendosni nëse rezultati duhet përgatitur paraprakisht

Kur shumë përdorues kërkojnë të njëjtat totale dhe pranohet vonesë, skanimi i përsëritur i porosive të papërpunuara harxhon punë. Një tabelë përmbledhëse ruan totalet sipas ditës, tregtarit dhe monedhës; paneli bashkon rezultatet më të vogla.

```text
[Orders] -> [Scheduled / incremental calculation]
                              |
                       [Daily summaries] -> [Dashboard]
```

Përfitimi vjen nga kryerja e llogaritjeve të përbashkëta një herë, jo në çdo kërkesë. Një materialized view ruan gjithashtu rezultatin e query, me sjelljen e vet të rifreskimit.

Kursimi sjell përgjegjësi:

- Përcaktoni shpeshtësinë e rifreskimit dhe tregoni aktualitetin përkatës.
- Zbatoni rimbursime, porosi të vonuara dhe korrigjime pa numërim të dyfishtë.
- Bëjeni ripërpunimin të sigurt dhe ruani mënyrën e rindërtimit të përmbledhjeve.
- Ruani shumën dhe numrin kur bashkoni mesatare; mesatarja e mesatareve mund të jetë gabim.

Për këtë panel, përmbledhjet paraprake vlejnë vetëm nëse aktualiteti dhe korrigjimet plotësojnë kërkesën e hapit të parë.

## 5. Ndani raportimin kur matjet e justifikojnë

Nëse skanimet e gjera analitike mbeten të kushtueshme dhe pengojnë blerjet, vlerësoni një depo analitike të përshtatshme. Përfshini vonesën e sinkronizimit, rikuperimin dhe koston e një sistemi tjetër.

Një replikë leximi mund të izolojë raportimin, por e njëjta query mund të mbetet e shtrenjtë atje. Ndarja ndryshon vendin ku paguhet kostoja, jo domosdoshmërisht e heq atë.

Krahasoni çdo ndryshim me rezultat të besueshëm dhe të njëjtën ngarkesë prove. Kontrolloni kohën e përgjigjes, burimet, aktualitetin dhe ndikimin në shkrime.

**Mbani mend:** rezultat i saktë → pengesë e matur → më pak punë e panevojshme → përmbledhje kur përshtaten → analitikë e veçantë nëse ende duhet.

Vëzhgimi	Pyetja për hetim
Lexohen shumë rreshta të parëndësishëm	A mund t'i përjashtojnë filtrat ose shmangia e particioneve?
Numrat realë ndryshojnë shumë nga vlerësimet	A e përfaqësojnë statistikat këtë grup të dhënash?
Një join përsërit shumë punë	Është hyrja tepër e madhe apo rruga e aksesit e papërshtatshme?
Grupimi ose renditja shkruan përkohësisht në disk	A mund të zvogëlohet hyrja para rritjes së memories?

1. Konfirmoni përgjigjen para se ta shpejtoni

2. Gjeni pjesën e kushtueshme të ekzekutimit

3. Zvogëloni punën në databazën aktuale

4. Vendosni nëse rezultati duhet përgatitur paraprakisht

5. Ndani raportimin kur matjet e justifikojnë

Pyetje të ngjashme