როგორ დავაჩქაროთ დიდ ცხრილზე ნელი აგრეგაციული მოთხოვნები?

Question

IT Interview Practice · Accepted Answer

ნელი აგრეგაციის გასაუმჯობესებლად ჯერ განსაზღვრეთ, **რას ნიშნავს შედეგი და რომელი ოპერაცია ხარჯავს დროს**. აგრეგაცია სტრიქონებს აჯამებს, მაგალითად, მოვაჭრის შემოსავალს ითვლის. მისი ღირებულება წასაკითხი და გასაერთიანებელი მონაცემების მოცულობაზეა დამოკიდებული.

განვიხილოთ გასული თვის შემოსავლის დაფა. ამ მაგალითით გადაწყვიტეთ, მოთხოვნა გააუმჯობესოთ, წინასწარი შეჯამება შეინახოთ თუ ანგარიშგება სხვა სისტემაში გადაიტანოთ.

## 1. აჩქარებამდე პასუხის სისწორე დაადასტურეთ

გაარკვიეთ, შემოსავალი გადახდილ თუ შექმნილ შეკვეთებს ნიშნავს, როგორ ითვლება დაბრუნებები და რომელი ვალუტებია ჩართული. ასევე განსაზღვრეთ მონაცემების საჭირო სიახლე. ეს არჩევანი მოთხოვნასაც ცვლის და შესაძლო ოპტიმიზაციებსაც.

ხშირი შეცდომაა ერთი გადახდის რამდენიმე შეკვეთის პოზიციასთან შეერთება და შემდეგ გადახდის თანხის შეჯამება:

```text
[Payment: 100] -> [Join with 3 items] -> [100, 100, 100]
                                               |
                                          [SUM = 300]
```

რიცხვები საილუსტრაციოა. მოთხოვნამ გადახდა გაამრავლა, ამიტომ აჩქარება მხოლოდ არასწორ ჯამს დააბრუნებს უფრო სწრაფად. წარმადობის შეფასებამდე შეაჯამეთ საჭირო ბიზნესდონეზე ან შეცვალეთ შეერთება.

## 2. იპოვეთ შესრულების ძვირი ნაწილი

შესრულების გეგმა შედეგის მისაღებად გამოყენებულ ოპერაციებს აჩვენებს. შეამოწმეთ ძვირი ნაბიჯები და მათი შემავალი მონაცემების ზომა; ნუ ჩათვლით, რომ უბრალოდ კიდევ ერთი ინდექსია საჭირო.

| დაკვირვება | გამოსაკვლევი კითხვა |
| --- | --- |
| ბევრი არასაჭირო სტრიქონი იკითხება | ფილტრი ან პარტიციების გამორიცხვა მათ აარიდებს? |
| რეალური რაოდენობა შეფასებას ძლიერ განსხვავდება | სტატისტიკა ამ მონაცემებს სწორად ასახავს? |
| შეერთება სამუშაოს მრავალჯერ იმეორებს | შემავალი მონაცემი დიდია თუ წვდომის გზა შეუფერებელი? |
| დაჯგუფება ან დალაგება დროებით მონაცემებს დისკზე წერს | მეხსიერების ზრდამდე შემავალი მონაცემის შემცირება შეიძლება? |

PostgreSQL-ში EXPLAIN (ANALYZE, BUFFERS) მოთხოვნას ასრულებს და რეალურ ინფორმაციას აჩვენებს. ძვირი გამოკვლევა ჩაატარეთ კონტროლირებად გარემოში ან წინასწარ განსაზღვრული საწარმოო რესურსის ფარგლებში. [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html).

## 3. არსებულ ბაზაში სამუშაო შეამცირეთ

დაფისთვის მხოლოდ საჭირო თვე და სვეტები აირჩიეთ. შეამოწმეთ, გეგმა მართლა ტოვებს თუ არა შეუსაბამო პარტიციებს და შეერთებებს ზედმეტი მონაცემები ხომ არ შემოაქვს.

ინდექსი სასარგებლოა, როცა საკმარის კითხვას გვარიდებს. თუ ანგარიშს თითქმის ყველა სტრიქონი სჭირდება, მიმდევრობითი სკანირება შეიძლება სწორი იყოს. შეაფასეთ გეგმა და გაზომილი ხარჯი, არა მხოლოდ ინდექსის გამოყენების ფაქტი.

თუ დალაგება დისკზე გადადის, შემავალი მოცულობის შემცირებამ შეიძლება უშველოს. ყველა მოთხოვნის მეხსიერების გაზრდამ კი ერთდროული ანგარიშებისას RAM ამოწუროს. გამოსცადეთ წარმომადგენლობითი პარალელური დატვირთვით.

## 4. გადაწყვიტეთ შედეგის წინასწარ მომზადება

თუ ბევრი მომხმარებელი ერთსა და იმავე ჯამს ითხოვს და დაყოვნება მისაღებია, საწყისი შეკვეთების განმეორებითი სკანირება ზედმეტია. შეჯამების ცხრილში შეინახეთ ჯამები დღის, მოვაჭრისა და ვალუტის მიხედვით; დაფა ამ მცირე შედეგებს გააერთიანებს.

```text
[Orders] -> [Scheduled / incremental calculation]
                              |
                       [Daily summaries] -> [Dashboard]
```

სარგებელი საერთო გამოთვლების ერთხელ შესრულებაა, ნაცვლად ყოველი მოთხოვნისა. მატერიალიზებული ხედიც მოთხოვნის შედეგს ინახავს, თუმცა განახლების საკუთარი წესები აქვს.

დაზოგვას ახალი პასუხისმგებლობები ახლავს:

- განსაზღვრეთ განახლების სიხშირე და მომხმარებელს მონაცემების შესაბამისი სიახლე აჩვენეთ.
- დაბრუნებები, დაგვიანებული შეკვეთები და შესწორებები ორმაგი დათვლის გარეშე ასახეთ.
- განმეორებითი დამუშავება უსაფრთხო გახადეთ და შეჯამების ხელახლა აგება შეინარჩუნეთ.
- საშუალოების გაერთიანებისთვის ჯამი და რაოდენობა შეინახეთ; საშუალოების საშუალო შეიძლება მცდარი იყოს.

ამ დაფისთვის წინასწარი შეჯამება მხოლოდ მაშინ გამოდგება, თუ მისი სიახლისა და კორექციის წესები პირველი ნაბიჯის მოთხოვნას აკმაყოფილებს.

## 5. ანგარიშგება გაზომვების საფუძველზე გამოყავით

თუ ფართო ანალიტიკური სკანირება ისევ ძვირია და შესყიდვებს უშლის ხელს, შეაფასეთ ამ დატვირთვაზე მორგებული ანალიტიკური საცავი. გაითვალისწინეთ სინქრონიზაციის დაყოვნება, აღდგენა და კიდევ ერთი სისტემის ოპერაციული ხარჯი.

კითხვის რეპლიკამ ანგარიშგების დატვირთვა შეიძლება გამოყოს, მაგრამ მოთხოვნა იქაც ძვირი დარჩეს. გამოყოფა ხარჯის ადგილს ცვლის და ყოველთვის არ აქრობს მას.

ყოველი ცვლილება სანდო შედეგსა და ერთსა და იმავე საცდელ დატვირთვას შეადარეთ. შეამოწმეთ პასუხის დრო, რესურსები, სიახლე და ჩაწერებზე გავლენა.

**დაიმახსოვრეთ:** სწორი შედეგი → გაზომილი შეფერხება → ნაკლები ზედმეტი სამუშაო → წინასწარი შეჯამება, თუ შეეფერება → ცალკე ანალიტიკა, თუ კვლავ საჭიროა.

დაკვირვება	გამოსაკვლევი კითხვა
ბევრი არასაჭირო სტრიქონი იკითხება	ფილტრი ან პარტიციების გამორიცხვა მათ აარიდებს?
რეალური რაოდენობა შეფასებას ძლიერ განსხვავდება	სტატისტიკა ამ მონაცემებს სწორად ასახავს?
შეერთება სამუშაოს მრავალჯერ იმეორებს	შემავალი მონაცემი დიდია თუ წვდომის გზა შეუფერებელი?
დაჯგუფება ან დალაგება დროებით მონაცემებს დისკზე წერს	მეხსიერების ზრდამდე შემავალი მონაცემის შემცირება შეიძლება?

1. აჩქარებამდე პასუხის სისწორე დაადასტურეთ

2. იპოვეთ შესრულების ძვირი ნაწილი

3. არსებულ ბაზაში სამუშაო შეამცირეთ

4. გადაწყვიტეთ შედეგის წინასწარ მომზადება

5. ანგარიშგება გაზომვების საფუძველზე გამოყავით

დაკავშირებული კითხვები