Koks yra skirtumas tarp greitų pranešimų (prompt engineering), RAG ir smulkaus nustatymo (fine-tuning), ir kada naudoti kiekvieną?

Trys metodai

• Greitieji pranešimai (prompt engineering) — formuokite modelio elgesį per instrukcijas, kontekstą ir pavyzdžius greitajame pranešime. Nieko apie modelį nesikeičia; jūs tiesiog komunikuojate geriau (sisteminiai greitieji pranešimai, nedaugelio kadrų pavyzdžiai, išvesties formatas). Pigiausias ir greičiausias; jūsų pirmasis pasirinkimas.
• RAG (retrieval-augmented generation) — užklausos metu paieškokite atitinkamus dokumentus (iš vektorinio saugyklos, duomenų bazės ar paieškos) ir įdėkite juos į greitąjį pranešimą. Modelis atsako iš to pateikto konteksto. Geriausias, kai žinios yra išorinės, privačios arba kintamos.
• Smultus nustatymas (fine-tuning) — tęskite modelio mokymus savo pavyzdžiais, reguliuodami jo svorius. Tai įtvirtina nuoseklų stilių, formatą arba siaurą įgūdį. Galingas, bet brangus ir statinis — žinios yra užšaldintos mokymo metu.

Palyginimas

Sprendimo vadovas

• Pradėkite su greitaisiais pranešimais — pirmiausia išspręskite jį nemokamai.
• Reikalingos faktai, kurių modelis nežino, arba kurie keičiasi (dokumentai, kainos, vidiniai duomenys)? Naudokite RAG.
• Reikalingas patikimas stilius/formatas arba specializuota užduotis dideliu mastu, ir greitieji pranešimai nėra pakankamai nuoseklūs? Padarykite smultų nustatymą.
• Šie metodai kombinuojasi: modelis su smultaus nustatymo, RAG ir geru greitąjį pranešimą yra dažnas gamyboje.

Kodėl tai svarbu

Naudojant netinkamą įrankį yra brangu: žmonės dažnai bando smultų nustatymą, kad pridėtų žinias (ką RAG daro geriau ir pigiau) arba pataisytų elgesį (ką greitieji pranešimai gerai valdo). Žinant, kad greitieji pranešimai formuoja elgesį, RAG tiekia žinias, o smultus nustatymas keičia modelį, galite pasirinkti pigiausią veikiantį metodą — ir juos sąmoningai kombinuoti, o ne netyčia.