Kakšna je razlika med inženirstvom pozivov, RAG in fino-nastavom ter kdaj uporabite vsakega?

• Inženirstvo pozivov — oblikuj vedenje modela z navodili, kontekstom in primeri v pozivu. Nič pri modelu se ne spremeni; bolj preprosto komuniciraš (sistemski pozivi, primeri z malo vzorcev, format rezultata). Najceneje in najhitreje; tvoj prvi poskus.
• RAG (retrieval-augmented generation) — ob času poizvedbe pridobi relevantne dokumente (iz vektorske trgovine, baze podatkov ali iskanja) in jih vstavi v poziv. Model odgovori iz tega pridobljenega konteksta. Najboljše, kadar je znanje zunanje, zasebno ali se spreminja.
• Fino-nastav — nadaljuj z usposabljanjem modela na svojih primerih, prilagajajući njegove uteži. To vpeča dosledni slog, format ali ozko spretnost. Moče, toda drago in statično — znanje je zamrznjena ob času usposabljanja.

Primerjava

Vodnik za odločitve

• Začni s pozivi — razreši ga zastonj najprej.
• Potrebuješ dejstva, ki jih model ne pozna, ali se spreminjajo (dokumenti, cene, notranji podatki)? Uporabi RAG.
• Potrebuješ zanesljiv slog/format ali specializirano nalogo v obsegu, in pozivi niso dosledni dovolj? Fino-nastavi.
• Te kombinirajo: fino-nastavljeni model s RAG in dobrim pozivom je pogost v proizvodnji.

Zakaj je to pomembno

Seganje po napačnem orodju je drago: ljudje pogosto poskušajo fino-nastavljati, da dodajo znanje (kar RAG počne bolje in ceneje) ali popravijo vedenje (kar počne pozivanje). Znanje, da pozivi oblikujejo vedenje, RAG dobavlja znanje, in fino-nastav spremeni model, te pusti izbrati najcenejši pristop, ki deluje — in jih kombinirati namerno namesto po naključju.