Minčių grandinės raginimo kūrėjo vadovas

Pagrindinis » Pitonas » Minčių grandinės raginimo kūrėjo vadovas

Minčių grandinės skatinimas (angl. Chain of Thought Prompting, CoT) iš tyrimų smalsumo tapo vienu praktiškiausių įrankių, kuriuos kūrėjai turi, kad dideli kalbos modeliai iš tikrųjų samprotautų, o ne tik spėliotų labiausiai tikėtiną kitą žodį. Aiškiai paprašius modelio nurodyti tarpinius žingsnius, galima pasiekti daug geresnių našumo atliekant matematikos, logikos ir sprendimų priėmimo užduotis, kartu gaunant skaidrią seką, kurią galima derinti ir audituoti.

Jei kuriate LLM pagrįstas programas, agentai arba antrieji pilotai, o jūs vis dar vykdote tik vieno žingsnio komandas, prarandate daug kokybės. Šiame kūrėjams skirtame vadove aptarsime, kas yra minties grandinė, kodėl ji veikia, pagrindinius variantus (nulinio kadro, kelių kadrų, Auto-CoT, savarankiškumo, minčių medžio, nuo mažiausio iki didžiausio, multimodalinis), kaip ji lyginama su raginimų grandine ir kaip ją integruoti bei stebėti realiose sistemose naudojant modernius įrankius.

Nuo tiesioginio atsakymo iki aiškaus argumentavimo

Dauguma užklausų, kurias žmonės siunčia LLM, yra „vienkartinės“: jūs užduodate klausimą, modelis išskleidžia atsakymą, jokių klausimų neužduodama, jokių argumentų. Pavyzdžiui, „Kokios spalvos yra dangus?“ viskas gerai: modelis tiesiog grąžina „Dangus yra mėlynas“. Nėra jokios matomos struktūros, jokios tarpinės logikos, tik galutinis sakinys, kuris skamba teisingai.

Minčių grandinės raginimas apverčia šį modelį, liepdamas modeliui iš tikrųjų papasakoti samprotavimo žingsnius, kuriais jis vadovaujasi. Paklausus „Kodėl dangus atrodo mėlynas? Pagalvokite žingsnis po žingsnio.“ modelis gali išskleisti „mėlynos“ sąvoką, aptarti, kaip saulės šviesa sąveikauja su atmosfera, paminėti Rayleigh sklaidą ir tik tada teigti, kad trumpesni mėlynos bangos ilgiai yra išsklaidyti visomis kryptimis, todėl dangus mums atrodo mėlynas.

Techniškai jūs nekeičiate modelio svorių ir nesuteikiate jam naujų žinių; jūs keičiate skaičiavimo, kurį prašote atlikti, formatą. Užuot suspaudę analizę, samprotavimus, skaičiavimus ir atsakymus į vieną eilę, leidžiate jam tekėti tarpinių minčių sekai, kuri veda link išvados.

Praktiškai tai gali būti taip paprasta, kaip pridėti nurodymą, pavyzdžiui, „parodykite savo samprotavimus žingsnis po žingsnio“ arba „spręskime tai sistemiškai“ savo užduoties pabaigoje. Tas nedidelis papildymas skatina modelį atskleisti tarpinių būsenų grandinę, kuri veda prie galutinio rezultato, o ne iš karto pereiti prie atsakymo, kuris tiesiog skamba tikėtinai.

CoT taip pat žymiai palengvina stebimumą. Kai modelis yra neteisingas, dažnai galima tiksliai nustatyti žingsnį, kuriame jo logika nukrypo nuo bėgių, užuot spoksojus į paslaptingą neteisingą skaičių ar neteisingą sprendimą be jokio paaiškinimo.

Skirtumas tarp šablonų atitikimo ir realaus samprotavimo

LLM yra neįtikėtinai geri šablonų atitikimo srityje, nes jie iš esmės yra milžiniškos tikimybių mašinos, apmokytos dirbti su stulbinančiais teksto kiekiais. Paklausus: „Kas sunkesnis – svaras plunksnų ar svaras švino?“, šiuolaikinis modelis šį triukų klausimą matė šimtus ar tūkstančius kartų; jis užtikrintai atsako, kad jie sveria vienodai.

Tačiau kai užduodate klausimą, kuriam atlikti reikia kelių susietų operacijų, našumas gali greitai sumažėti. Klasikinis pavyzdys: „Jei 5 mašinoms reikia 5 minučių pagaminti 5 valdiklius, tai kiek laiko 100 mašinų prireiktų pagaminti 100 valdiklių?“ Daugelis modelių haliucinuos intuityvų, bet neteisingą atsakymą, nebent bus atidžiai vadovaujamasi.

Pagrindinė problema paprastai yra ne žinių, o struktūros stoka. Daugiapakopis samprotavimas netiesiogiai reikalauja, kad modelis atliktų kelias operacijas iš eilės: suprastų tekstą, nustatytų, ko klausiama, susietų su atitinkamais ryšiais ar formulėmis, atliktų skaičiavimus ir suformuluotų atsakymą. Jei reikalaujate neatidėliotino atsakymo, iš esmės prašote suspausti visą procesą į vieną kartą.

Minčių grandinės raginimas suteikia modeliui „erdvės mąstyti“, paversdamas tą numanomą seką aiškiu tekstu. „Google“ ir kitų tyrimų duomenimis, paprašius modelių „parodyti savo darbą“, aritmetinių, sveiko proto samprotavimo ir simbolinio manipuliavimo užduočių tikslumas labai padidėja, palyginti su tiesioginiu atsakymu.

Vienas ypač ryškus eksperimentas: kai tyrėjai uždavė GPT-3 pradinės mokyklos matematikos klausimus, mažiau nei 20 % jų atsakė teisingai, pateikus paprastus nurodymus. Kai jie tiesiog pakeitė užduotį, kad būtų prašoma tarpinio samprotavimo, tikslumas pakilo virš 50 %, o pridėjus dar ir nuoseklumą, jis pasiekė aštuntojo dešimtmečio vidurį. Tie patys svoriai, tas pats modelis – tiesiog sumanesnis klausimo uždavimo būdas.

Pagrindiniai minties grandinės raginimo tipai

Kūrėjai sukūrė keletą CoT variantų, kad subalansuotų tikslumą, kainą ir įgyvendinimo sudėtingumą. Matysite tokius variantus kaip „nulinio kadro CoT“, „keleto kadrų CoT“, „automatinis CoT“ (Auto-CoT), savarankiškas nuoseklumas, „minčių medis“ ir „nuo mažiausiai iki daugiausiai raginimų“, kurių kiekvienas tinka šiek tiek skirtingiems scenarijams.

Nulinio šūvio minties grandinė

„Zero-shot CoT“ yra lengviausias variantas: nepateikiate pavyzdžių, o tiesiog įjungiate samprotavimo instrukciją. Tokios frazės kaip „Pagalvokime žingsnis po žingsnio“, „Atidžiai išspręskite šią problemą, po vieną žingsnį“ arba „Prieš atsakydami paaiškinkite savo samprotavimus“ yra žinomi veiksniai, kurie aktyvuoja modelio išmoktą samprotavimo elgesį.

Empiriškai šis paprastas pakeitimas gali turėti didžiulį poveikį. Ankstyvieji aritmetinių testų darbai parodė, kad pridėjus nuoseklias instrukcijas, tikslumas padidėja nuo maždaug 10 % iki daugiau nei 40 %. Samprotavimo kokybė gerokai padidėja net nekuriant ar neprižiūrint pavyzdžių bibliotekos.

„Zero-shot CoT“ sužiba, kai norite greitai pasiekti pergalių bendro mąstymo užduotyse ir jums rūpi delsa bei kaina. Raginimai yra trumpi, todėl mokate už mažiau žetonų ir mažiau konteksto kūrimo, tačiau vis tiek užtikrinate didelį interpretuojamumą ir tikslumą.

Trūkumas yra tas, kad modelis turi sugalvoti savo samprotavimo stilių, kuris gali būti išplėtotas, nenuoseklus skirtingose ​​srityse arba kartais nelogiškas, net jei galutinis atsakymas atrodo tinkamas. Specializuotose srityse – finansuose, medicinoje, teisėje, priimant sprendimus dėl saugumo – to paprastai nepakanka.

Kelios minties grandinės kadrai

„Fow-shot CoT“ taiko labiau nuomonėmis pagrįstą požiūrį: jūs parodote modelio klausimų ir atsakymų poras, kuriose atsakymai apima aiškius samprotavimo veiksmus. Po kelių tokių demonstracijų pridedate savo tikrąjį klausimą ir leidžiate modeliui imituoti modelį.

Šis metodas yra itin veiksmingas, kai pagrįstų samprotavimų struktūra yra išties svarbi. Finansinės analizės įrankiui galite įtraukti pavyzdžių, kuriuose pateikiami pinigų srautų skaičiavimai, diskonto normos ir rizikos koregavimai. Medicininio triažo robotui įterptumėte klinikinių sprendimų medžius: simptomus, istoriją, įspėjamuosius ženklus, skirtumus ir rekomendacijas.

Kompromisas yra tas, kad kelių bandymų CoT reikalauja rimtų ir greitų inžinerinių pastangų. Turite kurti aiškius, įvairius pavyzdžius, užtikrinti, kad jų logika būtų teisinga ir reprezentatyvi, ir nuolat juos atnaujinti, atsižvelgiant į jūsų produkto ar srities apribojimų pokyčius. Ilgesnės užklausos taip pat reiškia daugiau žetonų, didesnes išlaidas ir didesnį vėlavimą vienam iškvietimui.

Vis dėlto, kai sritis yra jautri arba sudėtinga, kelių bandymų CoT paprastai pranoksta nulinio bandymo rezultatus ir dažnai yra bazinis lygis, kurio jums reikės gamyboje. Jūs galite labiau kontroliuoti samprotavimo stilių ir gylį, taip pat nukreipti modelį nuo trapių ar nereikšmingų mąstymo modelių.

Automatinė minties grandinė (Auto-CoT)

Rankiniu būdu kuriami geri CoT pavyzdžiai nėra gerai pritaikomi, todėl tyrėjai pasiūlė automatinę minties grandinę (Auto-CoT), kad didžioji dalis šio darbo būtų perkelta atgal į modelį. Idėja yra automatiškai generuoti įvairias samprotavimo grandines, kurias galėtumėte pakartotinai panaudoti kaip demonstracijas.

Auto-CoT paprastai vyksta dviem etapais:

• Klausimų grupavimas: Paimate problemų rinkinį, įterpiate juos (pavyzdžiui, naudodami sakinių transformatorių) ir sugrupuojate taip, kad panašūs klausimai būtų kartu.
• Demonstracinė mėginių ėmimas: Iš kiekvieno klasterio pasirenkate reprezentatyvų klausimą ir paprašote LLM sugeneruoti samprotavimo grandinę su nulinio etapo CoT, paprastai naudojant keletą paprastų euristinių metodų, pvz., „trumpi klausimai su ~5 samprotavimo žingsniais“.

Rezultatas – automatiškai sugeneruotų, pakankamai įvairių CoT pavyzdžių biblioteka, nereikalaujanti rankinio kūrimo. Kai gaunama nauja užklausa, galite iš šios bibliotekos gauti arba paimti atitinkamų demonstracijų pavyzdžių ir įterpti jas į raginimą kaip kelių kadrų CoT pavyzdžius.

Nors kai kuriose automatiškai sugeneruotose grandinėse bus nedidelių klaidų, įvairovė ir paieška paprastai sumažina bet kurio vieno ydingo pavyzdžio poveikį. Praktiškai Auto-CoT samprotavimo testuose dažnai pranoksta tiek neapdorotą nulinio kadro, tiek naivų kelių kadrų CoT, tuo pačiu sutaupydamas daug žmonių laiko.

Savęs nuoseklumas keliais samprotavimo keliais

Savarankiškumas yra išplėstinis plėtinys, kuris keičia skaičiavimą patikimumo labui. Užuot prašę modelio pateikti vieną samprotavimo grandinę ir atsakymą, imama keletas nepriklausomų grandinių (stumiant temperatūrą arba atrankos parametrus), o tada galutinius atsakymus sujungiate balsų dauguma.

Intuicija yra ta, kad yra daug tinkamų samprotavimo kelių, vedančių į tą patį teisingą atsakymą, tačiau klaidingi keliai dažnai išsiskiria. Pavyzdžiui, „15 − 3 + 8“ galima apskaičiuoti kaip „12 + 8“ arba „15 + 8 = 23, tada atimti 3“ arba „apskaičiuoti iš kairės į dešinę“. Visos išvados duoda 20, bet nutrūkusi grandinė gali baigtis 21. Jei atliekate kelis pavyzdžius, neteisingas atsakymas paprastai yra pralaimėtas.

Tokiuose etaloniniuose testuose kaip GSM8K, savarankiškumo integravimas į CoT pagerino tikslumą dviženkliais procentais. Akivaizdus trūkumas yra tas, kad dabar atliekate kelis LLM iškvietimus vienai vartotojo užklausai, o tai padaugina ir delsą, ir žetonų išlaidas iš jūsų pavyzdžių skaičiaus.

Dėl to savarankiškumas geriausiai tinka didelės rizikos darbo krūviams: finansiniams skaičiavimams, teisiniam pagrindimui, klinikinių sprendimų palaikymui, saugos patikroms. Paprastam pokalbių robotui papildomi skaičiavimai retai kada praverčia, tačiau itin svarbiam agentui papildomas patikimumas gali būti vertas kiekvienos milisekundės.

Minčių medis: šakotasis, o ne tiesinis samprotavimas

Minčių medis (ToT) praplečia minčių grandinę iš vienos grandinės į išsišakojantį paieškos medį, apimantį galimas mintis. Užuot sekusi vienu samprotavimo keliu nuo pradžios iki pabaigos, sistema kiekviename žingsnyje išnagrinėja kelias galimybes, nugeni silpnas šakas ir toliau dirba su stipriausiomis.

Tai artimiau tam, kaip jūs spręstumėte kombinatorines ar strategines problemas savo galvoje. Jūs apmąstote keletą galimų veiksmų, iš dalies juos išnagrinėjate, atmetate tuos, kurie atrodo aklavietėje, ir toliau plečiate perspektyvias kryptis, kol pasiekiate tvirtą sprendimą.

Įgyvendinimo požiūriu, ToT paprastai koordinuoja daugelį LLM kvietimų. Kiekviename medžio gylyje modelis siūlo tolesnius veiksmus; valdiklis įvertina dalines būsenas, galbūt naudodamas kitą LLM arba euristinį vertinimą, ir pasirenka, kurias šakas išplėsti. Tyrimų demonstracijose ToT buvo naudojamas galvosūkių žaidimams, planavimo užduotims ir kūrybinėms idėjoms spręsti, gaunant žymiai geresnius rezultatus nei paprastas CoT.

Kompromisas yra kaina: vienai problemai gali prireikti dešimčių skambučių. Štai kodėl ToT geriausia skirti nišoms, kuriose kruopštus tyrimas yra svarbesnis už greitį – sudėtingam dizainui, žaidimų agentams arba idėjų generavimui, kur tikslas yra gylis ir įvairovė.

Mažiausiai iki daugiausiai raginimų

Raginimas nuo mažiausio iki didžiausio yra dar viena pažangi strategija, kuri suskaido sudėtingą problemą į paprastesnes, nuosekliai sprendžiamas smulkesnes problemas. Pirma, prašote modelio nustatyti minimalią dalinę užduotį, kurią jis gali išspręsti; tada pateikiate tą sprendimą atgal ir prašote nurodyti kitą sudėtingiausią komponentą; ir taip toliau, kol bus išspręsta visa problema.

Šis modelis ypač gerai veikia kompoziciniam samprotavimui. Įsivaizduokite įterptąsias duomenų struktūros užklausas, daugiapakopę algebrą arba kodo generavimą sudėtingoms funkcijoms, kur kiekviena dalis priklauso nuo ankstesnių išvesčių. Priverstinai atlikdami švarų skaidymą, sumažinate modelio kognityvinę apkrovą kiekviename žingsnyje ir palengvinate bendro samprotavimo pėdsako patikrinimą.

Agentinių ir įrankius naudojančių sistemų minties grandinė

CoT tampa dar vertingesnis, kai pradedate kurti agentus, kurie atlieka veiksmus, iškviečia įrankius ir planuoja keliais etapais. Užuot atsakiusios į vieną klausimą ir sustojusios, šios sistemos kartoja mąstymo, veikimo ir stebėjimo ciklus, atnaujindamos savo planus su kiekviena nauja informacija.

Įsivaizduokite pagalbos tarnybos agentą, kuris tvarko: „Praėjusį antradienį užsisakiau raudoną megztinį, bet gavau mėlyną. Ar galiu jį grąžinti?“ Protingo elgesio ciklas galėtų būti toks: suprasti problemą, rasti užsakymą, patikrinti grąžinimo politiką, patikrinti grąžinimo laikotarpį, nuspręsti, ar atitinkate reikalavimus, ir galiausiai pradėti grąžinimą.

Paprasto raginimo atveju agentas, remdamasis greitu šablono sutapimu, gali atsakyti „Žinoma, štai etiketė“ arba „Ne, to negalime padaryti“, praleisdamas svarbius patikrinimus. Naudodami „Minties grandinę“, skatinate ją pasakoti maždaug taip: „Pirmiausia peržiūrėsiu jūsų praėjusio antradienio užsakymą, tada patikrinsiu prekės ir spalvos neatitikimą, tada patikrinsiu, ar dar neperžengėte 30 dienų ribos, ir, jei atitinkate reikalavimus, suaktyvinsiu grąžinimo srautą.“

Tai artima „ReAct“ (priežastis + veiksmas) modeliui: agentas kaitalioja vidinį samprotavimą („man reikia pateikti užklausą užsakymų API“) ir išorinius veiksmus (atlieka API iškvietimą), tada integruoja stebėjimus į kitą samprotavimo žingsnį. Kiekviena „mintis“ tampa pėdsako dalimi, kurią galite registruoti, derinti ir analizuoti.

Agentinėms sistemoms CoT nėra tik patogumas; tai dažnai yra pagrindinis patikimumo, skaidrumo ir saugumo svertas. Kai kas nors sugenda – netinkamas įrankis, netinkamas parametras, neteisinga interpretacija – galite pamatyti, kur agentas nukrypo nuo kurso, ir ištaisyti raginimą, įrankius ar politiką, užuot spėlioję tamsoje.

Greitas grandinės sujungimas ir minties grandinė

Prompt chaining ir minčių grandinė padeda atlikti sudėtingas užduotis, tačiau jos veikia skirtingais lygmenimis. Naudodami raginimų grandinavimą, didelę darbo eigą padalijate į kelias atskiras raginimus, vienos išvesties perdavimą kitai. Naudodami CoT, visą samprotavimo procesą įterpiate į vieną raginimo ir atsakymo mainą.

Raginimo grandinės pavyzdys: Knygos analizė trimis etapais – pirmas žingsnis – siužeto santrauka, antras – temos analizė naudojant tą santrauką, trečias – galutinė apžvalga naudojant abu etapus. Kiekvienas žingsnis yra atskiras LLM iškvietimas su savo instrukcija.

Minčių grandinės pavyzdys panašiai užduočiai: Vienoje užduotyje sakote: „Pirmiausia apibendrinkite siužetą, tada nustatykite pagrindines temas, o tada parašykite trumpą kritinę apžvalgą. Žingsnis po žingsnio apgalvokite kiekvieną etapą.“ Tada modelis vienu kartu sukuria savo mini minčių srautą ir galutinį atsakymą.

Praktiškai realios sistemos dažnai derina abu šiuos metodus: naudoja CoT kiekviename grandinėje sujungtame žingsnyje, kad pagerintų samprotavimus, ir sujungia kelias CoT papildytas užduotis, kad organizuotų ilgus darbo eigą. Pagrindinis skirtumas yra tas, kad raginimų grandinavimas struktūrizuoja makrokomandų darbo eigą keliuose iškvietimuose, o minties grandinė struktūrizuoja mikro samprotavimą kiekviename iškvietime.

Multimodalinė minties grandinė

Multimodaliniams modeliams bręstant, minties grandinė nebeapsiriboja vien tik tekstu. Multimodalinis CoT leidžia sistemai bendrai samprotauti apie tekstą, vaizdus ir potencialiai kitus įvesties duomenis, pvz., garsą ar lenteles, tuo pačiu metu pasakojant apie savo vidinius veiksmus.

Nufotografuokite sausakimšą paplūdimį ir klausimą „Ar ši vieta šiuo metu atrodo populiari tarp turistų?“. Multimodalinis CoT modelis galėtų aiškiai nurodyti skėčių skaičių, žmonių tankumą, judrią automobilių stovėjimo aikštelę ir paros laiko ar šešėlių požymius, o tada teigti, kad visi šie vizualiniai signalai rodo didelį dabartinį populiarumą.

Aiškiai išdėstydami vizualinį samprotavimą, ne tik gausite didesnį tikslumą, bet ir daug lengviau interpretuojamus sprendimus. Vartotojai gali matyti, į kuriuos vaizdo elementus modelis sutelkė dėmesį, ir galite pastebėti gedimų režimus, pvz., per didelį indeksavimą ant nesvarbių detalių.

Minties grandinės optimizavimas dideliu mastu

Kai pereinate nuo kelių demonstracinių versijų prie realaus srauto, susiduriate su painiava: CoT efektyvumas labai priklauso nuo užduoties, modelio atnaujinimų ir perkėlimo vadovas, formuluotę ir konkrečius pavyzdžius, kuriais ją pateikiate. Gerai parašyti samprotavimai vis tiek gali lemti neteisingus atsakymus, o išsakytos mąstymo grandinės gali išeikvoti žetonus be jokios didelės vertės.

Kad CoT veiktų gamyboje, jums reikia grįžtamojo ryšio ciklo, kuris vienu metu seka kelis aspektus:

• Galutinis tikslumas: Ar modelio atsakymas atitinka numatomą tiesą arba žmogaus sprendimą?
• Samprotavimo kokybė: Ar tarpiniai žingsniai yra pagrįsti, logiškai nuoseklūs ir suderinti su srities apribojimais?
• Konsistencija: Ar panašios užklausos pateikia panašius samprotavimus ir atsakymus skirtingais vykdymais ir laikui bėgant?
• Žetonų efektyvumas: Kiek žetonų išleidžiate vienai užklausai ir ar gaunate pakankamai kokybės mainais?

Rankinis kelių pavyzdžių patikrinimas nepakanka, kai turite dešimtis raginimų variantų ir šimtus testų atvejų. Jums reikia infrastruktūros, kuri galėtų versuoti užduotis, atlikti struktūrizuotus vertinimus ir vizualizuoti samprotavimo pėdsakus dideliu mastu.

Specialiai LLM sukurti stebėjimo įrankiai čia padeda užfiksuoti visus kiekvienos užklausos pėdsakus – raginimą, modelį, CoT samprotavimus, įrankių iškvietimus, galutinę išvestį. Pavyzdžiui, tokios platformos kaip „Opik“ leidžia išsamiai registruoti ir tikrinti CoT grandines, palyginti skirtingas užduočių versijas ir netgi naudoti LLM kaip teisėjo nustatymus, kad automatiškai būtų vertinami tiek galutiniai atsakymai, tiek samprotavimo kokybė.

Turėdami šiuos duomenis, galite palaipsniui tobulinti savo CoT nustatymus: koreguoti formuluotes, pakeisti nulinį kadrą kelių kadrų variantu, derinti arba iš naujo generuoti pavyzdžius naudodami „Auto-CoT“ arba įvesti savaiminį nuoseklumą tik ten, kur jis keičia kryptį. Kai kurios sistemos netgi integruojasi su optimizavimo bibliotekomis, tokiomis kaip DSPy arba evoliucinė paieška, kad iteratyviai sukurtų geresnius raginimus, pagrįstus vertinimo metrikomis.

Turėkite omenyje, kad „Minties grandinė“ beveik visada kainuoja daugiau nei tiesioginis atsakymas: vien samprotavimo tekstas gali padidinti žetonų naudojimą 2–4 kartus, savarankiškumas šį skaičių padaugina iš pavyzdžių skaičiaus, o „Minties medis“ vėlgi gali būti brangesnis. Štai kodėl jums reikia aiškios stebėsenos, kad tiksliai žinotumėte, kur atsiperka tas papildomas biudžetas.

Daugeliui komandų pragmatiška strategija yra pakopinė: pagal numatytuosius nulius taikomi lengvi arba trumpi kelių bandymų CoT, pereinami prie savarankiško nuoseklumo arba ToT tik užklausoms, pažymėtoms kaip didelės vertės, didelės dviprasmybės arba didelės rizikos. Stebimumas ir vertinimas yra tai, kas daro tokią dinamišką strategiją įmanomą.

Eksperimentuodami su CoT savo programose – nesvarbu, ar taikytumėte greitus nulinio momento uždavinius, kruopščiai kuruojamus kelių kadrų pavyzdžius, automatizuotas „Auto-CoT“ bibliotekas ar kelių pavyzdžių savarankiškumą – svarbiausia yra modelio samprotavimus traktuoti kaip pirmos klasės produkto paviršių. Aiškiai paaiškinkite, užregistruokite, įvertinkite ir kartokite analizę, ir, remdamiesi tais pačiais pagrindiniais modeliais, atrakinsite daug patikimesnį, lengviau interpretuojamą ir veiksmingesnį elgesį, nei kada nors galėtumėte gauti paprastesniais, vienkartiniais atsakymais.