4. Modelové príklady úkonov
Výpočty nižšie predpokladajú CDX-GPT-MAIN v triede Standard so štandardným kontextom a CDX-EXTRACT v režime Standard.
Spotreba kreditov sa neodvíja len od dĺžky odpovede. AI má pri práci k dispozícii celý obsah CODEXISu a podľa vášho zadania aj inštrukcií asistenta prechádza a číta toľko podkladov, koľko potrebuje na to, aby mala dostatočnú istotu, že našla práve to, čo bolo zadané.
Preto platí jednoduché pravidlo: čím presnejšie zadanie, tým menej hľadania, menej úkonov a obvykle lacnejší výstup. Naopak široké alebo neurčité zadanie býva drahšie, pretože model musí prejsť viac obsahu. S formuláciou zadania je potrebné získať skúsenosť; užitočný je aj Prompting guide pre CODEXIS AI.
4.1 Rešerš judikatúry (58 635 kreditov / úkon)
Typický priebeh: model EXTRACT prechádza tisíce strán judikatúry (veľký cached kontext súdnych rozhodnutí), model MAIN syntetizuje výstup (~50 000 output tokenov, t. j. cca 35+ strán analýzy).
Rozpad tokenov a kreditov na jeden úkon:
| Model | Typ | Tokeny | Kredity |
|---|---|---|---|
| CDX-GPT-MAIN | input | 200 000 | 12 500 |
| input cached | 2 500 000 | 15 625 | |
| output | 50 000 | 18 750 | |
| subtotal | 2 750 000 | 46 875 | |
| CDX-EXTRACT | input | 2 240 000 | 5 600 |
| input cached | 2 240 000 | 560 | |
| output | 560 000 | 5 600 | |
| subtotal | 5 040 000 | 11 760 | |
| SPOLU | 7 790 000 | 58 635 |
Pomer tokenov MAIN (in:cached:out) = 4 : 50 : 1 Pomer tokenov EXTRACT (in:cached:out) = 4 : 4 : 1
4.2 Právny rešerš bez judikatúry (17 423 kreditov / úkon)
Menej extrakčnej práce, kratší výstup (~15 000 output tokenov, t. j. cca 10 strán).
Rozpad tokenov a kreditov na jeden úkon:
| Model | Typ | Tokeny | Kredity |
|---|---|---|---|
| CDX-GPT-MAIN | input | 60 000 | 3 750 |
| input cached | 750 000 | 4 688 | |
| output | 15 000 | 5 625 | |
| subtotal | 825 000 | 14 063 | |
| CDX-EXTRACT | input | 640 000 | 1 600 |
| input cached | 640 000 | 160 | |
| output | 160 000 | 1 600 | |
| subtotal | 1 440 000 | 3 360 | |
| SPOLU | 2 265 000 | 17 423 |