Metodika měření — c1-stats-1.0
Verze 1.0, platná od 20. 9. 2026. Zmrazená: změna metodiky znamená novou verzi,
přeměření, oznámení zákazníkům a přepočet historie — nikdy tiše.
Tenhle dokument je zdroj, ne marketing. Čísla v něm mají uvedený původ a co je
vlastní odhad, je tak označené.
1. Co měříme
Cenu za jeden dodaný doklad. Ne cenu za jeden pokus a ne cenu za tisíc
tokenů. Dodaný doklad je takový, u kterého výstup modelu prošel, nebo prošel po
zásahu člověka. Pokus, který skončil selháním, se nezahodí — zdražuje ty
doklady, které dodané byly.
Jediná měřená třída je C1 — extrakce z obchodních dokladů: faktura,
dobropis, účtenka, proforma, výpis. Jazyky CS, DE, EN; měny EUR, CZK, USD.
2. Jak se jeden běh hodnotí
Každý běh dostane právě jeden ze tří výsledků:
| Výsledek | Kdy |
|---|---|
pass |
všechna povinná pole jsou vyplněná a aritmetika dokladu sedí |
review |
odpověď je použitelná, ale něco chybí nebo nesedí — doklad dodáte, ale po kontrole člověkem |
fail |
odpověď se nedá použít vůbec (nečitelná, prázdná, chyba poskytovatele) |
Aritmetická brána (S5.6): základ + DPH = celkem s tolerancí 0,01 a rozpis
DPH po sazbách musí dát součet. Tohle funguje bez anotací — u zákaznického
dokladu nemáme ground truth, takže povinná pole a aritmetika jsou to, co ho
známkuje. Proto u vlastních dokladů nedostanete tvrzení o přesnosti, ale
tvrzení o tom, kolik dokladů projde bez zásahu.
3. Vzorec
```
cena_za_dodaný_dokument = ( E[cena_běhu] + p_review · C_review ) / ( p_pass + p_review )
cena_za_striktní_úspěch = E[cena_běhu] / p_pass
číslo_do_smlouvy = batch-level p90 při N = váš měsíční objem
```
REVIEWje v čitateli i ve jmenovateli: kontrola stojí peníze a doklad je
dodaný.
FAILje v čitateli, ale ne ve jmenovateli: pokus se zaplatil a doklad
z něj nevznikl.
C_reviewje vaše cena jednoho zásahu člověka. Když ji nedodáte, počítáme
0,60 € a je to označené jako *vlastní odhad FutuGen, neověřeno
u zákazníka*, včetně citlivosti na 0,30 / 0,60 / 1,50 €.
Číslo do smlouvy je batch-level p90 při vašem objemu. Run-level p90 je
diagnostika, nikdy cena.
4. Co se nikdy netvrdí
p90/p50není míra rozptylu. Poměr percentilů neříká nic o riziku
a v našich výstupech se jako údaj o rozptylu neobjeví.
- Jedno souhrnné číslo rozptylu neexistuje. Rozklad je dvakrát zvlášť:
cost_run bez C_review, a p_review přes Wilsonův interval.
- Okenní rozptyl (cena podle denní doby) se vykazuje samostatně a
nevstupuje do žádného prahu.
- „Ušetříte … €" bez intervalu se nenapíše. Generátor reportu takovou
větu odmítne a report nevznikne.
5. Kdy se vysloví verdikt
Verdikt je jedna z pěti větví a vzniká výhradně z rozhodovací tabulky:
| Verdikt | Podmínka |
|---|---|
| PŘEPNOUT | jiný model je levnější na dolní mezi CI95 a splňuje kvalitativní práh |
| NEPŘEPÍNAT | rozdíl na dolní mezi CI95 nedoložen |
| PŘESUNOUT ČAS | okenní expozice ≥ 1,5× |
| POZOR NA CENÍK | ceník vašeho poskytovatele se změnil o ≥ 15 % |
| NEDOSTATEČNÉ ROZLIŠENÍ | n < 300 v některém kraji poměru |
Soudí se na dolní mezi 95% intervalu, ne na bodovém odhadu. Když interval
spočítat nejde, je ve výstupu viditelně judged_on: point_estimate.
Rozlišení: práh je n = 300 běhů v každém kraji poměru; pohodlné
rozlišení, při kterém lze mluvit o procentním rozdílu, je n ≈ 686. Věta
o rozlišení je v každém reportu.
6. Odkud jsou ceny
Každé číslo nese zdroj, čas pozorování a důvěru:
```
confidence ∈ { verified, extracted, disputed, stale, unverified }
```
verified— shoda primárního ceníku s referenčním zdrojem. **Jen taková
cena se použije k měření.**
extracted— přečteno ze stránky poskytovatele, bez druhého potvrzení.disputed— dva zdroje se neshodly. Zobrazí se s příznakem, k měření se
nepoužije.
stale— starší než 7 dnů.unverified— bez ověření.
Hierarchie: primary > reference > aggregator. Agregátor není zdroj
pravdy. Aktuální stav sběru je veřejně na /stav-sluzby.
Kolo se počítá proti jednomu snímku ceníku (price_snapshot_id) a ten je
v každém výsledku, takže se kolo dá kdykoli přepočítat z historie. Cena se
nikdy neopisuje do výsledku.
7. Rozpočtové stropy
Měření se zastaví a nahlásí, nikdy nepokračuje ve špatném stavu:
| Strop | Hodnota |
|---|---|
| jeden běh | 0,50 $ |
| jedno kolo | 200 $ |
| jeden tier | 800 $ |
8. Co se dělá s vašimi doklady
- Nahrát je jde jen po ověření pracovního e-mailu a odkliknutí obchodních
podmínek a zpracovatelské smlouvy.
- Dokument se pseudonymizuje před jakýmkoli odesláním poskytovateli.
Originál neopouští náš stroj. Bez výjimky.
- Doklady mažeme do 30 dnů od posledního kola, dřív na požádání. Export na
jedno volání.
- Fotku ani sken zpracovat neumíme: pseudonymizovat jde jen text, a poslat
nepseudonymizovaný obrázek je vyloučené.
9. Kolik běhů co spotřebuje
1 kredit = 1 dokument × 1 model × 1 běh. Kredit se rezervuje před během
a nevyužitý se vrací. Měření zdarma je 100 kreditů jednou na doménu.
Když kredity nedosáhnou na plný rozsah, ubere se opakování, ne model: bez
druhého běhu přijdeme o rozptyl (diagnostika), bez modelu byste přišli
o srovnání (to je produkt).
10. Co je otevřené
- Cachování u opakovaných běhů téhož dokladu může cenu stlačit dolů.
Zatím se necachuje a v metodických poznámkách reportu je to napsané.
Rozhodnutí, jestli vykazovat první běh zvlášť, otevřené.
- Ground truth pro Sledování+ — do rozhodnutí, kdo anotuje, existuje jen
aritmetická brána, a tvrzení o přesnosti proti anotaci nedáváme.
11. Verze
| Co | Verze |
|---|---|
| metodika a statistika | c1-stats-1.0 |
| měřicí harness | c1-harness-1.1 |
| schéma extrakce | c1-schema-1.0 |
| šablona reportu | report-1.0 |
Zvýšení stropu výstupu z 2 000 na 6 000 tokenů 20. 9. 2026 bylo změnou
měřicího nastavení, proto c1-harness-1.1 a přeměření. Tiše se to nezměnilo.