Snapshot obsahuje 67 vstupů. Schválená lidská kontrola musí vytvořit strojová očekávání. Regrese musí ukončit build chybou.
Snapshot
01267bf51088
Zkontrolováno
55 % případů
Porušení očekávání
0
Regresní smlouva
Každý schválený nález musí mít očekávání
Očekávání musí určit povinné a zakázané samolepky, počty nebo meze metrik CutContour. Implementace musí opravit obecné pravidlo. Implementace nesmí přidat výjimku pro jeden případ.
flowchart LR
A["Lidské review poznámky k případům"] --> B["expectations.json strojová očekávání"]
C["67 vstupů examples/"] --> D["Benchmark běh warm modely, celá dávka"]
B --> E{"Guard vyhodnocení očekávání"}
D --> E
E -- "regrese" --> F["Nenulový exit code případ označen warning"]
E -- "zeleno" --> G["Publikovaný snapshot benchmark.json + results/"]
G --> H["Web explorer tato prezentace"]
F -. "oprava algoritmu" .-> D
Každý běh musí vyhodnotit schválená očekávání. Nový nález musí přidat nové očekávání.
Benchmark · přejímací snapshot
Pipeline musí běžet asynchronně
Report čte dobu z manifestu každého případu. Měření rozděluje dobu jednoho vstupu mezi fáze pipeline.
mps · 67 měření
Případy
67
0 selhání
Výstupy
78
vybraných samolepek
Sériový součet
19 min 17,6 s
součet dob případů
Medián / p95
5,01 s / 1 min 3,2 s
čas jednoho případu
Průchodnost
3,5/min
0,07 výstupů/s při sériovém zpracování
Rozhodnutí:p95 1 min 3,2 s na měřeném CPU vyžaduje asynchronní job a persistentní modelový worker. Webový požadavek nesmí čekat na inferenci. Snapshot neměří RAM, síťový přenos ani samostatný cold start. Měření proto nesmí určovat produkční SLA.
Průměrný čas fází
Graf ukazuje průměr na jeden měřený případ. Některé fáze mohou být vnořené.
17,3 s průměr celkem
Detekce1,03 s
1 min 8,8 s součet
Kurace0,00 s
0,00 s součet
Segmentace1,07 s
1 min 11,6 s součet
Render15,5 s
17 min 21,6 s součet
Report0,00 s
0,01 s součet
Rozložení času mezi případy
Každý sloupec představuje jeden vstup. Čáry označují medián a p95.
maximum 4 min 8,6 s
Doba zpracování všech měřených případůSloupce zobrazují sekundy na případ. Medián je 5,01 sa p95 1 min 3,2 s.
Zdroj měření je pole `runtime` v manifestech snapshotu 01267bf51088. Doba případu zahrnuje pipeline jednoho vstupu. Snapshot neodděluje cold start sdílených modelů ani dobu celé dávky. Součty fází proto nesmějí představovat dobu celého procesu.