Proč stejný model jednou září a podruhé selže
Studie z arXivu ukazuje, že o výkonu kódovacího agenta rozhoduje hlavně jeho okolí, tedy nástroje, paměť a postup, víc než prompt. Co si z toho vzít do výuky a vlastních aplikací?
Stejný model, stejné zadání. A přesto jednou skvělý výsledek, podruhé selhání. Studie z arXivu tvrdí, že rozdíl většinou není v promptu, ale v harnessu: vrstvě mezi modelem a úkolem, která určuje, jaké má model nástroje, co si pamatuje a jak se jeho práce kontroluje.
Co je harness
Harness (doslova „postroj“) je okolí agenta: nástroje (spuštění kódu, testy, soubory), middleware (formát odpovědí, opakování, limity) a dlouhodobá paměť. Model je stejný, ale harness rozhoduje, co z jeho schopností se vůbec dostane na povrch.
Tři vrstvy, díky kterým jde harness ladit automaticky
Autoři (Lin a kol.) postavili smyčku AHE se třemi pilíři „observability“:
- Komponenty jako soubory. Každá upravitelná část harnessu má souborovou reprezentaci. Změny jsou vidět a jdou vrátit.
- Zkušenosti jako důkazy. Z milionů tokenů běhů vzniká vrstvený korpus, ze kterého se dá dojet k tomu, co pomohlo.
- Rozhodnutí jako předpověď. Každá úprava má vlastní předpověď, která se ověří v dalším kole. Změna, která nic nepřinese, se pozná. Místo hádání.
Co naměřili
Deset iterací zvedlo úspěšnost na Terminal-Bench 2 z 69,7 % na 77,0 %, víc než ručně navržený Codex-CLI (71,9 %). Vyladěný harness se přenáší: na SWE-bench-verified má nejvyšší úspěšnost při o 12 % méně tokenech a na Terminal-Bench 2 přidává +5,1 až +10,1 procentního bodu u tří jiných rodin modelů. Ablace ukazují, že zisk je v nástrojích, middleware a paměti, ne v system promptu: struktura se přenáší, „moudrá“ próza ne.
Co si z toho vzít do výuky a vlastních aplikací
- Prompt není hlavní páka. Když aplikace nefunguje, podívej se nejdřív na nástroje, paměť a postup, ne na další přeformulování zadání.
- Každou změnu si předpověz a ověř. „Vypadá to lépe“ není důkaz; napiš, co se má zlepšit, a změř to.
- Ukládej strukturu, ne text. Co funguje, ulož jako opakovatelný postup (nástroje, kontroly, šablony), který přežije výměnu modelu.
- Pro žáky: uč je navrhovat workflow a měřit výsledek. Skládání promptu je nejmenší část dovednosti.
Omezení
Jde o preprint z května 2026 a o benchmarky, ne o třídu. Harness je jen část příběhu. Lidský dohled a smysl zadání zůstávají na učiteli.
Celý článek si můžete přečíst na: https://doi.org/10.48550/arXiv.2604.25850
LIN, Jiahang, Shichun LIU, Chengjun PAN, et al. Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [online]. arXiv, 2026-05-18 [cit. 2026-10-25]. Dostupné z: https://doi.org/10.48550/arXiv.2604.25850
Vlastní text: Luděk Sušický · CC BY 4.0. Přílohy a převzaté obrázky mají samostatné podmínky.