Vibemaker.czZpět na web

← Zpět na články

Výzkum · Vibecoding

Proč stejný model jednou září a podruhé selže

Studie z arXivu ukazuje, že o výkonu kódovacího agenta rozhoduje hlavně jeho okolí, tedy nástroje, paměť a postup, víc než prompt. Co si z toho vzít do výuky a vlastních aplikací?

Koncept: vstup vede k podmínce a třem větvím algoritmu; jedna cesta je zvýrazněná.

Stejný model, stejné zadání. A přesto jednou skvělý výsledek, podruhé selhání. Studie z arXivu tvrdí, že rozdíl většinou není v promptu, ale v harnessu: vrstvě mezi modelem a úkolem, která určuje, jaké má model nástroje, co si pamatuje a jak se jeho práce kontroluje.

Co je harness

Harness (doslova „postroj“) je okolí agenta: nástroje (spuštění kódu, testy, soubory), middleware (formát odpovědí, opakování, limity) a dlouhodobá paměť. Model je stejný, ale harness rozhoduje, co z jeho schopností se vůbec dostane na povrch.

Tři vrstvy, díky kterým jde harness ladit automaticky

Autoři (Lin a kol.) postavili smyčku AHE se třemi pilíři „observability“:

  • Komponenty jako soubory. Každá upravitelná část harnessu má souborovou reprezentaci. Změny jsou vidět a jdou vrátit.
  • Zkušenosti jako důkazy. Z milionů tokenů běhů vzniká vrstvený korpus, ze kterého se dá dojet k tomu, co pomohlo.
  • Rozhodnutí jako předpověď. Každá úprava má vlastní předpověď, která se ověří v dalším kole. Změna, která nic nepřinese, se pozná. Místo hádání.

Co naměřili

Deset iterací zvedlo úspěšnost na Terminal-Bench 2 z 69,7 % na 77,0 %, víc než ručně navržený Codex-CLI (71,9 %). Vyladěný harness se přenáší: na SWE-bench-verified má nejvyšší úspěšnost při o 12 % méně tokenech a na Terminal-Bench 2 přidává +5,1 až +10,1 procentního bodu u tří jiných rodin modelů. Ablace ukazují, že zisk je v nástrojích, middleware a paměti, ne v system promptu: struktura se přenáší, „moudrá“ próza ne.

Co si z toho vzít do výuky a vlastních aplikací

  • Prompt není hlavní páka. Když aplikace nefunguje, podívej se nejdřív na nástroje, paměť a postup, ne na další přeformulování zadání.
  • Každou změnu si předpověz a ověř. „Vypadá to lépe“ není důkaz; napiš, co se má zlepšit, a změř to.
  • Ukládej strukturu, ne text. Co funguje, ulož jako opakovatelný postup (nástroje, kontroly, šablony), který přežije výměnu modelu.
  • Pro žáky: uč je navrhovat workflow a měřit výsledek. Skládání promptu je nejmenší část dovednosti.

Omezení

Jde o preprint z května 2026 a o benchmarky, ne o třídu. Harness je jen část příběhu. Lidský dohled a smysl zadání zůstávají na učiteli.

Celý článek si můžete přečíst na: https://doi.org/10.48550/arXiv.2604.25850

LIN, Jiahang, Shichun LIU, Chengjun PAN, et al. Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [online]. arXiv, 2026-05-18 [cit. 2026-10-25]. Dostupné z: https://doi.org/10.48550/arXiv.2604.25850

Vlastní text: Luděk Sušický · CC BY 4.0. Přílohy a převzaté obrázky mají samostatné podmínky.

Otevřít na vibemaker.cz