Un nuovo paradigma sta cambiando il modo in cui le aziende possono deployare agenti AI personalizzati senza dover costruire modelli linguistici di frontiera. I ricercatori dello Shanghai Artificial Intelligence Laboratory hanno presentato Self-Harness, un framework che permette a un agente basato su LLM di migliorare autonomamente le proprie regole operative. Analizzando le proprie tracce di esecuzione e applicando modifiche mirate, il sistema trasforma l'approccio manuale basato su intuizione in un ciclo di feedback empirico, con incrementi di performance fino al 60% su compiti di benchmark.
Cos'è un harness e perché è cruciale per gli agenti AI
La performance di un agente AI non dipende solo dal modello linguistico sottostante, ma anche dal suo harness, ovvero il sistema circostante che fornisce contesto e consente l'interazione con l'ambiente. Un harness include componenti come system prompt, strumenti, memoria, regole di verifica, politiche runtime, logica di orchestrazione e procedure di recupero errori. Esempi noti sono SWE-agent, Claude Code, Codex e OpenHands. Molti fallimenti comuni degli agenti, come il ripetere azioni fallite o il riportare successo senza verificare la risposta del modello, originano proprio dall'harness e non dal modello stesso. Tuttavia, l'ingegneria manuale degli harness è ancora un processo ad hoc, basato su debugging intuitivo e privo di un ciclo di feedback sistematico. Come spiega Hangfan Zhang, autore principale del paper Self-Harness, un ingegnere esperto con conoscenze di dominio profonde può ancora proporre modifiche migliori di un LLM oggi. Il vero collo di bottiglia è che l'attuale paradigma di harness engineering manca di un feedback loop verificabile.
Sponsored Protocol
Il funzionamento in tre fasi del ciclo di auto-miglioramento
Self-Harness consente a un agente di migliorare il proprio harness senza l'intervento umano o modelli esterni più potenti. Il ciclo iterativo si compone di tre fasi. Nella prima, weakness mining, l'agente esegue un insieme di compiti e produce tracce di esecuzione con esiti verificabili. Classifica le tracce fallite e cerca di rilevare pattern di fallimento specifici del modello. Nella seconda fase, harness proposal, l'agente assume il ruolo di proponente e genera un insieme di modifiche minime e mirate all'harness, ciascuna legata a un meccanismo di fallimento specifico. Infine, nella fase di proposal validation, il sistema valuta le modifiche candidate tramite test di regressione. Una modifica viene promossa solo se migliora le performance senza causare degradazione misurabile su compiti di validazione. Se più candidati superano i test, vengono fusi nella versione successiva dell'harness.
Sponsored Protocol
Per visualizzare l'utilità per un'impresa, si consideri un agente di fixing automatico dei bug che legge documentazione interna, scrive patch e apre pull request. Se l'azienda aggiorna lo stile della documentazione, l'agente potrebbe improvvisamente fallire. Self-Harness trasforma questo fallimento ambiguo in un problema risolvibile: le tracce di fallimento espongono dove l'agente sta usando male il nuovo formato, il proponente genera una modifica mirata e il valutatore decide se migliora i casi falliti senza regredire altri casi.
Sponsored Protocol
Risultati sperimentali con MiniMax, Qwen e GLM
I ricercatori hanno valutato Self-Harness sul benchmark Terminal-Bench-2.0, applicandolo ai modelli MiniMax M2.5, Qwen3.5-35B-A3B e GLM-5. Partendo da un harness minimo basato su DeepAgent SDK, hanno permesso solo all'harness di variare, mantenendo fissi modello, strumenti e ambiente. I risultati mostrano miglioramenti relativi dal 33% al 60% su compiti di validazione. Le modifiche introdotte non sono generiche, ma mirate: per MiniMax M2.5, che si bloccava in esplorazioni infinite, il self-harness ha aggiunto un loop breaker che interrompe l'esecuzione dopo 50 chiamate strumentali e impone di creare artefatti iniziali il prima possibile. Per Qwen-3.5, che replica ciecamente comandi dopo errori di sovrascrittura, l'harness ha introdotto una disciplina di retry che vieta comandi duplicati e impone la ricreazione immediata degli artefatti mancanti. Per GLM-5, che non persisteva le variabili d'ambiente, sono state aggiunte regole per preservare PATH e limitare download esterni.
Sponsored Protocol
Costi nascosti e ambiti di applicazione consigliati
Nonostante l'automazione, Self-Harness comporta un overhead computazionale significativo. Come sottolinea Zhang, sostituisce parte del lavoro di ingegneria umano con generazione ripetuta di proposte, valutazione parallela e test di regressione, aumentando token API, latenza e infrastruttura. Inoltre, il sistema dipende da verificatori deterministici rigorosi. È ideale per ambienti in cui i fallimenti sono misurabili e il trial-and-error è sicuro, come sviluppo software, automazione di workflow e pipeline DevOps. Al contrario, va evitato in domini ad alta posta in gioco come decisioni mediche o infrastrutture critiche, dove la valutazione è soggettiva o costosa da sbagliare.
Dai ritocchi di prompt all'architettura del feedback
L'introduzione di agenti auto-miglioranti non elimina il ruolo umano, ma lo sposta verso strati di astrazione più alti. Come prevede Zhang, il ruolo degli ingegneri aziendali si sposterà dalla modifica manuale di prompt o chiamate strumentali alla progettazione dei sistemi di feedback che rendono possibile il miglioramento dell'agente. L'ingegnere diventa meno un ritoccatore di prompt e più un architetto del feedback. Man mano che i modelli fondamentali cresceranno in capacità, l'harness si espanderà verso ambienti esterni più ricchi, ma fino a che il confine supererà ciò che gli umani possono valutare, il feedback umano rimarrà cruciale.
Sponsored Protocol
Per approfondire le dinamiche di gestione del talento tech nel contesto dell'AI, leggi l'articolo su Meta e la rivolta dei suoi ingegneri AI. Per una panoramica sugli agenti AI, consulta la pagina Wikipedia sugli agenti intelligenti.
