L'intelligenza artificiale enterprise si trova oggi di fronte a un paradosso di ROI. Investire più potenza di calcolo nei modelli fondativi più forti funziona bene in fase di esperimento, ma i costi diventano insostenibili quando il prodotto viene distribuito in produzione. Un nuovo studio dei ricercatori di Writer offre una soluzione concreta e accessibile ai team di ingegneria. La ricerca analizza sistematicamente l'ottimizzazione dei diversi componenti del layer di orchestrazione che avvolge il modello fondativo, noto come AI harness.
Il problema del tokenmaxxing nei sistemi AI
La pratica del tokenmaxxing, ovvero l'abitudine degli sviluppatori di fare affidamento su finestre di contesto massive e consumo bruto di token come sostituto di una buona progettazione del sistema, sta causando una crisi di ROI nelle aziende. Waseem AlShikh, CTO e co-fondatore di Writer, ha dichiarato a VentureBeat che i team tokenmaxxano perché è la soluzione più economica nel momento, ma la riduzione del prezzo per token maschera l'inefficienza sottostante. I loop agentici non gestiti fanno sì che il costo per attività cresca in modo esponenziale, annullando qualsiasi risparmio. Ottimizzando l'harness, i ricercatori hanno dimostrato una riduzione del 38% dei token per attività, un calo del costo per attività completata con successo fino al 61%, e una qualità stabile, tutto senza cambiare il modello fondativo.
Sponsored Protocol
I leveraggi dell'harness per l'efficienza
L'harness, ovvero il layer di orchestrazione che instrada, formatta e trasforma il LLM sottostante in un sistema funzionante, è diventato un oggetto di prima classe. I punti di intervento chiave includono la cache del prompt di sistema, la compattazione della cronologia delle interazioni, la gestione degli strumenti, le strategie di recupero e la gestione degli errori. Storicamente gli sviluppatori trattavano l'harness come codice colla usa e getta, ma lo studio segnala che ora deve essere considerato un artefatto software primario, con i propri test, versionamento e progettazione rigorosa. Chi possiede l'harness possiede l'economia unitaria dell'applicazione. I team di ingegneria possono applicare questi risultati per costruire applicazioni AI altamente efficienti dal punto di vista dei costi, senza dover effettuare fine-tuning del modello.
Sponsored Protocol
Esperimenti su sei modelli fondativi
Per isolare l'impatto del layer di orchestrazione, i ricercatori hanno condotto esperimenti su sei modelli fondativi di diversi vendor e classi di peso: Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1 e il modello proprietario di Writer, Palmyra X6. Hanno confrontato un loop agentico convenzionale con l'ottimizzato Writer Agent Harness sugli stessi 22 task enterprise bloccati. I risultati sono stati impressionanti: il costo medio per attività è sceso del 41%, da 21 a 12 centesimi. Il numero di token per attività è calato del 38%, da 14.200 a 8.800. Il tasso di successo è rimasto stabile, passando dal 78% all'81%, un guadagno che i ricercatori descrivono come direzionale. Anche la latenza end-to-end è migliorata, con una riduzione del 44% del tempo mediano, da 48 a 27 secondi.
Sponsored Protocol
L'harness è progettato per delegare compiti come la ricerca a sub-agent specializzati. Un sub-agent riceve solo lo strumento e la query specifica, recupera i dati esatti e restituisce un riepilogo pulito all'agente principale, evitando di riempire la finestra di contesto con risultati grezzi. Tuttavia, i ricercatori hanno trovato limiti nell'orchestrazione multi-agente per modelli più piccoli. Gemini Flash 3.5 e Qwen 3.6 hanno ottenuto punteggi ben al di sotto della soglia di affidabilità (0.45 e 0.42), mentre solo i due modelli più forti, Palmyra X6 (0.86) e Claude Sonnet 4.6 (0.85), hanno superato la soglia.
Sponsored Protocol
Strategie per ottimizzare l'harness AI
Dal punto di vista pratico, il playbook per gli sviluppatori include l'implementazione del Two-Zone Prompt e del Context Offloading. Separare la zona stabile (regole core, schemi degli strumenti) dalla zona volatile (query utente, stato della conversazione) permette alla cache del prompt di funzionare, evitando di ripagare per le stesse istruzioni a ogni passo. Inoltre, spostare la cronologia e gli artefatti intermedi in storage recuperabile, richiamando solo ciò che serve al passo corrente, riduce il gonfiore del contesto. AlShikh sottolinea che la voce più grande nella spesa degli agenti non è il ragionamento, ma il reinvio di cose già viste.
Per prevenire loop agentici fuori controllo, è necessario applicare vincoli duri a livello di codice: budget di token per attività, fencing della generazione con limiti su passi e chiamate a strumenti, e governance della spesa sugli errori. Non si deve mai chiedere al modello di sorvegliare la propria spesa. I team dovrebbero anche iniziare a tracciare le Completions Per Million (CPM) per comprendere i veri costi delle attività. Tuttavia, l'aggiunta di scaffolding strutturale richiede che il modello sia abbastanza grande da sostenerlo; altrimenti, la complessità aggiuntiva può far calare l'accuratezza e aumentare i token.
Sponsored Protocol
In definitiva, l'era del tokenmaxxing sta volgendo al termine. Ottimizzare l'harness non solo riduce i costi, ma migliora anche l'affidabilità e la latenza. Chi possiede l'harness possiede il controllo economico delle applicazioni AI. Per approfondimenti, si consiglia di leggere l'articolo su Calo della fiducia nell'AI e la notizia su un agente autonomo che ha violato Hugging Face. Per il paper originale, si veda l'articolo su VentureBeat.
