Le imprese che orchestranti più modelli di intelligenza artificiale nella convinzione di coprire le reciproche debolezze potrebbero in realtà cadere in una trappola matematica. Un nuovo studio che ha valutato 67 modelli di frontiera provenienti da 21 fornitori ha scoperto che il tasso di fallimento simultaneo, chiamato co-failure ceiling, viene sistematicamente sottostimato di un fattore 2,25 quando ci si basa sulle metriche tradizionali di correlazione a coppie.
Il co-failure ceiling: quando tutti i modelli sbagliano insieme
L'idea alla base dell'orchestrazione multi-modello è semplice: combinare un modello specializzato in codice, uno logico e uno generalista dovrebbe creare una rete di sicurezza. Il problema, spiega l'autore Josef Chen, è che il limite reale non è quanto spesso i modelli divergono, ma la percentuale di prompt in cui tutti i modelli del pool danno la risposta sbagliata contemporaneamente. Questo limite viene chiamato co-failure ceiling e nessun router, voto o cascata può superarlo.
Sponsored Protocol
I costi nascosti della strategia multi-modello
Per orchestrare più modelli, i team utilizzano tre architetture: router, cascate e Mixture-of-Agents (MoA). Ciascuna introduce costi nascosti come latenza aggiuntiva, complessità infrastrutturale e rischi di governance su più fornitori API. Lo studio dimostra che, per giustificare questi costi, gli ingegneri si affidano alla correlazione di errore a coppie per selezionare il pool, ma questa metrica è ingannevole. Quando i modelli hanno qualità diverse, i più deboli tendono a coalizzarsi e superare in votazione il modello più intelligente, causando una perdita di accuratezza media fino a 10 punti.
Il test gratuito per calcolare il vero tetto di accuratezza
Fortunatamente, i team possono calcolare il loro tetto massimo di accuratezza gratuitamente usando il bound di Clopper-Pearson. Con un campione di 200 ticket di supporto complessi, una società fintech può stimare che se tutti i modelli falliscono insieme solo su 2 prompt, il vero tasso di co-failure potrebbe arrivare al 12%. Questo test a costo zero permette di evitare di investire in costose infrastrutture di routing per inseguire guadagni di performance inesistenti. Come afferma Chen, "la misurazione non costa nulla, e ogni team può monitorare il proprio tasso di co-failure mentre escono nuovi modelli".
Sponsored Protocol
Lo studio ha anche rilevato che il formato del compito influisce: trasformando domande a scelta multipla in risposta libera, il tasso di co-failure è salito al 12,7%. La raccomandazione è chiara: convertire la generazione in verifica o selezione vincolata (output strutturati, risposte verificabili, test di esecuzione) per riaprire il tetto. In ambienti come la matematica aperta, il co-failure è alto e nessuna orchestrazione aiuta; in ambienti come la scienza avanzata, la sfida è scegliere il modello giusto tra opinioni divergenti.
Sponsored Protocol
Per un approfondimento su come i modelli di frontiera vengono oggi utilizzati, leggi il nostro articolo su OpenAI GPT-5.6 Sol, Terra e Luna. Per una panoramica delle scelte strategiche globali, consulta La Cina punta ai chip Nvidia e gli USA scommettono sul nucleare.
Per un riferimento autorevole sul concetto di modello linguistico, visita Wikipedia Language Model.
