Una startup di Miami, Subquadratic, è uscita allo scoperto lo scorso mese con una dichiarazione rivoluzionaria: aver risolto un collo di bottiglia matematico che frenava i grandi modelli linguistici da quasi un decennio. La comunità scientifica ha accolto l'annuncio con scetticismo, ma ora una valutazione indipendente sembra dare ragione alla società.
Il problema dell'attenzione densa
Per capire l'importanza della scoperta, bisogna guardare al cuore dei modelli linguistici di grandi dimensioni: il meccanismo di attenzione densa. Ogni parola (o token) viene moltiplicata per ogni altra, generando un numero di calcoli che cresce in modo quadratico. Per un testo di 10.000 parole, si parla di quasi 50 milioni di moltiplicazioni, un costo energetico e computazionale enorme. Subquadratic propone di sostituire l'attenzione densa con un'attenzione sparsa dinamica, che seleziona solo le relazioni rilevanti tra token, riducendo drasticamente i calcoli.
Sponsored Protocol
La soluzione sparsa di SubQ
Il modello SubQ utilizza un'attenzione sparsa che decide al volo quali coppie di parole sono importanti, evitando di processare tutte le combinazioni. Secondo il cofondatore e CTO Alex Whedon, il segreto sta nella selezione dinamica, che si adatta a ogni testo. SubQ può gestire fino a 12 milioni di token in una sola volta, contro il milione dei modelli concorrenti, permettendo l'analisi di interi database documentali o codici sorgente.
Verifica indipendente
L'azienda ha incaricato Appen, società specializzata in valutazioni, di testare SubQ. I risultati sono impressionanti: in un test di velocità pura, SubQ è risultato 56 volte più veloce di modelli basati su FlashAttention, una tecnica sparsa precedente. Su LiveCodeBench, che misura la capacità di risolvere problemi di coding, SubQ ha raggiunto l'89,7%, un punteggio paragonabile a quello dei migliori modelli di Google DeepMind, OpenAI e Anthropic. Jeanine Sinanan-Singh, direttrice della ricerca di Appen, ha definito i risultati "scioccanti" e potenzialmente rivoluzionari.
Sponsored Protocol
Costi e prestazioni
Sebbene SubQ non sostituirà tutti i modelli esistenti, per compiti specifici offre incrementi di velocità enormi a una frazione del costo. Secondo il CEO Justin Dangel, eseguire il test RULER 128 (sviluppato da Nvidia) su Anthropic Opus 4.6 costa circa 2.600 dollari, mentre con SubQ il costo scende a soli 8 dollari. Un risparmio di oltre 300 volte.
Implicazioni future
Subquadratic spera di inaugurare una nuova era di efficienza. "Nessuno costruirà più modelli basati su transformer tra qualche anno", ha dichiarato Dangel. La startup ha già attirato l'attenzione di esperti come Dan McAteer, che su X aveva paragonato SubQ a Theranos, ma ora molti ricredono. La strada per la democratizzazione dell'IA passa forse da Miami. Per approfondire le tensioni geopolitiche sull'IA, leggi il nostro articolo su SK Telecom e Anthropic. Per una panoramica sull'espansione dell'IA nei software, consulta Adobe espande Firefly. Un collegamento esterno autorevole: su Wikipedia italiana trovi una spiegazione tecnica dell'attenzione nei modelli.
Sponsored Protocol
