La memoria GPU è la risorsa più costosa nell'AI in produzione e anche quella che scarseggia più rapidamente. Le finestre di contesto lunghe e le conversazioni multi-turno costringono i modelli a ricalcolare ripetutamente informazioni già elaborate, consumando memoria GPU e potenza di calcolo che potrebbero servire più utenti o generare nuove risposte. Invece di trattare la memoria GPU come il fattore limitante, perché non estenderla con tecnologie di storage molto più economiche? Weka, azienda specializzata in infrastrutture dati per l'AI, crede che il flash NAND a basso costo possa colmare questo divario. La sua nuova piattaforma software NeuralMesh 6, lanciata insieme alla prima linea hardware progettata internamente chiamata Wekapod 3, estende la cosiddetta Augmented Memory Grid, un approccio che aggrega flash NAND per comportarsi come memoria GPU a una frazione del costo.
NeuralMesh 6 e Wekapod 3: le novità di Weka per l'infrastruttura AI
NeuralMesh 6 introduce quattro funzionalità pensate per colmare un vuoto che il CEO e cofondatore Liran Zvibel sostiene abbia fatto perdere a Weka diverse gare competitive. La prima è la multi-tenancy composabile e virtuale. I cluster composabili offrono ai tenant principali un isolamento completo a livello hardware, con CPU, memoria e storage dedicati. La multi-tenancy virtuale sfrutta la rete RDMA di Weka per un isolamento a livello di rete che scala oltre 1.000 tenant per cluster, con provisioning in meno di 30 minuti. In combinazione, un singolo cluster con 50 cluster composabili può supportare fino a 50.000 tenant. La seconda funzionalità è lo storage unificato file e oggetti. A differenza della maggior parte dei sistemi che mantengono due percorsi separati (file per training e fine-tuning, oggetti S3 per inferenza e strumenti cloud-native), Weka rende gli stessi dati fisici leggibili direttamente da entrambi i percorsi, senza layer di traduzione e senza duplicazione. Zvibel punta ai cloud GPU non AWS come Lambda, Nebius, G42 e CoreWeave, promettendo prestazioni circa due ordini di grandezza superiori rispetto a S3 tradizionale e un modello di prezzo basato sulla capacità invece che sulle chiamate API. La terza è la replica metadata-first: gli ambienti di destinazione diventano navigabili prima che la copia completa dei dati arrivi, con idratazione solo all'accesso. Infine, AlloyFlash mescola flash TLC e QLC all'interno di un singolo cluster, indirizzando automaticamente i carichi sensibili alla latenza su TLC e quelli bulk su QLC, riducendo il costo per terabyte senza penalizzare le prestazioni. La riduzione dei dati è ora sempre attiva per impostazione predefinita.
Sponsored Protocol
Augmented Memory Grid: cache del 100% dei token precalcolati
La multi-tenancy e lo storage unificato risolvono i problemi operativi quotidiani. Sotto, c'è un problema più complesso: con l'aumento delle finestre di contesto e delle interazioni multi-turno, cresce il calcolo GPU sprecato per ricalcolare lavoro già svolto. Augmented Memory Grid, una funzionalità di NeuralMesh 6, è la risposta di Weka. Ogni prompt attraversa due fasi: prefill, che calcola l'attenzione (meccanismo chiave dei modelli di linguaggio) ed è computazionalmente pesante, e decode, che converte il calcolo in output ed è relativamente leggero. Il costo diventa massimo nelle sessioni multi-turno come chat o codifica, dove ogni nuovo turno riattiva il prefill per tutto ciò che è venuto prima, a meno che quel lavoro non sia stato memorizzato nella cache. Zvibel spiega: “Se hai 10 turni, puoi ricalcolare fino a 100 volte perché li rifai tutti. Se ne hai 20, ricalcolerai 400 volte. Con la nostra soluzione possiamo mettere due ordini di grandezza in più di NAND rispetto a quanto potresti permetterti in memoria condivisa, e possiamo mettere in cache il 100% dei token precalcolati, così non devi mai rifarlo”. Questo si traduce in un utilizzo molto più efficiente delle GPU esistenti, costi di inferenza ridotti e implementazione più rapida di nuovi carichi AI senza attendere mesi per capacità GPU aggiuntiva.
Sponsored Protocol
Posizionamento competitivo e garanzie sui dati
Il settore dello storage si sta riconfigurando rapidamente intorno all'AI. Dell, NetApp, Pure Storage e VAST si sono riposizionate in questo spazio. Steve McDowell, analista capo di NAND Research, osserva: “Il mondo dello storage sta spostando l'attenzione dal servire bit ai carichi aziendali alla gestione dei dati alla velocità dell'AI. Aziende come Weka e VAST sono le vere società native dei dati per l'AI, che risolvono questi problemi fin dal primo giorno”. McDowell evidenzia Augmented Memory Grid come il vantaggio tecnico più chiaro di Weka: “Weka continua ad avere l'implementazione KV cache tecnicamente più capace sul mercato. Sono stati pionieri e continuano a innovare. Questo è fondamentale per l'inferenza AI, perché consente un livello di efficienza GPU che senza dubbio fa risparmiare su GPU e memoria”. Inoltre, McDowell sottolinea la garanzia contrattuale che Weka offre sulla riduzione dei dati: “Weka mette i soldi dove sono le parole con garanzie contrattuali sulle promesse di riduzione dei dati”. Per i buyer, il consiglio è di valutare attentamente ciò che i vendor promettono rispetto a ciò che consegnano, parlando con organizzazioni che eseguono carichi simili alla stessa scala. Weka si rivolge principalmente a organizzazioni che operano AI su larga scala o in rapida crescita, come aziende che costruiscono copiloti interni, agenti di customer service, assistenti di ingegneria del software o sistemi di retrieval con lunghe finestre di contesto. Per chi ha già GPU saturate, i benefici sono immediati.
Sponsored Protocol
Per approfondire il tema della sicurezza nell'AI, leggi il nostro articolo su OpenAI e l'hacker AI autonomo. Per ulteriori informazioni tecniche sulla memoria flash, consulta la pagina Wikipedia su NAND flash.
Sponsored Protocol
