Google Research ha presentato un nuovo modello foundation per dati tabulari, chiamato TabFM, che promette di ridefinire il modo in cui le aziende costruiscono modelli predittivi. A differenza degli approcci tradizionali, che richiedono la creazione di pipeline di feature engineering e l'addestramento da zero per ogni nuovo dataset, TabFM sfrutta l'apprendimento in-context per generare previsioni su tabelle sconosciute in un unico passaggio forward. Per sviluppatori e ingegneri AI, questo significa ridurre i tempi di produzione da settimane a una singola chiamata API.
Le sfide del machine learning tradizionale sui dati tabulari
Per estrarre previsioni affidabili da un modello come un albero potenziato con gradiente, i data scientist devono costruire e mantenere pipeline complesse. Occorre pulire input rumorosi, imputare valori mancanti, codificare variabili categoriche e creare incroci di feature personalizzati. Una volta pronti i dati, si eseguono cicli ripetitivi di ottimizzazione degli iperparametri per trovare la configurazione migliore. In produzione, questi modelli tradizionali accumulano un debito operativo costante, come ha spiegato a VentureBeat Weihao Kong, ricercatore di Google Research: richiedono monitoraggio del data drift e pipeline di riaddestramento per rimanere accurati. Nel frattempo, il resto dell'industria AI si è spostato verso l'inferenza zero-shot, dove un modello può eseguire un compito nuovo semplicemente ricevendo un contesto. Perché non usare i grandi modelli linguistici (LLM) direttamente sulle tabelle? Perché gli LLM sono addestrati su linguaggio naturale, non su dati strutturati. Esauriscono i limiti di contesto con tabelle di medie dimensioni e soffrono di tokenizzazione inefficiente, che distrugge la precisione matematica. Inoltre, quando una tabella 2D viene serializzata come stringa di testo 1D, gli LLM perdono traccia della struttura. "Per questo oggi è molto più efficace usare un LLM per scrivere codice che gestisca il feature engineering e chiami XGBoost piuttosto che chiedere all'LLM di leggere la tabella stessa", ha aggiunto Kong.
Sponsored Protocol
TabFM: un ibrido tra TabPFN e TabICL per l'apprendimento in-context
TabFM supera i limiti degli LLM trattando i dati come una griglia, preservando l'integrità strutturale. Per funzionare, non richiede l'aggiornamento dei pesi del modello: si prendono gli esempi storici (righe di training con etichette note) e le righe target, e si passano al modello come un unico prompt unificato. Il modello impara a interpretare le relazioni tra colonne e righe direttamente dal contesto a runtime. Ad esempio, un analista aziendale che vuole prevedere il churn dei clienti può passare un campione di sessioni utente storiche insieme a una nuova sessione attiva a TabFM, ottenendo in un passaggio forward la probabilità di churn. L'architettura di TabFM combina i punti di forza di due approcci precedenti: TabPFN di Prior Labs, che ha dimostrato come un trasformatore possa eseguire classificazione zero-shot su piccole tabelle, e TabICL dell'Istituto Nazionale di Ricerca per la Scienza Digitale in Francia, che ha introdotto la compressione delle righe per gestire tabelle più grandi. TabFM unisce la contestualizzazione profonda delle feature di TabPFN con la compressione efficiente di TabICL, basandosi su tre meccanismi chiave. Il primo è l'attenzione alternata su righe e colonne: il modello elabora la tabella attraverso un modulo multistrato che alterna l'attenzione tra colonne (feature) e righe (esempi), catturando interazioni complesse senza bisogno di feature engineering manuale. Il secondo è la compressione delle righe: dopo la contestualizzazione, le informazioni di ogni riga vengono compresse in un unico vettore denso, riducendo drasticamente il carico computazionale. Il terzo è l'apprendimento in-context: un trasformatore causale opera sulla sequenza di embedding compressi, usando il meccanismo di attenzione di TabICL per processare grandi dataset in modo efficiente.
Sponsored Protocol
Addestramento esclusivamente su dati sintetici generati da modelli causali
Un aspetto distintivo di TabFM è la sua procedura di pre-addestramento. Il modello è stato addestrato interamente su centinaia di milioni di dataset sintetici, generati dinamicamente usando modelli causali strutturali (SCM) che incorporano una vasta gamma di funzioni casuali. Allenandosi esclusivamente su SCM sintetici, TabFM ha appreso i priori matematici fondamentali di come le feature tabulari interagiscono, senza ingerire file CSV reali e riservati. Questo approccio evita problemi di privacy e licenze, aprendo la strada a un uso più flessibile.
Sponsored Protocol
Prestazioni zero-shot che eguagliano modelli supervisionati ottimizzati
Per testare le capacità del modello, i ricercatori di Google hanno confrontato TabFM su TabArena, una suite di valutazione completa che copre 51 dataset tabulari diversi su 38 compiti di classificazione e 13 di regressione. Su questi benchmark pubblici, le previsioni zero-shot di TabFM eguagliano o superano le baseline supervisionate pesantemente ottimizzate. Tuttavia, Google sottolinea che ciò non significa che TabFM scalzerà universalmente i modelli produttivi iper-ottimizzati. "Il vero valore pratico per i team di ingegneria snelli è la velocità", ha spiegato Kong. "Permette ad analisti e ingegneri backend di creare immediatamente modelli baseline di alta qualità senza un team dedicato di data science". Per chi cerca la massima accuratezza, è disponibile una configurazione TabFM-Ensemble che esegue il modello in 32 varianti e combina i risultati.
Sponsored Protocol
Trade-off economici e integrazione cloud per il futuro enterprise
Il passaggio all'apprendimento in-context introduce un nuovo compromesso economico. Con gli algoritmi tradizionali, l'addestramento è lento e costoso, ma l'inferenza è veloce. TabFM capovolge questa dinamica: l'addestramento richiede tempo zero, ma l'inferenza diventa più pesante, perché il modello deve processare l'intero dataset storico come contesto per ogni previsione. Come ha spiegato Kong, "la latenza di previsione è il problema, nessuna quantità di caching la elimina". Per API che richiedono tempi di risposta dell'ordine dei millisecondi, TabFM non è adatto. Tuttavia, per ambienti in cui la velocità non è critica, il modello offre un'enorme efficienza. Google sta integrando TabFM direttamente in BigQuery, permettendo agli analisti di eseguire previsioni zero-shot nativamente con un comando "AI.PREDICT". In pratica, TabFM brilla nel prototipazione rapida, in ambienti con alto data drift e per dataset di dimensioni medio-piccole (sotto le 100.000 righe). Per dataset massivi o API a latenza ultra-bassa, i modelli tradizionali restano la scelta migliore. TabFM è già disponibile con un'API compatibile scikit-learn, supportando backend JAX e PyTorch. I pesi del modello sono pubblicati su Hugging Face con licenza non commerciale, ma il codice è sotto Apache 2.0. L'annuncio di Google segna un passo importante verso la democratizzazione dell'analisi predittiva sui dati tabulari, riducendo la barriera d'ingresso per le aziende che non dispongono di team data science dedicati.
Sponsored Protocol
A differenza di altri modelli che sollevano preoccupazioni sulla privacy, come nel caso della causa tra Apple e OpenAI per presunto furto di segreti commerciali, TabFM si basa esclusivamente su dati sintetici, evitando rischi di fuga di informazioni sensibili. Per chi desidera approfondire le basi dell'apprendimento zero-shot, il concetto è ampiamente descritto su Wikipedia.
