Il vicepresidente dell'ingegneria dei prodotti di Cohere, Rachad Alao, ha sottolineato durante il VB Transform 2026 a Menlo Park che la sovranità dell'intelligenza artificiale per le imprese richiede il controllo dell'intero stack, dalle infrastrutture ai sistemi di governance. Alao, ex responsabile dell'AI responsabile in Google e Meta, ha parlato con Matt Marshall di VentureBeat, spiegando che la sovranità non si limita a scaricare un modello open source o eseguire un'applicazione dietro un firewall aziendale.
Il controllo completo per mission-critical
Alao ha affermato che per organizzazioni come banche, ospedali e governi, è cruciale avere un controllo stretto su dove risiedono i dati e sull'AI stessa. Questo si estende dalle GPU e dall'infrastruttura cloud privata ai sistemi di governance che instradano le richieste tra modelli, connettori e framework agentici. "Vuoi avere il controllo sull'intero stack," ha dichiarato. L'approccio di Cohere si distingue da fornitori che fatturano in base al consumo di token, puntando invece a risolvere i problemi più difficili in modo privato e sicuro, riducendo l'uso non necessario dei modelli.
Sponsored Protocol
Consumo di token in crescita nonostante prezzi in calo
Marshall ha sfidato l'idea che i prezzi dell'inferenza in calo possano ridurre la necessità di modelli locali più piccoli. Alao ha risposto che il consumo totale di token sta crescendo esponenzialmente man mano che le aziende passano da chatbot semplici ad agenti che ragionano, chiamano strumenti e cercano sistemi interni. "La tua utilizzazione dei token va verso l'alto in modo esponenziale, perché stai gestendo casi d'uso agentici sempre più complessi," ha spiegato. Workflow che richiedono molta elaborazione, pensiero e interazione con strumenti.
Routing intelligente dei modelli
Invece di inviare ogni richiesta al modello frontier più grande, le imprese dovrebbero instradare il lavoro in base all'intelligenza necessaria e alla sensibilità normativa. Alao ha citato una banca canadese che utilizza i modelli on-premises di Cohere per carichi di lavoro regolamentati, mentre invia compiti meno sensibili a modelli frontier più grandi attraverso la piattaforma North. "Il routing dei modelli può diventare super utile," ha detto. Cohere ha recentemente rilasciato North Mini Code, un modello open source che gira su una singola Nvidia H100, mirato all'ingegneria del software agentica. Per l'80% dei casi d'uso, questo modello è più efficace ed economico, secondo gli sviluppatori. Inoltre, il modello Command A+, con 218 miliardi di parametri e solo 25 miliardi attivi per passo, offre una licenza Apache 2.0 per la massima flessibilità.
Sponsored Protocol
La ricerca multimodale diventa parte dell'agente
Alao ha anche parlato dell'evoluzione della ricerca aziendale: non più solo recupero di testo, ma ricerca multimodale che include documenti, immagini e altri formati. Questo diventa "un componente integrante del tuo workflow agentico," con il modello che decide quando e come utilizzare il recupero come qualsiasi altro strumento. Per convincere le imprese a spostarsi dai servizi AI integrati dei cloud provider, Alao ha ribadito l'importanza del controllo dei dati e della portabilità. La governance di Cohere consente di instradare il traffico verso modelli appropriati, "spezzando la preoccupazione del vendor lock-in."
Sponsored Protocol
Approfondimenti correlati: OpenAI ha creato GPT-Red, un LLM super-hacker per testare la sicurezza e Meta avvisa i genitori quando i teen parlano di suicidio con il chatbot AI. Per approfondire, visita la pagina Wikipedia di Cohere.
