Ing. Calogero Bono
Fireworks AI, plateforme qui permet d'exécuter des modèles d'intelligence artificielle, a annoncé lundi que l'incident de sécurité du début octobre a été suivi d'une seconde attaque. Les auteurs sont passés par un fournisseur cloud tiers et ont atteint les ordinateurs de développement. Les données de facturation, les datasets et des poids de modèles incomplets sont dans le viseur. Cela compte, car beaucoup d'entreprises utilisent ces services sans le savoir, comme le montre le cas de Notion.
Quelques termes avant d'entrer dans les faits. LLMjacking est le détournement d'un modèle de langage à l'aide d'identifiants volés, afin que d'autres en utilisent la capacité pendant que le propriétaire paie la facture. Poids du modèle désigne les paramètres qu'un modèle apprend pendant l'entraînement, c'est-à-dire sa valeur technique. Inférence est l'utilisation d'un modèle déjà entraîné pour répondre aux requêtes. Variables d'environnement sont des valeurs de configuration, souvent des clés API et des jetons, lues par les programmes pendant leur exécution. Clé API est le mot de passe avec lequel un logiciel accède à un service.
Que s'est-il passé chez Fireworks AI ?
Selon The Hacker News, qui reprend l'avis de l'entreprise, le premier épisode a été détecté le 6 octobre. Des identifiants internes utilisés sans autorisation ont donné accès aux variables d'environnement de certains comptes clients, y compris les clés API et les jetons.
À l'époque, Fireworks n'avait trouvé aucune preuve d'accès aux modèles, aux datasets, aux données d'entraînement, au trafic d'inférence ou aux données personnelles. La mise à jour de lundi change la donne et, selon The Register, élargit de manière substantielle l'impact déclaré.
Comment les attaquants sont-ils entrés la seconde fois ?
Fireworks explique qu'un fournisseur cloud tiers, qui hébergeait ses machines de recherche et développement, a subi un incident le 23 octobre. Le lendemain, l'auteur l'a utilisé pour atteindre les machines de développement et exécuter une charge de travail non autorisée.
Le fournisseur n'est pas nommé. Fireworks affirme avoir détecté l'activité le jour même et que, au 25 octobre, aucun autre accès réussi à la plateforme utilisée par les clients n'a été constaté. C'est le type de chaîne que notre dossier sur la sécurité cloud et le DevSecOps place au centre, car ton infrastructure n'est aussi sûre que son fournisseur le plus faible.
Quelles données ont été exposées ?
Fireworks répartit les données en trois groupes.
- Métadonnées des ressources, comme les identifiants, noms, descriptions et dates de création.
- Données de facturation, c'est-à-dire adresses de facturation et de livraison, historique des factures et paiements, solde et crédits utilisés.
- Pour certains clients, une partie des poids de modèles et des datasets, sous forme incomplète.
L'entreprise affirme que les numéros de cartes de paiement ne sont pas conservés et ne sont donc pas concernés. Elle n'a pas indiqué combien de clients sont touchés, comme le souligne The Register.
Pourquoi Notion est-il concerné ?
Notion a expliqué dans une page dédiée que moins de 1 % de ses espaces de travail pourrait être concerné. Certaines conversations avec Notion AI, utilisées pour la fonction Insights, pourraient avoir été exposées, qualifiées de «non attribuables», c'est-à-dire sans indication d'auteur ni d'espace de travail, et sans résultats d'outils.
Notion affirme avoir déconnecté ses systèmes de Fireworks depuis le 3 novembre et supprimé les données qui s'y trouvaient. Elle conseille de considérer les données comme exposées et de changer immédiatement les mots de passe ou clés collés dans l'assistant. Selon The Register, toutefois, les conversations pourraient contenir des détails identifiants.
Pour aller plus loin, Iris Ohyama, violation sur le cloud d'Iris Plaza. Données de 7,7 millions de personnes et Gestion clients et historique des services dans le barber shop — comment transformer les données en rendez-vous récurrents.
Limites à connaître
On ne sait pas combien de clients ont été touchés par les deux attaques, ni quel fournisseur cloud a été compromis. Le lien entre les auteurs et le LLMjacking n'a pas été vérifié de manière indépendante, il s'agit de l'évaluation de Fireworks. Le PDG Lin Qiao affirme que les attaquants ne cherchaient pas les poids, mais c'est une déclaration de l'entreprise. L'enquête menée avec Unit 42 de Palo Alto Networks est toujours en cours et le tableau peut évoluer.
Ce qui change pour qui travaille avec le numérique
Si tu utilises des services d'IA, demande-toi quels fournisseurs traitent réellement tes données. Une application qui semble être la tienne peut s'appuyer sur une inférence tierce, comme dans le cas de Notion. Renouvelle régulièrement tes clés API et tes jetons, et ne colle pas d'identifiants dans les chatbots, car une conversation peut finir dans l'archive de quelqu'un d'autre. Vérifie aussi les contrats, pour savoir si le fournisseur doit te prévenir et dans quel délai. Pour qui développe, il vaut mieux garder les clés avec des permissions minimales et des plafonds de dépense, afin qu'un vol coûte moins cher. Les données de facturation exposées doivent aussi être considérées comme un matériel utile pour des arnaques ciblées.
Notre avis
Ce cas met en lumière une faiblesse peu discutée. Les entreprises achètent de l'IA auprès de plateformes qui dépendent elles-mêmes d'autres fournisseurs, et personne côté client ne voit la chaîne. Fireworks a réagi rapidement, mais a communiqué en deux temps et la première version minimisait les faits. Il ne suffit pas de dire que les cartes ne sont pas concernées. Il faut des chiffres clairs sur les clients touchés et sur le fournisseur cloud. D'ici là, qui utilise ces services doit partir du principe que ses données peuvent avoir fuité.
Questions fréquentes
Qu'est-ce que Fireworks AI ?
C'est une plateforme d'inférence pour développeurs qui veulent faire tourner des modèles ouverts comme Mistral, Llama ou Gemma sans gérer le matériel. Selon Notion, elle alimente des dizaines de milliers de clients.
Les numéros de cartes bancaires ont-ils été volés ?
Non, selon Fireworks. L'entreprise affirme ne pas conserver les numéros de cartes de paiement, qui n'ont donc pas été touchés. En revanche, des adresses, l'historique des factures et le solde ont été exposés.
Quand la seconde attaque a-t-elle eu lieu ?
Le fournisseur cloud a été compromis le 23 octobre et le lendemain les attaquants ont atteint les machines de développement de Fireworks. L'entreprise dit l'avoir détecté le jour même.
Que dois-je faire si j'utilise Notion AI ?
Vérifie si tu as été contacté, car dans ce cas ton espace est concerné. Notion conseille de changer immédiatement les mots de passe, clés API ou identifiants qui auraient été collés dans l'assistant.
Qu'est-ce que le LLMjacking ?
C'est le vol d'accès à un modèle de langage à l'aide d'identifiants volés. Les accès sont revendus et le propriétaire légitime paie la consommation. Google a averti que ces attaques sont en hausse.
Ce qu'il faut suivre dans les prochaines semaines sur l'affaire Fireworks
L'enquête avec Unit 42 n'est pas close et d'autres clients pourraient découvrir qu'ils sont concernés. Mieux vaut suivre les mises à jour officielles.
- Suis les avis de sécurité de Fireworks et des fournisseurs qui l'utilisent, pour savoir si de nouvelles communications sur les clients touchés arrivent.
- Vérifie dans tes outils d'IA lesquels utilisent une inférence externe et demande au fournisseur s'il s'appuie sur Fireworks.
- Contrôle les factures et la consommation de tes services d'IA dans les prochaines semaines, pour repérer tout usage anormal de clés volées.
Sources
- thehackernews.com, Fireworks AI Breach Widens to Expose Customer Billing Data and Incomplete Model Weights
- theregister.com, Fireworks AI gets burned twice as customer data exposure widens
- bleepingcomputer.com, Fireworks AI discloses new breach after cloud provider hack
- notion.com, Fireworks AI security breach impacts Notion and their customers
