Catégorie : Sécurité Page 1 of 26

Les logiciels malveillants ont un nouveau vecteur à la mode : les grands modèles de langage (LLM) distribués gratuitement. La popularisation de l’intelligence artificielle a attiré l’attention des créateurs de logiciels malveillants. Distribués sur des sites tels que Hugging Face, les modèles sous licence libre sont accessibles à tous et n’importe qui peut publier un modèle ou un dérivé d’un modèle populaire.

Des chercheurs de JFrog ont découvert de nombreux modèles de langage (LLM) compromis par des virus informatiques sur Hugging Face. Ils ont notamment identifié un modèle malveillant qui utilisait un pickle (une façon de sauvegarder des objets dans un fichier) pour insérer un reverse shell (un outil de contrôle à distance) qui s’activait au moment où le modèle était utilisé avec PyTorch, un logiciel de machine learning. Des problèmes similaires ont été trouvés avec des modèles destinés à TensorFlow, qui est un autre outil important dans ce domaine.

ML (Machine Learning ou Apprentissage Automatique)

Le Machine Learning est un domaine de l’intelligence artificielle qui permet à un système d’apprendre à partir de données, plutôt que d’être explicitement programmé pour une tâche spécifique. Les algorithmes de ML détectent des patterns ou des structures dans les données et les utilisent pour faire des prédictions ou prendre des décisions. Par exemple, un algorithme de ML peut apprendre à reconnaître des chats sur des photos en analysant de nombreuses images étiquetées comme « chat » ou « pas chat ».

AML (Adversarial Machine Learning)

L’Adversarial Machine Learning est une sous-discipline du ML qui se concentre sur les techniques et méthodes pour créer des modèles résistants aux attaques adverses. Ces attaques visent à tromper ou à induire en erreur les algorithmes de ML en manipulant leurs entrées (par exemple, en modifiant légèrement une image de sorte que l’algorithme ne reconnaisse plus correctement l’objet qu’elle représente). L’AML cherche à comprendre ces attaques pour améliorer la sécurité et la robustesse des systèmes de ML.

LLM (Large Language Models)

Les Large Language Models (LLM) sont des types spécifiques de modèles de machine learning conçus pour comprendre, générer et interagir avec le texte en langage naturel. Ces modèles sont « grands » parce qu’ils sont entraînés sur d’énormes ensembles de données textuelles et contiennent des milliards de paramètres. Ils peuvent accomplir une variété de tâches liées au langage, comme la traduction, la génération de texte, et la compréhension de questions et réponses. ChatGPT est un exemple de LLM.

Différences clés:

ML est le concept général d’enseigner à des machines à apprendre à partir de données.
AML se concentre spécifiquement sur la sécurité des modèles de ML, en les protégeant contre les manipulations malveillantes.
LLM désigne une catégorie spécifique de modèles de ML qui traitent avec le langage humain à grande échelle.

Chacun de ces domaines aborde des aspects différents mais interconnectés de l’utilisation de l’intelligence artificielle pour automatiser, sécuriser et améliorer nos interactions avec la technologie.

Ces modèles ont été conçus pour exécuter un code malveillant en chargeant des fichiers pickle, ce qui compromet la sécurité des systèmes qui les mettent en œuvre.

Les modèles malveillants, qui se faisaient passer pour des modèles légitimes, pouvaient exécuter un code caché lorsqu’ils étaient téléchargés par les utilisateurs, ce qui permettait aux attaquants d’obtenir un shell sur les machines compromises et d’en prendre le contrôle total. Ce type d’attaque, connu sous le nom d’exécution de code à distance (RCE), utilise des fichiers pickle malveillants comme vecteur d’attaque. La plateforme Hugging Face, réputée pour sa vaste bibliothèque de modèles d’IA/ML, est donc affectée par un fort impact sur la sécurité de ses utilisateurs.

Pour limiter les risques, il est conseillé aux utilisateurs d’être extrêmement prudents lors du téléchargement et de l’installation des modèles Hugging Face, d’examiner attentivement les modèles avant leur déploiement et d’utiliser des solutions de sécurité capables de détecter et de bloquer les fichiers malveillants.

Cet incident souligne l’importance de la cybersécurité dans le domaine de l’IA/ML et la nécessité pour les utilisateurs d’être informés des risques associés à l’utilisation de modèles open source. Il est essentiel de prendre des mesures préventives pour protéger les systèmes et les informations précieuses.

Ces incidents nous rappellent l’importance cruciale de l’AML (Apprentissage Automatique Adversarial), qui vise à élaborer des méthodes pour attaquer et défendre les modèles d’IA. Ce domaine nous montre combien il est nécessaire d’avoir des protections solides pour maintenir la sûreté de ces systèmes. L’AML crée des stratégies comme l’empoisonnement de données, les techniques d’évasion, et les attaques par rétropropagation pour tester et renforcer la sécurité des modèles d’IA. L’objectif est d’éviter que les performances des modèles soient diminuées ou que leurs prédictions soient altérées. En réponse, des tactiques de défense, telles que la détection des anomalies et le renforcement des modèles, sont mises en place pour prévenir ces dangers. Détecter rapidement les comportements suspects et concevoir des modèles plus robustes face aux tentatives de manipulation est vital pour se protéger contre les menaces, y compris celles concernant la sécurité financière comme la lutte contre le blanchiment d’argent.

Il est vital de connaître les faiblesses des modèles de ML et de développer des défenses efficaces contre les attaques adverses. Avec l’évolution de l’AML, il est de plus en plus important pour les développeurs d’adopter des stratégies de sécurité avancées pour préserver l’intégrité de leurs modèles.

Plus d’information:
https://fr.wikipedia.org/wiki/Grand_mod%C3%A8le_de_langage
https://fr.wikipedia.org/wiki/PyTorch
https://fr.wikipedia.org/wiki/TensorFlow
https://huggingface.co/docs/hub/security-pickle
https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/
https://www.vaadata.com/blog/fr/rce-remote-code-execution-exploitations-et-bonnes-pratiques-securite/