Le génie de l’IA est sorti de sa lampe. Et maintenant ?

L’histoire du génie de la lampe est un célèbre conte moral issu du recueil des Mille et Une Nuits. Depuis des siècles, il nous met en garde et nous invite à prendre le temps de réfléchir avant de libérer un grand pouvoir. On ne saurait trouver une plus parfaite analogie de l’IA. C’est vrai, l’IA est déjà en train de changer le visage de la technologie, de la médecine, des affaires et, tout simplement, de tout ce qui nous entoure. Vous l’utilisez peut-être en ce moment sans le savoir. Mais soyons clairs : comme le génie de la lampe, l’IA peut être imprévisible. Et sans une gouvernance bien pensée, nous pourrions faire face à des conséquences qu’aucune lampe magique ne saurait réparer.

Les modèles d’IA manifestent déjà des comportements émergents que les développeurs n’avaient pas anticipés. De la traduction à l’arithmétique, GPT-3, le modèle d’OpenAI, affichait des compétences inattendues sans entraînement spécifique, tandis que DeepMind, d’AlphaGo, a impressionné les experts avec ses stratégies non conventionnelles. Dans le domaine de la sécurité, cette imprévisibilité peut être synonyme de risque. Comment, en effet, sécuriser complètement un système dont le comportement devient impossible à prévoir ?

Les frameworks de sécurité comptent sur la prévisibilité, mais l’IA évolue constamment. Ce comportement crée des angles morts qui peuvent être exploités. Il faut impérativement faire preuve de lucidité face aux risques et mettre en œuvre des stratégies de gouvernance pour garder l’IA sous contrôle. Nous abordons ici six grandes sources d’inquiétude, en proposant des pistes d’atténuation.

1.   Le vibe coding est problématique

L’IA accélère le développement logiciel, mais quand « la vibe » prend le pas sur le reste, le code qui en résulte est souvent criblé de vulnérabilités. Github Copilot, par exemple, simplifie la rédaction de code, mais une étude des chercheurs de l’Université de New York et de l’Université de Calgary a démontré qu’il produit du code vulnérable dans des proportions alarmantes. Les chercheurs ont en effet analysé 1 689 suggestions de code générées par IA dans différents langages (C, Python et Verilog), et découvert que 40 % d’entre elles contenaient des failles de sécurité. Des mécanismes d’authentification non sécurisés aux problèmes touchant la manipulation des entrées utilisateur, l’éventail des vulnérabilités est large, mais toutes peuvent devenir de graves risques de sécurité dans des environnements de production.

Contrairement aux développeurs expérimentés qui appliquent les bonnes pratiques de sécurité, l’IA génère du code en prédisant des séquences types inspirées de données existantes, qui peuvent inclure des méthodes obsolètes ou vulnérables. Sans une supervision adaptée, ces défauts passent entre les mailles du filet et introduisent des faiblesses dont les adversaires sauront tirer parti.

Plutôt que d’interdire le codage assisté par IA, les entreprises ont tout intérêt à miser sur des revues structurées, adossées à de la documentation et à une validation rigoureuse par les pairs. L’étiquetage du code généré par IA et l’intégration de tests supplémentaires peuvent renforcer la sécurité et la transparence et faire en sorte que Copilot reste le copilote et ne prenne pas la place du conducteur. Certes, l’IA peut accélérer des étapes de développement, mais les règles, les processus et la supervision humaine sont indispensables pour détecter les erreurs, améliorer la qualité du code et maintenir la sécurité.

2.   L’IA érode la pensée critique

L’IA transforme nos habitudes cognitives. Tout comme les moteurs de recherche ont changé notre façon d’accéder à l’information, l’IA menace de dégrader notre capacité à résoudre des problèmes et à prendre des décisions. Au lieu de développer une expertise, nous pourrions nous habituer à externaliser toute réflexion complexe auprès de systèmes d’IA, ce qui, loin de nous apporter de nouvelles connaissances, va juste nous rendre plus dépendants.

Ce changement d’état d’esprit peut être lourd de conséquences. En accordant une confiance excessive à l’IA, des employés peuvent suivre des recommandations erronées sans les remettre en question. Et en cas de compromission d’un système d’IA, il n’est pas certain que l’équipe aura l’expérience et la confiance nécessaires pour intervenir efficacement. Le biais d’automatisation accentue encore le problème en encourageant la validation inconditionnelle des décisions prises par l’IA.

Sans une reprise en main, ce phénomène peut dégrader l’expertise humaine dans tous les secteurs d’activité. Les organisations peuvent préserver la pensée critique en encourageant la maîtrise de l’IA et en incitant leurs employés à remettre en question ses résultats au lieu de les accepter aveuglément. La maîtrise des concepts fondamentaux de l’IA, comme le machine learning, les algorithmes et les biais des données, comme celle des directives éthiques et de l’ingénierie de prompt, permettent d’utiliser l’IA en toute confiance. Il est essentiel d’investir dans la formation et de maintenir une supervision humaine sur les choix de l’IA pour que la prise de décision reste pilotée par la pensée critique et le jugement humain. D’où l’importance stratégique de l’expérience, même à l’ère de l’IA.

3.   L’IA remet en question notre façon de récompenser le talent et le travail humain.

L’IA transforme la façon dont nous évaluons et récompensons la connaissance. La frontière entre l’expertise humaine et les résultats assistés par l’IA s’estompe, et la valeur de la « véritable » expertise évolue. Comment peut-on évaluer et récompenser la contribution humaine dans un monde où l’IA transforme progressivement le travail ? Comment reconnaître l’expertise authentique et la véritable originalité ?

L’IA produit déjà des effets sur le recrutement. Les entretiens virtuels assistés par IA deviennent monnaie courante pour détecter les candidats dont les réponses proviennent en réalité d’un LLM. Si l’IA alimente les réponses des candidats, quelles qualités devons-nous rechercher ? L’originalité, la créativité, la faculté d’adaptation, une autre caractéristique ?

Le problème concerne également l’évaluation de la performance. Lorsque les employés utilisent l’IA pour rédiger des rapports ou du code, ou bien élaborer une stratégie, comment identifier et récompenser la contribution humaine ? La question revêt une importance particulière dans le SOC. Que peut ressentir un analyste possédant 15 ans d’expérience lorsqu’un junior présent depuis six mois dans l’équipe atteint le même niveau de productivité que lui ? Comment récompenser équitablement la performance ? Faut-il la mesurer en fonction des connaissances brutes, de la faculté d’adaptation ou de la capacité à bien utiliser l’IA ?

Face à ces bouleversements, les organisations doivent repenser l’évaluation du talent et redéfinir ce qui constitue une bonne performance à l’ère de l’IA. Avec l’accélération de l’automatisation, les entreprises doivent s’attacher à reconnaître et cultiver des compétences transversales purement humaines et difficiles à répliquer pour l’IA : l’intuition, le jugement, la créativité et le raisonnement éthique.

4.   L’IA offre un avantage aux adversaires et fossilise les compétences et les pratiques des défenseurs

Les cybermenaces et les défenses pilotées par l’IA sont prises dans un cycle perpétuel d’escalade. Les pirates utilisent l’IA pour coder des exploits, créer des deepfakes et déployer de vastes campagnes de phishing. De leur côté, les équipes de défense misent sur l’IA pour détecter et neutraliser ces vecteurs d’attaque. Ce n’est pas nouveau : à chaque fois qu’une nouvelle technologie apparaît, les acteurs malveillants ont souvent un avantage sur le plan de la R&D, car leurs projets d’innovation ne se soucient ni de règles ni d’éthique. Mais les équipes de défense finissent toujours par les rattraper et les devancer.

Les deux camps affinent leurs tactiques et les défenses doivent être agiles pour ne pas se restreindre à la reconnaissance de modèles connus. Les adversaires innovent et les défenseurs doivent faire de même. En axant l’évolution de vos capacités défensives sur les résultats, vous éviterez le piège consistant à appliquer de l’IA à toutes les activités sans discernement, et vous utiliserez les technologies les plus adaptées au problème à résoudre. Dans de nombreuses organisations, il s’agit bien plus d’exploiter l’automatisation que l’IA. Mais si vous utilisez l’IA, pensez à combiner les outils pilotés par l’IA à l’expertise humaine en imposant des boucles de rétroaction pour éviter la dégradation des résultats.

Les défenses doivent, elles aussi, être claires et lisibles. L’IA explicable, ou XAI, apporte de la transparence aux décisions de l’IA, aide les équipes de sécurité à comprendre quelles mesures ont été prises et pourquoi, puis donne du feedback utile pour affiner la réponse aux menaces. Chez Splunk, David Bianco a créé des pièges de type « honeypot » pilotés par l’IA pour duper les adversaires, leur faire perdre du temps et collecter de précieuses informations sur leurs méthodes.

L’opérationnalisation de l’IA va devenir indispensable pour réussir, quel que soit le domaine. Les modèles d’IA utilisés en sécurité doivent être régulièrement entraînés et testés. Ils ont besoin d’être fréquemment évalués et ajustés pour rester efficaces. En combinant l’automatisation à la souplesse de l’humain, les équipes de sécurité peuvent passer d’une défense réactive à une approche proactive, et garder ainsi une longueur d’avance sur les menaces connues et émergentes.

Partez du problème à résoudre pour déterminer la technologie et le processus les plus adaptés.

5.   Les modèles d’IA peuvent s’effondrer et homogénéiser les résultats

Parce que l’IA est le reflet des données qui ont servi à l’entraîner, elle peut faire émerger des normes dominantes, au détriment de la diversité. Non seulement cela dilue les perspectives régionales ou culturelles, mais cela réduit également l’unicité des résultats. Pour dire les choses simplement, le développement technologique a encore besoin de votre créativité. On parle même de faire appel à des talents neurodivergents pour compenser la tendance à l’homogénéisation de l’IA.

Les personnes porteuses d’un trouble du spectre autistique, d’un trouble de l’attention ou d’une autre différence cognitive excellent souvent dans la reconnaissance des modèles, la résolution créative de problème et la concentration profonde. Leurs compétences uniques peuvent être utiles pour développer des approches de sécurité non conventionnelles et réinventer les pratiques. Faire appel à des talents neurodivergents, ce n’est pas seulement une question d’inclusivité : c’est un avantage stratégique qui renforce la sécurité en apportant des points de vue inédits et des approches nouvelles de la résolution des problèmes.

Le plus grand risque est celui de l’effondrement des modèles, un processus dégénératif qui amène les modèles entraînés sur des données synthétiques à perdre leur capacité à produire des résultats divers et précis avec le temps. Les données rares disparaissent, les erreurs s’accumulent et s’amplifient, et le contenu généré par l’IA devient de plus en plus générique et médiocre. Les gouvernements ont publié des directives sur une technologie émergente appelée Content Credentials (identifiants de contenu) visant à lutter contre l’érosion de la confiance et à assurer la traçabilité des données, un enjeu majeur pour empêcher l’effondrement des modèles.

Pour éviter la dégradation de l’IA, les systèmes doivent être entraînés sur des datasets d’un haut niveau de qualité et de diversité, puis continuellement affinés par des entrées humaines réelles. Des techniques comme l’échantillonnage stratifié et l’augmentation des données contribuent à l’équilibre des datasets, à l’atténuation des biais et à l’adaptabilité des modèles.

6.   Regarder avant de traverser : calculer les risques avant de se précipiter sur l’IA

Il y a du courage à miser pleinement sur l’IA pour innover, mais la place du pionnier n’est pas toujours la meilleure. Sans une stratégie soignée, une adoption rapide peut faire exploser les coûts et disparaître le ROI. Quand les attentes se heurtent au mur de la réalité, elles laissent la place à la désillusion. C’est souvent ce qui amène les organisations à revenir sur leurs investissements dans l’IA, quand elles arrivent à démêler des logiques métiers complexes.

Vous avez raison. L’IA est une technologie passionnante. Vous avez de très bonnes raisons de vous intéresser à son potentiel. Mais cet enthousiasme doit être tempéré par un solide discernement, sans jamais perdre de vue tout ce qui fait la valeur de l’intelligence humaine actuellement : l’intuition, le raisonnement, la créativité et la capacité à poser les bonnes questions.

L’horizon peut paraître sombre, mais nous avons déjà connu des périodes semblables. Ces dix dernières années, l’avènement du modèle aaS a entraîné des dépenses inconsidérées et de nombreuses entreprises ont souscrit des abonnements sans en comprendre le coût réel. Quand les promesses de rendement ont tardé à se concrétiser, beaucoup d’entre elles sont revenues à des solutions locales.

Les risques sont réels. Si l’IA a un potentiel considérable, nous avons tout intérêt à garder les pieds sur terre. Le défi n’est pas seulement de suivre le rythme de l’IA, mais bien de garder une longueur d’avance pour faire en sorte qu’elle reste un outil qui soutient l’intelligence humaine au lieu de l’éroder.

Pour rester au fait de tous les développements du paysage de l’IA et connaître les tendances technologiques au service de la réussite, abonnez-vous à la newsletter Perspectives.