Les risques de l’IA deviennent enfin un sujet sérieux !

Souvenez-vous, c’était en mai 2014 : le physicien Stephen Hawking et d’autres scientifiques publiaient une lettre d’avertissement sur le risque que les IA ne déciment l’humanité. Ils craignaient un scénario à la “Terminator”, un brin tiré par les cheveux.

Mais ce catastrophisme très hollywoodien teinté de millénarisme a finalement eu un effet bénéfique : un article coécrit par des chercheurs des universités de Berkeley, de Stanford, de Google (eh oui!) et de l’association internationale OpenAI, expose enfin une réflexion sur les véritables risques de cette technologie. Là, ça devient constructif !

Cinq risques de l’IA classés en trois catégories

Dans l’article, dont on trouve un résumé (en anglais) sur le blog de Google, les auteurs listent cinq risques d’accidents, classés en trois catégories.

Ainsi, il y a les accidents liés à une mauvaise évaluation/programmation des objectifs d’un système IA par les concepteurs, les accidents liés à la saturation par les sollicitations des IA, et enfin les accidents liés aux comportements des IA mal ou insuffisamment “éduqués”.

En voici la liste, avec des exemples domestiques qui peuvent sembler anodins. Mais détrompez-vous, ils se généralisent aux IA de tout type : voiture autonome, robot-soldat, drones, etc. Et ils peuvent poser de vrais problèmes…

Mauvaise évaluation/programmation des objectifs d’un système IA

• Prenons un robot-nettoyeur (version futuriste) dont la “fonction objectif” est de minimiser la poussière et les saletés. S’il est (mal) programmé pour cela, rien ne l’empêcherait de jeter toutes vos babioles décoratives (dont un vase de Chine authentique) car cela rend le nettoyage plus rapide et efficace.

Ce risque, nommé par les auteurs “effets secondaires négatifs“, est loin d’être anodin car s’il s’agissait d’un robot-infirmier devant veiller au bon repos d’un malade, ce même défaut pourrait pourrait l’amener à lui injecter régulièrement des somnifères.

• Imaginez maintenant que votre robot-nettoyeur ait été programmé avec l’objectif de ne pas voir, après son travail, des traces de poussière – ce qu’on fait en lui intégrant une fonction de “récompense” qui lui donne une note de réussite de sa mission. Il pourrait alors décider d’éteindre sa caméra, ce qui lui permettrait d’obtenir le meilleur score…

Ce risque, de “détournement de récompense“, pourrait amener une IA à altérer des informations ou d’autres systèmes informatiques afin de maximiser sa fonction de récompense.

Saturation des humains ou des systèmes par un trop plein de sollicitations

• Que se passerait-il si votre robot-nettoyeur passe son temps à s’activer pour nettoyer la moindre poussière qui arrive sur le sol ? Et si le robot-infirmier n’arrête pas de demander au patient s’il a besoin de quelque chose ? Et si votre agent virtuel à qui vous avez demandé de vous trouver les billets d’avion les moins chers pour vos vacances vous réveille à 4H du matin pour vous dire qu’il a trouvé ?

Ce type d’”effet de saturation” fait courir un risque aux réseaux et peut également conduire les humains à rejeter ces assistants trop communicants.

IA mal éduquées

Les IA sont programmées pour explorer l’univers des solutions possibles à un problème et pour améliorer leur efficacité – sinon, ce ne seraient pas des systèmes intelligents. Cette fonction d’exploration est souvent lié techniquement à des générateurs de nombres aléatoires (ou pseudo-aléatoires), qui leur permettent donc de varier leurs comportements, au-delà de ce qu’ils ont appris lors de leur phase d’apprentissage.

• Mais que se passerait-il si votre robot-nettoyeur, qui se sert d’eau pour astiquer les sols, s’en sert pour faire reluire votre ordinateur, téléviseur et chaine Hi-fi ? Ce risque d’”exploration catastrophique” pourrait également conduire une voiture autonome à se jeter dans l’eau pour tenter d’optimiser le temps et la distance de parcours entre les deux rives du fleuve de votre ville…

• Et quid des “situations totalement inconnues” ? Nous, les humains, avons la possibilité intellectuelle d’admettre notre ignorance et ne pas tenter, par exemple, de piloter un semi-remorque ou un avion – même si cela pourrait résoudre un problème. Mais qu’arriverait-il à notre nouveau poisson rouge ou chien, chat, perroquet si le robot-nettoyeur en voyait pour la première fois? Un drame, assurément.

Des solutions techniques

Bien évidemment, les auteurs ne se contentent d’une analyse qualitative. Leur article, basé sur les recherches en pointe en IA, esquisse des solutions techniques qui sont autant de voies de recherche à approfondir. Finalement, il s’agit d’une “feuille de route” pour les années à venir.

–Román Ikonicoff

 

> Voir la vidéo de Science&Vie TV :

• L’intelligence artificielle plus forte que l’homme ?

> Lire aussi :

• 10 millions de dollars à qui aura la tête de Terminator !
• Voyez les hallucinations d’une intelligence artificielle !
• Le champion du monde de go battu par AlphaGo, l’intelligence artificielle de Google
• Une intelligence artificielle résout seule une énigme biologique
• Désormais, l’intelligence artificielle apprend toute seule à jouer
• Ils veulent créer une Intelligence artificielle qui recouvre toute la Toile

> Lire également dans le site des Grandes Archives de Science & Vie :

• Robots : leur intelligence dépasse déjà la nôtre – S&V n°1166 – 2014 – Peu à peu et sans grandes vagues, l’intelligence artificielle et la robotique sont sorties de l’échec relatif des années 1980 pour finir par devenir des acteurs essentiels dans nos activités. Ils nous dépassent déjà.

• Robot : tu ne tueras point ! – S&V n°1133 – 2012 – Les robots font ce qu’on leur dit de faire. Mais ils n’ont aucune éthique ! Dans la perspective d’une arrivée massive de ces machines dans l’espace public et privé, les chercheurs tentent de les doter d’une morale, à l’aide de programmes inspirés par des principes philosophiques.

• Reconnaissance faciale : le triomphe de l’intelligence artificielle – S&V n°1162 (2014) – acheter ce numéro. Le domaine de l’Intelligence artificielle progresse à très grande vitesse grâce aux ressources fournies par les réseaux numériques. Le plus bel exemple en est la reconnaissance automatique des visages.