Des chercheurs ont mis en avant les faiblesses de l'IA en lui proposant des images confuses

Yvonne Gangloff

22 juillet 2019 à 20h23

0.000466_ladybug___ladybug_0.88748044.jpg

Tout le monde connaît les illusions d'optique, sachez que cela existe aussi pour l'intelligence artificielle.

Nous en avons désormais la preuve : en confondant, entre autres, une image de maïs avec une coccinelle, l'intelligence artificielle a affiché au grand jour ses faiblesses.

Lorsque nous voyons un chat dans un arbre, l'IA voit un écureuil

Les illusions d'optique existent aussi pour les ordinateurs : elles sont surnommées les images contradictoires. Ce sont ces images systématiquement mal reconnues par l'intelligence artificielle, et ainsi lorsque nous voyons, par exemple, un chat dans un arbre, l'IA, elle, croit reconnaître un écureuil.

"Natural Adversarial Examples" are real-world images that reliably confuse neural networks. What's an Adversarial Squirrel? Apparently A Climbing Cat! pic.twitter.com/lmGRNE4ZJy
— Jonathan Fly 👾 (@jonathanfly) July 18, 2019

Un groupe de chercheurs de l'Université de Californie, à Berkeley, s'est d'ailleurs penché sur le sujet et a ainsi pu démontrer qu'il existait au moins 7 500 exemples d'images contradictoires. Ils ont testé un certain nombre de systèmes de vision artificielle et le logiciel n'a été capable de reconnaître que 2 %, voire 3 % maximum des images.

Voici d'ailleurs quelques exemples:

0.000224_American_black_bear___American_black_bear_0.99721706.jpg

On pourrait aussi se demander quel est l'avis de l'intelligence artificielle sur les illusions d'optique que nous, humains, détectons. Ainsi, souvenez-vous du débat d'une robe vue bleue par certains et blanches par d'autres, peut-être qu'une IA y aurait vu encore une autre couleur...

Source : The Verge

Lire d'autres articles

Commentaires (10)

manu0086

Ce n’est pas de l’intelligence artificielle à proprement dit… ce sont des algos qui ne font que calculer des probabilités à partir d’un stock d’images qu’on leur a fait “bouffer”. Qu’ils échouent sur des images trompeuses/inhabituelles est tout à fait normal. Et oui le taux d’échec est encore très important et le restera encore longtemps.

Nehi

« On pourrait aussi se demander quel est l’avis de l’intelligence artificielle sur les illusions d’optique que nous, humains, détectons.» on pourrait aussi un avis sur la qualité des sujets traitant de l’IA mais ça risque d’un peu trop salé pour vous.

Peter_Vilmen

C’est déjà une grosse part de l’équation, nous aussi on bouffe de l’input et l’intègre à longueur de journée. Je me demande ce que ça donnerait avec un réseau de neurone largement plus grand et beaucoup plus d’input.

B.Cool

Là où vous voyez un chien tenu en laisse (et l’IA un ours), moi je vois un chat tenu en laisse ?!?!

manu0086

Ils ont vraisemblablement testé plusieurs systèmes dont celui de Google qui a une une base de donnée monstrueuse… sauf que rendu à un certain nombre de data, l’IA ne progresse plus et même régresse, ce sont les limites actuelles de ce qu’on appelle IA. Globalement, l’IA atteint souvent 90-95% de bonnes réponses, ce qui laisse un paquet monstrueux d’erreurs. Ici ils n’ont fait que sélectionner ces fameuses erreurs et les ont testé sur différentes “IA” pour obtenir ce faible taux de reconnaissance.

Feunoir

Si leur “ia” a vu 200 images de chats et 3 écureuils elle a plus de mal avec les écureuils cela semble logique. Puis avec toutes les races de chats il y a moyen que cela ressemble à pas mal de truc suivant les situations. la dernière image par exemple je vois aussi plus un chat qu’un chien, surtout si c’est une empreinte de pied juste au dessus de lui, mais cela pourrait aussi être une race de chien c’est juste difficile avec cette scène et ce contraste/manque d’éclairage

K4minoU

Oui moi aussi je vois une chattte tenue en laisse (qui doit être bien mouillée vu la neige) Je sors… lol

Nmut

Pas tout à fait. Il s’agit ici de réseaux de neurones. Le “stock d’images que leur a fait bouffé” sert en partie de données d’entrainement (on précise bien sur ce qu’il y a sur la photo) et en partie de données de validation (bien sur sans croisement des deux groupes). Le taux d’erreur pour un réseau bien entrainé sans biais de sélection (l’homme est inconscisemment très fort pour ça :-/) et sans biais de traitement inital (on simplifie les photos -genre augmentation de contraste + réduction de résolution- pour un traitement plus efficace) est en général autour de 95%. Il n’y a aucun algorithme qui entre en jeu, c’est pour ça que l’on appelle ça de l’IA. Et pour info, les taux de réussite humains tourne dans les 98% (voir ici le débat chien/chat), on n’est pas si loin.

kefeng

Ça reste de l’algorithmique… il y a des étapes plus ou moins élémentaires à suivre dans un ordre précis pour que ça marche. Les étapes sont moins élémentaires qu’avant grâce à la floppée de framework, mais calculer des combinaisons linéaires, appliquer une fonction d’activation, calcul du gradient et minimisation de fonction, convolution et ce que tu veux, ça reste un algorithme. On doit même boucler sur les couches du réseau ! L’algorithmique ne se résume pas qu’à if, for, while…

manu0086

On l’appelle IA car il s’entraine “tout seul”, point. Mais c’est complètement basé sur des algorithmes qu’on lui a donné et qui varient en fonction de ce sur quoi on souhaite travailler (formes, couleurs… etc). Une fois entrainé, ce n’est qu’un gros algorithme qui reproduira exactement les mêmes résultats avec les mêmes images.

Nmut

Définition du Larrousse pour algorithme: Ensemble de règles opératoires dont l’application permet de résoudre un problème énoncé au moyen d’un nombre fini d’opérations. Un algorithme peut être traduit, grâce à un langage de programmation, en un programme exécutable par un ordinateur. Définition Wikipédia: Un algorithme est une méthode générale pour résoudre un type de problèmes. Pour moi, le résultat de l’organisation d’un réseau de neurone n’est pas un algorithme, mais je comprends vos points de vue.

manu0086

T’as du mal à comprendre… le “réseau de neurones” ne peut pas fonctionner sans, il ne ferait rien sans algorithmes. Il ne pourrait pas s’entrainer n’ayant aucune instruction à suivre. fr.wikipedia.org Réseau de neurones artificiels Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références » En pratique : Quelles sources sont attendues ? Comment ajouter mes sources ? Un réseau de neurones artificiels, ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnem... Rien que sur cette page, le mot algorithme est présent 83 fois : http://www.grappa.univ-lille3.fr/polys/apprentissage/sortie005.html Un algorithme d’apprentissage reste un algorithme, il donnera toujours la même réponse quand il aura la même base et même entrée.

Nmut

Ne pas confondre l’algorithme d’apprentissage et/ou l’alogorithme de rétropropapagation, ni les quelques règles de consistence de données, qui sont les bases du fonctionnement du réseau de neurone avec l’apprentissage lui-même qui ne relève plus de l’algorithmie. C’est d’ailleurs le principal frein à l’utilisation des réseaux de neurone opérationnellement dans les domaines critiques: contrairement à de l’algorithmie classique, il est quasiment impossible de prouver mathématiquement la pertinence des résultats (en gros on imagine bien que chaque nouvelle entrée ou étape de l’apprentissage modifie ou peut modifier l’ensemble des résultats) et on a une variabilité gêrante pour la comparaison de résultats. On a le même problème avec les algorithmes génétiques extrêmement efficaces mais qui ne peuvent donner qu’un optimum local et non un résulat absolu, et donc (bon ce n’est pas si simple, mais je “vulgarise”) difficilement prouvables et comparables… Dans les deux les cas le résultat sera toujours le même avec les mêmes données mais cela ne prouve rien. On peut aussi parler des calculs en logique floue si tu veux, avec des problématiques encore différentes (même si on peut mixer tout ça pour obtenir des résultats quelques fois ahurissants s’approchant de l’intelligence humaine), mais cela va commencer à être compliqué et on va larguer du monde! Pour info, peux tu me donner tes références? Ca m’intéresse de comprendre pourquoi tu as ce point de vue. Pour ma part je travaille sur un soft proposé à des chercheurs en contrôle aérien. Le boulot de l’équipe est de cadrer les chercheurs (ils sont à la masse quand aux différentes possibilités informatiques et ne comprennent quelques fois pas les implications de ce qu’ils veulent utiliser) et d’implémenter leur idées pour les valider (ou pas!).

manu0086

Ah mais je ne confonds absolument pas… c’est toi qui affirmait qu’aucun algorithme n’entrait en jeu alors que c’est clairement faux. Ce sont les algo d’apprentissage qui déterminent tout… les résultats sont difficilement prévisibles sur certains modèles oui, pas sur d’autres, dont ceux de reconnaissances qui restent assez basiques. Pour ma part, j’avais développé une app pour reconnaitre les races de chien, ça fonctionne très bien sur de bonnes photos proches de celles d’entrainement, mais dès qu’on s’éloigne du jeu de données initial, ça foire logiquement, comme sur les exemples données dans l’article.

Peter_Vilmen

À noter que le cerveau humain procède probablement aussi selon un ou des algorithmes d’apprentissage fixe (la chimie des neurones et ce qui les entour), et si l’on pouvait figer le cerveau, il donnerait les même réponses pour les même input. Comme un réseau de neurones.

Nmut

Donc finalement on est d’accord, je pointais sur le fait que le réseau ne peut pas être assimilé à un algorithme en croyant que tu en parlais dans ta pharse "ce sont des algos qui ne font que calculer des probabilités à partir d’un stock d’images qu’on leur a fait “bouffer”. Ok, en me relisant ce n’est pas de la plus grand clareté…!

Voir tous les messages sur le forum

Des chercheurs ont mis en avant les faiblesses de l'IA en lui proposant des images confuses

Lorsque nous voyons un chat dans un arbre, l'IA voit un écureuil

A découvrir en vidéo

Commentaires (10)

Top app & logiciels

Sur le même sujet