Google, Elon Musk et bien d'autres ont également développé ou sont en train de développer leurs propres versions de ces programmes d'IA, mais après 18 mois maintenant, le problème n°1 de ces programmes d'IA LLM reste le fait qu'ils mentent toujours et inventent des trucs lorsqu'on leur pose des questions trop difficiles à répondre.
C'est ce qu'on appelle « hallucination » dans le monde de la technologie, et même s'il y avait beaucoup d'espoir lorsque Microsoft a introduit la première version de cette classe d'IA en 2022, qu'elle produirait bientôt des résultats précis, cette précision reste illusoire, car ils continuent à « halluciner ».
Voici un rapport qui vient d’être publié ce 6 mai 2024 :
L’adoption du Large Language Model (LLM) atteint un autre niveau en 2024. Comme le rapporte Valuates, le marché du LLM était évalué à 10,5 milliards de dollars en 2022 et devrait atteindre 40,8 milliards de dollars d’ici 2029, avec un taux de croissance annuel composé (TCAC) stupéfiant. de 21,4%.
Imaginez une machine si native au langage qu’elle peut écrire des poèmes, traduire des langues et répondre à vos questions avec des détails captivants. C’est exactement ce que font les LLM, en transformant rapidement des domaines tels que la communication, l’éducation et l’expression créative. Pourtant, au milieu de leur éclat se cache une vulnérabilité cachée, le murmure d’une hallucination .
Ces modèles d’IA peuvent parfois inventer des faits, fabriquer des histoires ou simplement se tromper.
Ces hallucinations peuvent sembler inoffensives à première vue – une pincée de fiction dans un poème, une phrase mal traduite. Mais les conséquences peuvent être réelles, avec des informations trompeuses, des résultats biaisés et même une confiance érodée dans la technologie.
Il devient donc crucial de se demander comment pouvons-nous détecter et atténuer ces hallucinations, en garantissant que les LLM disent la vérité au pouvoir, et non des fabrications fantastiques ? ( Article complet .)
Beaucoup commencent à comprendre cette limitation du LLM AI et se rendent compte qu’il n’y a pas de véritables solutions à ce problème, car il s’agit d’une limitation inhérente à « l’intelligence » artificielle informatique.
Un synonyme du mot « artificiel » est « faux » ou « pas réel ». Au lieu de qualifier ce type de langage informatique d’IA, nous serions probablement plus précis en l’appelant simplement FI, Fake Intelligence.
Kyle Wiggers, écrivant pour Tech Crunch , a rendu compte il y a quelques jours des échecs de certaines de récentes tentatives visant à guérir les hallucinations du LLM AI.
Pourquoi RAG ne résoudra pas le problème des hallucinations de l'IA générative
Les hallucinations – les mensonges que racontent les modèles d'IA générative – sont un gros problème pour les entreprises qui cherchent à intégrer la technologie dans leurs opérations.
Parce que les modèles n’ont pas de véritable intelligence et prédisent simplement des mots, des images, de la parole, de la musique et d’autres données selon un schéma privé, ils se trompent parfois. Gravement. Dans un article récent du Wall Street Journal, une source raconte un cas où l'IA générative de Microsoft a inventé les participants à une réunion et a laissé entendre que les conférences téléphoniques portaient sur des sujets qui n'étaient pas réellement abordés lors de la réunion.
Comme je l'ai écrit il y a quelque temps, les hallucinations peuvent être un problème insoluble avec les architectures de modèles actuelles basées sur des transformateurs. ( Article complet .)
Devin Coldewey, écrivant également pour Tech Crunch , a publié le mois dernier un excellent article qui décrit cet énorme problème d'hallucination inhérent aux LLM en IA :
Le Grand Imposteur
L'IA ne connaît pas la réponse et n’a pas appris comment y remédier.
Il y a une bonne raison de ne pas faire confiance à ce que vous disent les constructions d'IA d'aujourd'hui, et cela n'a rien à voir avec la nature fondamentale de l'intelligence ou de l'humanité, avec les concepts wittgensteiniens de représentation du langage, ou même avec la désinformation dans l'ensemble de données.
Tout ce qui compte, c’est que ces systèmes ne font pas de distinction entre ce qui est correct et ce qui semble correct.
Une fois qu’on comprend que l’IA considère ces choses comme plus ou moins interchangeables, tout prend beaucoup plus de sens.
Maintenant, je ne veux pas court-circuiter les discussions fascinantes et de grande envergure sur ce sujet qui se déroulent continuellement dans toutes les formes de médias et de conversations. Nous avons tout le monde, des philosophes et linguistes aux ingénieurs et hackers en passant par les barmans et les pompiers, qui se demandent et débattent de ce que sont réellement « l'intelligence » et le « langage », et si quelque chose comme ChatGPT les possède.
Ceci est incroyable! Et j'ai déjà beaucoup appris alors que certaines des personnes les plus intelligentes de cet espace profitent de leur moment au soleil, tandis que de la bouche de filles comparables émergent de nouvelles perspectives.
Mais en même temps, c'est beaucoup de choses à trier autour d'une bière ou d'un café lorsque quelqu'un demande « qu'en est-il de tous ces trucs GPT, c'est un peu effrayant à quel point l'IA devient intelligente, n'est-ce pas ? Par où commencer – avec Aristote, le Turc mécanique, le perceptron ou « L’attention est tout ce dont vous avez besoin » ?
Il n’y a que trois choses à comprendre, qui conduisent à une conclusion naturelle :
- Ces modèles sont créés en leur demandant d'observer les relations entre les mots et les phrases, etc. dans un énorme ensemble de données de texte, puis de construire leur propre carte statistique interne de la façon dont tous ces millions et millions de mots et de concepts sont associés et corrélés. Personne n’a dit : ceci est un nom, ceci est un verbe, ceci est une recette, ceci est un dispositif rhétorique ; mais ce sont des choses qui apparaissent naturellement dans les modèles d’utilisation.
- Ces modèles ne apprennent pas spécifiquement comment répondre aux questions, contrairement aux éditeurs de logiciels familiers comme Google et Apple qui appellent l'IA depuis une décennie. Ce sont essentiellement des Mad Libs avec les espaces vides menant aux API : chaque question est soit prise en compte, soit produit une réponse générique. Avec les grands modèles de langage, la question n’est qu’une série de mots comme les autres.
- Ces modèles ont une qualité expressive fondamentale de « confiance » dans leurs réponses. Dans un exemple simple d’IA de reconnaissance de chat, cela passerait de 0, ce qui signifie absolument sûr que ce n’est pas un chat, à 100, ce qui signifie absolument sûr que c’est un chat. Vous pouvez lui dire de dire « oui, c'est un chat » si son niveau de confiance est de 85 ou 90, selon la mesure de réponse que vous préférez.
Compte tenu de ce que nous savons sur le fonctionnement du modèle, voici la question cruciale : de quoi a-t-il confiance ? Il ne sait pas ce qu'est un chat ou une question, seulement les relations statistiques trouvées entre les nœuds de données d'un ensemble d'apprentissage. Un ajustement mineur permettrait au détecteur de chat d'être tout aussi sûr que l'image montre une vache, ou le ciel, ou une nature morte. Le modèle ne peut pas avoir confiance en ses propres « connaissances », car il n'a aucun moyen d'évaluer réellement le contenu des données sur lesquelles il a été formé.
L'IA exprime à quel point elle est sûre que sa réponse semble correcte à l'utilisateur .
Cela est vrai pour le détecteur de chat, tout comme pour le GPT-4 – la différence réside dans la longueur et la complexité de la sortie. L’IA ne peut pas faire la distinction entre une bonne et une mauvaise réponse : elle peut seulement prédire la probabilité qu’une série de mots soit acceptée comme correcte. C'est pourquoi il doit être considéré comme le conneries le mieux informé au monde plutôt que comme une autorité sur n'importe quel sujet. Il ne sait même pas que ce sont des conneries : il a été entraîné pour produire une réponse qui ressemble statistiquement à une réponse correcte , et il dira n'importe quoi pour améliorer cette ressemblance.
L’IA ne connaît la réponse à aucune question, car elle ne comprend pas la question. Il ne sait pas quelles sont les questions.
Il ne « sait » rien ! La réponse suit la question car, en extrapolant à partir de son analyse statistique, cette série de mots est la plus susceptible de suivre la série de mots précédente. Que ces mots fassent référence à des lieux, des personnes, des lieux réels, etc. n'a pas d'importance, mais seulement qu'ils ressemblent à des mots réels.
C'est la même raison pour laquelle l'IA peut produire une peinture de type Monet qui n'est pas un Monet : tout ce qui compte, c'est qu'elle possède toutes les caractéristiques qui amènent les gens à identifier une œuvre d'art comme étant la sienne. ( Article complet .)
« IA » était le nouveau mot à la mode pour 2023, où tout ce qui concernait le code informatique était appelé « IA » alors que les investisseurs jetaient littéralement des milliards de dollars dans cette « nouvelle » technologie.
Mais quand on l’examine réellement, ce n’est vraiment pas si nouveau du tout.
La plupart des gens connaissent la voix féminine « Siri » d'Apple ou la voix féminine « Alexa » d'Amazon.com qui répond au langage parlé et renvoie une réponse. Il s’agit de « l’IA » et elle existe depuis plus d’une décennie.
Ce qui est « nouveau » avec « l'IA générative » comme les nouvelles applications LLM, c'est que la puissance et l'énergie nécessaires pour calculer les réponses ont été considérablement augmentées pour donner l'impression que l'ordinateur vous répond alors qu'il produit rapidement du texte.
Mais ces LLM ne créent réellement rien de nouveau. Ils utilisent les données existantes qui leur ont été transmises et peuvent désormais les calculer rapidement à des vitesses si rapides que les anciennes technologies qui alimentent des programmes comme Siri et Alexa semblent être des bébés qui ont encore appris à parler comme des adultes.
Mais ils restent limités à la quantité et à l’exactitude des données sur lesquelles ils sont formés. Ils peuvent être capables de « créer » de nouvelles structures linguistiques en manipulant les données, mais ils ne peuvent pas créer les données eux-mêmes.
...
Cette capacité accrue à mentir m'a vraiment frappé récemment en regardant une publicité pour les nouveaux téléphones Google : Vidéo
Ici, Google enseigne clairement aux gens comment tromper les gens et mentir sur les données réelles capturées par un téléphone Google en utilisant « l’IA », comme dans les photographies.
Mentir et tromper les gens fait vendre, alors que la vérité ne le fait généralement pas, et lorsque le public regarde une publicité comme celle-ci pour le dernier téléphone de Google, la réaction, j'en suis sûr, parmi la plupart, est que c'est vraiment une bonne chose, comme notre société nous conditionne désormais à croire que mentir et tromper les gens est acceptable dans la plupart des situations.
Il n'y qu'à voir le comportement des médias concernant la Russie ou Gaza.
Le mot intelligence artificielle, est un abus de langage, car il ne s’agit en fin de compte, que d’OUTILs informatiques, capables de résoudre, souvent mieux que l’Homme, des problèmes, des questions ou des tâches aussi divers qu’imaginables.
RépondreSupprimerOn peut même en faire des outils plus savants que nos plus célèbres savants de Marseille, en leur donnant, par exemple, accès à la connaissance stockée sur l’Internet, pour répondre à toutes sortes de questions posées, mais on ne peut pas rendre ces outils intelligents, tout simplement parce qu’ils ne pourront jamais s’adapter à ce qui n’a pas été prévu par les programmeurs qui les ont créés.
Entre parenthèses, les outils savants qui piochent les réponses sur l’Internet, ne peuvent répondre que des âneries quand on les interroge sur la Science, parce que la Science n’est jamais définitivement établie, dans aucun domaine.
Machin