La bulle de l'intelligence artificielle aux États-Unis continue de grossir. Elle absorbe une part importante des ressources financières disponibles. Mais ses résultats, sous forme de produits concrets, restent jusqu'à présent assez modestes.
Certains outils de génération de code peuvent s'avérer utiles, mais, sauf subvention, ils sont très coûteux. On trouve aussi ChatGTP et autres boîtes de réception qui, au final, ne sont que de nouvelles formes d'outils de recherche web intrinsèquement peu fiables.
Ce qui manque, ce sont des applications utiles destinées au grand public, pour lesquelles des milliards de personnes sont prêtes à payer.
Pourtant, un grand nombre de « personnalités importantes » croient que les grands modèles de langage, qui sont au cœur des produits d'OpenAI et d'Anthropic, atteindront un jour les capacités des êtres sensibles. C'est, à mon avis, une pure ineptie, mais qui suis-je pour vous le dire ?
Le New York Times a publié un long article ( archivé ) sur Larry Ellison, fondateur d'Oracle, et son pari de la quasi-totalité de son patrimoine sur la bulle de l'IA. On peut y lire :
L'histoire de l'IA est autant une histoire financière que technologique, une question de structuration des investissements colossaux nécessaires à l'entraînement et à l'exécution des modèles. Rares sont ceux qui doutent que cette technologie va tout bouleverser. Ce qui est moins clair, c'est quand les profits commenceront à affluer et quelle sera leur ampleur. « Pour moi, c'est un problème mathématique », explique Asad Ramzanali, directeur de l'IA au sein d'un centre de recherche de l'Université Vanderbilt. « Nous investissons des milliers de milliards de dollars pour des revenus se chiffrant en dizaines de milliards. »
C’est pourquoi Ed Zitron et d’autres vous diront à juste titre que les investissements colossaux consacrés à l’IA n’ont absolument aucun sens.
Où sont les produits et les clients qui permettront de récupérer les centaines de milliards de dollars douteux dépensés dans les centres de données pour l'IA ?
La structure financière du développement des centres de données les rend particulièrement vulnérables à un effondrement. Ces transactions reposent sur des montages de dette et de capitaux propres extrêmement complexes, impliquant un financement circulaire. Les géants du cloud investissent massivement dans les mêmes entreprises qui leur fournissent leur puissance de calcul. C'est ce que les économistes appellent une structure de passifs interdépendants. Si leurs clients peinent à rentabiliser leurs produits, ils seront durement touchés , tout comme leurs investisseurs, parmi lesquels figurent de nombreux citoyens américains. Et il ne s'agit là que des entreprises américaines. L'essor de l'IA a été un phénomène mondial ; un effondrement de l'IA le serait tout autant.
Le New York Times part du principe que tout ce que font les États-Unis est imité dans le monde entier. Si la bulle éclate aux États-Unis, elle éclatera par conséquent ailleurs, notamment en Chine.
Il s'agit d'une incompréhension de ce que sont les modèles d'IA chinois et de ce que font les entreprises chinoises spécialisées dans l'IA.
Au cours de l'année écoulée, plusieurs entreprises chinoises ont surpris le public en proposant des modèles d'IA presque aussi performants que les meilleurs produits par les entreprises américaines, mais à un prix dix fois inférieur à celui des modèles américains (fortement subventionnés).
De plus, les entreprises chinoises ont publié les poids et le code source de leurs modèles et permettent à toute personne disposant du matériel adéquat de les exécuter dans ses propres locaux.
The Economist a tenté de comprendre cela :
Comment la Chine obtient un meilleur retour sur investissement que les États-Unis en matière d'IA ( archivé ) :
Ses investissements sont largement inférieurs à ceux des États-Unis. Ses modèles ne le sont pas.
Les dépenses somptuaires des Américains en matière d'IA paraissent particulièrement extravagantes comparées à la parcimonie des Chinois. En 2026, les géants technologiques chinois devraient investir moins d'un dixième des sommes investies dans les centres de données par leurs homologues américains (voir graphique).
Leurs modèles semblent à peine moins performants grâce à cette frugalité. K3, un modèle avancé lancé le mois dernier par Moonshot AI, une start-up pékinoise, est 95 % aussi intelligent (sur des benchmarks largement utilisés) que Fable 5, un modèle de pointe d'Anthropic, un autre laboratoire américain de renom. Son coût d'utilisation est également 70 % inférieur. Le 3 août, Alibaba, géant chinois de la technologie, a publié un modèle qui, selon certains critères, figure parmi les meilleurs au monde.
Les auteurs de The Economist s'interrogent ensuite sur les coûts plus abordables des centres de données en Chine. Selon eux, le pays a également moins d'opportunités d'investir dans du matériel américain hors de prix. Ses acheteurs sont plus économes et la recherche d'applications concrètes est plus importante pour la Chine que la quête d'une « singularité » ou d'une « intelligence artificielle générale », objectifs poursuivis par les entreprises américaines.
Tout cela, comme le mentionne l'article du New York Times , est en grande partie du baratin.
Ce qui distingue réellement les entreprises américaines et chinoises spécialisées dans l'IA, ce sont les mathématiques qu'elles utilisent .
Les modèles américains fonctionnent avec des algorithmes gourmands en ressources de calcul, tandis que les modèles chinois utilisent des méthodes plus intelligentes, nécessitant moins de puissance de calcul, pour atteindre une qualité similaire.
Les modèles de langage, qui, à partir d'une entrée textuelle, produisent une sortie textuelle correspondante, ne sont pas une nouveauté.
La plupart reposent sur des algorithmes de réseaux neuronaux, qui simulent une fonction rudimentaire du cerveau humain. Ces réseaux peuvent être entraînés à reconnaître une entrée pour ensuite produire une sortie correspondante.
Le problème des réseaux neuronaux et de leurs premières variantes est que l'entraînement est très long, ce qui limite la taille des modèles.
En 2018, des chercheurs de Google ont trouvé un moyen élégant de contourner ces restrictions :
Les modèles de transduction de séquences dominants reposent sur des réseaux de neurones récurrents ou convolutionnels complexes, organisés en encodeur-décodeur. Les modèles les plus performants connectent également l'encodeur et le décodeur via un mécanisme d'attention. Nous proposons une nouvelle architecture de réseau simple, le Transformer , basée exclusivement sur des mécanismes d'attention et s'affranchissant totalement de la récurrence et des convolutions. Des expériences menées sur deux tâches de traduction automatique démontrent la supériorité de ces modèles en termes de qualité, leur meilleure parallélisation et leur temps d'entraînement considérablement réduit .
Les entreprises américaines se sont emparées du modèle Transformer. Elles y voyaient l'occasion de créer des modèles toujours plus grands et plus performants, dans l'espoir qu'un modèle de taille gigantesque puisse un jour atteindre, voire dépasser, les capacités du cerveau humain.
L'avantage du modèle Transformer réside dans la possibilité de paralléliser les calculs nécessaires à son entraînement. Les puces graphiques possèdent un matériel spécialisé pour le traitement des pixels. Au lieu de traiter un pixel à la fois, elles calculent des images complètes en déterminant simultanément la valeur (de couleur) de milliers de pixels. L'utilisation de processeurs graphiques (GPU) permet d'effectuer des opérations matricielles parallèles sur des milliers de paramètres. (Une vidéo de Grant Sanderson, « Large Language Models explained briefing », en offre une bonne introduction.)
L'inconvénient du modèle Transformer réside dans la complexité exponentielle de son mécanisme d'attention. Pour traiter une phrase, le modèle doit comparer chaque élément de cette phrase avec tous les autres éléments du même contexte. Il s'agit d'une opération exponentielle. Pour un contexte de 500 000 mots (soit pour résumer un livre de cette longueur), le modèle nécessitera 250 milliards d'opérations. OpenAI, Anthropic et d'autres utilisent diverses techniques pour optimiser leurs calculs, mais ils ne peuvent s'affranchir de la contrainte exponentielle fondamentale de l'algorithme qu'ils emploient.
C’est pourquoi les entrées des modèles Transformer actuels sont limitées et pourquoi ces modèles nécessitent d’immenses centres de données dotés de millions de GPU pour répondre aux questions des utilisateurs.
Faute de puissance de calcul suffisante, les développeurs chinois de modèles ont dû emprunter d'autres voies. Ils utilisent des réseaux neuronaux récurrents et les algorithmes LSTM ( Long Short-Term Memory ). Ces algorithmes, connus depuis la fin des années 1990, sont à la base de la plupart des traductions automatiques. Siri d'Apple utilise un modèle LSTM.
L'algorithme LSTM présente des inconvénients. Dans sa version originale, son entraînement ne peut être parallélisé. Cependant, il est capable d'« oublier » le contexte inutile et le calcul de sa réponse est (généralement) linéaire, et non exponentiel.
Les algorithmes LSTM étendus les plus récents permettent de paralléliser l'entraînement de tels modèles tout en conservant l'avantage d'un algorithme de réponse (quasi) linéaire.
Le modèle Kimi, récemment dévoilé par la société chinoise Moonshot.ai , repose sur un algorithme xLSTM (modifié) appelé Kimi Delta Attention. Il divise également le modèle en un réseau de 800 « experts », dont seuls quelques-uns sont activés pour répondre à une question spécifique d'un utilisateur (voir Kimi K3 expliqué en 13 minutes (vidéo)).
Bien que Kimi n'ait pas encore atteint la taille de paramètres du modèle américain le plus récent, il possède des capacités presque identiques tout en utilisant beaucoup moins de puissance de calcul que nécessaire pour exécuter un modèle OpenAI équivalent.
D'autres fournisseurs chinois d'IA utilisent également des algorithmes similaires qui nécessitent beaucoup moins de puissance de calcul que les modèles Transformer privilégiés aux États-Unis.
Les fournisseurs américains de modèles d'IA, OpenAI, Anthropic, Google, Meta et SpaceX, sont tous contraints d'utiliser les algorithmes du modèle Transformer pour construire leurs modèles. C'est sur cette base qu'ils travaillent depuis des années et c'est le domaine d'expertise de leurs ingénieurs. Ils se sont engagés à développer ou acquérir une capacité de calcul considérable, car c'est ce que leurs modèles requièrent.
C’est ce choix d’algorithme qui a créé la bulle de l’IA américaine.
Faute de capitaux-risqueurs illimités, les modélisateurs chinois ont dû trouver de meilleures solutions à ces problèmes. L'utilisation d'algorithmes différents leur permet d'obtenir des résultats quasi identiques à moindre coût.
Il existe également une différence d'attitude. Alors que des financiers américains comme Larry Ellison aspirent à une intelligence artificielle générale quasi divine, les développeurs et financiers chinois (et certains européens) sont bien plus intéressés par la résolution de problèmes concrets (industriels).
Un robot destiné à remplir le lave-vaisselle peut fonctionner correctement sans être capable de résoudre des conjectures mathématiques . De plus, son modèle d'IA interne devra s'exécuter sur un GPU local et non dans un centre de données distant.
L'abondance des ressources a permis aux développeurs américains de concevoir des modèles d'IA générale immenses, très performants, mais extrêmement coûteux. Ces entreprises n'ont pas encore trouvé de cas d'utilisation qui justifieraient le coût d'exécution de ces modèles.
Au lieu de viser les étoiles, comme le font les entreprises américaines, les Chinois s'attachent à résoudre des problèmes concrets.
Le manque de ressources a contraint les développeurs chinois à concevoir de meilleurs algorithmes. Leur priorité est de créer des applications utiles qui généreront un retour sur investissement satisfaisant.
Tôt ou tard, la bulle de l'IA aux États-Unis éclatera. Les dommages collatéraux seront considérables. Beaucoup perdront leur argent. De nombreux centres de données vides et inutiles seront disponibles à la location.
Le New York Times et The Economist présument que cela entraînera des problèmes similaires en Chine.
Cela est peu probable car l'IA chinoise repose sur des modèles mathématiques et économiques différents.
Les IA ont un seul objectif : collecte d'informations
RépondreSupprimer