Georges Nahon, Analyste Conseil
Ancien DG pendant quinze ans d’orange Silicon Valley à San Francisco, créateur de l’Institut Orange

NDLR* : GPT-3 est un modèle de langage développé par la société OpenAI annoncé le 28 mai 2020 et ouvert aux utilisateurs en juillet 2020. Elle peut écrire un essai, répondre à une question médicale ou proposer un pastiche d’Harry Potter en adoptant le style d’Ernest Hemingway.

 

Quel a été le développement marquant ces derniers mois ?

Je pense que c’est GPT-3[1] dans le domaine de l’intelligence artificielle.  GPT veut dire generative pre-trained transformer. C’est un deep neural network ou réseau neuronal d’apprentissage en profondeur, explication pour les spécialistes que je ne suis pas. C’est est un transformateur de texte basé sur un apprentissage automatique pré-entrainé.  Il est étonnamment puissant. Et déjà très critiqué, ce qui est normal pour un système susceptible de se rapprocher davantage de l’intelligence humaine. Très couvert par les médias, je crois que c’est vraiment l’avancée la plus importante dans la technologie numérique ces derniers mois.

 

Qui a créé ce produit ?

Développé et lancé par open.ai, une société de San Francisco, originellement un centre de recherche pour un IA éthiquement correct lancé par Elon Musk de Tesla et d’autres célébrités de la Silicon Valley dont Reid Hoffman (Linkedin) et Sam Altman (de l’incubateur Y Combinator). Au début, un projet à but non lucratif qui déploie maintenant commercialement ses travaux pour que le monde en profite. Son objectif est de créer des produits d’intelligence artificielle générale (AGI) qui soient sûrs et qui bénéficient au genre humain, en évitant par exemple la concentration de pouvoirs et le détournement néfaste de ses usages.

 

De quoi s’agit-il ?

C’est un système d’IA qui permet, après avoir « lu » tout ce qui est en accès libre sur internet, de générer notamment des textes cohérents en réponse à des problèmes qu’on lui soumet. L’objectif est de comprendre le langage : ce qui est recherché est de réduire énormément le travail de collecte et de préparation des données pour créer les bons modèles d’apprentissage automatiques et de réduire les coûts associés. Et pour que les autres s’en servent.

 

Que fait exactement le GPT-3 ?

Le GPT-3 est surtout un générateur de textes que les humains ont du mal à distinguer d’articles écrits par des humains. Au moins à première vue. Et il fait même davantage.

GPT-3 est capable de créer de la poésie, des documents de stratégie, d’écrire du code informatique, des CV, des communiqués de presse, des articles complets. On peut lui demander d’écrire une lettre d’avocat à partir d’un brouillon profane. Il peut aussi terminer correctement une phrase et de compléter des analogies. Et corriger la grammaire anglaise. De plus, il peut compléter des images partielles.

Il peut être un moteur de recherche à qui on pose des questions complètes en langage naturel et en retour, on reçoit une réponse précise et un lien vers un site pertinent.

Et plus surprenant, il fait de l’arithmétique. Étrange qu’en ingérant des textes, GPT-3 soit capable de résoudre assez bien des opérations arithmétiques simples. Par exemple : « qu’est-ce que 48 plus 76 ?  » Et il répond 124 !

Le système est performant quand le nombre de chiffres est petit avec 100% d’exactitude pour les additions à 2 chiffres, 80,2% pour les additions à 3 chiffres, 98,9% pour les soustractions à 2 chiffres, et 94,2% pour la soustraction à 3 chiffres.

C’est vraiment surprenant : en effet, comment en lisant des énormes quantités de textes le système peut-il effectuer des opérations arithmétiques simples comme des additions et des soustractions à deux chiffres ? Peut-être que GPT-3 a appris à s’adapter tout seul à des tâches inédites et pour lesquelles il n’a pas été spécifiquement entraîné. Ce qui serait une évolution intéressante se rapprochant du probable fonctionnement du cerveau humain. Sans être vraiment intelligent encore au sens de l’humain. Masi cela reste à démontrer et à prouver.

Par ailleurs, GPT-3 a pu écrire du code informatique en réponse à une demande en langage courant (donc il a programmé) ; parfois, ce code n’était pas correct mais il était assez proche du bon code pour tromper un non spécialiste.

 

Comment est-il offert au marché ?

En juillet 2020 une version cloud de GPT-3 est sortie, comme une sorte de IA-as-a service car on peut s’en servir sans avoir besoin de disposer de la totalité du système chez soi ni du code source. Ce qui limite également les risques de détournement toxique de cet IA.

Avec cet « IA-as-a-service » les développeurs peuvent poser des questions au modèle GPT-3 sans avoir à le concevoir ni à le développer. Et sans avoir à acheter les ressources informatiques requises pour entraîner le modèle qui sont estimées entre 5 et 10 millions de dollars[2]. Ou pire, avoir à créer les infrastructures informatiques nécessaires.

Tout cela pourrait avoir le même impact positif que le passage de l’informatique vers le cloud qui a permis de baisser le coût d’entrée pour les startups et autres développeurs, en éliminant le coût du matériel informatique et des licences de logiciels commerciaux. Ici, ce serait pour l’accès à l’IA à des coûts très bas.

 

Quelles compétences pour se servir de GPT-3 ?

Les experts en mégadonnées (data scientists) vont devoir faire évoluer leur façon de programmer. Dans le cas de systèmes comme GPT-3, il va s’agir de définir le mieux possible la question à poser, et surtout de bien définir les meilleurs exemples à présenter au système. Il faut très bien alimenter le système pour obtenir la meilleure précision dans la façon dont il va résoudre le problème en question. L’évolution du rôle de l’informaticien est importante, et comme le dit l’inventeur d’Euthérium, un réseau blockchain populaire : « l’humain décrit, l’IA construit, et l’humain débogue. »

 

GPT-3 est-il vraiment au point ?

Il y a évidemment des limitations à GPT-3 d’après ses promoteurs, mais le progrès réalisé est vraiment important au moins par rapport aux versions antérieures.

Parmi les problèmes rencontrés, la consommation d’énergie utilisée a dû être considérable. En effet, le travail d’apprentissage pour GPT-3 avec ses 175 milliards de paramètres a consommé beaucoup de ressources informatiques de plusieurs milliers de pétaflops par jour, alors que la version précédente GPT-2 avec 1,5 milliards de paramètres avait « seulement » consommé plusieurs dizaines de milliers de pétaflops par jour.

Évidemment, on s’attend à ce que ces systèmes soient plus efficaces énergétiquement une fois « entraînés », car on les utilisera ensuite sans avoir besoin de répéter la phase d’apprentissage très coûteuse et complexe.

Il y a aussi une tendance à ne parler ou à ne démontrer que les cas de réussites spectaculaires. Le PDG de open.ai a déclaré qu’il y avait trop de hype même si le produit était très prometteur. GPT-3 fait parfois des erreurs qu’un humain ne ferait jamais. Ce manque de fiabilité peut restreindre le champ des applications dans le monde réel, et notamment professionnel.

Les prochaines versions de GPT-3 seront sûrement entraînées sur encore beaucoup plus de données qui ne manqueront pas d’être créées sur internet. Et elles utiliseront encore beaucoup plus de ressources informatiques.

Il est possible que la quantité apporte la qualité. Mais la question du temps nécessaire au travail pour se rapprocher presque parfaitement de l’intelligence humaine reste ouverte.

Enfin, les biais existent dans GPT-3 simplement, parce que le corpus de textes absorbés par lui contient tous les biais connus des humains qui lui sont transmis pendant l’apprentissage. C’est rectifiable dans le bon sens par les créateurs du système et cela prendra du temps.

GPT-3 constitue une étape importante et spectaculaire dans le développement de l’IA. Il faut s’attendre à ce que la BigTech et de nouveaux acteurs réagissent en apportant de nouveaux outils originaux. Y-compris dans les semi-conducteurs. Dans ce domaine, l’avenir est passionnant.

 

(GPT-3 n’a pas écrit cet article)

[1]Language Models are Few-Shot Learners      arXiv:2005.14165v4 [cs.CL] 22 Jul 2020

[2] Frank Chen