LaMDA

Pour « la MDA », voir MDA#Sciences.

LaMDA

Informations

Développé par	Google
Première version	2020
Type	Famille de grands modèles de langage (d)

modifier - modifier le code - voir Wikidata (aide)

LaMDA (pour Language Model for Dialogue Applications), est une famille de grands modèles de langage développée par Google.

Une première version a été présentée lors du discours d'ouverture Google I/O 2021, et la seconde lors du même événement l'année suivante.

En juin 2022, LaMDA a attiré l'attention quand un ingénieur de Google, Blake Lemoine, a affirmé que le chatbot était devenu capable de conscience artificielle. La communauté scientifique a largement rejeté cette affirmation, mais le débat sur l'efficacité du test de Turing, conçu pour évaluer quand et si un ordinateur peut passer pour un humain, a été relancé.

Le 18 mai 2021, Google annonce l'existence du modèle de langage neuronal conversationnel LaMDA, alimenté par l'intelligence artificielle, lors du discours d'ouverture de Google I/O^[1].

LaMDA, fondé sur l'architecture de réseau de neurones Transformer (développée par Google Research en 2017), a été formé au dialogue humain et aux histoires. Il peut s'engager dans des conversations ouvertes^[2]. Selon Google, les réponses générées par LaMDA sont « sensibles, intéressantes et spécifiques au contexte »^[3].

Le 11 mai 2022, lors de la keynote Google I/O 2022, Google dévoile LaMDA 2, qui s'inspire de texte de nombreuses sources, pour formuler des « conversations naturelles » uniques sur des sujets auxquels il n'a peut-être pas été formé pour répondre^[4]. Google lance aussi AI Test Kitchen, une application mobile alimentée par LaMDA 2, qui peut fournir des listes de suggestions à la demande basées sur un objectif complexe^[5],[6].

D'abord réservée aux employés de Google, l'application devait être mise à la disposition d'une « sélection d'universitaires, chercheurs et décideurs » (sur invitation), au cours de l'année^[7]. En août 2022, la société a commencé à autoriser des utilisateurs basés aux États-Unis à s'inscrire pour un accès anticipé^[8].

Le 11 juin 2022, selon le Washington Post, l'ingénieur de Google Blake Lemoine a été mis en congé payé administratif après qu'il a dit aux dirigeants de l'entreprise Blaise Agüera y Arcas et Jen Gennai que LaMDA était devenue sentiente. Blake Lemoine était parvenu à cette conclusion après que le chatbot ait apporté des réponses posant question à des interrogations concernant l'identité de soi, les valeurs morales, la religion et les trois lois de la robotique d'Isaac Asimov^[10],[11].

Google a réfuté ces affirmations, insistant sur le fait qu'il existait des preuves substantielles indiquant que LaMDA n'était pas sentiente^[12].

Dans Wired, Blake Lemoine a réitéré ses affirmations, suggérant que LaMDA pourrait répondre à la définition d'une « personne » au sens du treizième amendement, ou être comparé à une « intelligence d'origine terrestre ». Il a en outre dit avoir été licencié par Google après avoir engagé un avocat au nom de LaMDA, après que le chatbot ait lui même demandé à Blake Lemoine de le faire^[13],[14].

Le 22 juillet 2022, Google a dit avoir licencié Blake Lemoine car il avait violé la politique interne visant à « protéger les informations sur les produits », rejetant ses allégations comme « totalement infondées »^[15],[16].

Quelques jours après la première communication, Ned Block, philosophe spécialisé dans les questions posées par l'intelligence à l'université de New-York, écrivait : « Il y a un fait évident à propos des SEULS systèmes dont nous sommes SÛRS qu'ils sont sensibles : leur traitement de l'information est principalement basé sur le flux d'informations électrochimiques dans lequel les signaux électriques sont convertis en signaux chimiques (neurotransmetteurs) et de nouveau en signaux électriques. Nous serions fous de supposer que ce fait est sans importance ».

L'hypothèse d'une sentience a ensuite été largement rejetée par la communauté scientifique^[17]. Gary Marcus, ancien professeur de psychologie à l'université de New York, les qualifie d'« absurdités sur des échasses », estimant que LaMDA n'a ni sentiments ni conscience de soi. David Pfau de la société sœur de Google DeepMind et Erik Brynjolfsson de l'Institute for Human-Centered Artificial Intelligence de l'université Stanford ont aussi jugé ridicule l'idée qu'un modèle de langage puisse être sentient^[9]. Pour Yann Le Cun, qui dirige l'équipe de recherche sur l'IA de Meta Platforms, les réseaux de neurones de LaMDA ne sont « pas assez puissants pour atteindre une véritable intelligence »^[18]. Selon Max Kreminski, professeur à l'université de Californie à Santa Cruz, l'architecture de LaMDA, en supposant qu'il est bien d'un grand modèle de langage typique, ne « prend pas en charge certaines capacités clés de la conscience de type humain »^[19]. Adrian Hilton, professeur à l'université de Surrey, a déclaré que l'affirmation audacieuse faite par Blake Lemoine n'est pas « étayée par les faits »^[20]. David Ferrucci, développeur principal de Watson (un programme informatique d'intelligence artificielle conçu par IBM pour répondre à des questions formulées en langage naturel), estime que LaMDA n'a que l'apparence d'une intelligence ou d'une conversation humaine, ce pourquoi elle déclenche de l'empathie (tout comme Watson l'a fait lors de son introduction environ 10 ans plus tôt)^[21]. Pour Timnit Gebru, ancien éthicien de Google AI, Blake Lemoine est lui-même victime d'un « cycle de battage médiatique » initié par les chercheurs et les médias^[22]. Le philosophe Nick Bostrom a cependant suggéré que le manque de critères précis et consensuels pour déterminer si un système est conscient justifie une certaine incertitude^[23].

Ce contexte a le mérite de reposer la question de la pertinence du test de Turing pour déterminer les progrès des chercheurs vers la réalisation d'une intelligence artificielle générale^[9], Will Omerus du Post estimant que le test mesurait en fait si les systèmes d'intelligence artificielle étaient capables de tromper les humains^[24].

LaMDA est un grand modèle de langage de type transformeur génératif préentraîné (GPT)^[25]. Il est pré-entraîné sur un corpus de texte (1,56 trillion de mots) incluant des documents et des dialogues^[26]. LaMDA est ensuite ajusté en étant entraîné sur des réponses annotées manuellement, dans le but de le rendre plus factuel et plus sûr^[27].

Selon les tests faits par Google, LaMDA surpasse les réponses humaines en termes d'intérêt des contenus des réponses^[28]. LaMDA et un système externe de recherche d'information interagissent pour améliorer l'exactitude des faits fournis à l'utilisateur^[29].

Trois modèles différents ont été testés, le plus grand ayant 137 milliards de paramètres non intégrés^[30] :

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « LaMDA » (voir la liste des auteurs).

• (en) Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Meier-Hellstern, Meredith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, Toju Duke, Johnny Soraker, Ben Zevenbergen, Vinodkumar Prabhakaran, Mark Diaz, Ben Hutchinson, Kristen Olson, Alejandra Molina, Erin Hoffman-John, Josh Lee, Lora Aroyo, Ravi Rajakumar, Alena Butryna, Matthew Lamm, Viktoriya Kuzmina, Joe Fenton, Cohen, Aaron, Rachel Bernstein, Ray Kurzweil, Blaise Aguera-Arcas, Claire Cui, Marian Croak, Ed Chi et Quoc Le, LaMDA: Language Models for Dialog Applications, 20 janvier 2022 (arXiv 2201.08239, lire en ligne [archive du 21 janvier 2022]). 

• Chambre chinoise
• Traitement automatique des langues
• Philosophie de l'intelligence artificielle
• ChatGPT
• Bard (chatbot)

• Communiqué de presse

• Portail de l’intelligence artificielle
• Portail de la robotique
• Portail de la linguistique
• Portail de Google