Aujourd’hui, le créateur d’Assassin’s Creed, Ubisoft, a dévoilé ce qu’il appelle ‘Neo NPC’, un prototype d’IA générative orienté joueur ce qui vous permet essentiellement de parler (littéralement parler avec votre voix) avec des PNJ dans un jeu vidéo.
Lors de la Game Developers Conference à San Francisco, j’ai pu voir une courte démonstration de validation de principe qui met cette technologie en action, et cela ressemble à un regardez la prochaine grande frontière de l’innovation dans le développement de jeux vidéo.
Dans la démo, Je me mets à la place d’une nouvelle recrue d’un groupe de résistance qui planifiait une opération pour « vaincre les mégacorps ». J’ai commencé à discuter avec un personnage nommé Bloom, en apprenant quelques informations sur les activités du groupe et découvrir quelques détails personnels sur certains membres du groupe. Pour être sincère, C’est un jeu vidéo assez classique.mais alors que ce type de conversation était normalement animé par un arbre de dialogue ramifié, ici il se déroulait comme une conversation verbale entre le PNJ et moi. S’exprimant dans un microphone, j’ai demandé à Bloom depuis combien de temps il était dans la résistance, s’il craignait que des gens soient blessés ou s’il avait le béguin pour d’autres membres. Le personnage de Bloom Je répondrais à chaque question tour à tourdiriger la conversation et en même temps remplir un petit compteur relationnel qui débloquerait des réponses plus personnelles une fois que nous avons atteint le niveau deux.
Plus tard dans la démo, Bloom et moi avons regardé une vidéo d’un drone surveillant les gardes, montrant la capacité de la technologie à réagir aux choses qui se produisent dans le jeu. Dans ce cas, il pourrait demander à Bloom combien de gardes avaient été détectés jusqu’à présent, ou ce qui se passait lorsque le drone a commencé à sortir de la portée du signal. Enfin, lors de la planification d’une mission, J’ai discuté avec un autre PNJ qui avait un certain plan, mais qui a changé d’avis après lui avoir présenté un plan d’action alternatif. Nous avons discuté de différentes options pour accéder à un balcon du deuxième étage, de la meilleure façon d’éliminer les gardes et de la manière de gérer les caméras de sécurité. C’était comme si être au milieu d’un film de braquage alors que l’équipe discutait des options et évaluait la voie à suivre avant de mettre ses plans à exécution.
Les Néo PNJ sont créés en utilisant technologie de Nvidia et Inworld AI, permettant aux développeurs d’Ubisoft de créer une expérience narrative avec l’IA sous le capot. La technologie elle-même est essentiellement une pile de divers différentes implémentations de l’IA: un analyseur de parole en texte (qui convertit les mots prononcés en saisie de texte) ; Le moteur de personnage d’Inworld AI, un grand modèle de langage qui détermine la manière dont le PNJ agira et réagira ; un programme de synthèse vocale qui prend ensuite cette réponse et génère une réponse verbale ; et enfin la technologie Audio2Face de Nvidia, un système d’animation faciale en temps réel ce qui fait que les lèvres et les gestes du PNJ correspondent aux mots prononcés à haute voix.
Le résultat est quelque chose qui semble presque comme jouer à un jeu de rôle sur tablediscutez avec votre DM pour mener la conversation et l’histoire ensemble.
Nvidia a montré un démo similaire, bien que moins ambitieuse, au CES plus tôt cette année, dans lequel vous discutez avec un PNJ dans un magasin de ramen cyberpunk, et hier au GTC un autre dans lequel vous incarnez un détective essayant d’obtenir des informations sur un PDG de biotechnologie auprès de son collègue dans le hall d’un hôtel. Parmi les trois démos que j’ai expérimentées, la Les néo-PNJ se sentent comme les plus entraînés. Cela a du sens : ni Nvidia ni Inworld AI ne prétendent être des développeurs de jeux, leurs démos ressemblent donc beaucoup plus à des preuves de concept, tandis que la version d’Ubisoft profite des prouesses narratives et de conception de jeux de l’entreprise.
Nous avons demandé à la plateforme d’IA de Nvidia d’évaluer Cyberpunk 2077 avec une note sur 10 et euhhhh… #ces #ces2024 pic.twitter.com/lScWr0O4lR
-JeuxPourTous (@JeuxPourTous) 12 janvier 2024
Bien sûr, les PNJ Néo sont toujours juste un prototype de démonstration technologique, les expériences de jeu complètes conçues autour de ce type d’IA générative sont donc encore loin. Pourtant, voir la technologie en action m’excite parce que l’avenir des jeux d’une manière que je ne peux pas dire que j’ai ressentie depuis longtemps. Si elle est bien appliquée, c’est le genre de technologie qui, de la même manière que le passage de la 2D à la 3D, ou d’un monde de jeu fermé à un monde ouvert, pourrait conduire à des types de jeux et d’expériences complètement nouveaux.