Contrairement aux IA génératives text-to-image, il n’y a presque rien de disponible pour la vidéo. Mais cela pourrait bientôt changer, car la startup Runway a récemment dévoilé son nouveau modèle d’IA : Gen-2.
Fonctionnant de manière similaire à Stable Diffusion (dont Runway a été impliqué dans la création, soit dit en passant), Gen-2 fonctionne en prenant des invites de texte pour créer des vidéos à partir de zéro. Comme on le voit dans le site web développeur (s’ouvre dans un nouvel onglet), vous pouvez créer des prises de vue aériennes d’une chaîne de montagnes ou d’un coucher de soleil à l’extérieur d’un loft à New York. Une mise à niveau du texte à la vidéo peut ne pas sembler si impressionnante au début, mais c’est quand vous la comparez à l’effort précédent de Runway.
En février, le développeur a publié son Modèle Gen-1 (s’ouvre dans un nouvel onglet) qui était plus un éditeur vidéo. Cela nécessitait une sorte de fondation, telle qu’une animation 3D inachevée ou une personne, avant que le modèle ne superpose cette séquence avec une vidéo créée par l’IA. L’ancienne IA ne pouvait rien créer à partir de zéro.
Modes IA
Les fans du modèle précédent pourront continuer à profiter de Gen-1 car ses fonctionnalités deviendront des modes distincts dans Gen-2.
Le mode 01, cependant, est le composant principal de la fonction texte en vidéo. Le deuxième nouveau mode vous permet d’ajouter une image à un message texte pour produire de meilleurs résultats. Et avec le troisième mode, il vous suffit de télécharger une image pour générer une vidéo. Un message texte ne sera pas nécessaire.
Tout au-delà du mode 03 est tout Trucs Gen-1 (s’ouvre dans un nouvel onglet). Mode 04 – La stylisation applique les “styles de n’importe quel message image à chaque image de votre vidéo” comme si vous ajoutiez un effet de feu. Mode 05 – Storyboard convertit les images de maquette en vidéos rendues par l’IA. La prochaine étape est Mask pour isoler les sujets et les modifier avec des invites simples comme “Ajouter des points à un Labrador pour créer un Dalmatien”. Le septième est Render, où l’IA génère une vidéo au-dessus d’un rendu 3D. Le dernier, Customization, fait la même chose que Render, mais avec des personnes.
Disponibilité
Cette technologie est encore à ses débuts. Les aperçus de la démo sont pour le moins assez étranges. Ils sont au fond de la vallée mystérieuse alors que les bâtiments se fondent les uns dans les autres et que les gens arborent des regards vides. Pourtant, la perspective d’avoir une IA générative texte-vidéo accessible au public est passionnante. Cela peut ouvrir de nouvelles voies à la créativité (ou à la désinformation). Certains géants de la technologie se sont déjà essayés à la vidéo AI, comme Google et son projet Image Videomais ces modèles continuent à huis clos.
quelques rapports (s’ouvre dans un nouvel onglet) indique qu’il existe une liste d’attente pour l’accès anticipé Gen-2 sur le canal Discord privé de Runway. Cependant, la seule version bêta que nous avons trouvée est pour Gen-1. Il pourrait y avoir une version bêta Gen-2 plus tard dans l’année, bien qu’il n’y ait pas de mot officiel pour le moment. En attendant, vous pouvez rejoindre la chaîne Discord pour les mises à jour via le site Web Runway.
“Introverti. Amateur de bière extrême. Organisateur subtilement charmant. Explorateur d’une humilité exaspérante. Écrivain indépendant.”