Premiere Pro va faire entrer l'IA générative de vidéos dans sa table de montage

Adobe va doter Premiere Pro de fonctions de manipulation d'image grâce à son modèle d'IA Firefly et à d'autres IA génératives de vidéos.

Aucune bêta n'est pour le moment proposée, mais ces nouveautés arriveront dans Premiere Pro plus tard dans l'année. Adobe va utiliser son IA générative Firefly — déjà employée dans la retouche de photos — pour modifier des séquences vidéo. Le clip de démonstration donne plusieurs exemples de situations ou l'IA générative vient corriger un défaut dans l'image ou en créer de nouvelles sans besoin de ressortir la caméra.

En quelques clics et en utilisant parfois quelques prompts pour expliciter ce que l'on veut, Firefly peut substituer un objet par un autre, gommer des éléments inutiles ou disgracieux dans le décor, ajouter une cravate à un acteur ou créer de nouvelles scènes d'enchainement : une vue sur un panorama sur une ville ou une séquence en voiture. Il peut être nécessaire aussi d'allonger un plan qui s'avère trop court, par exemple un gros plan sur un visage.

Les modifications montrées dans ce clip de démo sont plutôt convaincantes… lorsqu'on ne s'attarde pas trop longtemps sur les détails. L'effacement d'un bloc d'alimentation et de tuyaux sur un mur garde les traces de la gomme ; le visage généré pour allonger un gros plan sur l'actrice trahit un rendu informatique ; les compteurs dans la planche de bord de la voiture ont des chiffres et des lettres distordus, etc.

Il manquait une poignée de secondes à un plan sur un visage, l'IA a généré quelques images supplémentaires, mais cela se voit comparé au plan filmé, avec la texture de la peau.

Un scène à l'intérieur d'une voiture a été créée pour ajouter une scène de transition, toutefois les textes dans le tableau de bord sont incompréhensibles.

On retrouve les défauts habituels de ces modèles d'IA et certains iront sans nul doute en se réduisant. Quelques-uns des exemples proposés ont été réalisés avec des modèles de tierces parties comme Pika Labs, Runway et OpenAI dont le modèle Sora a étonné lors de la présentation il y a quelques semaines (lui aussi est encore au stade de la recherche, avec tout ce que cela implique comme bugs et faiblesses).

C'est l'autre volet de cette présentation d'Adobe, Premiere Pro va utiliser en priorité Firefly, le modèle maison, mais l'éditeur teste l'intégration d'autres modèles pour offrir une palette plus large aux monteurs qui pourront vouloir exploiter plutôt telle ou telle IA en fonction de ses points forts.

Enfin, Adobe va utiliser son « label de provenance » numérique pour intégrer un sceau numérique — Content Credentials — sur ces images afin d'expliciter qu'elles ont été en partie créées avec une IA.