Google Research présente Lumiere AI, un projet d'intelligence artificielle générative qui promet de redéfinir les normes de l'édition vidéo. Conçu pour créer et modifier des vidéos de manière exceptionnellement flexible, Lumiere AI va au-delà des capacités de Generative Fill dans Photoshop.
Cette IA générative se distingue par sa polyvalence, permettant la génération de vidéos complètes à partir de prompts textuels ou d'images statiques. Lumiere AI offre un éventail d'options, de l'animation de parties spécifiques d'une image pour créer des cinemagraphs à l'utilisation du style d'une image source pour définir le rendu d'une vidéo. De manière impressionnante, elle peut également générer des parties manquantes avec une fidélité remarquable.
L'une des fonctionnalités les plus intrigantes de Lumiere AI réside dans sa capacité à apporter des modifications dynamiques aux personnes, à leurs vêtements et aux objets présents dans une vidéo. Google met en avant des exemples saisissants, comme une robe transformée en temps réel avec une qualité équivalente à celle d'une équipe d'experts dédiée. Une femme en jogging peut instantanément se couvrir de fleurs ou se métamorphoser en LEGO, simplement en répondant à un prompt.
Actuellement, Lumiere est capable de créer des éditions par séquences de cinq secondes. Les chercheurs ont introduit une nouvelle architecture appelée "space-time U-net," permettant la création monolithique d'une séquence en une seule passe. Cette approche monolithique contribue à rendre les séquences générées par Lumiere incroyablement réalistes, surpassant les méthodes antérieures.
Cependant, avec une telle précision, des préoccupations émergent quant à l'éventuelle prolifération de deepfakes, particulièrement à l'approche des prochaines élections américaines. Pour le moment, Google a choisi de garder Lumiere hors de la portée du public, n'étant pas disponible en ligne, même sous forme de version bêta fermée. Cette avancée suscite un intérêt prometteur, tout en soulevant des questions éthiques importantes dans le domaine de la manipulation vidéo par l'IA.
