Ce qu'un générateur de vidéo IA ne sait pas encore faire

Il y a un écart classique entre la démonstration et l'usage. Les séquences qui circulent pour vanter la génération vidéo sont belles, et elles sont sincères : elles existent vraiment. Ce qu'elles ne montrent pas, c'est le nombre d'essais dont elles sont issues, ni les contraintes qu'il a fallu retirer de la consigne pour y arriver. Les faiblesses listées ici ne sont pas des bugs qu'un correctif effacera la semaine prochaine ; elles découlent de la façon dont ces modèles fonctionnent, et elles se déplacent plus qu'elles ne disparaissent.

Les choses ne restent pas ce qu'elles sont

Un modèle de génération vidéo n'a pas de représentation interne des objets. Il ne sait pas qu'un mug posé sur une table est un mug, avec une existence propre qui devrait persister tant que rien ne vient le déplacer. Il produit des images successivement plausibles, et rien ne garantit qu'un élément présent à un instant donné se retrouvera identique un peu plus tard.

En pratique, cela produit des micro-incohérences très reconnaissables. Un motif sur une chemise qui se réorganise. Une boucle d'oreille présente d'un côté puis de l'autre. Un objet qui passe derrière un pilier et ne ressort pas tout à fait pareil — c'est le cas le plus révélateur, parce que l'occlusion oblige le modèle à reconstruire ce qu'il ne voit plus, et qu'il le reconstruit de mémoire approximative. Un arrière-plan encombré multiplie les occasions de dériver ; un fond simple les réduit.

Le même problème frappe les personnages. Sur un plan bref, un visage tient. Sur une durée plus longue, ou dès qu'il tourne la tête, les traits glissent doucement — la mâchoire s'élargit, l'écart des yeux change, l'âge apparent flotte. On regarde toujours quelqu'un de vaguement semblable, mais plus tout à fait la même personne.

Les zones où l'œil humain est impitoyable

Certaines parties de l'image concentrent les échecs, et ce n'est pas un hasard : ce sont exactement celles que notre regard inspecte en priorité.

• Les mains. Elles sont articulées, elles s'auto-occultent en permanence, elles adoptent une infinité de configurations, et un doigt en trop ou une articulation qui plie à l'envers saute immédiatement aux yeux. Une main qui manipule un objet cumule toutes les difficultés d'un coup.
• Le texte dans l'image. Une enseigne, une couverture de livre, un panneau, un t-shirt imprimé. Le modèle génère quelque chose qui a la forme visuelle de l'écriture sans en avoir la logique : des lettres crédibles, des mots inexistants, et une orthographe qui change d'une image à l'autre alors que le panneau, lui, n'a pas bougé.
• Les visages en mouvement. Nous sommes tous experts en lecture de visages. Une expression qui se construit un peu trop vite, un clignement d'yeux mal synchronisé, un sourire dont les deux côtés ne progressent pas ensemble : ça ne produit pas une erreur visible, ça produit un malaise diffus, plus difficile à corriger précisément parce qu'on peine à nommer ce qui cloche.

Une physique approximative

Le modèle n'a jamais appris les lois de la mécanique. Il a appris à quoi ressemblent des vidéos où ces lois s'appliquent, ce qui est très différent. Tant que la scène ressemble à ce qu'il a beaucoup vu, l'illusion tient. Dès qu'il faut vraiment simuler, elle se fissure.

Les liquides sont un bon test. Verser de l'eau d'une carafe dans un verre suppose un filet continu, une masse qui se conserve, une surface qui monte à mesure, des éclaboussures cohérentes avec la hauteur de chute. On obtient souvent un filet qui s'interrompt, un niveau qui monte sans rapport avec ce qui a coulé, ou de l'eau qui apparaît sans source visible.

Les tissus posent un problème voisin. Un vêtement ample, un rideau, une chevelure longue réagissent à l'inertie et au vent avec un retard sur le mouvement du corps. Ce retard, le modèle le restitue mal : le tissu suit trop docilement, ou au contraire s'agite indépendamment de ce qui devrait le mettre en mouvement.

La marche, enfin, reste un cas difficile. Un pas correct implique un appui au sol qui ne glisse pas, un transfert de poids, un balancement des bras opposé aux jambes. Le défaut le plus fréquent est le pied qui patine — le personnage avance, mais son pied d'appui dérive légèrement sur le sol au lieu d'y rester ancré. Peu de gens sauraient le décrire, tout le monde le sent.

La consigne de mise en scène passe rarement entière

Décrire une scène, un modèle sait à peu près faire. Décrire un déroulement dans le temps, beaucoup moins. Une consigne du type « la caméra part de la gauche, longe la table, puis s'arrête sur le visage » demande une chorégraphie ordonnée : un début, un trajet, une fin. Ce qui revient est le plus souvent un mouvement générique qui contient des bribes de la description sans en respecter la séquence.

C'est structurel. La consigne est traitée comme un ensemble d'indications qui orientent globalement la génération, pas comme une partition dont chaque temps serait synchronisé sur un moment précis du plan. Les notions de « puis », « ensuite », « à la fin » n'ont pas de point d'accroche solide dans le processus.

Le même problème touche le nombre et la disposition. « Trois personnes attablées, celle de droite se lève » suppose de compter, d'assigner une position, puis de faire agir la bonne. Ce genre de contrainte relationnelle passe mal, et elle passe d'autant plus mal qu'on l'empile avec d'autres. En pratique, une consigne courte avec une seule action tenue est bien plus fiable qu'une consigne riche dont rien ne sera respecté complètement.

Raccorder plusieurs plans reste un travail manuel

Une histoire, même brève, se compose de plusieurs plans. Il faut donc que le même personnage traverse ces plans en restant reconnaissable — même visage, même vêtement, même coiffure —, que le décor conserve sa géographie, et que la lumière ne change pas de nature entre deux angles.

Rien dans le mécanisme de génération ne garantit cela, puisque chaque plan est produit indépendamment. Les méthodes de contournement existent — repartir de la dernière image du plan précédent, réutiliser une image de référence pour le personnage, fixer la graine — et elles aident réellement, sans supprimer la dérive. Un montage de plusieurs plans générés séparément demande presque toujours un travail de sélection et de retouche pour que l'ensemble tienne debout.

Le son suit sa propre logique. Il est fréquemment produit à part, ce qui pose la question du synchronisme : un bruit de pas qui tombe au bon moment, un objet qui heurte le sol au bon instant, et surtout une parole alignée sur les mouvements de bouche. Le sujet du personnage qui parle croise par ailleurs des enjeux juridiques et éthiques sérieux dès qu'il s'agit de personnes réelles — un terrain qui relève du droit à l'image et de la détection, pas de la technique de production.

L'irrépétabilité, un obstacle plus concret qu'il n'y paraît

Ce point est moins spectaculaire que les mains à six doigts, mais c'est probablement celui qui bloque le plus d'usages professionnels. Relancer la même consigne ne redonne pas le même résultat, et même quand on fixe la graine, la moindre modification de la description peut faire basculer l'ensemble du plan.

La conséquence est directe : il n'y a pas de retouche locale. Dans une chaîne de production classique, un client demande de changer la couleur d'un objet et on change la couleur de cet objet. Ici, on modifie la consigne, on relance, et on récupère un plan différent où l'objet a peut-être la bonne couleur mais où le mouvement, le cadrage et la lumière ont bougé. Le cycle de validation devient imprévisible, et c'est difficilement compatible avec un devis, un délai et un aller-retour client.

Cela dessine assez nettement où la génération vidéo est utile aujourd'hui. Elle excelle sur le plan court sans dialogue, l'habillage, l'insert, l'image d'illustration, la boucle décorative, le fond animé — tout ce qui se juge sur une impression globale plutôt que sur l'exactitude. Elle est précieuse en prototypage : montrer une intention, tester une ambiance, faire exister une idée avant de dépenser un budget de tournage. Elle est en revanche mal armée pour le plan spécifié à la seconde près, la scène dialoguée, la continuité narrative sur plusieurs minutes. Ce qui n'est pas une raison de s'en détourner — c'est simplement la différence entre choisir un outil pour ce qu'il fait et le choisir pour ce qu'on aimerait qu'il fasse.