Avis Runway Act Two : la motion capture par IA générative sans équipement, ça marche vraiment ?

Tu as vu des making-of. Des acteurs en combinaison à points, des caméras infrarouges, des salles dédiées. Tu t’es dit : la motion capture, c’est pour les grosses prod. Puis Runway a lancé Act Two : tu joues devant ta webcam ou ton téléphone, et l’IA transfère ton jeu , corps, visage, mains , sur un personnage de ton choix. Pas de combi. Pas de studio. La question qui t’intéresse : ça marche vraiment ? Ou c’est du buzz et le rendu reste gadget ?

Après des tests en conditions réelles, la réponse est nuancée. Act Two marche. Pas à la place d’un stage mocap pro à 100 000 dollars, mais pour des performances expressives en quelques minutes, avec un coût et une complexité accessibles. Il y a des limites (durée, résolution, lip-sync). Et des pièges que les débutants font tout le temps. Voici un avis structuré : ce qu’Act Two fait vraiment, comment l’utiliser pas à pas, ce que tu te trompes souvent, et à la fin une grille pour décider si ça vaut le coup pour ton projet.

Act Two en bref : de quoi on parle

Runway Act Two est une performance capture par IA : tu enregistres toi-même une performance (webcam, smartphone), et le moteur extrait les mouvements du corps, les expressions du visage et les gestes des mains pour les transférer sur un personnage cible. Le personnage peut être réaliste, cartoon, créature, ou même une œuvre d’art abstraite. Tu ne dessines pas les keyframes. Tu ne portes pas de capteurs. Tu joues. L’IA interprète et anime le personnage en quelques minutes.

Think about it this way: en tournage classique, l’acteur est filmé. En mocap classique, l’acteur est capturé par des senseurs. Avec Act Two, l’acteur est filmé par une caméra ordinaire, et l’IA fait le travail de « lecture » des poses et des expressions. Le flux : enregistrer ta perf → choisir ou uploader un personnage → lancer la génération → récupérer la vidéo du personnage animé. C’est disponible sur Runway pour les abonnés Standard et au-dessus. Le coût est en crédits (environ 5 crédits par seconde de vidéo générée, selon les offres). Les limites techniques : environ 30 secondes par prise, sortie jusqu’à 4K avec upscale, 24 FPS. De quoi tester une scène courte, un test de concept, ou un clip pour les réseaux sans toucher à un studio mocap.

Act Two ne remplace pas un pipeline mocap studio pour un long-métrage. Il remplace des journées de keyframe manuel ou des tests de jeu pour des courts, des pubs ou du contenu créateur.

Si tu débutes en génération vidéo IA de A à Z, Act Two est une couche en plus : au lieu de décrire l’action en texte, tu la joue. Pour des personnages cohérents d’un plan à l’autre, tu peux combiner Act Two avec une référence visuelle du personnage , la logique de Runway Gen-4 et la consistance des personnages s’applique quand tu veux le même « héros » dans plusieurs plans.

Ce qu’Act Two fait vraiment (et ce qu’il ne fait pas)

Ce qu’il fait bien : capture full body (posture, marche, gestes), visage (expressions, micro-expressions), mains (doigts, pointage). Le lip-sync est géré : tu peux fournir un audio et l’IA synchronise la bouche du personnage sur les phonèmes. Tu peux cibler des personnages photoréalistes, cartoon, monstres, ou des visuels plus abstraits. La vitesse est un atout : de la prise à la vidéo finale en quelques minutes, contre des semaines en animation manuelle ou des coûts énormes en mocap traditionnel.

Ce qu’il ne fait pas (ou pas encore) : il ne lit pas dans ta tête. Si ta perf est plate ou mal cadrée, le personnage sera plate ou bizarre. Il ne garantit pas un rendu 100 % cinéma : selon le personnage cible et l’éclairage de ta prise, le résultat peut sentir le « généré ». La durée est limitée (30 s par clip typiquement). Et il faut un abonnement Runway payant et des crédits : pas de version gratuite illimitée pour Act Two.

But there’s a catch: la qualité de ta source (éclairage, cadrage, contraste entre toi et le fond) influence directement le rendu. Une pièce sombre ou un fond encombré peut dégrader la détection du corps et du visage. On reviendra là-dessus dans la section « Ce que les débutants se trompent ».

Workflow pas à pas : de ta perf à la vidéo personnage

Étape 1 : Préparer la prise (webcam ou téléphone)

Ouvre Runway, va dans Act Two (ou la section dédiée selon l’interface). Tu as le choix : enregistrer en direct via la webcam intégrée ou uploader une vidéo déjà tournée (par ex. avec ton smartphone). Pour un premier test, la webcam suffit. Assure-toi que :

• Tu es bien cadré : au moins du bassin au visage, idéalement en pied ou en plan américain pour que l’IA voie les bras et les mains.
• L’éclairage est correct : pas de contre-jour, pas de visage dans l’ombre. Une lumière frontale ou latérale douce donne de bons résultats.
• Le fond est simple : un mur uni ou un fond flou limite les erreurs de détection. Évite les motifs qui bougent ou les autres personnes dans le champ.
• Tu joues clairement : exagère un peu les gestes et les expressions. L’IA s’appuie sur des mouvements lisibles. Une perf trop minimaliste peut donner un rendu fade.

Étape 2 : Enregistrer ou importer la performance

Si tu enregistres en direct : clique sur Record, vérifie le compte à rebours, joue ta scène (parole optionnelle si tu veux du lip-sync). Arrête à la fin. Si tu importes un fichier : Upload ta vidéo. Runway accepte les formats courants (MP4, MOV). La durée max est d’environ 30 secondes par clip. Pour une scène plus longue, découpe en plusieurs prises et enchaîne les exports, ou monte les clips ensuite dans un logiciel de montage.

Étape 3 : Choisir le personnage cible

Tu dois indiquer sur quel personnage transférer la performance. Options typiques : personnage prédéfini (bibliothèque Runway), upload d’une image (ton propre design, concept art, photo), ou création à partir d’un prompt. Si tu as déjà un héros récurrent , par exemple un personnage conçu pour garder le même visage sur plusieurs images IA , tu peux uploader une image de ce personnage pour qu’Act Two l’anime. Le personnage doit être lisible (silhouette claire, visage identifiable si tu veux les expressions). Les personnages trop stylisés ou trop petits dans l’image peuvent donner des résultats bizarres.

Étape 4 : Lip-sync (optionnel)

Si ta scène contient de la parole, tu peux fournir un fichier audio (voix enregistrée ou générée). Act Two aligne les mouvements de la bouche du personnage sur l’audio (phonèmes). C’est pratique pour des doublages, des présentateurs virtuels ou des courts métrages dialogués. Pour une voix-off réaliste en français, tu peux t’appuyer sur des workflows type voix-off réaliste en français avec l’IA puis importer l’audio dans Act Two.

Étape 5 : Lancer la génération et récupérer la vidéo

Clique sur Generate (ou équivalent). La durée de traitement dépend de la longueur du clip et de la charge des serveurs ; compte quelques minutes. Quand c’est prêt, prévisualise le résultat. Si la synchronisation ou les proportions te semblent off, tu peux ajuster (meilleure prise source, autre personnage cible) et relancer. Télécharge la vidéo en HD ou 4K si ton plan le permet. Tu peux ensuite l’intégrer dans ton montage, la combiner avec des plans générés par Sora pour du B-roll, ou l’enchaîner avec d’autres plans Act Two pour une séquence plus longue.

Scénarios réels : quand Act Two change la donne

Scénario 1 , Court métrage low-budget. Tu écris une scène de 20 secondes : un personnage reçoit une mauvaise nouvelle au téléphone. Tu n’as pas d’acteur ni de tournage. Tu crées (ou tu uploades) une image du personnage. Tu joues toi-même la scène devant ta webcam : tu décroches, tu écoutes, tu changes d’expression. Tu importes l’audio (ta voix ou une synthèse). Act Two génère le personnage en train de jouer ta perf. Tu récupères le clip, tu le montes avec des plans de coupe ou du B-roll. Tu as une scène jouée sans équipe ni studio.

Scénario 2 , Pub produit avec personnage animé. Tu as un mascotte ou un personnage de marque (concept art, illustration). Tu veux qu’il fasse un geste précis : sourire, ouvrir les bras, pointer le produit. Au lieu de commander une animation 3D ou 2D sur mesure, tu joues l’action devant la caméra. Act Two transfère le mouvement sur le personnage. Tu obtiens une animation cohérente avec ton design en quelques minutes. Tu l’intègres dans la pub. Le coût en crédits reste raisonnable pour un spot court.

Scénario 3 , Test de jeu pour un pilote. Tu développes une série ou un pilote. Tu veux tester si une scène « passe » avant d’engager des acteurs ou une grosse post-prod. Tu enregistres des perfs de référence (toi ou un proche) avec Act Two, tu les mappes sur des personnages placeholder. Tu visionnes la séquence. Tu valides le rythme, les expressions, les coupes. Ensuite tu peux soit garder le style « animé » pour la prod, soit utiliser ces tests comme référence pour un tournage réel ou une animation plus lourde.

Ce que les débutants se trompent (et comment corriger)

Erreur 1 : Mauvaise lumière ou mauvais cadrage. Une pièce sombre ou un visage à moitié dans l’ombre fait rater la détection. Les mains coupées ou hors champ ne seront pas animées. Correction : éclaire ton visage et ton corps de face ou en 3/4. Cadre au moins du bassin à la tête, idéalement en pied. Fond simple et stable.

Erreur 2 : Performance trop subtile. L’IA a besoin de mouvements et d’expressions lisibles. Un jeu très minimal peut donner un personnage figé ou peu expressif. Correction : exagère légèrement les gestes et les expressions. Pense théâtre ou pub : on doit voir l’intention sans son.

Erreur 3 : Personnage cible inadapté. Une image trop petite, trop chargée ou avec plusieurs personnages brouille le transfert. Correction : un personnage par image, bien centré, avec une silhouette et un visage clairs. Si tu utilises un concept art, assure-toi qu’il est en résolution correcte et que les proportions sont réalistes (ou cohérentes avec le style).

Erreur 4 : Attendre du cinéma hollywoodien. Act Two donne des perfs exploitables, pas toujours un rendu 100 % photoréaliste sans artefact. Correction : ajuste tes attentes. Pour du web, du social ou un court, c’est souvent suffisant. Pour un long-métrage premium, prévois une post-prod ou un pipeline complémentaire (upscaling, nettoyage d’artefacts avec des outils dédiés).

Erreur 5 : Oublier le lip-sync. Si tu veux que le personnage parle, tu dois fournir l’audio. Sans audio, la bouche peut bouger de façon générique ou ne pas coller à ce que tu veux dire. Correction : enregistre ou génère l’audio, uploade-le dans Act Two, relance la génération avec l’option lip-sync.

Pour voir une démo complète de Runway Act Two , enregistrement, choix du personnage, résultat , la chaîne Runway et les tutoriels officiels sont les plus à jour. Tu y verras des perfs réelles transférées sur des personnages réalistes et stylisés, et les réglages recommandés pour un bon rendu.

Act Two vs autres options (mocap, animation, texte)

Act Two se situe entre le text-to-video (où tu décris l’action sans la jouer) et la mocap pro. Il te donne le contrôle du jeu d’acteur sans le coût d’un studio. Pour des plans avec dialogue et expressions précises, il complète bien les outils qui génèrent de la vidéo à partir du texte ou de l’image.

Tarifs et accès

Act Two est inclus dans les abonnements Runway Standard et au-dessus. Le coût est en crédits : environ 5 crédits par seconde de vidéo générée (les chiffres exacts peuvent varier , vérifie la page Tarifs Runway). Un clip de 30 secondes = 150 crédits environ. Les plans mensuels donnent un quota de crédits ; les packs supplémentaires sont payants. Pas d’accès Act Two en gratuit. Si tu hésites entre Runway pour la vidéo pure (Gen-4) et Runway pour la perf (Act Two), sache que le même abonnement donne accès aux deux : tu peux enchaîner des plans Gen-4 pour la consistance et des plans Act Two pour les scènes jouées.

Verdict : la motion capture par IA sans équipement, ça marche ?

Oui, pour des courts formats, des tests de jeu, des pubs avec personnage animé et du contenu créateur. Tu obtiens des perfs expressives en quelques minutes, sans combinaison ni studio. Le rendu n’est pas toujours au niveau d’un long-métrage AAA, mais il est exploitable et souvent impressionnant pour le coût.

Non, si tu attends une qualité cinéma garantie sans post-prod, ou si tu veux des prises de plusieurs minutes d’un coup (la limite 30 s oblige à découper). Et ça ne remplace pas un réalisateur et un acteur quand tu vises un projet 100 % live-action.

Pour un débutant qui veut jouer ses personnages sans apprendre l’animation 3D ni payer une mocap, Act Two est un vrai levier. Teste avec une scène courte, soigne la prise (lumière, cadrage, jeu), et tu verras vite si ça rentre dans ton workflow.