Miraki Mind

Video-to-video : changer une chose, garder la performance

Avec Genjutsu, Higgsfield a montré à quoi peut ressembler l’édition video-to-video. Nous avons reconstruit le principe sous forme de skill maison et l’avons intégré à notre outil de studio. Deux modèles existants, 36 presets testés et nettement moins de crédits brûlés.

Yves FarineRéalisation · Film génératif · 1 novembre 2026 · 16 min de lecture

Un plan tourné, une performance juste, et pourtant une chose ne va pas : la tenue, le produit en main, le lieu. Autrefois, cela voulait dire retourner. Avec l’édition video-to-video, on remplace exactement cet élément, tandis que tout le reste reste tel qu’il a été tourné. Higgsfield appelle son outil Genjutsu, avec les modes Motion Transfer et Object Swap.

Nous avons reconstruit le principe sous forme de skill maison et l’avons intégré directement à BOFF.studio, l’outil dans lequel nous produisons nos films. En interne, il s’appelle Boffjitsu. Ce n’est pas un modèle d’IA à part entière, mais une recette faite de deux modèles que nous utilisons de toute façon chaque jour.

La recette

Nano Banana construit une seule image fixe avec la modification, l’image cible. Seedance 2.5 redessine ensuite tout le plan en mode Omni-Reference et reprend le mouvement de l’original. Mouvement, caméra, timing et cadrage viennent image par image de la matière tournée.

L’IA n’invente aucun mouvement. La performance vous appartient, l’IA ne change que le costume, la personne ou le décor.

Cinq étapes

  1. Préparer le plan. Les clips de téléphone arrivent souvent en 4K, en HEVC, pivotés ou à 59,94 fps. On les normalise : SDR, rotation incrustée, petit côté d’au moins 480 px, grand côté d’au plus 1920 px, durée de 4 à 30 secondes.
  2. Une phrase. J’écris en allemand ce qui doit se passer. L’outil choisit l’un des 36 presets testés, remplit les champs en anglais et trouve, sur une planche contact de douze moments, l’image de la vidéo qui convient.
  3. Valider l’image cible. À partir de cette image de la vidéo et de ma référence, Nano Banana crée une image fixe avec la modification. C’est le seul moment où je décide : ça va, à modifier ou nouveau tirage.
  4. Édition vidéo. Seedance reçoit le plan comme vidéo de référence, l’image cible comme @image1 et, en option, la référence comme @image2. Le prompt commence par «Edit @video1.», ce qui déclenche le mode édition.
  5. Vérifier et finaliser. Un contrôle automatique mesure à quel point le mouvement suit la source, corrige le décalage temporel et coupe les dernières images qui divergent. Ensuite, le son original revient dessous, avec une comparaison avant/après.

Et c’est là que se fait l’économie : pas de ping-pong de prompts, puisque le skill travaille à partir de presets vérifiés. Les tests se font à moindre coût en 480p. Seule la prise que nous gardons est recalculée en 1080p, avec des entrées identiques.

Trois modes

  • Swap : tout reste exactement comme tourné, un élément change. Produit, étiquette, couleur, logo retiré, tenue, costume, coiffure et maquillage, chaussures, véhicule.
  • Motion Transfer : performance, caméra et timing restent ; ce qui change, c’est qui joue ou où. Une autre personne, votre propre personnage, un animal, une mascotte, un nouveau lieu, l’heure du jour, la météo, l’époque.
  • Restyle : mouvement et composition restent, tout le look change. Anime, film d’animation 3D, peinture, noir, pixel, bande dessinée.

Le test en studio

Les premiers essais en studio ont eu lieu fin octobre en 480p, sur des clips de téléphone verticaux de sept secondes, quatre pour le stade. On mesure la fidélité du mouvement, la corrélation avec le mouvement de la source. À partir de 0,60, le mouvement est considéré comme repris.

Remplacer une personne, vêtements compris. Entrée : une phrase et une image de référence d’une autre personne. L’outil a choisi le preset «my-character» et la première image comme image cible. Fidélité du mouvement 0,79.

Voir la vidéo

L’humain devient un personnage d’animation 3D. Fidélité du mouvement 0,85, la meilleure valeur de la série. Le contrôle a signalé que les 5 dernières des 161 images s’écartaient de la source et les a coupées.

Voir la vidéo

Nouveau lieu. «La personne est assise à une table jaune et brillante au milieu de la pelouse du stade de l’image.» Preset «new-location», contrôle réussi, fidélité du mouvement 0,79, environ 55 pour cent de l’image redessinés, aucun décalage.

Le vrai prompt Seedance de l’essai au stade. La première phrase fixe la performance, la deuxième décrit le nouveau lieu, la fin exclut tout le reste.

Le savoir-faireWorks with: Seedance 2.5 · Omni-Reference
Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of the bearded man in the dark navy blazer and white open-collar shirt, frame for frame. Move the whole scene to the centre of the football field inside the large red-seated stadium from the reference image, green turf with the central logo around him, red stands rising in every direction under a blue sky with big clouds, the man sitting at a glossy yellow table in the middle of the pitch as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place. @image2 shows the same element on its own, for every detail from every side. Nothing else changes. No text, no letters, no logos, no watermarks.

Ce que nous avons appris

  • Un passage, une modification. Plusieurs modifications s’enchaînent ; les variantes tournent séparément sur l’original.
  • L’image cible décide. Elle doit être une image unique, pas une planche avec plusieurs vues. Lors du premier test, elle a repris la pose raide de la planche du personnage. La vidéo est quand même réussie, parce que Seedance prend le mouvement dans le plan, mais depuis, le prompt est plus strict.
  • Des références sans lettrage. Un lettrage sur l’image de référence s’est retrouvé dans la vidéo malgré «no text». Logos et typographie, nous les ajoutons plutôt en post-production.
  • Le décalage temporel est obligatoire. Seedance supprime environ 0,17 seconde au début. Sans correction, la fidélité du mouvement était de 0,29 lors du test, avec correction de 0,85. Honnêtement, le geste le plus important de toute la chaîne.
  • Jamais de son venant de l’IA. Sans l’original, le modèle invente du son, jusqu’à des voix marmonnées. À la fin, le son original passe toujours dessous. Si la voix ne colle plus après un recast, un voice changer de voix à voix aide, pas le text-to-speech, qui décale les lèvres.
  • D’abord bon marché, ensuite final. Le résultat en 1080p n’est pas identique image par image au test et il est vérifié une nouvelle fois.
  • Les chiffres trouvent les éditions ratées, les yeux trouvent le reste. Logos inventés, doigts et lettres, seul un humain les voit, en recadrage à 100 pour cent.

Le skill complet

Voici Boffjitsu tel qu’il travaille au studio, simplement sans notre outil autour. Le skill est neutre vis-à-vis des outils : il choisit le preset et le moment, écrit les deux prompts et la liste de contrôle. La génération, c’est à vous de la lancer, avec votre propre accès à Seedance 2.5 et Nano Banana. Copier, l’enregistrer comme SKILL.md pour votre agent, c’est tout. Nous l’utilisons en allemand, tel qu’il tourne au studio ; les prompts pour les modèles sont de toute façon en anglais.

Le principe tient dans les briques. Chaque prompt Seedance se compose de l’ouverture du mode, de la ligne de changement du preset et de la clôture. Rien n’est réécrit, seuls les champs entre accolades sont remplis. Le prompt du stade ci-dessus est construit exactement ainsi. Parmi les images cibles, le prompt pour votre propre personnage est le plus strict : pose et cadrage viennent uniquement de l’image de la vidéo, la référence ne fournit que le look. Les lignes de changement sont une sélection, les autres presets suivent le même schéma.

Le savoir-faireWorks with: Seedance 2.5 · Omni-Reference · Nano Banana 2
---
name: boffjitsu
description: Verwenden, wenn jemand in einem bestehenden Video genau EINE Sache ändern will und die Performance (Bewegung, Kamera, Timing) behalten soll: Person oder Figur ersetzen, Outfit, Produkt, Logo weg, neuer Ort, Tageszeit, Wetter oder ein ganzer Stil (Anime, 3D, Noir …). Liefert Preset, Videomoment, Zielframe-Prompt für Nano Banana, Edit-Prompt für Seedance 2.5 (Omni-Reference) und die Prüfliste. Auch bei «Video umbauen», «Person austauschen», «im Video ersetzen», «Motion Transfer», «Video-to-Video-Edit».
---

# Boffjitsu: eine Sache ändern, die Performance behalten

Boffjitsu ist ein Rezept aus zwei Modellen:
- **Nano Banana** baut den **Zielframe**: ein Standbild aus dem Video mit der Änderung.
- **Seedance 2.5 Omni-Reference** zeichnet das Video danach neu. Bewegung, Kamera und Timing kommen Bild für Bild aus der Quelle.

## Grundregeln

1. **Pro Lauf genau eine Änderung.** Mehrere Änderungen verkettest du: Der zweite Lauf arbeitet auf dem Ergebnis des ersten. Für Varianten machst du mehrere Läufe auf dem Original.
2. **Der Satz des Users definiert, was passiert.** Du wählst Preset und Moment selbst und fragst nur zurück, wenn die Änderung wirklich unklar ist.
3. **Alle Modell-Prompts auf Englisch**, auch wenn der User Deutsch schreibt.
4. **Referenzen ohne Schrift.** Text auf Referenzbildern leckt ins Video, auch mit «no letters». Weise den User darauf hin.
5. **Tongenerierung aus**, wo der Anbieter das erlaubt. Am Schluss kommt immer der Originalton darunter.

## Schritt 1: Clip vorbereiten

Mit dem User prüfen:
- Länge 4–30 s, sonst an echten Schnitten teilen.
- Konstante Framerate, SDR, Drehung eingebrannt.
- Kurze Seite mindestens 480 px, lange Seite höchstens 1920 px.

Handyclips (HEVC, 4K, HDR, gedreht) vorher konvertieren, z. B. mit ffmpeg.

## Schritt 2: Preset wählen

| Modus | Bleibt | Ändert | Presets |
|---|---|---|---|
| **O · Swap** | alles | ein Element | product-swap, label-redesign, colourway, de-logo, prop-swap, device-swap, food-drink-swap, vehicle-swap, shoe-swap, accessory-swap, outfit, costume, season-outfit, hair-makeup |
| **M · Motion Transfer** | Performance, Kamera, Timing | wer oder wo | recast, my-character, creature, animal-swap, mascot-3d, game-character, new-location, time-of-day, weather, era, sci-fi, game-level, market-variant, phone-to-studio |
| **R · Restyle** | Bewegung, Komposition | der ganze Look | anime, 3d-feature, painterly, noir, pixel-retro, comic-ink, animation-to-live, clay (unzuverlässig) |

**`{who}`** = die Person, wie sie im Video zu sehen ist, z. B. «the man in the black quilted vest and light blue denim shirt».

## Schritt 3: Moment für den Zielframe wählen

- **Swap:** der Moment, in dem das Element am grössten und unverdeckt ist.
- **Person, Outfit, Ort:** die ganze Figur frontal, meist bei 0 s.
- **Restyle:** der erste Frame.

## Schritt 4: Zielframe-Prompt (Nano Banana)

- Bild 1 = Frame aus dem Video, Bild 2 = Referenz (optional).
- Seitenverhältnis wie die Quelle.
- 2 Varianten anfordern, **der User wählt**.

Den passenden Baustein unten unter «Bausteine» nehmen. Pflicht bei jeder Person oder Figur:
- ein einziges Bild, kein Blatt, keine Panels;
- gleiche Kopfhöhe und gleiche Bildkanten;
- Raum unverändert;
- Pose aus Bild 1, die Referenz liefert nur den Look.

**Abnahme mit dem User:**
- Stimmen Ausschnitt, Pose und Raum mit dem Videobild überein?
- Ist keine Schrift dazugekommen?

Wenn nicht, die Abweichung als Satz an den Prompt hängen und neu generieren.

## Schritt 5: Edit-Prompt (Seedance 2.5 Omni-Reference)

Prompt = Eröffnung des Modus + Change-Zeile des Presets + Abschluss (siehe «Bausteine»). Nichts umschreiben, nur die `{Felder}` füllen.

**Parameter:**

| Parameter | Wert |
|---|---|
| Route | Omni-Reference. Der Prompt beginnt mit `Edit @video1.` |
| Referenzvideo | der vorbereitete Clip, Rolle «Referenz» (nicht Startbild, nicht Charakter) |
| Bilder | `@image1` = Zielframe, `@image2` = Referenz. Die Reihenfolge muss zum Prompt passen. |
| Ton | aus, wo möglich |
| Format | wie die Quelle (manche Anbieter verlangen es explizit) |
| Dauer | wie die Quelle |
| Auflösung | Test 480p/720p, Final 1080p mit identischen Eingaben |

## Schritt 6: Prüfen

1. **Versatz:** Seedance schneidet vorne oft etwa 0.17 s ab. Ergebnis und Quelle vor jedem Vergleich und vor dem Tonanlegen ausrichten. Ohne Ausgleich wirkt alles asynchron.
2. **Schluss:** Die letzten Frames weichen oft ab, wenn die Quelle auf einer schnellen Bewegung endet. Abschneiden, bei allen Varianten eines Sets gleich viel.
3. **Mit dem Auge, in 100-%-Ausschnitten:**
   - Logos und Marken (auch Streifen, Häkchen, Sterne);
   - Finger, Griff um das Objekt;
   - Buchstaben auf Schildern und Bildschirmen;
   - erfundene Requisiten;
   - bei einem Recast der Ausdruck in den ersten Frames.
4. **Restyle:** Bleibt der Hintergrund fotografisch, mit einem gemalten ersten Frame als Zielframe neu generieren.

## Schritt 7: Fertigstellen

- **Originalton** darunterlegen, nach dem Versatz-Ausgleich.
- **Neuer Ort:** Atmo per Sound-Modell («recorded on a phone, no voices, no music») und Dialog darübermischen.
- **Andere Stimme beim Recast:** Voice-Changer Sprache-zu-Sprache, kein TTS.
- **Zum Zeigen:** Vorher/Nachher nebeneinander oder als Wipe.

## Antwortform

Gib dem User immer:
1. Preset und Modus in einem Satz auf Deutsch («Der Mann wird … ersetzt, die Bewegungen bleiben gleich.»)
2. den Moment im Video (Sekunde)
3. den Zielframe-Prompt (Englisch)
4. den Seedance-Prompt (Englisch)
5. die Bildreihenfolge
6. die Prüfliste

## Bausteine

### Eröffnung je Modus
O (Swap):
`Edit @video1. Keep absolutely everything exactly the same, frame for frame: {who} (face, body, every movement and expression), the camera movement, framing and lens, the set, the light and the timing.`

M (Motion Transfer):
`Edit @video1. Keep exactly the same camera movement, framing, timing and every movement, gesture and expression of {who}, frame for frame.`

R (Restyle):
`Restyle @video1 completely into {style}. Redraw every part of every frame in this style, {who} and the whole background alike; nothing may stay photographic: no photo texture, no lens look, no film grain. Keep exactly the same camera movement, framing, timing and every movement of {who}, frame for frame.`

### Abschluss
O und M: `Nothing else changes. No text, no letters, no logos, no watermarks.`

R: `It must look like a version of the shot made from scratch in this style, not a filter over the video. No text, no letters, no logos.`

### Change-Zeilen (Auswahl)
- product-swap: `Change only the {object} in the hand: it becomes the {product} from @image1, held exactly the same way at the same size, printed and lit exactly as in @image1.`
- de-logo: `Remove every logo, brand mark, word and number from the {object}; the surfaces stay plain, same material and colour.`
- outfit: `Change only the clothes to the outfit in @image1, which is a frame of this same shot: {outfit}. Same fit to the body, the fabric moving and creasing naturally with every movement.`
- recast: `The person becomes the person in @image1, which is a frame of this same shot: {new_person}. Same movements, expressions and lip movements; the clothes, the set and the light stay exactly as in @video1.`
- my-character: `{who} becomes the recurring character in @image1, identical face and outfit as in @image1, same performance.`
- new-location: `Move the whole scene to {location} as in @image1, which is a frame of this same shot in the new place: new ground, walls, sky and background; same performer, same clothes, same movements and camera path, light motivated by the new place.`
- time-of-day: `Same place at {time}; the light direction and shadows change, nothing else.`
- anime: `{who} is a hand-drawn anime character with the same hair and clothes. The background ({place}) is hand-painted anime background art with flat colour areas and painted clouds.`

Mit Referenzbild kommt dazu: `@image2 shows the same character on its own, for every detail from every side.`

Restyle mit Zielframe kommt dazu: `@image1 is the first frame of the result: every frame must look exactly like it.`

### Zielframe-Prompts (Nano Banana)
Swap:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same person, same hands and fingers, same light, background, focus and grain. Only this changes: {ziel}. Take its exact look, shape and design from @image2. It is a real thing photographed in this light: highlights, shadows, reflections and how the fingers overlap it all match the scene. It must look photographed, not pasted on. No text, no letters, no logos.`

Recast:
`Photo retouch. Keep the photograph @image1 exactly as it is: same framing, same pose, same clothes, same light, background, focus and grain. Only the person changes: {ziel}. The new person looks exactly like the person in @image2. @image2 is only for the face, hair and skin: ignore its pose, camera angle, distance, framing and background. They wear exactly the same clothes as before, at the same size and position in the frame. Real skin texture, not retouched, an ordinary person, not a model. No text, no letters, no logos.`

Eigene Figur / Kreatur / Maskottchen (Fassung nach dem Studio-Test vom 28.10.):
`Photo retouch of a single photograph with the aspect ratio of @image1. Output one single image, not a sheet, not several panels. Keep the photograph @image1 exactly as it is: the same camera position, the same distance, the same lens and the same crop. The new person fills the frame exactly like the person in @image1: the top of the head at the same height, the frame edges cutting the body at the same places. The room stays exactly as in @image1: every object in the same place, nothing added, nothing removed, same light, focus and grain. Only the person changes: {ziel}. Copy the face, hair, skin and the clothes exactly from @image2, only as far as they are visible in this crop. @image2 is only for the look: ignore its pose, its camera angle, its distance, its framing and its background. Whatever the frame edges of @image1 cut off stays out of the frame. Same pose as in @image1: same head angle, same shoulder line, arms and hands at the same positions. Head and shoulders sit at the same size and position in the frame. Real skin texture, real fabric creases, lit by the light of this room. It must look photographed, not pasted on. No text, no letters, no logos.`

Neuer Ort / Welt:
`Keep the person in @image1 exactly as they are: same face, clothes, pose and stride, same size and position in the frame, same camera height and lens. Change the whole place around them: {ziel}. The place looks like @image2. Their light and shadows match the new place. No text, no signs, no letters, no logos.`

Restyle:
`Redraw the photograph @image1 completely as a frame of {style}. Same composition, same framing, same person in the same pose. Everything is redrawn in this style, the person and the whole background alike: {ziel}. Nothing photographic remains. No text, no letters, no logos.`

Limites

Boffjitsu est une recette, pas un modèle. Au studio, Seedance passe par TopView. D’autres fournisseurs nomment les champs autrement ; le principe de «Edit @video1.» et d’Omni-Reference reste le même. Et une variante restyle comme la pâte à modeler reste peu fiable chez nous.

Une idée qui semblait trop grande ?

Décrivez-le-nous en quelques lignes. Nous répondons en un jour ouvrable.hello@miraki.ch+41 31 348 90 90
Lancer un projet