Training-Free Video Editing Open Source

Methoden und Code für freies, training-free Video Editing werden vollständig als Open Source veröffentlicht.🌱

• Video Editing: Dabei wird in einem Input-Video per Text-Prompt das vom User Gewünschte hinzugefügt, um ein Video zu erzeugen. (Das heißt, die Konsistenz zwischen Input- und Output-Video ist wichtig.)
• Training-Free Video Editing: Ohne Training werden im Inference-Prozess die latenten Vektoren im Diffusion-Modell manipuliert, um die Videoerzeugung anhand des vom User gewünschten Text-Prompts zu steuern.🐬

Auf Basis des aktuell im Video Generation aufkommenden Modells WAN2.1-T2V-1.3B wurde Code erstellt, um Video Editing zu ermöglichen.🔮

• Auf WAN2.1 werden training-free Methoden angewendet, die bisher im Image Editing genutzt wurden.
  • FlowEdit & FlowAlign

Darüber hinaus schlägt der Autor eine Methode namens WANAlign2.1🌠 vor.🛠️

• Dabei werden in der Attention Map nur die zu bearbeitenden Bereiche maskiert, wodurch die Konsistenz mit dem Input-Video weiter verbessert wird.

🌟🌟Zur freien Nutzung gedacht – und wenn es interessant für dich war, gib gern einen Stern🌟🌟!!