La nueva herramienta Meta Movie Gen para generar vídeo con inteligencia artificial sorprende a todos con edición, sustitución y vídeos personalizados
Meta no para ni un solo segundo, y es que hace apenas un par de días y como si nada ha presentado el que será su nuevo generador de vídeo a través de inteligencia artificial llamado Meta Movie Gen
La empresa propietaria de Whatsapp, Instagram y Facebook sigue paso a paso con sus andaduras en el mundo de la IA. Continúa con LLama y nuevos modelos con cada vez más capacidades —más de 400B de parámetros—
Por otra parte apuesta también por los gadgets movidos por inteligencia artificial y cada vez más las Ray-Ban Meta empiezan a ser un referente en este campo de los dispositivos IA, en el que otros van fracasando casi recurrentemente para mi desgracia…
Es por eso que esta presentación ha sido tan llamativa, y es que Meta Movie Gen no va a ser solo un generador de vídeo con IA como hemos visto en otras ocasiones. Tenemos el archiconocido Runway, Kling o más recientemente la versión actual de Pika de la que hablé no hace mucho.
Meta Movie Gen: La Inteligencia Artificial que Crea Videos de Alta Definición a Partir de Texto
¿Qué podrá hacer esta herra mienta de creación de vídeo? Quizás la pregunta correcta sería «qué no podrá hacer», y es que da la sensación de que van a revolucionar este incipiente mucho de vídeo generado por IA teniendo en cuenta lo que han mostrado.
De momento es capaz de generar videos de alta calidad con solo proporcionar una descripción escrita. Pero esta es la parte fácil. Esta IA no solo crea vídeos, sino que también puede personalizarlos y editarlos con gran precisión. A continuación, te explico cómo funciona y qué lo hace tan innovador.
¿Qué es MetaMovieGen?
Meta Movie Gen es un conjunto de modelos de IA diseñados para crear videos en alta definición (de momento FullHD 1080p), siguiendo instrucciones escritas. Vamos, los prompts de toda la vida. Esto significa que puedes describir una escena, y la IA generará un video que se ajuste a esa descripción.
Pero esto ya lo habíamos visto antes en otras IA’s como las que te nombré antes. La parte más interesante viene ahora, ya que además, si proporcionas una imagen, Meta Movie Gen puede generar un vídeo personalizado en el que aparezca la persona de la foto realizando las acciones que indiques.
¿Cómo se entrena MetaMovieGen?
El sistema utiliza una técnica basada en transformers, un tipo de modelo de IA que ha demostrado ser muy efectivo para interpretar grandes cantidades de datos. Meta Movie Gen fue entrenado con millones de videos e imágenes provenientes de internet.
Esto le permite comprender cómo se mueven los objetos y las personas en el mundo real, además de cómo suenan ciertos ambientes. Esto le permite no solo generar videos coherentes, sino también sonidos sincronizados con las acciones, como el ruido de pasos o el sonido del viento.
Las Capacidades Principales de MetaMovieGen
MetaMovieGen destaca por su capacidad para realizar varias tareas clave en la generación de medios:
- Generación de vídeos a partir de texto: Es capaz de generar videos con solo describir lo que quieres ver. En esencia esta es una funcionalidad que ya conocemos. Hay muchísimas inteligencias artificiales que hacen lo mismo actualmente.
Aquí la lucha está en ver quién consigue adaptar el estilo que queremos de la mejor manera. De momento y por los ejemplos que ha puesto la misma Meta en su página web, el estilo hiperrealista parece que lo tiene más que dominado…
- Personalización de vídeos: Aquí viene gran parte del atractivo de esta nueva herramienta. Si proporcionas una imagen de alguien, sea quien sea, la IA puede generar un vídeo en el que esa persona sea la protagonista.
Imagina las posibilidades gracias a este concepto: Vídeos de broma, para regalar, películas personalizadas… No me entra en la cabeza todo lo que podría hacerse con un poco de imaginación.
- Edición de vídeos: Estas ediciones son espectaculares si acaban siendo lo que han enseñado en la presentación. Puedes dar instrucciones para modificar un video ya existente, como cambiar el fondo o añadir nuevos elementos.
Da igual el paisaje, la ropa o los accesorios. Podremos coger un vídeo plano y convertirlo en algo fantástico sencillamente con un prompt de texto. Mira el resultado de este ejemplo… Como antes las posibilidades son infinitas.
- Generación de sonido sincronizado: Y esto ya sí que me ha volado la cabeza… Dale volumen al vídeo. Meta Movie Gen puede crear efectos de sonido y música que se ajusten perfectamente al video generado.
En este caso tienes una catarata y el sonido del agua cayendo, pero se acabó el andar buscando efectos de audio. La IA reconocerá el paisaje y será capaz de añadir el sonido que necesita para que sea coherente con la imagen…
Innovaciones Técnicas
El corazón de Meta Movie Gen es su capacidad para manejar grandes cantidades de datos de video y sonido de forma simultánea. Utiliza un enfoque conocido como compresión espaciotemporal, que le permite procesar videos de manera eficiente sin perder calidad.
Y ya no es solo eso, sino que también implementa técnicas avanzadas para entrenar y generar videos de alta resolución, asegurando que el resultado sea realista y fluido. Si no falla en eso y mantiene esa coherencia en la composición, sería casi perfecta.
Además, esta IA generativa es capaz de crear vídeos en diferentes formatos y duraciones, todo en alta definición. De todas formas imagino que al no estar disponible todo esto es susceptible de cambiar en el futuro.
Si a todo esto le sumas que también cuenta con un modelos de sonido que sincronizan música y efectos con lo que ocurre en el video, dime qué mas necesitamos para montar un corto sin siquiera salir de nuestra casa…
¿Qué Hace Especial a Meta Movie Gen?
Yo diría que a día de hoy —teniendo en cuenta que es una preview— se diferencia de otros sistemas de generación de video, en que ofrece una precisión única en la personalización y edición. Esto lo coloca un paso adelante de otros sistemas comerciales, como Runway Gen3 o OpenAI Sora.
Además, la IA no solo entiende cómo deben verse las escenas, sino también cómo deben sonar, lo que le da un toque de realismo muy avanzado. Para mí puede ser un antes y un después en este tipo de IA generativa de vídeo.
Veremos cómo se desarrolla…
