El video es el rey de los contenidos hoy en día en las redes sociales, pero siempre, invariablemente, hay un factor que puede jugar en contra de cualquiera que produzca audiovisuales o que depende de este tipo de material para compartir cosas en sus redes sociales: la resolución. La buena noticia es que con los avances en materia de Inteligencia Artificial los locos de Adobe han creado un nuevo proyecto, denominado VideoGigaGAN con el que son capaces de restaurar prácticamente cualquier video pixelado de mala calidad para convertirlo en una joya perfecta Full HD.
En el mundo actual, donde la creación y el consumo de video están en auge, surge la necesidad de contar de manera urgente, inmediata y confiable con herramientas que nos permitan mejorar la calidad de las grabaciones, especialmente con aquellas de baja resolución o con imperfecciones de las que nunca tuvimos el control real de su generación. En internet hay un inmenso acerbo de este material que muchas veces no podemos aprovechar por su baja resolución.
Pero Adobe, consciente de esta necesidad, tiene ya algo de rato trabajando en este prometedor proyecto y ha realizado en realidad algunos avances significativos en su tecnología de IA con VideoGigaGAN. Hoy vamos a repasar las generalidades del proyecto y en qué estado se encuentra por ahora, públicamente.
VideoGigaGAN de Adobe puede convertirse en el futuro de de la post-producción audiovisual
Los investigadores de Adobe han presentado, a través de su repositorio en el sitio de investigación científica Arxiv, el progreso actual de VideoGigaGAN AI, destacando su capacidad para mejorar notablemente la calidad de los videos de baja resolución.
Lo impactante aquí es que en comparación con otras soluciones de Inteligencia Artificial existentes, este proyecto aún en fases preliminares ofrece resultados superiores en cuanto a la nitidez y la definición de la imagen, preservando al mismo tiempo un alto nivel de detalle.
La tecnología de mejora de imagen y superresolución ha estado presente durante un tiempo considerable, utilizándose para mejorar la calidad y la resolución de imágenes de baja calidad. Sin embargo, estas técnicas desde siempre han presentado limitaciones al ser aplicadas a videos. Un ejemplo de esto es la aparición de distorsiones y parpadeos, que afectan negativamente la experiencia visual.
Es aquí donde la Inteligencia Artificial y la Generative Adversarial Networks (GAN) entre en acción con Adobe y su VideoGigaGAN, que aborda estas limitaciones de manera innovadora, empleando diversas técnicas como el seguimiento del movimiento de objetos, la eliminación de segmentos borrosos y el aprendizaje automatizado de la IA para el repintado de detalles.
Para lograr su flujo de video fluido entre fotogramas, VideoGigaGAN incorpora un módulo de Inteligencia Artificial de propagación guiada por flujo previo a la red neuronal principal. Este módulo “aprende” el movimiento de los objetos a lo largo del tiempo en el video original, garantizando que el movimiento suave se aplique también en el video mejorado.
Adicionalmente, se incluyen “capas de atención temporal“ en las capas de muestreo superior de la red neuronal, lo que ayuda a mantener la fluidez en las transiciones entre fotogramas. Sumando a ello un bloque antialiasing que por ahora genera algunas partes borrosas pero de resultados prometedores.
Aun le queda camino a VideoGigaGAN
El resultado final de este procesamiento de múltiples capas es un video de súper resolución que conserva un alto nivel de detalle, sin aliasing, ni parpadeos, ofreciendo una experiencia visual significativamente mejorada.
Pero, a pesar de estos avances, la tecnología aún presenta algunos desafíos, como la mejora de textos pequeños o soportar su despliegue efectivo en videos de larga duración. Ya que por lo pronto solo genera resultados aceptables con clips muy cortos.
Este proyecto de Adobe se encuentra en una etapa embrionaria. Así que será necesario tenerle algo de paciencia. Aunque promete bastante para ser honestos.
