Una de las aplicaciones más espectaculares de la IA en todo su esplendor: así es como videos con más de 100 años parecen grabados ahora

Compartilhar no facebook
Compartilhar no google
Compartilhar no twitter
Compartilhar no linkedin
Clique aqui para visualizar a página da web original em www.xataka.com

Artículo seleccionado, original en www.xataka.com


Una de las aplicaciones más espectaculares de la IA en todo su esplendor: así es como videos con más de 100 años parecen grabados ahora

La inteligencia artificial sem solo sirve para humillarnos al Go o crear alucinantes (y sem tan alucinantes) deepfakes: from hace un tiempo se ha convertido en una poderosa herramienta para devolvernos al pasado.

Lo demuestran la cada vez mayor cantidad de videos restaurados a través de técnicas de inteligencia artificial. Aquellas antiguas grabaciones cobran ahora nueva vida al ser coloreadas y adaptadas a resoluciones 4K, y el resultado es todo un viaje al pasado.

Así era la vida hace (más de) un siglo

Este tipo de vídeos comenzaron aparece compartidos em redes sociais recientemente. Hablamos por ejemplo aquel video legendario de los Hermanos Lumière de 1896 que mostraba un tren llegando a la estación. Mostramos el vídeo original remasterizado, el vídeo reescalado y suavizado y, Por último, também o vídeo com a cor aplicada automáticamente con el desarrollo DeOldify del que hablamos más adelante:

Un programador ruso llamado Denis Shiryaev aplicaba entonces dos tipos de processo sobre um vídeo você remasterizado em 2017. El primero, el del escalado 4K a través de la plataforma Gigapixel AI de Topaz Labs. El segundo, un generador de fotogramas interpolados llamado DAIN criado por engenheiros do Google que também gera imagens para suavizar o vídeo.

Lo que estás viendo en 4K no es 4K

Esos mismos resultados se aplicaban luego a outros espectaculares vídeos de Shiryaev, como por ejemplo este alucinante recorrido por las calles de la Nueva York de 1911 a partir de um vídeo remasterizado em 2018 que capturó la empresa sueca Svenska Biografteatern y que conserva incluso los sonidos de la época.

Como explicaba Shiryaev, además del proceso de 'upscaling' um 4K com uma ESRGAN y un suavizado a 60 FPS gracias al citado DAIN usó After Effects e plugins algunos para mejorar la definición y los detalles, y aplicó por último la red neuronal propuesta por un desarrollo llamado DeOlfidy para colorear estas imágenes.

O resultado é sencillamente prodigioso, e este tipo de técnicas han ido aplicándose a más y más vídeos de aquella primera época de la cinematografía.

El propio Shiryaev ofrece unos cuantos espectaculares muy antiguos de vídeos tomados em San Francisco em 1906, Amsterdam em 1922, Inglaterra em 1901 o Moscú em 1896, pero además pero le hace un guiño a los videos en blanco y negro más relevantes del pasado algo más reciente con el paseo en el rover lunar del Apollo 16.

La interpolación that da place a ese reescalado o overescalado es from hace tiempo más conocida y los sistemas de inteligencia artificial han ayudado a acelerar y mejorar el proceso, pero las cosas se han puesto aún más interesantes a la hora de colorear esas imagens y lograr que del blanco y negro pasemos a colores bastante convincentes.

DesOldify crea color donde (casi) no lo había

Jason Antic (https://twitter.com/citnaj), un apasionado del software, comenzó a investigar las llamadas redes generativas antagónicas (GAN) a principios de 2019. Como explicaban en el AI Podcast de NVIDIA, tras completar um curso online en Fast.ai para conocer cómo funcionaban las redes neuronales, inició un proyecto singular: el de tratar de aplicar esta rama da inteligência artificial para uma tarea muy concreta y convertir imagens em branco e negro em imagens em cores.

Su trabajo en este campo acabó dando um resultado espectacular: el proyecto DeOldify —Con el código en GitHub para que cualquiera to use— no solo colorea imagens, sino que las restaura. No es, desde luego, el único projeto en este sentido.

El proyecto no solo funciona para indivíduos imágenes, sino que también é possível aplicarlo vídeos a través de las llamadas NoGAN, um novo tipo de sistema GAN que reduz o entrenamiento do neuronal vermelho e consiga os resultados espectaculares que corrigem os erros da aproximação pura que aplicaba DeOldify.

O resultado deste trabalho pode ser aplicado a todo tipo de vídeos. Durante a conferência Facebook F8 Antic demostró o resultado aplicado a um fragmento de peça da película 'Psicose'de 1960, pero su aplicación se extiende um todo tipo de imagens e vídeos, y foi aprovechada para —entre otras cosas— transformar esos viejos vídeos de principios del siglo XX y lograr que del blanco y negro logremos disfrutarlos en color con unos resultados sorprendentemente convincentes.

En una larga entrevista en Humans of Machine Learning —No os la perdáis— desvelaba muchas de las claves de su trabajo en este campo. Nunca había tratado de restaurar a cor de uma foto no Photoshop, por ejemplo, e al estudiar no curso de inteligência artificial se dio cuenta de que o outono al imagens coloridas automáticamente es que siempre tenía que haber un humano que las revisaba para ver si estaban bien.

Eso hacía that la red neuronal fuera muy conservadora en sus predicciones, explicaba, pero con las GANs se podía hacer un coloreado realista con mucho menos esfuerzo y que a pesar de ser más "arriesgado" daba resultados mucho mejores. Aún así, destacaba que "no hay un único color válido para muchas cosas (como la ropa, por ejemplo)", de modo que parte del proceso es "arte, y provavelmente por eso es dificil lograr que una neuronal vermelho lo haga bien" .

Imagen1
El proceso de dar color a estas imágenes también implica eliminar ruido y outros efeitos provocados por el envejecimiento de la foto original (y no de lo que representa). Fuente:

Este ámbito também é o foco do trabalho de Robert Cross (@ RobCross247), un experto en diseño y arquitectura digital que desde hace tiempo mantiene un proyecto en el que transforma viejas fotos da Irlanda en blanco y negro a color con unos resultados fantásticos gracias a DeOldify.

Ese proceso, que hasta no hace mucho se hacía básicamente con programas de postprocesado de imagens como Photoshop, ha avanzado notablemente gracias a la inteligencia artificial, y otro extenso post en FloydHub analiza el proceso en este caso. Los resultados pueden ser mágicos, pero hay mucha ciencia tras ellos.

Cor1
Esta foto fue tomada entre 1860 e 1870, pero casi parece que pudiera haber sido tomada ayer. Fuente:

Pasar imagens de blanco y negro a color se ha convertido para algunos en una interesante afición, y de hecho el Sub-crédito Colorização se ha convertido em um museu singular com os resultados dos usuários que aplican estos procesos logran. Muchos de ellos son impactantes —Aunque en muchos las fotos tengan cierto acabado "pictórico" -, y demuestran que esta técnica está ya realmente avanzada.

Un proceso que es en parte to un art

Más allá del debate sobre si este proceso traiciona el conteúdo original o não, lo cierto es que las imagens que nos ofrecen estos métodos son espectaculares y hacen que esa visita al pasado mar mucho más asumible e impactante para todos los públicos. Acercan esos lugares y esos tiempos más que nunca.

A pesar de that las técnicas para lograrlo son absolutamente nuevas, su aplicación es casi un pequeño arte en sí mismo. Un fantástico hilo reciente de Joaquim Campa resgata fantásticos ejemplos do resultado de aplicar álbuns de esos procesos em esos vídeos. Muchos de ellos están processado con desarrollos con DeOldify, pero algunos están incluso retocados a mano. El resultado, en todo caso, es nuevamente mágico.

Como expliac Denis Shiryaev —que presenta su trabajo en Neural.love— en ese vídeo de San Francisco de 1906 (días antes do terrível terremoto que sacudió la ciudad) restaurado, feno unos cuantos componentes en acción en dicha transformación.

  • Reducción de ruido: para lograr imagens sin esos tradicionales artefactos de las películas antiguas.
  • Aumento de la definición (afiar): para mejorar o nível de detalle y los contornos de todos los elementos element en pantalla.
  • Interpolación de fotogramas (aumento de FPS): para pasar de 24 o 30 a los 60 fotogramas por segundo que logran esa suavidad de los vídeos, algo que está particularmente bien explicado pt este proyecto de Wenbo Bao.
  • Coloreado: logrado con DeOldify y que como bien señala no es necesariamente preciso históricamente pero aporta esa transformación de blanco y negro a color.
  • Reescalado a 4K: para lograr que los vídeos, capturados en una resolución mucho menor e incluso remasterizados a mayores resoluciones acaben mostrándose en 4K de forma nativa con un resultado espectacular.
  • Áudio: en muchos de estos videos el audio también estaba grabado, pero también es necesario procesarlo para aumentar su calidad y definición.

Cualquiera puede hacerlo (pero una GPU bestial ayuda mucho)

Los algoritmos, como explicaba Shiryaev, filho aún lentos y necesitan un hardware potente para procesarse de forma más ou menos rápida. Las modernas tarjetas gráficas ayudan cada vez en este ámbito, y de hecho NVIDIA lleva mucho tiempo empujando este tipo de aplicaciones tanto na sua família anterior GTX 1000 como en las nuevas RTX 2000.

Dourado
A imagem do Golden Gate na construção é de 1937. Al aplique o DeOldify pasó algo curioso: o puente no era blanco, o que você foi pintado de vermelho na aquella época. Aquí Jason Antic demostraba cómo la precisión histórica sigue siendo uno de los grandes retos de esta disciplina.

El propio Antic lo avisaba en la página de projeto de DeOldify: para poder realizar estas tareas com cierta soltura es muy tener recomendable una tarjeta gráfica súper potente: él confiesa que a encantaria menos a mais de 11 GB de memória gráfica que tem em sua GeForce 1080 Ti para a fase de entrenamiento, aunque para el coloreado se pueden usar tarjetas más modestas con unos 4 GB de memoria gráfica.

En esa página do GitHub se explica cómo funciona todo el proceso, pero además Antic ha preparado uma guía con documentación That permite comenzar a dar los primeros pasos en una tarea que sin duda es sorprendente. Así pues, si queréis animaros ahí tenéis una buena forma de hacerlo.

Vamos começar uma conversa

Este site usa cookies para garantir que você obtenha a melhor experiência em nosso site.