宝塔服务器面板,一键全能部署及管理,送你10850元礼包,点我领取

  十三 发自 凹非寺
  量子位 报道 公众号 QbitAI

  古董级电影秒变 4K 高清,还能黑白变彩色。

  由于技术原因,最早的影像资料都是较为模糊且卡顿的,这就让大大降低了我们的观感体验。

  而最近,国外网友 Denis Shiryaev 利用一种增强程序(Gigapixel AI),将 1896 年的古董电影《火车进站》,转变成了 4K 60fps 高清“大电影”。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  可以看到画面中火车进站、人物走动、衣服摆动都非常流畅、逼真。

  当然,看惯了高清电影的大家可能对此不以为然,那么请欣赏下 1896 年的原片。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  没有对比就没有伤害,这才是原始《火车进站》的效果,低清、卡顿,还有大量的噪点。

  不仅如此,另一位网友还将这段高清视频进行了着色,可谓是赋予了古董电影新生命

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  那么,这究竟怎么做到的呢?

  AI 插值,自动填充百万像素

  据 Shiryaev 介绍,他采用的是一种叫做Gigapixel AI的商业图像编辑软件(付费)。这款软件由 Topaz 实验室创造,可以让图像的质量提升 600%。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园
Gigapixel AI

  它利用一种专有的插值算法,对图像做分析、识别其细节和结构,最后将额外的“信息”填充到图像中。

  这个工作量是什么概念?

  普通的高清是 1920×1080,总像素为 2073600,而 4K 高清是 3840×2160,总像素是 8294400。

  也就是说,光是要把普通高清提升到 4K 高清,就需要额外填充 600 万个像素。

  不仅如此,还需要弄清楚如何显示这些额外的像素,这就是插值过程的用武之地。

  插值估计每个新像素要显示什么内容,这个过程是基于它们周边的像素。对于这一点,有许多方法可以来衡量。

  最近邻 (Nearest Neighbor)方法,会简单地用与其最近邻相同的颜色填充空白像素。它虽然简单而有效,但结果是一个锯齿状、明显像素化的图像。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  双线性插值 (Bilinear Interpolation)方法需要更多的处理能力,但它基于最近的两个像素来分析空白像素,并在它们之间生成一个梯度,这会让图像变得更加清晰。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  而双三次插值 (Bicubic Interpolation)会对其 16 个最近邻像素进行了采样,这样就会让着色变得精确,但仍然存在图像模糊的问题。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  通过结合双线性插值和双三次插值,就可以生成光学质量损失最小的放大图像。

  而这一过程,Gigapixel AI 利用深度卷积神经网络来完成。正如产品页面介绍的那样:

神经网络分析成千上万对照片,了解图像细节是如何丢失的。算法会根据所学知识在新图像中填充信息,有效地为照片添加新细节。

  解决了像素低的问题,还需要解决视频卡顿问题

  Gigapixel AI 在关键帧之间进行“想像”之后,把这些想像出来的帧插进去。

  而它插入的帧数多到可以让视频速率提高到60 FPS

  这就是古董电影也能变得如此清晰、流畅的原因。

  黑白变彩色

  虽然 Shiryaev 的视频中,只是提高了老电影的清晰度和流畅度,但也有网友在此基础上做了进一步的工作——着色

  同样是利用神经网络,从一堆彩色照片开始,将它们转换成黑色和白色,然后再重建彩色原图。

  网友就把 Shiryaev 的视频放到了这样的安卓程序中,给这个黑白电影着色。

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园

  可以看到,AI 正确的判断出了树木是绿色,砂石是棕色,以及路人衣服的颜色。

  当然,这位网友也表示,希望看到更好的着色技术让这部经典的古董电影焕发新生命。

  那么,你想试试吗?

  博主简介

百年古董电影秒变4K高清、60FPS,AI插值,还能着色-冯金伟博客园
Denis Shiryaev

  Denis Shiryaev 出生于 1988 年 6 月 28 日,俄罗斯人。

  曾在Комитет公司和 Futurico 公司担任产品经理,也在 Merck KGaA 和 Bellerage Vostok 两家商店担任系统管理员。

  传送门

  博客:

  https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/

  https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/

  视频地址:

  https://www.youtube.com/watch?v=3RYNThid23g&feature=emb_logo