100年前
一位加拿大摄影师记录下了老北京城的影像
4年前
人民日报在微博上发布了这段珍贵的影像
近日
这段影像被一位北京小伙儿
利用人工智能技术进行了修复
老北京城的样子
活灵活现地展现在了大家面前。
(视频来源:B站up主“大谷的游戏创作小屋”)
逗狗子的方法也算是百年老手艺了
好奇摄像机的人们盯着镜头
他们眺望着百年后
我们回望着百年前
不同的行礼问候方式
修复前后的明显对比
不得不说
上了色且变清晰的视频
感染力和代入感都要远强于原版的黑白视频,
那么,人工智能是如何做到这些的呢?
修复原理
据作者大谷介绍,他在视频修复中用到了3种人工智能工具,分别是DAIN、ESRGAN和DeOldify,我们分别来看下这几个工具的作用。
补帧工具DAIN
帧数(FPS)直接影响视频的流畅度,在正常播放速度下,一般FPS低于30 的视频就会让人觉得卡顿,FPS高于60的话就非常顺滑了,我们可以通过下面的动图来感受一下。
因此,为了给观众提供更好的观看感受,补帧这项技术已经被广泛使用,它的原理是利用人工智能模型获取当前视频的信息,提取需要补帧的瞬间的相邻两帧的信息,通过算法“想象”出相邻两帧间缺失的1帧画面并完成填补。就好比我们在看上方24fps的动图时,虽然中间缺失了很多篮球运动的细节,但我们通过想象依然能够脑补出篮球的运动轨迹。
分辨率提升工具ESRGAN
我们应该都有过这个经历,就是在手机上将一张看着还算清晰的图片放到电脑屏幕上看时,这张图就变得不那么清晰了,丢失了很多细节,而ESRGAN的功能则是将这些丢失的细节补上。ESRGAN中的人工智能模型“观察”过无数段超清影像,学会了如何给新影像中相邻的两个像素间补上合适的像素,才能生成接近真实的细节,让影像即使被放大也能保持清晰。这个过程类似于此前火爆全网的爸爸优化儿子的画的过程。
只不过,人工智能的工作过程是符合现实的罢了~
着色工具DeOldify
DeOldify应用了人工智能深度学习,用于给影像着色和修复。这个人工智能模型同样需要经过学习,在无数影像数据中了解不同物体(比如人、车、门、街道)的颜色,再面对一段黑白影像时,便知道该如何给影像中的不同物体着色。这就好像我们知道香蕉一般是黄色的,那么当我们再看到一张香蕉的黑白图时,就会考虑给它涂上黄色。
原文:TIMOTHY B. LEE
编译:阿米