智能时代 Archiver

汪淼 发表于 2022/8/23 22:50:46

谷歌相机逆天 AI 夜景拍照新技术 RawNeRF 亮相:完美降噪,还能合成 3D 视角

IT之家 8 月 23 日消息,近日,国内网上有一段谷歌 AI 夜景拍照新技术 RawNeRF 的视频火了,可以将夜晚照片完美降噪,精准还原,并且能将若干张 2D 照片合成 3D 视觉,并可调整焦点。

IT之家发现,该技术的论文于 2021 年 11 月发表,也在 Github.io 上有主页,名为《NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images》。

顾名思义,该技术可以通过 NeRF (神经辐射场)处理高噪点的夜间拍摄图像,从而将充满噪点的 Raw 图像合成高动态范围视图。

NeRF 是一个简单的全连接神经网络,使用 2D 图像的信息作为训练数据,还原拥有体积的 3D 场景。

原版 NeRF 使用色调映射的低动态范围 LDR 图像作为输入,而谷歌将 NeRF 修改为直接在线性原始图像上进行训练,保留场景的完整动态范围,可以有效地将 RawNeRF 变成一个多图像降噪器,能够组合来自数十或数百个输入图像的信息。

除了改变相机视角之外,RawNeRF 可以在后期调整焦点、曝光和色调映射,也就是像视频中演示的那样。

IT之家小伙伴们应该都被谷歌相机的强大“夜视”功能惊艳过,如果 RawNeRF 能够用于谷歌相机,那么或许手机也能拍到清晰的夜间 3D 视觉图像,当然目前还没有。

论文:https://arxiv.org/abs/2111.13679

RawNeRF 介绍主页:https://bmild.github.io/rawnerf/

查看完整版本: 谷歌相机逆天 AI 夜景拍照新技术 RawNeRF 亮相:完美降噪,还能合成 3D 视角