视频快照压缩成像(SCI)使用计算成像的概念通过单个测量捕获了多个顺序视频帧。基本原理是通过不同的遮罩调节高速框架,这些调制帧求和到由低速2D传感器捕获的单个测量值(称为光学编码器);此后,如果需要,使用算法来重建所需的高速帧(配音软件解码器)。在本文中,我们考虑了视频SCI中的重建算法,即从压缩测量中恢复一系列视频帧。具体而言,我们提出了一个时空变压器(STFORMER)来利用空间和时间域中的相关性。 stformer网络由令牌生成块,视频重建块组成,这两个块由一系列的stformer块连接。每个STFORMER块由空间自我注意分支,时间自我发项处和这两个分支的输出组成,由融合网络集成。对模拟和真实数据的广泛结果证明了Stformer的最新性能。代码和模型可在https://github.com/ucaswangls/stformer.git上公开获得
translated by 谷歌翻译