论全景FPGA平台实时全景视频系统设计

论文导读：压缩方式既加快了压缩进程，又解决了超大尺寸图像压缩时需要超大缓冲资源的问题。同时，本压缩模块的视频压缩比是可接受远程后端部分的以太网调整控制的。UDP部分采用硬件实现UDP协议，提高数据传输的速度，同时提供了人机交互平台。HDMI显示部分完成了视频显示控制处理。PCIE采集卡连接PC端的PCIE接口，接收以太网发送过来的
摘要：本文提出并实现了一种基于FPGA的全景视频处理系统设计方案。该系统采用Xilinx Spartan-6 FPGA全硬件单片方式实现，包括5个摄像头的图像采集、图像预处理、图像校正、全景拼接、视频压缩、以太网传输、HDMI显示等模块，达到了360度全景视频高质量、高分辨率、实时性的要求。
关键词：FPGA；实时全景拼接；以太网；HDMI
DOI： 10.3969/j.issn.1005-5517.201

3.2.019

FPGA全硬件全景视频实时系统结构如图1所示。系统视频数据采集端是5个Macron高分辨率CMOS图像传感器水平放置，其位置是经过精确预校准的。同时配备高质量的大视角光学镜头对视频进行同步高速采集，并将采集好的视频送入图像预处理部分。图像预处理主要进行色彩生成、色彩校正等图像处理，以生成正常的彩流供后续操作。图像校正对由于采用大视角镜头而产生的镜头失真及镜头位置分布产生的视差失真等问题进行实时校正处理[3]。全景拼接主要完成柱面投影模型匹配、图像拼接、边界处理等实时操作以生成完美的全景视频流。本视频压缩模块采用的是标准的JPEG标准进行压缩。为应对超大尺寸全景视频的实时压缩，加速压缩进程，本压缩模块采用一种的双核并行压缩方式。该双核并行压缩方式既加快了压缩进程，又解决了超大尺寸图像压缩时需要超大缓冲资源的问题。同时，本压缩模块的视频压缩比是可接受远程后端部分的以太网调整控制的。
UDP部分采用硬件实现UDP协议，提高数据传输的速度，同时提供了人机交互平台。HDMI显示部分完成了视频显示控制处理。PCIE采集卡连接PC端的PCIE接口，接收以太网发送过来的压缩视频数据摘自：毕业论文摘要范文www.7ctime.com
。PC端再通
远程控制和数据传输
远程控制部分需要以太网的支持，同时以太网又肩负着硬件打包传输压缩视频的任务。在视频传输的时候，UDP扮演硬件打包数据传输数据的角色，而在用户控制的时候，UDP模块又可以实现ftp协议完成系统和PC之间的交互命令。在控制方面全景视频系统能进行两种运行模式：（1）在分辨率优先时，可实时生成5*1920（H）*1080（V）@15FPS的实时全景视频；（2）在帧率优先时，可实时生成5*1920（H）*720（V）@30FPS的实时全景视频。为了达到远程观看全景视频和远程控制的目的，该系统可通过以太网进行相关参数的控制，可以自由地选择两种不同的运行模式。另外通过远程控制，还能对系统进行更新升级，其流程如图6所示。而在数据传输部分，经过全景拼接后的视频流可用通过HDMI在显示器上直接显示，同时经过压缩处理后也可将其送入UDP模块，通过Ethernet连接到PCIE采集卡，存储到硬盘上，进而在PC客户端上显示或后期处理。