转载来源： https://blog.csdn.net/QQ _ 41368247/article/details/82562165
光流理论背景1 .光流是指空间运动物体在观察成像面上像素运动的瞬时速度。
光流方法是利用图像序列中像素在时域变化和相邻帧之间的相关来找到在前一帧与当前帧之间存在的对应关系，并计算相邻帧之间的物体运动信息的方法。
通常，将在二维图像平面的特定坐标点处的灰度的瞬时变化率定义为光学流矢量。
简言之，光流是瞬时速度，在时间间隔小的情况下(例如在视频中连续的前后两个帧之间)也与目标点的位移相同
2 .光流的物理意义一般而言，光流是通过场景中前景对象本身的移动、摄像机的运动或两者的联合运动而产生的。
在观察人眼工作的物体时，物体的景象在人眼视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断地在视网膜(即图像平面)上“流动”，像光的“流动”，因此被称为光流。 光流指示图像的变化，并且因为其包括目标运动的信息，光流可以被观察者用来确定目标的运动。
图(1)表示三维空间内的物体的运动在二维成像平面上的投影。 得到的是描述位置变化的二维向量，而运动间隔很小，我们通常被认为描述该点瞬时速度的二维向量u=(u，v )，称为光流向量。
图(1)三维运动在二维平面内的投影
在3358 www.Sina.com/http://www.Sina.com /空间中，运动可以在操场上描述，但在一个图像平面上，物体的运动往往由图像序列中不同图像的灰度分布差异来表示
光流是二维矢量场，反映图像上各点灰度的变化趋势，可以看作是有灰度的像素点在图像平面上移动而产生的瞬时速度场。 包含的信息是各像点的瞬时运动速度矢量信息。
研究光流的目的是近似计算从系列图像中直接得到的运动场。 光流理想情况下对应运动场。
图)2)三维空间的矢量场及其在二维平面内的投影
图(3)现实场景可视化光流
3.
光流场
三言以概之：所谓光流场就是很多光流的集合。
光流法的基本原理1 .基本假设条件(1)亮度恒定。 也就是说，如果同一目标在不同的帧之间移动，其亮度不会改变。 这是基本光流方法的假设，用于得到光流方法的基本方程；
)2)时间连续或运动是“小运动”。 也就是说，时间变化不会引起目标位置的急剧变化，相邻帧之间的位移比较小。 同样也是光流法不可缺少的假设。
考虑3358 www.Sina.com/http://www.Sina.com/1像素I(x，y，t )第一帧中的光强度。 其中，t表示该时间维。 它移动了(dx，dy )的距离，使用了dt时间直到下一帧。 因为是相同的像素点，所以根据上述最初的假设，认为该像素的运动前后的光强度是一定的。 即，如下所示。
在(1)式右端展开花痴发带，可以
表示二次无限小项，可以忽略。 并且)2)世代)1)之后除去dt，可以得到以下内容。
假设u、v分别为光流，为沿x轴和y轴的速度向量，则：
将分别表示图像中像素点的灰度设为沿着x、y、t方向的偏导数。
综上所述，式(3)可以写如下
这里，Ix、Iy、It都可以根据图像数据求出，(u，v )是要求的光流的矢量。
约束方程只有一个，但方程的未知量有两个。 在这种情况下，不能求出u和v的正确值。 这种不确定性被称为“美丽的蜡烛问题”。 此时，需要引入其他约束，从不同的角度引入约束，导致了不同的光流计算方法。 根据理论基础和数学方法的不同，可分为基于梯度(微分)的方法、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和神经动力学方法四种。
3358 www.Sina.com/http://www.Sina.com/1 )基于梯度的方法
基于梯度的方法也称为微分法，利用时变图像的灰度(或其滤波形式)的时空微分(即时空梯度函数)来计算像素的速度向量。
由于计算简单并取得了良好的结果，该方法得到了广泛的应用和研究。 代表性的是Horn-Schunck算法和经常笑的期待-kanade(LK )算法。
Horn-Schunck算法将全局平滑假设添加到光流的基本约束方程中，假设光流在整个图像中的变化是平滑的，即物体的运动矢量是平滑的或只是缓慢变化的
基于
此思想，大量的改进算法不断提出。Nagel采用有条件的平滑约束，即通过加权矩阵的控制对梯度进行不同平滑处理；Black和Anandan针对多运动的估计问题，提出了分段平滑的方法。
2) 基于匹配的方法
基于匹配的光流计算方法包括基于特征和区域的两种。
基于特征的方法不断地对目标主要特征进行定位和跟踪，对目标大的运动和亮度变化具有鲁棒性。存在的问题是光流通常很稀疏，而且特征提取和精确匹配也十分困难。
基于区域的方法先对类似的区域进行定位，然后通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛的应用。然而，它计算的光流仍不稠密。另外，这两种方法估计亚像素精度的光流也有困难，计算量很大。
3)基于能量的方法
基于能量的方法又称为基于频率的方法，在使用该类方法的过程中，要获得均匀流场的准确的速度估计，就必须对输入的图像进行时空滤波处理，即对时间和空间的整合，但是这样会降低光流的时间和空间分辨率。基于频率的方法往往会涉及大量的计算，另外，要进行可靠性评价也比较困难。
4)基于相位的方法
基于相位的方法是由Fleet和Jepson提出的，Fleet和Jepson最先提出将相位信息用于光流计算的思想。当我们计算光流的时候，相比亮度信息，图像的相位信息更加可靠，所以利用相位信息获得的光流场具有更好的鲁棒性。基于相位的光流算法的优点是：对图像序列的适用范围较宽，而且速度估计比较精确，但也存在着一些问题：第一，基于相位的模型有一定的合理性，但是有较高的时间复杂性；第二，基于相位的方法通过两帧图像就可以计算出光流，但如果要提高估计精度，就需要花费一定的时间；第三，基于相位的光流计算法对图像序列的时间混叠是比较敏感的。
5）神经动力学方法
神经动力学方法是利用神经网络建立的视觉运动感知的神经动力学模型，它是对生物视觉系统功能与结构比较直接的模拟。
尽管光流计算的神经动力学方法还很不成熟，然而对它的研究却具有极其深远的意义。随着生物视觉研究的不断深入，神经方法无疑会不断完善，也许光流计算乃至计算机视觉的根本出路就在于神经机制的引入。神经网络方法是光流技术的一个发展方向
3.稠密光流与稀疏光流
除了根据原理的不同来区分光流法外，还可以根据所形成的光流场中二维矢量的疏密程度将光流法分为稠密光流与稀疏光流两种。
稠密光流
稠密光流是一种针对图像或指定的某一片区域进行逐点匹配的图像配准方法，它计算图像上所有的点的偏移量，从而形成一个稠密的光流场。通过这个稠密的光流场，可以进行像素级别的图像配准。
Horn-Schunck算法以及基于区域匹配的大多数光流法都属于稠密光流的范畴。
图(4) 基于区域匹配方法生成稠密光流场图例
由于光流矢量稠密，所以其配准后的效果也明显优于稀疏光流配准的效果。但是其副作用也是明显的，由于要计算每个点的偏移量，其计算量也明显较大，时效性较差。
稀疏光流
与稠密光流相反，稀疏光流并不对图像的每个像素点进行逐点计算。它通常需要指定一组点进行跟踪，这组点最好具有某种明显的特性，例如Harris角点等，那么跟踪就会相对稳定和可靠。稀疏跟踪的计算开销比稠密跟踪小得多。
上文提到的基于特征的匹配方法是典型的属于稀疏光流的算法。
图(5) 基于特征匹配方法生成稀疏光流场图例
爱笑的期待-Kanade(LK)光流法
LK光流法于1981年提出，最初是用于求稠密光流的，由于算法易于应用在输入图像的一组点上，而成为求稀疏光流的一种重要方法。
LK光流法在原先的光流法两个基本假设的基础上，增加了一个“空间一致”的假设，即所有的相邻像素有相似的行动。也即在目标像素周围m×m的区域内，每个像素均拥有相同的光流矢量。以此假设解决式 无法求解的问题。