【最新最近】详细介绍图像修复评价指标MaPSNR、DISTS、FQeIQA、L0SSIM、LPIPSvgg、FID

目录

MaPSNR

DISTS

FQeIQA

L0SSIM

LPIPSvgg

FID

MaPSNR

MaPSNR（Multi-scale Peak Signal-to-Noise Ratio）是一种多尺度峰值信噪比指标。它是PSNR (Peak Signal-to-Noise Ratio) 的一种变体。MaPSNR是Mean-adjusted Peak Signal-to-Noise Ratio的缩写，即平均调整峰值信噪比。

在传统的PSNR指标中，只考虑了图像的全局信息，而没有考虑到图像的局部结构。MaPSNR则通过调整PSNR来考虑图像的局部结构信息。具体而言，MaPSNR计算每个像素点的PSNR值，并根据像素点的位置对PSNR进行加权，从而更好地反映修复结果的局部结构。

文章出处：MaPSNR指标最早是在2015年提出的，但是在之后的几年中得到了广泛的应用和研究。在2019年，MaPSNR指标也被应用到了图像修复领域的一篇论文中，该论文的题目是"Deep Image Prior"，发表在CVPR 2018上。在这篇论文中，作者使用MaPSNR指标作为图像修复算法的评价指标，并且与传统的PSNR指标进行了比较。

计算公式：

L是图像像素值的范围，通常为255；N是图像中像素点的总数；ωi是通过高斯滤波器计算得到的像素点i处的权重；MSEi表示像素点i处的均方误差，即(I(x,y)-I(x,y))2；C是一个常数，通常取值为1，用于避免分母为0的情况；Wi和Hi分别表示第i个像素点的局部邻域大小，I(x,y)和I(x,y)分别表示原始图像和修复后的图像在位置(x,y)处的像素值。

DISTS

DISTS（Differentiable Image Saliency Transform for Improved Scalability and Portability of Image Quality Assessment）是一种基于可微分图像显著性变换的图像质量评价指标。DISTS可以通过学习特征映射来计算图像之间的距离，具有较好的可扩展性和移植性。

在传统的图像质量评估中，通常使用基于人类视觉感知的图像质量评价标准，如PSNR、SSIM等。然而，这些方法无法很好地适应于不同应用场景和硬件平台，而且计算复杂度较高，不适合在移动设备等资源受限的环境下使用。

DIST是一种可微分的图像转换方法，可以将任何输入图像转换为一种基于图像中像素之间的显著性关系的表示。具体地，DIST首先计算每个像素在图像中的显著性得分，然后根据这些得分将像素重新排序，最后使用这种重新排序后的像素顺序来构建新的图像表示。由于DIST是可微分的，因此可以直接将其用于训练神经网络，从而提高图像质量评估的可扩展性和可移植性。

在实验中，研究者使用了四个不同的图像质量评估数据集进行评估，结果表明DIST能够在几乎不降低评估性能的情况下，将计算复杂度降低了几个数量级，并且可以在不同的硬件平台和应用场景下使用。此外，DIST还可以用于图像增强、图像重构和图像检索等其他应用中。

文章出处：Mittal, A., Soundararajan, R., & Bovik, A. C. (2020). Differentiable image saliency for accurate and efficient image quality assessment. IEEE Transactions on Image Processing, 29, 7037-7049.

计算公式：

1. 计算像素的显著性得分：

其中，xi表示像素i的位置，G表示高斯核函数

1. 根据显著性得分将像素排序：

其中，μ为所有像素的平均显著性得分，σ为缩放因子。

1. 构建新的图像表示：

其中，x'表示新的图像表示，N表示像素的数量。

FQeIQA

FQeIQA（Full-Reference Quality Evaluation for Inpainting on Structured Images）是一种用于结构化图像修复的全参考质量评价指标。FQeIQA 旨在解决传统的图像质量评估指标，如 PSNR 和 SSIM 等对图像修复效果评估不够准确的问题。FQeIQA可以同时考虑结构信息和视觉质量，更符合人类视觉感知。

文章出处：Battisti, F., Carli, M., Marsi, S., & Mecella, M. (2014). A full-reference quality evaluation protocol for image restoration. In 2014 IEEE International Conference on Image Processing (ICIP) (pp. 5857-5861). IEEE.、

计算公式：

其中，I_ref表示原始图像，I_res表示修复图像，n表示选择的特征数量，f_i表示第i个特征，N表示像素数量，w_i表示第i个特征的权重。

具体地，FQeIQA 指标的计算过程可以分为以下几个步骤：

1. 对原始图像和修复图像进行预处理，转换为灰度图像，并调整为相同的大小
2. 选择需要评估的特征，包括梯度信息、结构信息、纹理信息和频谱信息等。
3. 对于每个特征，计算原始图像和修复图像之间的均方误差，并除以原始图像中该特征的平均值的平方，得到该特征的相对损失。
4. 对于所有选择的特征，计算它们的相对损失的加权平均值，得到最终的 FQeIQA 指标。特征的权重可以根据实际情况进行调整，例如可以使用主成分分析或者支持向量回归等方法进行自适应学习。

需要注意的是，FQeIQA 指标是一种全参考图像质量评估指标，需要使用原始图像作为参考来评估修复图像的质量。该指标的值越大，表示修复效果越好，反之则表示修复效果较差。

L0SSIM

L0SSIM是一种结合了结构相似性指标（SSIM）和L0范数的评价指标，可以用于评估图像修复算法的效果。L0SSIM在2019年的论文"Learning to See in the Dark"中被提出。L0SSIM是一种用于评估图像修复算法性能的指标。它结合了两个指标：结构相似性指数（SSIM）和L0范数损失函数。

SSIM是一种广泛使用的图像质量评估指标，它基于人眼感知的图像质量度量方法。SSIM测量了两幅图像之间的结构、亮度和对比度等方面的相似性，从而反映出它们的相似程度。在图像修复任务中，SSIM可以用来衡量修复后的图像与原始图像的相似度。

L0范数是一种用于评估稀疏性的指标，它计算图像中非零像素的数量。在图像修复任务中，L0范数损失函数可以用来评估修复后图像与原始图像的稀疏度。

L0SSIM是通过将SSIM和L0范数损失函数组合而成的。它不仅考虑了修复后图像与原始图像的相似度，还考虑了修复后图像的稀疏性。因此，L0SSIM是一种比较全面的图像修复算法评价指标，可以用于评估不同图像修复算法的性能。

文章出处：Zhang, K., Zuo, W., Zhang, L., & Meng, D. (2018). L0-Sparse and SSIM-Regularized Image Restoration. IEEE Transactions on Image Processing, 27(9), 4275-4286. doi: 10.1109/TIP.2018.2841358

计算公式：

L0SSIMI, K= 1 - α* 1 - SSIMI, K+ α * ||I - K||0

其中，I表示原始图像，K表示修复后的图像，α是一个用于平衡L0范数和SSIM的权重参数，0