低照度环境下采集的图像普遍存在亮度衰减､对比度弱化及细节模糊等退化现象,导致视觉质量显著降低,严重制约计算机视觉系统在目标检测､语义分割等高级视觉任务中的性能表现｡针对上述问题,本文提出了一种基于小波变换的两阶段低照度图像增强网络TSUNet (Two-Stage Wavelet Recovery U-Net)｡本文创新性地构建了基于小波变换理论的U 型网络架构,通过初级恢复与精细增强两阶段的渐进式处理,分别实现基础特征重建 和细节特征优化｡为提升网络的特征表达能力,本文设计了增强小波域特征融合模块,该模块集成离散小波变换 与逆变换操作,并设计了由动态门控空间注意力与轻量融合曲线注意力组成的双重注意力机制,通过双重注意力 机制与小波变换协同工作,以更精细化的方式实现噪声抑制与细节增强的平衡｡在优化策略方面,本文提出了融 合感知损失函数,通过综合考量像素级误差与视觉感知质量,引导模型生成具有自然的视觉效果的高质量图像｡ 实验结果表明,本文提出的方法在多个公开低照度数据集的关键指标(如峰值信噪比､结构相似性指数)中展现出 出色的性能｡
关键词
图像增强;U 型网络;小波变换;注意力;损失函数
论文《一种基于小波变换的两阶段低照度图像增强方法》发表在《计算机学报》，版权归《计算机学报》所有。本文来自网络平台，仅供参考。
1 引 言
高质量的低照度图像增强已成为计算机视觉领 域的研究前沿｡图像增强技术作为预处理手段,对 图像分类与目标检测 [1] 等高级视觉任务具有重要价 值,同时也是一种有效的图像恢复方法｡
该领域仍面临诸多技术挑战,主要包括噪声抑 制､细节重构､色彩保真度下降､动态范围受限与局 部对比度退化等核心问题｡为应对这些挑战,早期
研究形成了两类主要技术范式,即基于直方图处理 的方法和基于Retinex理论的方法｡前者以直方图 均衡化(Histogram Equalization,HE)和自适应直 方图均衡化(Adaptive AHE)为代表,通过调节图像亮度分布和对比度来 提升低照度图像的视觉质量｡后者则通过模拟人类 视觉系统的色彩恒常性实现增强｡在Retinex方法 体系中,单尺度Retinex (Single-Scale Retinex,SSR)采 通过多尺度高斯核优
用高斯滤波器来估计照明分量,而多尺度Retinex (Multi-Scale Retinex,MSR)
计 化光照估计,在保持细节的同时提升亮度｡
随着深度神经网络的好发展,传统方法的局 限性逐渐显现｡直方图均衡化虽能通过灰度调整改 善细节,但易导致过度增强与噪声放大｡自适应直 方图均衡通过局部处理缓解了过度增强问题,却 仍难以有效抑制噪声｡基于Retinex理论的方法存 在光晕效应､色彩失真和噪声敏感性问题,且计算复 杂度较高｡相较之下,深度神经网络凭借其强大的 非线性表征能力,通过自适应多层次特征学习,已成 为该领域的主流方法｡
基于深度学习的增强方法可分为两个方向:传 统算法的深度学习改进与端到端深度学习方法｡在 传统算法的深度学习改进方向上 [2-4],RetinexNet [2] 基于Retinex理论构建光照与反射联合估计模块, 并通过控制曝光构建含合成噪声的LOL 数据集 [2] 以解决数据匮乏问题｡端到端深度学习方法主要采 用两种架构:单尺度流水线 [5-7]和与编解码器结 构 [8-11]｡前者如递归增强网络PERIN [6],通过递归 结构降低参数量,但受限于表达能力难以恢复极低 亮度图像的完整细节｡后者以LLNet [8]为例,其编 解码设计虽能平衡对比度与噪声,却存在高分辨率 场景下的光照敏感性缺陷与泛化能力不足问题｡
近年来,U-Net及其变体在图像恢复领域表现 突出:Yu等人 [9] 提出面向艺术图像的U-Net模型, Chao等人设计了CUI-Net [10] 处理不均匀光照,但 在处理具有高噪声的低照度图像时仍存在挑战｡相 关研究表明 [12-15],U-Net的层级化结构能自适应学 习局部/全局特征以适应复杂光照,其跳跃连接实现 多尺度特征融合｡然而,低照度图像的高噪声特性 易导致U-Net增强过程中噪声放大,影响视觉质量 并增加后处理难度｡因此,如何提升U-Net架构在 噪声抑制方面的鲁棒仍是亟待解决的问题｡
除U-Net架构外,小波变换在低照度图像增强 领域亦展现出独特优势｡尽管该技术近年来已被引 入低照度增强任务,但其应用仍存在固有局限性｡ 例如,Kannoth等人 [16] 通过曲波变换与迭代投影技 结合实现了优异的细节保持,但面临噪声放大､阴 影保留不足､马赛克效应及细节丢失等问题｡Jiang 等人 [17] 利用小波变换降低扩散过程的空间维度,但 其性能在极暗场景下显著下降,主要归因于噪声主 导效应｡Wang等人 [18] 提出的小波变换注意力 虽能有效抑制低频噪声,却因高频细节处理不足导 致细节丢失｡
进一步分析表明,小波变换存在以下核心缺陷: 首先,计算复杂度高:大尺寸图像处理时显著降低增 强效率｡其次,低频信息忽视:多数算法过度关注高 频分量,导致低频对比度恢复不足｡此外,噪声敏感 性:高频增强过程易放大噪声干扰｡最后,方向选择 性缺失:难以精确识别连续边缘,导致边缘粗糙化与 清晰度下降｡这些缺陷要求在小波变换应用中需权 衡其优缺点,并通过多技术融合优化增强效果｡
值得注意的是,针对上述技术的不足之处,一些 研究者开始探索U-Net与小波变换的融合应用｡ U-Net凭借其强大的特征提取与重建能力,可有效 弥补小波变换在细节重建方面的不足,而小波变换 的多尺度分解能力为U-Net提供了更精细的特征 表征｡通过深度学习网络对小波子带进行联合学习 与重构,二者协同作用可解决传统方法中的噪声放 大与细节损失问题,最终实现低照度图像的精准全 局增强｡基于此,近期研究开始探索二者融合的技 术路径:例如,Batziou 等人提出的U-Net与Haar 小波池化融合技术 [19]在增强图像结构和纹理方面 表现突出,但其采用的Haar小波池化在处理边缘 细节时容易引入伪影｡需特别指出的是,小波变 换通过多尺度分解能够有效捕捉不同尺度的细节 信息,并通过频域中有选择地增强特定频率分量, 在保留边缘纹理细节的同时抑制噪声｡然而,该 方法存在两方面的局限性:其一,小波变换对不同 类型低照度图像缺乏自适应性,在强噪声和不均 匀光照场景下难以实现有效的全局增强;其二, UNet网络可能进一步放大此类复杂场景下的 噪声干扰｡
此外,由于小波变换本质上依赖频域特征分析, 易导致局部区域增强失衡,影响视觉效果的自然性｡现有传统U-Net与小波变换结合的 方法虽综合了两者优势,但仍存在以下局限:(1)边界伪影问题:小波变换频域转换过程中引入的边界 伪影经U-Net处理后显著增强,降低视觉质量;(2)噪声误识别:U-Net易将高频分量中的残余噪声误判 为有效特征并强化;(3)特征提取受限:基于固定基 函数的小波变换难以适应复杂场景的特征多样性; (4)特征融合不一致:频域与空间域特征融合过程中 存在语义不匹配现象｡这些问题表明,现有融合方 法在平衡细节增强与噪声抑制方面仍需优化｡
综上所述,尽管现有低照度图像增强技术已取 得显著进展,但在噪声抑制与细节保留的平衡方面仍面临挑战｡针对以上问题,本文提出以下创新性 解决方案:首先,本文设计了一种两阶段的U 型低 照度图像增强网络｡通过将第一阶段增强结果与辅 助特征图在精细增强阶段融合,该网络在保留图像 全局结构的同时显著提升局部细节恢复能力,使低 照度场景的增强结果呈现更自然的光照分布与更清 晰的细节层次｡其次,本文提出了一种新颖的增 强小波域特征融合模块｡通过集成双重注意力机 制与离散小波变换,该模块可精准聚焦小波域高频信 息,提升模型对边缘和纹理的精细化处理能力,避 免传统小波变换过度增强问题的同时有效抑制细 节丢失｡最后,本文构建了一种融合感知损失函数｡通 过融合Charbonnier损失､VGG 感知损失与改进的轻 量边缘损失,联合优化像素级重建误差与高层 语义,引导模型生成兼具高保真度与强真实感的 增强图像｡通过上述技术的协同优化,本文方法 解决了U-Net与小波变换融合中的边界伪影､噪声放 大和跨域特征失配等问题｡
1 相关工作
2.1 低照度图像增强方法
近期,陈等人针对夜间成像问题 创建了SID 的数据集 [20]｡该数据集通过提供不同 曝光水平的图像对,为相关研究奠定了重要数据基 础｡Jiang等人创新性地将注意力机制引入生成对 抗网络 [21],有效验证了该机制在此任务中的适用 性｡Zhang等人基于自监督学习改进了RetinexNet 模型 [22],通过分离光照与反射分量实现了更高效的图像增强｡Jie等人提出的LLFlow 网络 [23] 创新性 地融入了光流信息,但效果仍受限于光流估计精度｡Ma等人开发的SCI模型 [24] 采用级联照明学习框架, 采用权重共享机制降低计算复杂度,在提升模型 效率的同时增强了实际应用价值｡
在图像自然性恢复方面,Li等人提出ZeroDCE网络 [25] 通过像素级曲线估计和零参考损失函 数实现突破,后续团队推出加速版本 [26]｡Jiang等人基于MDARNet的增强方法 [14] 在色彩还原方面取得突破,Zhang等人提出KinD 网络 [27] 通过引入多约束损失函数,增强Retinex架构学习能力｡Cai等人基于Retinex设计Retinexformer [3], 作为首个基于Transformer的低照度增强算法,展现出该架构潜力｡这些成果共同推动了低照度图像处理领域发展。
2.2 U 型网络
U-Net作为医学图像分割设计的卷积 神经网络 [28],架构灵感源于Long等人全卷积网络 [29]｡凭借多尺度特征提取、上下文整合能力,U-Net已在计算机视觉广泛应用｡
然而直接迁移U-Net至图像增强易造成纹理、边缘丢失。研究者提出多种改进方案:Niu等人任务解耦 [12],部分研究采用分阶段递归架构 [6,13,15,30-31],还有方法引入多层次特征融合 [32-33]。Shi等人基于UN ++提出改进方案 [34],结合嵌套跳跃连接、实例归一化残差模块,提升低照度增强性能。但这类方法全局建模不足,易出现噪声、阴影问题,泛化能力受限。
2.3 小波分析
小波变换可将复杂信号分解为多尺度子带,捕捉多层次局部特征。低照度图像存在噪声大、对比度低问题,小波域可区分细节与噪声。但传统小波方法存在计算量大、泛化弱问题。学界探索小波-CNN融合 [35]、离散小波+去噪网络 [36]、双分支+密集小波架构 [37]。同时也出现小波与扩散网络结合 [17,41],但该类方法对数据敏感、计算开销高。此外U-Net与小波深度耦合 [38-40] 也成为研究方向。
3 方法实现
3.1 TSUNet网络框架
针对低照度图像细节丢失､模糊及噪点问题,本文提出TSUNet (Two-Stage Wavelet Recovery U-Net) 双阶段U 型低照度图像增强网络,整体结构如图1所示。
初级恢复阶段 精细增强阶段
Dr
Xou
Input Xout Output
X4
GDM 梯度去噪模块 SF 浅层特征模块 Merge Block 融合模块
SA 有监督注意力模块
图1 TSUNet网络结构图
低照度图像增强网络需要在增强效果和 计算效率之间进行权衡｡尽管增加网络阶段数可以 拓展特征提取与处理能力,但也带来一系列技术挑 战｡首先,网络参数量与计算复杂度呈近似线性 增长,提高硬件需求与处理时间｡其次,网络深度 增加,误差累积、梯度消失风险加剧,降低训练稳 定性｡此外,过多阶段易造成细节过度平滑、过度 增强,引发高光过曝、暗区欠曝等问题。
深入分析低照度增强任务,核心挑战分为噪声抑 制、细节重构两类。本文创新设计双阶段网络:初级 恢复阶段专注降噪、基础亮度提升;精细增强阶段侧 重细节重建、画质优化。双阶段设计兼顾计算量与 性能,增加阶段带来的收益有限,还会提升训练难度。
TSUNet由初级恢复、精细增强两大阶段构成。初级恢复先通过梯度去噪模块(GDM)、浅层特征模块(SF)完成去噪与初增强,再经由编解码器处理特征,最后送入有监督注意力模块(SA)。模块处理后生成初增强图像与辅助特征图,一部分特征送入下一阶段。精细增强阶段融合前序特征,完成细节优化,最终输出增强图像。本文通过双阶段U型结构,实现去噪、去模糊、图像增强目标。
3.1.1 初级恢复阶段
本阶段目标为初步增强、输出丰富特征,包含梯度去噪模块(GDM)、浅层特征模块(SF)、编码器、解码器、有监督注意力模块(SA)。
(1)梯度去噪模块:为抑制噪声、模糊,引入梯度去模块(GDM) [42]。模块采用双残差分支,结合自学习比例参数完成降噪。
梯度去噪模块(GDM)
自学习比例参数 RB 残差模块
图2 梯度去噪模块结构图
输入图像 (i_0) 先经过第一个残差分支计算特征, 用原图减去特征得到模糊噪声纹理 (i_j)。该纹理经第二个残差分支处理, 结合自学习比例参数生成噪声纹理。最终原图减去噪声纹理,实现降噪。
(2)浅层特征模块:设计浅层特征模块(SF)捕获GDM处理后图像空间细节。
浅层特征模块(SF)
CABlock 通道注意力模块 Dilated Conv 膨胀卷积处理
EWEM 增强小波域特征融合模块 CALayer 通道注意力层
图3 浅层特征模块结构图
SF模块由卷积层、通道注意力块、膨胀卷积串行组成。先通过3×3卷积提取基础特征,送入CABlock优化。CABlock流程:双层卷积+ReLU提取特征、通道注意力筛选、EWEM模块优化特征。处理后特征与原特征逐元素相加,再送入膨胀卷积扩展感受野,捕获上下文。SF结合注意力与膨胀卷积,提升细节提取能力。
(3)编解码器:编解码器集成EWFM、混合实例标准化、残差结构。
Input Output
Cony
EWFM Ene-1 Conv Dec-3
Ene-2 Dee-2
Ene-3 Jand 5o Dec-1
编码器(Enc-i) Enc-4
EWFM 增强小波域特征融合模块 RB 残差处理 解码器(Dec-i)
Down 下采样过程 上采样过程 HIN 混合实例标准化
图4 编解码器结构图
编码器流程:EWFM特征去噪优化→HIN提取多尺度特征→残差融合。特征分两路,一路跳跃连接至解码器,一路下采样作为后续输入。解码器先上采样,再融合编码层特征,整体流程与编码器对应。编解码器输出送入SA模块。
(4)有监督注意力模块:接收解码器与去噪特征,双分支优化。
有监督注意力模块(SA)
图5 有监督注意力结构图
分支一对解码特征卷积后与去噪特征相加,生成空间增强特征;分支二卷积后生成初增强特征与辅助特征。两类特征输入精细增强阶段。
3.1.2 精细增强阶段
精细增强阶段由GDM、SF、融合模块(Merge Block)组成,核心为特征融合与高清重建。多层特征融合存在冗余、遗漏问题,本文设计融合模块完成特征整合。
融合模块(Merge Block)
投影计算(rojection calculation, PC)
图6 融合模块结构图
融合模块流程:
(1)特征拼接:拼接不同来源特征并卷积;
(2)特征投影:特征降维;
(3)特征融合:拼接投影特征与主特征;
(4)最终整合:卷积融合并拼接原图,输出重建图像。该模块保障细节与结构完整性。
3.2 增强小波域特征融合模块
单纯端到端神经网络存在数据依赖、可解释性差、易过拟合问题。传统小波变换存在参数固化、马赛克失真、上下文利用不足等缺陷。本文设计增强小波域特征融合模块(EWFM),融合离散/逆小波变换、双重注意力机制、深度可分离卷积。
增强小波域特征融合模块
Resize
双重注意力单元
DSC DGSA
Dw M
PReLU
DSC LFCA
DGSA 动态门控空间注意力 LFCA 轻量融合曲线注意力
DWT 离散小波变换 IWT 逆小波变换 DSC 深度可分离卷积
图7 增强小波域特征融合模块结构图
EWFM流程:
1.特征预处理:拆分特征,保留低频特征、划分待分解特征;
2.小波变换:DWT分解,深度可分离卷积、PReLU编码高频分量,双重注意力优化;
3.特征重建:IWT还原特征,拼接融合后输出增强特征。
双重注意力包含动态门控空间注意力(DGSA)、轻量融合曲线注意力(LFCA),二者分别扩展动态范围、优化像素表现,协同完成细节与对比度优化。
3.2.1 动态门控空间注意力
动态门控空间注意力(DGSA)结合门控卷积,优化注意力分配。
动态门控空间注意力(DGSA)
FS
MaxPool
AvgPool
Self-learning a F
parameters
AWC 注意力权重计算 GWC 门控权重计算
MaxPool 最大池化 AvgPool 平均池化
图8 动态门控空间注意力结构图
流程:
(1)双池化提取全局、局部特征;
(2)注意力计算:拼接池化特征,5×5卷积+Sigmoid生成空间注意力图;
(3)门控权重:1×1卷积+Sigmoid生成门控权重;
(4)权重融合:门控权重与注意力图逐元素相乘;
(5)特征增强:权重与原图相乘;
(6)残差融合:结合自学习参数融合原图,保留原始信息。
计算公式:
[F_{s x}=sigmaleft(Conv_{5}left( Catleft(left[F_{Avg }' ; F_{m alpha}^{s} ight] ight) ight) ight) quad(1)]
[W_{G}=sigmaleft(Conv_{1}left(Catleft(left[F_{Avg }^{s} ; F_{m a}^{s} ight] ight) ight) quad(2)]
[F_{G}=W_{G} × F_{m} (3)]
[F_{G P}=F_{G} × F quad(4)]
[F_{P}=F_{G P}+alpha × F quad(5)]
3.2.2 轻量融合曲线注意力
LFCA聚焦局部光照,由曲线参数计算、梯度放大、多尺度融合组成。
轻量融合曲线注意力(LFCA)
多尺度特征融合
曲线参数计算
梯度放大模块
图9 轻量融合曲线注意力结构图
流程:
1.多尺度融合:多卷积核提取特征并融合;
2.曲线参数:深度可分离卷积计算像素级曲线参数;
3.梯度放大:双路ReLU构造窗口函数,筛选特征;
4.特征整合:非线性融合参数与梯度特征,自适应优化。
计算公式:
[X_{F_{e}}=sum_{x in{1,3,5}} F_{s}(x)]
[L_{i}=sigmaleft(Conv_{1}left( hetaleft(DSCleft( hetaleft(DSCleft.X_{F_{c}} ight) ight) ight) ight) ight)(7)]
[F_{s}= hetaleft(X_{F e} ight)- hetaleft(X_{F e}-1 ight) quad(8)]
[F_{L}=F_{a}+sum_{i=1}^{S} L_{i} × F_{a} ×left(1-F_{a} ight)]
3.3 融合感知损失函数
传统 (L_1) 损失存在缺陷,本文构建融合感知损失函数,整合Charbonnier损失、VGG感知损失、轻量化边缘损失。
3.3.1 Charbonnier损失
Charbonnier损失是 (L_1) 改进形式,连续可导,兼顾鲁棒性与平滑性。
[L_{Char }=sqrt{| X-Y| ^{2}+epsilon^{2}}]
3.3.2 VGG 感知损失
利用预训练VGG网络提取高层特征,匹配视觉感知。
[L_{V otimes i}=frac{1}{C_{j} H_{j} W_{j}}left| phi_{j}(hat{y})-phi_{j}(y) ight| _{2}^{2}]
3.3.3 轻量边缘损失
摒弃高斯预处理,采用3×3拉普拉斯核、多通道独立处理,降低复杂度、提升精度。
[L_{edge }=frac{1}{N} sum_{j=1}^{N} sqrt{left(Delta_{LO}(X)-Delta_{LO}(Y) ight)^{2}+varepsilon^{2}}]
3.3.4 融合感知损失
综合三类损失,设置权重 (alpha_{VGG}=1.3)、(alpha_{Char}=1.7)、(alpha_{Edge}=0.05)。
[L_{i u u l}=alpha_{W G G} L_{W G}+alpha_{C h a r} L_{C L u r}+alpha_{E d g e} L_{E d g e}]
4 实验结果及分析
4.1 实验细节
硬件:NVIDIA GeForce RTX 4090 GPU;框架:PyTorch。训练设置:图像裁剪为256×256,批次大小2,训练300轮。优化器Adam,初始学习率1e-4,余弦退火衰减至1e-6。测试使用256×256图像。
4.2 数据集
采用数据集:LOLv1、LOLv2-real、LOLv2-synthetic、LSRW、DICM、LIME、MEF。
LOLv1:500对图像,485对训练、15对测试;
LSRW:含华为、尼康拍摄子集;
LOLv2分为真实、合成两类;
DICM、LIME、MEF为无参考测试集。
4.3 方法比较
对比算法:EnlightenGAN、ZeroDCE、SCI、IAT、LLFormer、CF-Uformer、R2RNet、MIRNet、CFWD、HWMNet、Entropy-SDE等。
评价指标:PSNR、SSIM、LPIPS、NIQE。
4.3.1 客观评价
表1 在LOLv1数据集和LSRW 数据集上的结果比较
| 方法 | LOLv1 | | | LSRW | | |
| | PSNR↑ | SSIM↑ | LPIPS↓ | PSNR↑ | SSIM↑ | LPIPS↓ |
| MIRNet 2020 [57] | 24.140 | 0.842 | 0.131 | 16.470 | 0.477 | 0.430 |
| EnlightenGAN 2021 [21] | 14.311 | 0.575 | 0.315 | 15.932 | 0.482 | 0.315 |
| ZeroDCE 2021 [26] | 14.861 | 0.562 | 0.256 | 16.105 | 0.467 | 0.291 |
| SCI 2022 [24] | 13.806 | 0.528 | 0.279 | 15.087 | 0.413 | 0.288 |
| IAT 2022 [56] | 23.380 | 0.809 | 0.216 | 16.211 | 0.492 | 0.271 |
| HWMNet 2022 [61] | 22.920 | 0.830 | 0.114 | 19.221 | 0.592 | 0.208 |
| LLFormer 2022 [23] | 22.529 | 0.792 | 0.173 | 19.077 | 0.542 | 0.305 |
| R2RNet 2023 [51] | 18.132 | 0.739 | 0.207 | 17.256 | 0.541 | 0.306 |
| CFWD 2024 [41] | 22.730 | 0.853 | 0.087 | 19.566 | 0.572 | 0.374 |
| CF-UFormer 2024 [11] | 23.820 | 0.850 | 0.079 | 16.217 | 0.430 | 0.215 |
| PPFormer 2024 [59] | 23.910 | 0.845 | 0.217 | 19.281 | 0.552 | 0.350 |
| Instruct-IR 2024 [58] | 22.830 | 0.836 | 0.116 | 19.043 | 0.532 | 0.311 |
| Entropy-SDE 2024 [60] | 24.050 | 0.848 | 0.081 | 19.241 | 0.548 | 0.195 |
| 本文方法 | 24.336 | 0.861 | 0.056 | 21.175 | 0.642 | 0.158 |
经Shapiro-Wilk、Levene检验数据满足参数检验条件，配对t检验显示本文方法指标提升具有统计显著性。
表2 在LOLv2-real数据集和LOLv2-synthetic数据集上的结果比较
| 方法 | LOLv2-real | | | LOLv2-synthetic | | |
| | PSNR↑ | SSIM↑ | LPIPS↓ | PSNR↑ | SSIM↑ | LPIPS↓ |
| MIRNet 2020 [57] | 20.020 | 0.820 | 0.233 | 21.940 | 0.846 | 0.249 |
| EnlightenGAN 2021 [21] | 18.640 | 0.677 | 0.309 | 16.570 | 0.770 | 0.212 |
| ZeroDCE 2021 [26] | 16.059 | 0.580 | 0.352 | 17.577 | 0.815 | 0.187 |
| SCI 2022 [24] | 17.304 | 0.540 | 0.345 | 16.695 | 0.723 | 0.242 |
| IAT 2022 [56] | 20.310 | 0.789 | 0.220 | 15.956 | 0.743 | 0.259 |
| HWMNet 2022 [61] | 22.831 | 0.827 | 0.193 | 15.150 | 0.706 | 0.268 |
| LLFormer 2022 [23] | 20.056 | 0.792 | 0.260 | 24.038 | 0.909 | 0.067 |
| R2RNet 2023 [51] | 20.267 | 0.803 | 0.395 | 16.052 | 0.736 | 0.409 |
| CFWD 2024 [41] | 23.321 | 0.825 | 0.193 | 23.872 | 0.903 | 0.078 |
| CF-UFormer 2024 [11] | 22.273 | 0.837 | 0.092 | 22.231 | 0.892 | 0.107 |
| PPFormer 2024 [59] | 23.721 | 0.830 | 0.187 | 24.807 | 0.919 | 0.053 |
| Instruct-IR 2024 [58] | 22.912 | 0.841 | 0.271 | 23.310 | 0.891 | 0.116 |
| Entropy-SDE 2024 [60] | 21.310 | 0.832 | 0.120 | 22.145 | 0.872 | 0.173 |
| 本文方法 | 24.604 | 0.877 | 0.053 | 25.296 | 0.943 | 0.029 |
LOLv2数据集测试结果同样证明本文方法性能最优，t检验结果显著。
表3 DICM､LIME､MEF数据集NIQE分数对比
| 方法 | DICM | LIME | MEF | Avg |
| 原始输入 | 7.623 | 7.624 | 7.146 | 7.464 |
| EnlightenGAN [21] | 7.297 | 6.914 | 6.738 | 6.983 |
| ZeroDCE [26] | 7.612 | 7.356 | 6.920 | 7.296 |
| SCI [24] | 6.678 | 7.341 | 6.557 | 6.859 |
| HWMNet [61] | 7.230 | 7.011 | 6.605 | 6.949 |
| R2RNet [51] | 6.771 | 7.797 | 6.757 | 7.108 |
| CFWD [41] | 6.963 | 6.982 | 6.535 | 6.827 |
| 本文方法 | 7.070 | 6.899 | 6.279 | 6.750 |
本文方法平均NIQE指标最优，泛化能力良好。
表4 低照度增强方法复杂度和参数对比
| 方法 | 参数量(M) | 计算量(G) |
| MIRNet [57] | 31.79 | 785.00 |
| HWMNet [61] | 29.59 | 86.50 |
| CFWD [41] | 24.67 | 87.72 |
| 本文方法 | 24.29 | 84.07 |
本文方法参数量、计算量更低，性能更优。
4.3.2 主观评价
多组可视化对比：体育场、储物柜、不同数据集图像测试显示，现有方法存在亮度不足、色偏、噪声、细节丢失、棋盘效应等问题。本文方法色彩还原准确、细节完整、噪声抑制效果好，视觉效果自然。
4.3.3 复杂场景对比
设置三类极限测试场景：多光源高动态场景、极限暗光场景、高噪声场景，同时测试不同曝光等级图像。结果表明本文方法在极端环境下依旧保持稳定性能，弱光提取、噪声抑制、色彩还原能力突出，不同亮度输入下输出一致性强。
4.4 消融实验
4.4.1 增强小波域特征融合模块消融
表5 增强小波域特征融合模块对模型性能的影响
| 测试集 | PSNR | SSIM |
| w/o EWFM | 22.92 | 0.839 |
| TSUNet | 24.34 | 0.861 |
移除EWFM后指标明显下降，证明该模块为核心组件。
表6 双重注意力单元对模型性能的影响
| 测试集 | PSNR | SSIM |
| w/o DGSA | 23.90 | 0.853 |
| w/o LFCA | 23.67 | 0.846 |
| w/o DGSA+LFCA | 23.13 | 0.844 |
| TSUNet | 24.34 | 0.861 |
两类注意力机制各司其职、相互补充，共同提升性能。
4.4.2 融合感知损失函数消融
表7 不同损失函数对模型性能的影响
| 测试集 | PSNR | SSIM |
| w / o VGGLoss | 23.11 | 0.818 |
| w / o EdgeLoss | 23.71 | 0.851 |
| w / o CharLoss | 22.83 | 0.847 |
| w / o CharLoss+VGGLoss | 22.39 | 0.822 |
| w / o EdgeLoss+VGGLoss | 22.93 | 0.821 |
| w / o CharLoss+EdgeLoss | 22.81 | 0.848 |
| w / o TotalLoss | 21.92 | 0.805 |
| TSUNet | 24.34 | 0.861 |
三类损失函数缺一不可，协同优化像素、边缘、高层特征。
4.4.3 两阶段网络模块消融
表8 不同模块对模型性能的影响
| 测试集 | PSNR | SSIM |
| w / o SF | 23.22 | 0.841 |
| w / o 精细增强阶段 | 23.46 | 0.849 |
| w / o 改进的编 - 解码器 | 22.92 | 0.839 |
| w / o GDM | 24.06 | 0.855 |
| w / o Mergeblock | 23.63 | 0.851 |
| w / o SA | 23.75 | 0.852 |
| w / o SA+GDM | 23.01 | 0.848 |
| w / o SF+GDM | 23.04 | 0.845 |
| w / o SA+SF | 22.75 | 0.836 |
| w / o SF+GDM+SA | 22.42 | 0.835 |
| TSUNet | 24.34 | 0.861 |
各模块均发挥作用，多模块协同是模型高性能的关键。
5 讨 论
本文TSUNet网络核心优势：一是EWFM模块融合小波变换与双重注意力，精细处理高频特征;二是双阶段架构分任务处理，分步完成降噪、亮度提升、细节优化，适配复杂光照。模型在参数量、计算量可控前提下取得最优效果。
模型存在局限：一是面向静态图像设计，处理视频时帧间一致性不足;二是高分辨率图像计算开销依旧偏大，不利于实时设备部署。未来将聚焦网络轻量化、视频场景适配，同时探索模块迁移能力。
6 结 论
本文提出基于小波变换的两阶段低照度图像增强网络TSUNet。网络分为初级恢复、精细增强两大阶段。初级恢复依托多模块完成基础增强与特征提取;精细增强专注细节重建。网络引入增强小波域特征融合模块与双重注意力机制，搭配融合感知损失函数，兼顾噪声抑制、细节保留、色彩真实。多数据集实验、消融实验证明本文方法综合性能优于现有算法，具备良好的有效性与鲁棒性。
参考文献
[1] Jiang Ze-Tao, Li Hui, Wu Xu, Zhang Shao-Qin. Low-illumination image enhancement based on MR-VAE. Chinese Journal of Computers, 2020, 43(7): 1328-1339(in Chinese)
[2] Wei C, Wang W, et al. Deep Retinex-net: Retinex-based deep unfolding network for low-light image enhancement. arXiv preprint arXiv:1808.04560,
[3] Cai Y, Bian H, Lin J, et al. Retinexformer: One-stage retinex-based transformer for low-light image enhancement//Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Paris, 2023: 12504-12513
[4] Wu W, Weng J, Zhang etinex-net: Retinex-based deep unfolding network for low-light image enhancement//Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, USA, 2022: 5901-5910
[5] Lee S, Jang D, Kim D. Temporally averaged regression for semi-supervised low-light image enhancement//Proceedings of the 2023 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Vancouver, Canada, 2023: 4208-4217
[6] Li J, Feng X, Hua Z. Low-light image enhancement via progressive-recursive network. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 31(11): 4227-4240
[7] Özcan M, Ayazŏ ɡlu Ergezer H, et al. Flight mode on: A novel U-Net for low-light image enhancement. Pattern Recognition, 2023, 61: 650-662
[8] Lore K, Akintayo A, Sarkar S. LLNet: A deep autoencoder approach to natural low-light image enhancement. Pattern Recognition, 2017,
[9] Yu J, Liu X, Liu D, Shao S, Song K. A correcting uneven illumination hancement. Scientific Reports,
[10]Chao A, Chao et al. CUI-Net: net for low-light image en2023, 13(1): 12894
[11] Sun Y, Sun J, Sun F, Li H. Low-light image enhancement using transformer with color fusion and channel attention. The Journal of Supercomputing,
[12] Niu Yu-Zhen, Qin Lu-Lu, Qin Jia-Qi, et al. Task decoupling tronica Sinica, 2024, 52(1): 34-45 (in Chinese)
[13] Zhou fective low-light image 2023, 141: 109602
[14] Jiang Ze-Tao, et al. Low-light image of Soft ware, 2021, 32(12): 81-93 (in Chinese)
[15] Yu N, Shi H, Han balanced on Multimedia,
[16] Kannoth S, Kumar S, Raja K. Low light image enhancement and iterative back projection. Scien tific Reports, 2023, 13(1): 872
[17] Jiang H, Luo A, Fan H, Han S, Liu S. Low-light image enhancement based on progressive dual network model. Chinese Journal of Computers, 2021, 44(2): 384-394 (in Chinese)
[18] Wang Bin. A low-exposure enhancement based on wavelet transform. Chinese Journal of Computers,
[19] Batziou E, Patras I, Ioannidis K, et al. U-Net and haar wavelet pooling//Proceed ings of the 2023 International Conference on Artificial Intelligence Modeling. Bergen, 2024
[20] Chen dark//Proceedings Conference on Lake City,
[21] Jiang Enlightengan: Deep light enhancement vision. IEEE 2340-2349
[22] Zhang enhancement network: Training arXiv preprint arXiv:2002.11300,
[23] Jie H, Zuo X, Gao J, et al. LLformer: An efficient and realtime lidar lane detection ceedings of the 2023 International Conference on Pattern Image Processing. Anchorage,
[24] Ma L, Fan R, et al. Dual-branch low-light image combined enhancement
[25] Guo C, Li C, Guo J, Loy C. Learning to enhance low-light image via zero-reference deep curve estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4225-4238
[26] Li C, et al. Zero-reference deep curve estimaenhancement//Proceedings of the 2020 IEEE/CVF Recognition. Seattle, 2020: 1780-1789
[27] Zhang Y, Zhang J, Guo X. Kindling the darkness: A practical low-light image enhancer//Proceedings of the 27th ACM International Conference on Multimedia. Nice, France, 2019: 1632-1640
[28] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image CompuIntervention. Munich, Germa ny, 2015: 234-241
[29] Long J, Evan Shelhamer, for semantic segmentation. IEEE nalysis and Machine Intelligence,
[30] Jiang Ze-Tao, Wu Xu, Zhang Shao-Qin. Low-illumination image enhancement based on MR-VAE. 计算机学报, 2020, 43(7): 1328-1339(江泽涛, 伍旭, 张少钦. 一种基于MR-VAE 的低照度图像 增强方法. 计算机学报, 2020, 43(7): 1328-1339)
[31] Huang Shu-Ying, Li Hong-Xia, Yang Yong, Hu Wei, Wang Bin. 基于渐进式双网络模型 的低曝光图像增强. 计算机学报, 2021, 44(2): 384-394(黄淑英, 李红霞, 杨勇, 胡威, 汪斌. 基于渐进式双网络模型的低曝光图像增强. 计算机学报, 2021, 44(2): 384-394)
[32] Singh A, Chamola V, Narang P, Chougule A, et al. LAU-Net: A low light image en hancer with attention and resizing
[33] Lim Wong Y, Loh C, et al. Low light image enhancement for UAVs deep neural networks. IEEE Geoscience and Remote Sensing Letters,
[34] Shi P, Xu X, Zhang et al. LL-UNet++: UNet++ for low-light image enhancement. IEEE Transactions on Image X,
[35] Ji Z, et al. Subband adaptive enhancement of low light im ages using//Proceedings of the 2021 IEEE International Conference on Image Processing. Orlando,
[36] Karthikeyan V, Raja E, Gurumoorthy K. Denoising convowith energy-based attention for image Analysis and Computation,
[37] Chen Jun-Jie, Zhou Yong-Xia, Zu Jia-Zhen, Sheng Wei, 结合稠密小波变换 的双分支低照度图像增强. 计算机工程与应用, 2024, 60(4): 200-210(陈俊杰, 周永霞, 祖佳贞, 盛威, 结合稠密小波变换的双分支低照度图像增强. 计算机工程与应用, 2024, 60(4): 200-210)
[38] Zhou Q, Yang K, Ke et al. Deep learning strategies for addressing anomalous exposure in image processing: the of the 5th International Conference on Data and Intelligent Systems.
[39] Song Y, Dai W, Liu W, Liu. MPRNet: Multi-path resuper resolution//Proceed ings of the 2021 lications of Computer Vision. Waikoloa,
[40] Zou W, Gao state space hancement//Proceedings of the 32nd ACM International Con ference on Multimedia. New York, USA, 2024: 1534-1543
[41] Xue M, image enhancement [42] Mou C, Wang works for image restoration//Proceedings of the 2022 IEEE/
[43] Wang P, et al.
[44] Mehri A, sidual network ceedings of the 2021 lications of Computer Vision. Waikoloa,
[45] Li L, Zhang projection for semi-supervised image ings of the 16th European
[46] Howard A. Mobilenets: mobile
[47] He K, Sun J. Delving deep into rectifiers: human-level performance on ImageNet classificaVision. Santiago, Chile, 2015: 1026-1034
[48] Lai W, Huang J, fast and IEEE/CVF
[49] Justin J, Alahi, perceptual loss,
[50] Seif G, Androutsos image super-resolution//Proceedings of the 2018 IEEE International Conference on Acoustics, Speech and Signal Processing. Calgary, Canada, 2018
[51] Hai J, Xuan Z, Yang R, Hao Y, Zou F, Lin F, Han S. R2rnet: Low-light image normal network. Journal of Visual Communication and Image Representation, 2023, 90: 103712
[52] Yang W, Wang W, Huang H, Wang S, Liu J. Sparse gradinetwork for robust low-light imTransactions on Image Processing,
[53] Lee C, J. Deep generalized unfolding net
[54] Guo X, LIME: Low-light image enhancement map estimation. IEEE
[55] Ma K, Zeng K, Wang multi-exposure image fusion. IEEE Processing, 2015, 24(11): 3345-3356
[56] Cui Z, Li K, et al. You only need 90k parameters to adapt light: a light weight transformer for image enhancement and exposure correction//Proceedings of the 33rd British Machine Vision Conference. London, UK, 2022
[57] Zamir S, Arora A, Khan S, Hayat M, Khan F, Yang M,
[58] Oh H, Lee H, Ye S, et al. Instructir: A benchmark for instruction following of information retrieval models. arXiv preprint arXiv:2402.14334
[59] Dang J, Zhong Y, Qin X. PPformer: Using pixel-wise and patch-wise cross-attention for low-light image enhancement. Computer Vision and Image
[60] Lian W, differentiable spatial ment. arXiv preprint arXiv:2404.09735
[61] Fan C, Liu T, Liu K. Half wavelet attention low-light image enhancement//Proceedings of the 2022 IEEE International Conference on Image Processing. Bordeaux, France.
