百度网盘AI大赛：文档图像阴影消除参赛方案 AB榜第二名

本文开源百度网盘AI大赛文档图像阴影消除参赛方案，基于IDR网络改进：底层加Non-Local模块，提升全局信息获取能力；特征通道增至96，增强学习能力。通过添加随机阴影等数据增强提升多样性，调整损失函数使PSNR达40+。还分享了扩大卷积核等失败尝试，感谢相关支持，附各模型离线验证分数及代码相关说明。

百度网盘AI大赛：文档图像阴影消除参赛方案开源

本项目网络源自IDR网络：Self-Supervised Image Denoising via Iterative Data Refinement

论文链接：https://arxiv.org/abs/2111.14358

github：https://github.com/zhangyi-3/IDR

项目paddle实现源自：https://aistudio.baidu.com/aistudio/projectdetail/3439099?channelType=0&channel=0

1、简介

       

网络与UNET极为类似，用于去除噪音、摩尔纹等

DYng进行了以下改进：

在底层叠加了Non-Local模块，提高网络获取全局信息的能力。把网络特征通道从48增加到96，提高网络的学习能力。

2、本方案在此基础上，进行了以下工作：

1、数据增强 借鉴原论文中的思路，对数据添加干扰，提升多样性

       

       

原图：

       

随机阴影、随机亮度、随机伽马

       

       

       

擦除和随机重组

       

       

       

2、训练过程

训练过程中发现主要的ssim可达到99+，但psnr只有39+ 调整损失函数，原方案中损失函数为L1_loss+ssim_loss，替换为1-0.1*log10（pnsr）+ssim_loss作为损失函数。更换后，psnr达到40+。

3、大把时间踩的坑，留赠有缘人

思路1：更大的感受野，更大的卷积效果会更好，将下面三层卷积核由3调整至7

放弃原因：收敛速度变慢，模型由10M+变大到50M+，不够优雅

思路2：归一化，借鉴P2P网络，加入tanh、Instance Normalization等，加快收敛

放弃原因：图像中存在大量255值，0.5*（1+tanh）取值范围是（0，1），无法达到255，导致分数下降，Instance Normalization可能也有同样的问题，并未提高成绩

思路3：借鉴Range Scaling Global U-Net for Perceptual Image Enhancement on Mobile Devices，引入浅层特征，与最后输出层做乘运算

放弃原因：分数不升反降，留待研究突破

思路3：采用transformer编码方式重构网络

放弃原因：多次训练，pnsr无法突破30，为何分割、检测与分类都可提取到更好的信息，gan却不行，留待研究突破 模型一并开源（）

4、与技术无关的总结

感谢百度举办比赛，感谢沈忱同学、朱静茹同学、秦登达同学、翟同学的支持 感谢aistudio平台DYng，FreFrankiesa开源的方案

已过而立之年，依然少年心性，任性且肆意妄为

于是被生活吊打

肺炎半年，仍未痊愈

毕业延期

家庭危机

教育责任

房贷压力

科研是一条需要独行的路，迷茫且孤独

奈何，我喜欢

要有情怀，迎难而上

要保持好奇，我们都是海边捡贝壳的孩子

要有光，我就是光

成绩复现

In [ ]

!unzip data/data129115/delight_testB_dataset.zip!python submit2.py

登录后复制    

训练过程

In [ ]

# 准备训练数据与环境!unzip data/data128551/dataset_v3.zip!pip install scikit-image

登录后复制    In [ ]

# 开始训练!python train.py

登录后复制    

代码与工作简要介绍：

IDR 离线验证最高分70.08 0和1模型是第一批数据训练，2和3是第一批+补充数据训练，作为提交模型MBCNN 离线验证最高分 68.64 详见：https://aistudio.baidu.com/aistudio/projectdetail/3454475?contributionType=1IDR-RSG（思路三）离线验证最高分68.63 详见：modules/AIDR_arch-rsg.pytransformer网络用于任务，离线验证最高分55.92,相当于完全失败IDR+ （思路一，卷积大小修改为7）离线验证最高分69.78（感觉还有潜力，但训练速度慢，模型大，有大显存卡可以试试）