本文共 1874 字，大约阅读时间需要 6 分钟。
ACM Multimedia 2019录用论文《Editing Text in the Wild》主要介绍了一种用于自然场景文本编辑的端到端网络SRNet。该方法能够在保留场景文字风格的同时，替换文字内容并与背景无缝融合，实现视觉逼真效果。
自然场景文字编辑是当前研究热点，广泛应用于广告图片编辑、文字纠错、AR翻译等场景。然而，这一任务面临两个主要挑战：场景文字的复杂多样性（包括字体、颜色、大小等差异）以及背景复杂度高（纹理细节丰富，局部不均匀）。现有风格迁移方法难以同时满足文字风格迁移和背景融合的需求。
SRNet采用模块化设计，将场景分为前景与背景。网络主要包含三个模块：Text Conversion Module、Background Inpainting Module和Fusion Module。
该模块采用跳跃连接传递特征信息，并通过GAN结构辅助生成更真实合理的结果。实验使用合成数据训练，真实场景测试验证效果。
实验结果表明SRNet在英文短词、长词及跨语种翻译、文字擦除等任务中表现优异。通过定量指标如l2 error、PSNR、SSIM和seq_acc评估，验证了方法的有效性。
SRNet成功实现自然场景文本编辑任务，主要包括三个步骤：前景文字风格提取转换、背景文字擦除修复和融合合成。方法在主观视觉真实性和客观定量评分上均表现良好，同时具备文本擦除和跨语言编辑能力。通过ablation study验证了网络设计的有效性。
[1] Samaneh Azadi, Matthew Fisher, Vladimir Kim, Zhaowen Wang, Eli Shechtman, Trevor Darrell. Multi-content GAN for Few-Shot Font Style Transfer. CVPR, 7564–7573, 2018.[2] Shuai Yang, Jiaying Liu, Wenjing Wang, Zongming Guo. Tet-GAN: Text Effect Transfer via Stylization and Destylization. AAAI, 1238–1245, 2019.[3] Shuai Yang, Jiaying Liu, Wenhan Yang, Zongming Guo. Context-Aware Unsupervised Text Stylization. ACM Multimedia, 1688–1696, 2018.[4] Olaf Ronneberger, Philipp Fischer, Thomas Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI, 234–241, 2015.[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. Generative Adversarial Nets. NeurIPS, 2672–2680, 2014.[6] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A Efros. Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 1125–1134, 2017.[7] Shuaitao Zhang, Yuliang Liu, Lianwen Jin, Yaoxiong Huang, Songxuan Lai. EnsNet: Ensconce Text in the Wild. AAAI, 801–808, 2019.
转载地址：http://agfsz.baihongyu.com/