焕新古文化传承之路，AI为古彝文识别赋能

1 古彝文与古典保护

彝文指的是云南、贵州、四川等地的彝族人使用的文字区别于现代意义上的彝文古彝文指的是在民间流通使用的原生态彝文多达87046字。古彝文的起源距今至少数千年是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍更深层、透彻地作用于传统文化保护。

古彝文字义对照图网络资料+邵文苑供图

古籍是不可再生的宝贵资源应当得到妥善保护。中国的古籍在历史上迭经水火兵燹等自然灾害、人为灾害受到破坏甚至毁灭现在的古籍与中华民族在整个历史发展过程中形成的典籍相比已经是万不存一所以保护古籍就显得更为重要。

目前包括Google在内全球已有多家技术厂商正在使用AI技术对古籍进行保护。在国内合合信息携手上海大学以校企联合、产研一体的形式攻关古彝文识别工作为中华传统文化的保护与传承贡献自己的一份力

2 古文识别的挑战

2.1 西文与汉文OCR

在印刷体的文字识别领域开展最早且技术上最成熟的是国外的西方文字识别技术。早在 1929 年德国的科学家Taushek已经取得了一项光学字符识别(optical character recognition, OCR)专利。自上个世纪五十年代以来欧美国家就开始研究关于西方各个国家的文字识别技术以便对日常生活中产生的大量文字材料进行数字化处理。经过长时间的不断研究和完善西文的OCR技术已经有一套完备的识别方案并广泛地用在西文的各个领域中。

说到光学字符识别大家可能比较陌生但或多或少都应该听说过OCR通俗来讲OCR技术采用电子设备例如扫描仪或数码相机检查纸上打印的字符然后用字符识别方法将形状翻译成计算机文字。

国内关于印刷体文字识别技术的研究起步于上世纪七十年代末并且主要关注于汉字的识别。通过借鉴印刷体英文识别和印刷体数字识别的方法和经验近年我国对印刷体汉字的识别技术研究有了飞速的发展该识别技术已经相当成熟并成功地应用在实际生活中的各个领域。但国外的研究成果主要集中在英文、法文等文字的识别国内的研究主要集中在印刷体汉字识别上。 古彝文识别技术的研究相对起步比较晚而且研究也比较少。尽管古彝文的识别可以借鉴其他文字识别的方法和经验但由于彝文的特殊性相关技术也无法完全移植到相关识别任务中

2.2 古彝文识别难点

相对于汉字识别的研究而言古彝文识别技术难度更大具体而言

• 版式多样

  汉文与彝文古籍的各类原稿的排版风格都不统一字符间距和行距有密有疏彝文古籍虽然没有大小字混排、双列夹字的校注传统但也时常出现加字、替字、整句倒置和文字方向不统一等现象给文字定位造成挑战

• 手写识别难

  近年来深度学习由于其卓越的学习能力成为机器学习最流行的技术被广泛应用在人工智能方面的各个领域中并产生了革命性的影响。其中基于端到端(End to End)的深度学习方法可以直接从原始数据的输入到目标结果的输出减少了因中间环节错误影响整体结果的可能性。端到端的方法在数据量越大时会显示出更好的适应性它可以减少人工预处理和后续处理的过程使模型尽可能地从原始输入映射到最终输出。

  然而和汉文古籍一样不同的彝文缮写员之间手写风格差异很大这就需要大量的数据库来建立识别模型。古彝文目前没有公开数据集而通晓此种文字的人越来越少导致标注工作量大而人手少数据量严重不足亟须引入AI技术构建模型以弥补本项目训练样本不足

毕节市彝文文献翻译研究中心展示古籍修复原件陈宗玉供图

• 图像质量差

  由于彝文古籍的保存环境更为艰苦文本呈现墨色深浅不一、字符间距和行距大小不一的情况。

• 笔画相近异体众多

  彝文字从来没有统一过不仅异体字两个或多个视觉上完全不同的字很多还存在大量的“变体字”也即各个地方的布摩为防止敌方破译其经书而故意在现有字形上增加或减少一两个笔画产生的如下图所示的四个字都表示“种类”的意思

表示“种类”的彝文字的四个变体邵文苑供图

3 合合信息古彝文保护新思路

在过去的十几年中合合信息以智能文字识别技术为核心在图像的复杂版式识别、结构化智能理解层面做了大量的研究并取得优秀的应用效果为古彝文识别提供了技术支持合合信息智能文字识别技术可对图像质量进行增强提升文字识别效率与准确性。

3.1 图像矫正

因为相机硬件不符合理论上透视相机模型针孔无限小的假设所以真实图像会产生明显的径向失真——场景中的线条在图像中显示为曲线。径向畸变(Radial Distortion)有两种类型筒体畸变(Barrel Distortion)与枕形失真(Pincushion Distortion)。此外由于相机组装过程中透镜不能和成像面严格平行会引入切向畸变(Tangential Distortion)再加上视觉文档图像的拍摄视角一般不垂直于文档平面产生文档图像的变形和扭曲。例如比较厚重的书籍在展开后其书脊两侧文字区会出现向内弯曲的情况。由此可见扭曲文档的形变情况要比平面文档要复杂对其分析和矫正的难度也比平面文档图像要高。

传统扭曲文档的校正方式是对选择的区域进行特征提取 以分类回归的方式得到最后的文本区域。例如

• 基于连通域的方法。使用边缘的文本检测以及字符的检测方式来分离文本像素和非文本像素。利用图像的底层特征如色彩、亮度、灰度值、纹理、梯度等特点将图像中具有最类似特征的像素点汇总作为文本候选区域的连通域再对候选区域进行分类、合并进而来获取文本区域
• 基于滑动窗口的方法。采用自顶向下检测方式利用设计的算法来产生文本候选区域根据阈值将划分为文本或非文本区域。这种方法的关键是采用随机森林、自适应增强等算法对复杂特征进行提取。

然而面对古文古籍这类很复杂的文本场景时图像受遮挡、模糊等因素的影响加上文本在纵横比、比例、方向呈现的方式不同传统算法的稳定性变差。

合合信息采用基于偏移场的学习方法大大改善了上述缺陷。偏移场是一种具有中间监督的堆叠U-Net网络用于直接预测从扭曲图像到校正图像的正向映射。通过扭曲未失真的图像创建高质量的图像合成数据集而数据驱动和学习的方法可以极大地涵盖各种真实世界条件提高了模型泛化能力达到商用级别。偏移场学习对网络进行端到端训练因此没有使用手工制作的低级特征所以在提供大规模训练数据的前提下它可以处理各种文档类型——包括古彝文等古籍文档且可以作为一种有效的方法部署在现实世界中应用。

3.2 图像增强

因为古籍的物理局限性往往存在斑点、阴影等影响文字提取和识别的噪声此时需要借助图像增强技术进行预处理。

从 2017 年开始生成对抗网络在图像阴影去除方向的应用陆续被人提出并不断完善以达到图像阴影去除效果进一步的提升。

GAN网络由生成器网络与判别器网络两部分共同构成。其核心思想是通过两个子网各自的最优变化达到全局的最优效果。生成器网络的核心作用是通过一系列的网络结构生成可以骗过判别器网络的数据判别器网络的核心作用是通过网络设计可以不被生成器网络生成的数据所骗过。生成器网络与判别器网络二者互相制约共同成长形成表现良好的网络结构。有时网络内部还借助空洞卷积、注意力机制、特征融合、编码器等方法的一个或多个特性进行优化。生成器网络与判别器网络共同训练的过程如图所示

图中蓝色虚线代表判别器分布黑色虚线代表真实数据绿线实线代表生成器生成的数据。从左往右依次展示了生成对抗网络模型训练的过程中生成器网络与判别器网络的变化过程。可见随着训练迭代次数的增加生成器网络生成的数据逐渐接近数据库中原始的真实数据。直到判别器网络已经不能很好的判断出它接收到的两种数据哪个是生成器生成的数据哪个是数据库中真实的数据此时生成对抗网络达到最佳效果停止迭代。下面展示的是GAN网络对缺失信息、遮挡信息的修复效果。

来源项目Awesome-Image-Inpainting

3.3 语义理解

编解码的概念广泛应用于各个领域在 NLP 领域人们使用语言一般包括三个步骤

接受听到或读到的语言 -> 大脑理解 -> 输出要说的语言。

语言是一个显式存在的东西但大脑是如何将语言进行理解、转化、存储的则是一个目前仍未探明的东西。因此大脑理解语言这个过程就是大脑将语言编码成一种可理解、可存储形式的过程这个过程就叫做语言的编码。相应的把大脑中想要表达的内容使用语言表达出来就叫做语言的解码。在语言模型中编码器和解码器都是由一个个的Transformer组件拼接在一起形成的

具体到古彝文识别中就是将输入的古文单词图像的多帧序列转化成一个固定长度的背景向量完成编码工作将生成的固定长度的向量再通过一定的方式转化为对应的输出字母序列完成解码工作

而在这种模型中输入的古文单词图像往往是一个包含多帧图像的序列在进行编码解码工作时要想从输入的一系列信息中关注到与图像对应的输出最相关的显著区域显然是很困难的。近年来注意力机制被广泛的应用在图像识别和NLP领域

举例将"who are you"翻译为"你是谁"传统的模型处理方式是一个seq-to-seq的模型其包含一个encoder端和一个decoder端其中encoder端对"who are you"进行编码然后将整句话的信息传递给decoder端由decoder解码出"我是谁"。在这个过程中decoder是逐字解码的在每次解码的过程中如果接收信息过多可能会导致模型的内部混乱从而导致错误结果的出现。而在生成"你"的时候和单词"you"关系比较大和"who are"关系不大所以我们更希望在这个过程中能够使用Attention机制将更多注意力放到"you"上而不要太多关注"who are"从而提高整体模型的表现

在古彝文识别中合合信息就借助了注意力机制完成语义理解。

3.4 工程技巧

像这类大型深度学习项目往往需要辅以一系列工程技巧达到良好的落地效果其中很普遍但重要的方法是模型蒸馏。

为什么需要蒸馏在神经网络的轻量化技术中蒸馏作为模型压缩类别内的一种举足轻重的技术流派它的核心思想是让一个性能强大但网络复杂体积庞大不便于移动部署的模型作为教师模型去引导一个性能较弱但网络简单体积较小易于在移动设备上部署的学生模型知识从教师模型提取后直接迁移到学生模型中此期间不经过另外的模型对知识重新提取优化。直接知识蒸馏一般模型数量相对较少计算要求简单在实际的任务场景中有广泛的应用。

由于知识的转移不受模型结构的限制该方法具有很强的灵活性因此自 2015年Hinton等人系统总结了知识蒸馏的概念后知识蒸馏受到了国内外研究者的广泛关注并不断被后续的研究者所改进。

合合信息借助这些工程方法在不损失或少量损失性能的基础上将古文识别的推断速度大大提升。

4 总结

近三年来合合信息智能文字识别技术先后在ICDAR、ICPR等人工智能国际竞赛中斩获15项冠军学术成果在CVPR、AAAI、ACL等顶会上发表相关项目获中国图象图形学学会CSIG科技进步奖二等奖。

合合信息深耕人工智能16年C端产品全球累计用户下载量超过23亿享有国内外发明专利113项为超过30个行业提供智能解决方案。合合信息提供了深受全球用户喜爱的效率工具例如C端的名片全能王、扫描全能王、启信宝等。

合合信息在古文字识别领域已有了一定的积累和成果。在2021年、2022年的世界人工智能大会上合合信息展现了智能文字识别技术在甲骨文、西周钟鼎文金文中的应用获得了包括央视、人民日报、新华社等上百家主流媒体的关注。相信在不远的将来合合信息会通过古彝文识别项目为文物保护、文化传承带来更多期待。