paddlepaddle--paddlenlp/slm/examples/multimodal/layoutlm

LayoutLM

模型简介

本项目是 LayoutLM:Pre-training of Text and Layout for Document Image Understanding 在 Paddle 2.2上的开源实现， 包含了在 FUNSD 数据集 上的微调代码。

快速开始

配置环境

环境依赖

• cv2
• sentencepiece
• yacs

安装命令：

pip install opencv-python
pip install sentencepiece
pip install yacs

数据准备

处理好的 FUNSD 中文数据集下载地址：https://bj.bcebos.com/v1/paddlenlp/datasets/FUNSD.zip 。

下载并解压该数据集，解压后将数据集放置在当前目录下。

执行 Fine-tuning

1. Sequence Labeling 任务启动 Fine-tuning 的方式如下：

   bash train_funsd.sh
   
   # 结果如下:
   # best metrics: {'precision': 0.7642124883504194, 'recall': 0.8204102051025512, 'f1': 0.7913148371531967}
   

数据处理

FUNSD 数据集是常用的表格理解数据集，原始的数据集下载地址：https://guillaumejaume.github.io/FUNSD/dataset.zip. 包括 training_data 和 test_dataing 两个子文件夹，包括149个训练数据和50个测试数据。数据预处理方式如下：

    bash preprocess.sh

Reference

• LayoutLM: Pre-training of Text and Layout for Document Image Understanding
• microsoft/unilm/layoutlm