--- comments: true --- # 表格单元格检测模块使用教程 ## 一、概述 表格单元格检测模块是表格识别任务的关键组成部分,负责在表格图像中定位和标记每个单元格区域,该模块的性能直接影响到整个表格识别过程的准确性和效率。表格单元格检测模块通常会输出各个单元格区域的边界框(Bounding Boxes),这些边界框将作为输入传递给表格识别相关产线进行后续处理。 ## 二、支持模型列表 > 推理耗时仅包含模型推理耗时,不包含前后处理耗时。表格中的“常规模式”耗时对应本地 paddle_static 推理引擎。
模型模型下载链接 mAP(%) GPU推理耗时(ms)
[常规模式 / 高性能模式]
CPU推理耗时(ms)
[常规模式 / 高性能模式]
模型存储大小(MB) 介绍
RT-DETR-L_wired_table_cell_det 推理模型/训练模型 82.7 33.47 / 27.02 402.55 / 256.56 124 RT-DETR 是一个实时的端到端目标检测模型。百度飞桨视觉团队基于 RT-DETR-L 作为基础模型,在自建表格单元格检测数据集上完成预训练,实现了对有线表格、无线表格均有较好性能的表格单元格检测。
RT-DETR-L_wireless_table_cell_det 推理模型/训练模型
测试环境说明:
模式 GPU配置 CPU配置 加速技术组合
常规模式 FP32精度 / 无TRT加速 FP32精度 / 8线程 PaddleInference
高性能模式 选择先验精度类型和加速策略的最优组合 FP32精度 / 8线程 选择先验最优后端(Paddle/OpenVINO/TRT等)
## 三、快速开始 > ❗ 在快速开始前,请先安装 PaddleOCR 的 wheel 包,详细请参考 [安装教程](../installation.md)。 使用一行命令即可快速体验: ```bash paddleocr table_cells_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg ``` 上述示例默认使用 paddle_static 推理引擎,请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 如果选择 `transformers` 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下命令: ```bash # 使用 transformers 引擎进行推理 paddleocr table_cells_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg \ --engine transformers ``` 如果选择 `onnxruntime` 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下命令: ```bash # 使用 onnxruntime 引擎进行推理 paddleocr table_cells_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg \ --engine onnxruntime ``` 在大多数场景下,默认的 `paddle_static` 推理引擎通常具备更好的推理性能,建议优先使用。 注:PaddleOCR 官方模型默认从 HuggingFace 获取,如运行环境访问 HuggingFace 不便,可通过环境变量修改模型源为 BOS:`PADDLE_PDX_MODEL_SOURCE="BOS"`,未来将支持更多主流模型源; 您也可以将表格单元格检测的模块中的模型推理集成到您的项目中。运行以下代码前,请您下载[示例图片](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg)到本地。 ```python from paddleocr import TableCellsDetection model = TableCellsDetection(model_name="RT-DETR-L_wired_table_cell_det") output = model.predict("table_recognition.jpg", threshold=0.3, batch_size=1) for res in output: res.print(json_format=False) res.save_to_img("./output/") res.save_to_json("./output/res.json") ``` 上述示例默认使用 paddle_static 推理引擎,请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 如果选择 `transformers` 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下代码: ```python from paddleocr import TableCellsDetection model = TableCellsDetection( model_name="RT-DETR-L_wired_table_cell_det", engine="transformers", ) output = model.predict("table_recognition.jpg", threshold=0.3, batch_size=1) for res in output: res.print(json_format=False) res.save_to_img("./output/") res.save_to_json("./output/res.json") ``` 如果选择 `onnxruntime` 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下代码: ```python from paddleocr import TableCellsDetection model = TableCellsDetection( model_name="RT-DETR-L_wired_table_cell_det", engine="onnxruntime", ) output = model.predict("table_recognition.jpg", threshold=0.3, batch_size=1) for res in output: res.print(json_format=False) res.save_to_img("./output/") res.save_to_json("./output/res.json") ``` 在大多数场景下,默认的 `paddle_static` 推理引擎通常具备更好的推理性能,建议优先使用。 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎,请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 运行后,得到的结果为: ``` {'res': {'input_path': 'table_recognition.jpg', 'page_index': None, 'boxes': [{'cls_id': 0, 'label': 'cell', 'score': 0.9698355197906494, 'coordinate': [2.3011515, 0, 546.29926, 30.530712]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9690820574760437, 'coordinate': [212.37508, 64.62493, 403.58868, 95.61413]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9668057560920715, 'coordinate': [212.46791, 30.311079, 403.7182, 64.62613]}, {'cls_id': 0, 'label': 'cell', 'score': 0.966505229473114, 'coordinate': [403.56082, 64.62544, 546.83215, 95.66117]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9662341475486755, 'coordinate': [109.48873, 64.66485, 212.5177, 95.631294]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9654079079627991, 'coordinate': [212.39197, 95.63037, 403.60852, 126.78792]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9653300642967224, 'coordinate': [2.2320926, 64.62229, 109.600494, 95.59732]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9639787673950195, 'coordinate': [403.5752, 30.562355, 546.98975, 64.61531]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9636150002479553, 'coordinate': [2.1537683, 30.410172, 109.568306, 64.62762]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9631900191307068, 'coordinate': [2.0534437, 95.57448, 109.57601, 126.71458]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9631181359291077, 'coordinate': [403.65976, 95.68139, 546.84766, 126.713394]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9614537358283997, 'coordinate': [109.56504, 30.391184, 212.65425, 64.6444]}, {'cls_id': 0, 'label': 'cell', 'score': 0.9607433080673218, 'coordinate': [109.525795, 95.62622, 212.44917, 126.8258]}]}} ``` 参数含义如下: 可视化图像如下: 相关方法、参数等说明如下: * TableCellsDetection实例化表格单元格检测模型(此处以RT-DETR-L_wired_table_cell_det为例),具体说明如下:
参数 参数说明 参数类型 默认值
model_name 含义:模型名称。
说明: 如果设置为None,则使用RT-DETR-L_wired_table_cell_det
str|None None
model_dir 含义:模型存储路径。 str|None None
device 含义:用于推理的设备。
说明: 例如:"cpu""gpu""npu""gpu:0""gpu:0,1"
如指定多个设备,将进行并行推理。
默认情况下,优先使用 GPU 0;若不可用则使用 CPU。
str|None None
engine 含义:推理引擎。
说明:支持 None(默认值)、paddlepaddle_staticpaddle_dynamictransformersonnxruntime。保持为默认值 None 时,本地推理默认使用 paddle_static 引擎。详细说明、取值、兼容性规则与示例请参见 推理引擎与配置说明
str|None None
engine_config 含义:推理引擎配置。
说明:推荐与 engine 搭配使用。详细字段、兼容性规则与示例请参见 推理引擎与配置说明
dict|None None
enable_hpi 含义:是否启用高性能推理。 bool False
use_tensorrt 含义:是否启用 Paddle Inference 的 TensorRT 子图引擎。
说明: 如果模型不支持通过 TensorRT 加速,即使设置了此标志,也不会使用加速。
对于 CUDA 11.8 版本的飞桨,兼容的 TensorRT 版本为 8.x(x>=6),建议安装 TensorRT 8.6.1.6。
bool False
precision 含义:当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。
说明: 可选项:"fp32""fp16"
str "fp32"
enable_mkldnn 含义:是否启用 MKL-DNN 加速推理。
说明: 如果 MKL-DNN 不可用或模型不支持通过 MKL-DNN 加速,即使设置了此标志,也不会使用加速。
bool True
mkldnn_cache_capacity 含义:MKL-DNN 缓存容量。 int 10
cpu_threads 含义:在 CPU 上推理时使用的线程数量。 int 10
img_size 含义:输入图像大小。
说明:
  • int:如640,表示将输入图像resize到640x640大小。
  • list:如[640, 512],表示将输入图像resize到宽为640,高为512大小。
int|list|None None
threshold 含义:用于过滤掉低置信度预测结果的阈值。
说明:
  • float:如 0.2,表示过滤掉所有阈值小于0.2的目标框。/li>
  • dict:字典的键为 int 类型,代表类别ID;值为 float 类型阈值。如 {0: 0.45, 2: 0.48, 7: 0.4},表示对类别ID为0的类别应用阈值0.45、类别ID为1的类别应用阈值0.48、类别ID为7的类别应用阈值0.4。
  • None:使用模型默认配置。
float|dict|None None
* 调用目标检测模型的 predict() 方法进行推理预测,该方法会返回一个结果列表。另外,本模块还提供了 predict_iter() 方法。两者在参数接受和结果返回方面是完全一致的,区别在于 predict_iter() 返回的是一个 generator,能够逐步处理和获取预测结果,适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。predict() 方法参数有 inputbatch_sizethreshold,具体说明如下:
参数 参数说明 参数类型 默认值
input 含义:待预测数据,支持多种输入类型,必填。
说明:
  • Python Var:如 numpy.ndarray 表示的图像数据
  • str:如图像文件或者PDF文件的本地路径:/root/data/img.jpg如URL链接,如图像文件或PDF文件的网络URL:示例如本地目录,该目录下需包含待预测图像,如本地路径:/root/data/(当前不支持目录中包含PDF文件的预测,PDF文件需要指定到具体文件路径)
  • list:列表元素需为上述类型数据,如[numpy.ndarray, numpy.ndarray]["/root/data/img1.jpg", "/root/data/img2.jpg"]["/root/data1", "/root/data2"]
Python Var|str|list
batch_size 含义:批大小。
说明: 可设置为任意正整数。
int 1
threshold 含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。
float|dict|None None
* 对预测结果进行处理,每个样本的预测结果均为对应的Result对象,且支持打印、保存为图片、保存为json文件的操作:
方法 方法说明 参数 参数类型 参数说明 默认值
print() 打印结果到终端 format_json bool 是否对输出内容进行使用 JSON 缩进格式化 True
indent int 指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_jsonTrue 时有效 4
ensure_ascii bool 控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_jsonTrue时有效 False
save_to_json() 将结果保存为json格式的文件 save_path str 保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致
indent int 指定缩进级别,以美化输出的 JSON 数据,使其更具可读性,仅当 format_jsonTrue 时有效 4
ensure_ascii bool 控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时,所有非 ASCII 字符将被转义;False 则保留原始字符,仅当format_jsonTrue时有效 False
save_to_img() 将结果保存为图像格式的文件 save_path str 保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致
* 此外,也支持通过属性获取带结果的可视化图像和预测结果,具体如下:
属性 属性说明
json 获取预测的json格式的结果
img 获取可视化图像
## 四、二次开发 由于 PaddleOCR 并不直接提供表格单元格检测模块的训练,因此,如果需要训练表格单元格检测模型,可以参考 [PaddleX 表格单元格检测模块二次开发](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/table_cells_detection.html#_4)部分进行训练。训练后的模型可以无缝集成到 PaddleOCR 的 API 中进行推理。 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎,请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 ## 五、推理引擎 {#五推理引擎} 关于推理引擎的详细说明、取值、兼容性规则与示例请参见 推理引擎与配置说明。 ### 5.1 速度数据
model engine Preprocessing (ms) Inference (ms) PostProcessing (ms) End-to-End (ms)
RT-DETR-L_wired_table_cell_det paddle_static 3.59 23.11 0.14 27.02
paddle_dynamic 4.04 70.38 0.15 75.49
transformers 3.69 37.30 0.71 42.10
onnxruntime 2.70 9.10 0.12 12.07
RT-DETR-L_wireless_table_cell_det paddle_static 3.77 23.44 0.14 27.52
paddle_dynamic 4.01 69.97 0.15 75.10
transformers 3.69 37.11 0.71 41.91
onnxruntime 2.77 9.11 0.12 12.14
测试环境说明: ### 5.2 权重转换 {#52-权重转换} 使用推理引擎时,系统会自动下载官方预训练模型。若需使用自训练模型配合 `paddle_dynamic` 或 `transformers` 引擎,请参考 [PaddleX 表格单元格检测模块权重转换](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/table_cells_detection.html#442) 部分,将 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式,即可无缝集成到 PaddleOCR 的 API 中进行推理。若需使用自训练模型配合`onnxruntime`引擎,请参考[PaddleX 获取 ONNX 模型](https://paddlepaddle.github.io/PaddleX/latest/pipeline_deploy/paddle2onnx.html)获取onnx模型,即可无缝集成到 PaddleOCR 的 API 中进行推理。 ## 六、FAQ