Ocr on Sawyer Zheng's Blog

Paddlex

Fri, 23 May 2025 00:00:00 +0000

paddlex 内部的代码设计模式

使用Registry 注册模型信息

注册和查询工具：

1
2
3
4


get_registered_model_info = MODEL_INFO_REGISTRY.query
get_registered_suite_info = SUITE_INFO_REGISTRY.query
register_model_info = MODEL_INFO_REGISTRY.register_record
register_suite_info = SUITE_INFO_REGISTRY.register_record

suite_info 会注册 model_name 关联的 model class 、config class , runner class model_info 会注册所属的 suite_info, model_name, config_path, model 支持的 api 类型（train/eval/predict/export … ）

Pix2text

Mon, 22 Jul 2024 00:00:00 +0000

table_ocr 表格识别和解析

代码阅读

源码 pix2text/table_ocr.py
- 模型下载方法：
  1
  
  download_cmd = f'huggingface-cli download --repo-type model --resume-download --local-dir-use-symlinks False breezedeus/pix2text-table-rec --local-dir {model_dir}'
  - 结构识别使用的是微软的表格识别模型 fork : breezedeus/pix2text-table-rec 基于 microsoft/table-transformer-structure-recognition-v1.1-all

Nougat

Fri, 26 Apr 2024 00:00:00 +0000

把 nougat 改造成支持图片解析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import app


def get_image_predict(img: Image):
 model_output = app.model.inference(img)

 predictions = []
 for j, output in enumerate(model_output["predictions"]):
 if model_output["repeats"][j] is not None:
 if model_output["repeats"][j] > 0:
 disclaimer = "\n\n+++ ==WARNING: Truncated because of repetitions==\n%s\n+++\n\n"
 else:
 disclaimer = (
 "\n\n+++ ==ERROR: No output for this page==\n%s\n+++\n\n"
 )
 rest = app.close_envs(model_output["repetitions"][j]).strip()
 if len(rest) > 0:
 disclaimer = disclaimer % rest
 else:
 disclaimer = ""
 else:
 disclaimer = ""

 predictions.append(app.markdown_compatible(output) + disclaimer)


 return "".join(predictions).strip()

paddleocr

Wed, 30 Aug 2023 00:00:00 +0000

参数设定

参考：

参数列表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


from paddleocr import PaddleOCR


OCR_TOOL = PaddleOCR(
 use_angle_cls=True,
 lang="en",
 ocr_version="PP-OCRv3",
 det_db_score_mode="slow",
 # rec_algorithm='CRNN',
 e2e_pgnet_mode="slow",
)

使用流程和参数说明

主要参数和流程：
1. 探测 detection
2. 文本方向 direction classification
3. 设定语言 lang
4. 识别 recognition
一般 paddleOCR 识别字符涉及到的流程是

Ocr

Tue, 31 Jan 2023 00:00:00 +0000

工具收集

工具列表
- GitHub - zacharywhitley/awesome-ocr

上下标识别

资料收集：

python - How to detect subscript numbers in an image using OCR? - Stack Overflow

数学公式识别

工具：

latex-ocr: GitHub - lukas-blecher/LaTeX-OCR: pix2tex: Using a ViT to convert images of e…
im2markup
im2latex-tensorflow
image2latex
latex_ocr_pro: GitHub - LinXueyuanStdio/LaTeX_OCR_PRO: 数学公式识别增强版：中英文手写印刷公式、支持初级符号推导（数据结构基于 L…

论文：

Table

Fri, 04 Nov 2022 00:00:00 +0000

表格抽取工具收集

列表网站
- How to Extract Tables from PDF - PDF to Table Extractor
  - 有不同工具的对比说明
tabula-py
- GitHub - chezou/tabula-py: Simple wrapper of tabula-java: extract table from …
- 底层调用 tabula-java
PDFPatcher
- GitHub - wmjordan/PDFPatcher: PDF补丁丁——PDF工具箱，可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档，探查文档结…
- 支持 OCR 图片表格
camelot