Pdf on Sawyer Zheng's Blog

Mineru

Thu, 29 Aug 2024 00:00:00 +0000

MinerU 中的概念和名称

magic_pdf.pipe

pipe_analysis –> self.model_list
- 这是布局分析 + mfd/mfr + ocr 识别的结果列表

禁用可视化输出方法

参考：

https://pdf-extract-kit.readthedocs.io/en/latest/algorithm/layout_detection.html#viewing-visualization-results

设置模型配置文件中的 visualize 为 False 例子：

1
2
3
4
5
6
7
8
9


inputs: assets/demo/formula_recognition
outputs: outputs/formula_recognition
tasks:
 formula_recognition:
 model: formula_recognition_unimernet
 model_config:
 cfg_path: pdf_extract_kit/configs/unimernet.yaml
 model_path: models/MFR/unimernet_tiny
 visualize: False

Pix2text

Mon, 22 Jul 2024 00:00:00 +0000

table_ocr 表格识别和解析

代码阅读

源码 pix2text/table_ocr.py
- 模型下载方法：
  1
  
  download_cmd = f'huggingface-cli download --repo-type model --resume-download --local-dir-use-symlinks False breezedeus/pix2text-table-rec --local-dir {model_dir}'
  - 结构识别使用的是微软的表格识别模型 fork : breezedeus/pix2text-table-rec 基于 microsoft/table-transformer-structure-recognition-v1.1-all

Nougat

Fri, 26 Apr 2024 00:00:00 +0000

把 nougat 改造成支持图片解析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


import app


def get_image_predict(img: Image):
 model_output = app.model.inference(img)

 predictions = []
 for j, output in enumerate(model_output["predictions"]):
 if model_output["repeats"][j] is not None:
 if model_output["repeats"][j] > 0:
 disclaimer = "\n\n+++ ==WARNING: Truncated because of repetitions==\n%s\n+++\n\n"
 else:
 disclaimer = (
 "\n\n+++ ==ERROR: No output for this page==\n%s\n+++\n\n"
 )
 rest = app.close_envs(model_output["repetitions"][j]).strip()
 if len(rest) > 0:
 disclaimer = disclaimer % rest
 else:
 disclaimer = ""
 else:
 disclaimer = ""

 predictions.append(app.markdown_compatible(output) + disclaimer)


 return "".join(predictions).strip()

Cosmos

Tue, 04 Apr 2023 00:00:00 +0000

参考

官方文档：Cosmos — Cosmos 0.0.1 documentation
repo: GitHub - UW-COSMOS/Cosmos: Knowledge base construction from raw scientific do…

docker images

docker-hub
- Docker – uwcosmos
手动创建
- Building the docker images — Cosmos 0.0.1 documentation
- Cosmos/build.sh at master · UW-COSMOS/Cosmos · GitHub

Grobid

Tue, 04 Apr 2023 00:00:00 +0000

解析 grobid tei xml

参考：

Parsing TEI XML documents with Python | Data, code and science

libwapiti.so 编译方法

1
2
3
4
5


git clone https://github.com/adsva/libwapiti
cd libwapiti
git clone https://github.com/Jekub/Wapiti
gcc -fPIC -c -std=c99 -W -Wall -O3 -I ./Wapiti/src -lm -lpthread ./Wapiti/src/*.c ./src/*.c
gcc -shared -Wl,--wrap,fatal,--wrap,pfatal,--wrap,warning,--wrap,info,-soname,libwapiti.so -o libwapiti.so -lc *.o

MuPdf

Sat, 18 Feb 2023 00:00:00 +0000

viewer 帮助

MuPDF OpenGL viewer

快捷键

ppt 幻灯片模式（presentation）

p

黑白模式/彩色模式切换

c

Invert background

I

保存

S

jump 跳转页

123g

Literature 文献

Tue, 31 Jan 2023 00:00:00 +0000

文献搜索工具

谷粉学术
sci-hub
- sci-hub.ren
- sci-hub.se
虫部落
- http://chongbuluo.99lb.net/
- 搜索工具集合
www.ncbi.nlm.nih.gov

下载网站

SciDown
- Sci论文期刊检索|文献检索求助互助|文献分享 - Sci-Hub|Scidown
- 下载时需要登录
全国图书馆参考咨询联盟
- 全国图书馆参考咨询联盟
- 需要登录
spis 纬度学术资源在线
- 需要登录

预印本平台网站

参考：

Pdftools

Sun, 30 Jan 2022 00:00:00 +0000

快捷键

搜索

occur M-s o

移动

emacs 传统
- 上下：=C-n= / C-p
- 左右：=C-f= / C-b
前后页
- n / p

链接

F

书签

o

切边（trim margin）

去除
- s b: set box
恢复