项目介绍
PDF Document Layout Analysis是一个基于 Docker 的 PDF 文档布局分析服务,用于 PDF 文档布局分析和 PDF OCR。此服务提供强大且灵活的 PDF 分析服务。该服务允许对 PDF 页面不同部分进行分割和分类,识别文本、标题、图片、表格等元素。

应用场景
-
学术文献分析:对学术论文、研究报告等 PDF 文档进行结构化分析,提取关键信息如文本、表格、公式等。 -
文档归档与管理:将大量的 PDF 文档转化为可搜索的文本格式,便于归档、检索和管理。 -
数据抽取与挖掘:从 PDF 文档中抽取特定类型的信息,如财务报表中的数据、合同中的条款等。 -
自动化报告生成:对 PDF 报告进行自动化分析,生成摘要或提取关键指标。
功能模块
-
-
OCR 识别:使用 Tesseract OCR 对 PDF 文档进行文字识别,支持多种语言。 -
文档分割:将 PDF 页面分割成不同的段落、图片、表格等元素。
-
-
分类与标注:对分割出的元素进行分类,如文本、标题、图片、表格等,并为每个元素添加标注信息。 -
顺序确定:根据元素的类型和位置信息,确定它们在文档中的正确顺序。 -
表格与公式提取:以不同的格式(如 Markdown、LaTeX、HTML)提取表格和公式。
功能特点
-
高效灵活:支持多种模型(包括视觉模型和非视觉模型),可根据资源情况和需求选择使用。 -
多语言支持:Tesseract OCR 支持 150 多种语言,可根据需要安装额外的语言包。 -
结构化输出:输出结果以结构化的格式(如 JSON)呈现,便于后续处理和分析。 -
可扩展性:基于 Docker 的服务架构,便于部署和扩展。
项目技术栈
-
Python:作为开发语言。 -
Docker:用于构建、运行和部署服务。 -
Tesseract OCR:用于文字识别,支持多种语言和字符集。 -
ocrmypdf:用于将 PDF 转换为可搜索的文本格式。 -
**Vision Grid Transformer (VGT)**:阿里巴巴研究团队训练的视觉模型,用于文档分割和分类。 -
LightGBM:非视觉模型,使用 Poppler 提取的 XML 信息进行预测和分割。 -
Poppler:用于将 PDF 转换为 XML 格式,并提取文本和元数据。 -
StructEqTable:用于表格提取。 -
RapidLaTeXOCR:用于公式提取和识别。
功能演示


