据面壁智能消息,面壁智能正式发布并开源 MiniCPM-OCR 系列,包含文档解析模型 MiniCPM-OCR 1.0(1.3B)和解析结果判别模型 MiniCPM-OCR Jev(2B)。前者在 Real5-OmniDocBench、OCRBench v2 两项基准上取得SOTA,并强调处理效率;后者用于评估OCR结果是否可靠,帮助筛选需人工复核的内容。
面壁智能表示,文档智能在法律、金融、政务等场景面临数据隐私、算力和识别准确度等要求;实际文档还常有弯曲、倾斜、阴影等情况。即使整体评测成绩较高,具体页面仍可能出现识别错误,导致用户需要逐页人工核验。此次发布的两个模型分别面向高效解析和结果质量判断。
MiniCPM-OCR 1.0在涵盖扫描、拍照、弯曲、倾斜和翻拍场景的 Real5-OmniDocBench 上得分93.68,在综合评测 OCRBench v2 上得分54.7,领先对比范围内的次优模型7.7分。与14款主流OCR模型的六项基准对比中,该模型在四项取得第一,分别为 Real5-OmniDocBench(93.68)、Wild-OmniDocBench(92.39)、CHAOS-Bench(29.78)和 OCRBench v2(54.7),其余两项也处于第一梯队。
效率方面,模型采用自研 DSpark 解码加速技术,端到端处理效率提升55%,实际吞吐达到原有的1.6倍。在 NVIDIA RTX 5090、OmniDocBench v1.6完整数据集(1,651张图像)及图片级并发度为1的测试条件下,其吞吐量为每秒1.217页,约为 PaddleOCR-VL-1.6 的1.49倍、MinerU2.5 Pro 的3.62倍。
MiniCPM-OCR Jev不负责识别文本,而是根据原始图像和对应的解析结果,对文本、公式和表格输出0至1的质量评分。在 JevOCRBench 上,该模型整体 AUROC 为93.6,其中文本、公式、表格分别为94.6、93.1和91.1;在多个OCR系统的解析结果上测试,AUROC保持在91.9至93.4之间,可接入不同的OCR系统。
Jev可用于自动筛选和多模型择优。在内部900块人工标注图块的统计中,当免检部分准确率稳定接近100%时,法律文书最高可免检85.0%,财务票据可免检56.2%,复杂文档可免检35.1%。另一项实验中,由多个OCR模型分别解析、再由Jev逐区域评分择优的方案,在 OmniDocBench v1.6 上较单一模型解析最高提升0.25分。
在技术路径上,MiniCPM-OCR 1.0基于多模态模型 MiniCPM-V 4.6训练,采用 LLaVA-UHDv4 视觉分片方案,并集成自动纠正图像朝向的 Upright 设计和提升细小文字识别能力的自适应 Upsize。模型还利用真实场景种子数据与合成数据进行训练,并开展复杂场景强化学习。Jev则采用单次前向计算、不生成文本的设计,以降低质检环节的延迟和算力开销。
面壁智能称,MiniCPM-OCR已在金融、财税、法务、医疗等文档场景应用,可处理票据、合同、流水和报表等内容,输出Markdown或结构化字段;实际案例涵盖手写内容、公式、多栏报纸、财务表格、盖章公文及历史文献等。Jev的案例测试中,错误解析结果的评分低于0.1,可靠结果则稳定在0.8以上。
此次发布同步开放两个模型的权重,并适配 vLLM、SGLang、llama.cpp、Ollama,提供SDK、API、在线演示和微调支持。模型已完成与 Arm、后摩智能、Intel、NVIDIA 等厂商的适配;众智 FlagOS 社区则完成覆盖12个平台的跨芯片适配。面壁智能表示,后续将继续扩展语言和复杂版面支持,并深化行业应用及结果质检能力。
原文:走向高效可信的文档智能|MiniCPM家族首个OCR系列模型发布并开源(来源:面壁智能)
