OCRmyPDF: как превратить сканы в поисковые PDF/A для ИИ

Андрей Отинов -

В офисе менеджер по работе с документами сталкивается с большим количеством отсканированных файлов, которые нужно быстро превратить в поисковые PDF, чтобы их можно было использовать в системах ИИ.
OCRmyPDF — это инструмент, который автоматически преобразует сканы в PDF/A с извлечением текста и поддержкой пакетной обработки.
Это сокращает время подготовки документов на 70 % и уменьшает риск ошибок при ручном вводе.
Перед внедрением стоит проверить, как быстро работает OCRmyPDF на типичных файлах, и убедиться, что он поддерживает нужные форматы и лицензии.

Источник: marktechpost.com

Что предоставляет OCRmyPDF

OCRmyPDF – это открытый инструмент, который использует Tesseract для распознавания текста и JBIG2 для сжатия изображений.
Он создаёт PDF/A, который гарантирует долгосрочную сохранность, и может сохранять распознанный текст в отдельном файле (sidecar), чтобы его можно было быстро искать и использовать в дальнейшем.
Внутри процесса можно настроить параметры Tesseract, очистить шумные сканы, обрабатывать уже‑распознанные файлы, задавать DPI‑подсказки, запускать OCR в памяти и обрабатывать несколько PDF одновременно.
Для сжатия изображений используется JBIG2‑кодировщик, доступный в репозитории jbig2enc.

Как это вписать в рабочий процесс ИИ

Если вы используете ИИ для анализа документов, OCRmyPDF можно подключить как первый этап:
1. Сканируете документы и сохраняете их как PDF‑изображения.
2. Запускаете ocrmypdf input.pdf output.pdf – получаете PDF/A с текстом.
3. Передаёте полученный файл в модель ИИ для дальнейшего анализа.

Пакетную обработку можно выполнить командой ocrmypdf *.pdf output_dir/.
Sidecar‑файлы можно использовать для индексации в поисковом движке, что ускорит поиск по ключевым словам.

Проверка без превращения в игрушку

  1. Установите OCRmyPDF и зависимости – pip install ocrmypdf и необходимые системные пакеты (tesseract-ocr, ghostscript, unpaper, pngquant, poppler-utils, qpdf).
  2. Создайте тестовый PDF из одного изображения (можно использовать любой скан).
  3. Запустите OCRmyPDF: ocrmypdf test.pdf test_out.pdf.
  4. Проверьте результат – откройте test_out.pdf в PDF‑ридере, убедитесь, что текст выделяется, и посмотрите размер файла.
  5. Сравните с оригиналом – измерьте время обработки и разницу в размере.
  6. Проверьте sidecar – в каталоге рядом с PDF должен появиться файл test_out.pdf.txt с распознанным текстом.
  7. Пакетную обработку – запустите ocrmypdf *.pdf output_dir/ и убедитесь, что все файлы обработаны без ошибок.

Риски и что проверить

Риск Что проверить Как проверить
Качество распознавания Поддержка нужного языка Tesseract Запустите OCR на примере текста на нужном языке и посмотрите точность
Совместимость с PDF‑ридерами Поддержка JBIG2 Откройте PDF в популярных ридерах (Adobe, Foxit, Okular) и убедитесь, что изображение отображается
Лицензии Открытые лицензии Tesseract и JBIG2 Проверьте файлы LICENSE в репозиториях и убедитесь, что они подходят для вашего проекта
Производительность Время обработки больших файлов Измерьте время на файлы > 50 МБ и оцените, подходит ли это для вашего пайплайна
Параметры DPI Неправильные DPI‑подсказки Попробуйте разные значения DPI (например, 300, 600) и сравните качество текста

Если один из пунктов вызывает сомнения, стоит рассмотреть альтернативные решения или настроить параметры OCRmyPDF.

Следующий шаг

Если проверка прошла успешно, можно включить OCRmyPDF в пайплайн.
1. Настройте автоматическую обработку новых файлов в каталоге (например, через cron‑задачу).
2. Добавьте sidecar‑файлы в индекс поисковой системы.
3. Измерьте время обработки и качество на 10–20 тестовых файлах.
4. При удовлетворительном результате включите инструмент в CI/CD и используйте его в продуктиве.

Если возникли проблемы, рассмотрите коммерческие OCR‑сервисы или настройку параметров Tesseract вручную.

Проверочный чеклист

  • [ ] Установлены все зависимости (tesseract-ocr, ghostscript, unpaper, pngquant, poppler-utils, qpdf).
  • [ ] OCRmyPDF корректно распознаёт текст на тестовом PDF.
  • [ ] Размер выходного PDF не превышает 1,5‑2× оригинала.
  • [ ] Sidecar‑файл содержит корректный текст.
  • [ ] Пакетная обработка работает без ошибок.
  • [ ] PDF открывается в выбранных PDF‑ридерах без ошибок.

Источники

Дополнительные рекомендации для повышения качества обработки

Для достижения наилучших результатов при использовании OCRmyPDF в рабочих процессах ИИ рекомендуется учитывать следующие аспекты:

  • Предварительная обработка изображений: Используйте инструменты вроде unpaper для удаления шума, выравнивания текста и улучшения контрастности перед запуском OCR. Это особенно важно для сканов низкого качества.
  • Настройка языковых моделей Tesseract: Убедитесь, что установлены необходимые языковые пакеты (например, tesseract-ocr-rus для русского языка). Для многоязычных документов можно указать несколько языков через параметр --language.
  • Оптимизация сжатия: JBIG2 обеспечивает высокую степень сжатия для черно-белых изображений, но для цветных сканов может потребоваться использование JPEG или JPEG 2000. Экспериментируйте с параметрами --compress и --jbig2-lossy.
  • Обработка ошибок: В пакетных сценариях добавляйте проверку кода возврата ocrmypdf (0 — успех, 1 — предупреждение, 2 — ошибка) для логирования и повторной обработки проблемных файлов.
  • Интеграция с облачными сервисами: Для масштабирования рассмотрите возможность развертывания OCRmyPDF в контейнерах Docker и использования очередей сообщений (например, RabbitMQ) для асинхронной обработки.

Эти дополнения помогут повысить точность распознавания и эффективность пайплайна, особенно при работе с большими объёмами документов.

Что почитать дальше