Оцифровка архивных документов на «ЭларСкан»: инженерные темы и архитектура для ВКР

Поддомен: Data Engineering · Роль эксперта: Data/ML-инженер

Семантический анализ кейса

• Основной запрос: система оцифровки архивных документов для ВКР
• LSI: планетарный сканер, OCR-постобработка, Tesseract, ABBYY FineReader, METS / Dublin Core, PostgreSQL, MinIO, TIFF/JPEG 2000, контроль качества изображений (DPI, зерно, геометрия), ETL-пайплайн, роль-ориентированный доступ, REST API, S3-совместимое хранилище, метрики пропускной способности, ISO/IEC 25010
• Ключевые сущности: ГОСТ 34.601-90, ГОСТ 19.301-79, ISO/IEC 25010, UML/C4, метрики поддомена (страниц в час, % распознанных символов CER, стоимость хранения 1 ТБ/год)
• Частые вопросы студентов: какой стек выбрать для конвейера, где брать реальные сканы, как посчитать эффективность оцифровки, как описать схему БД в главе 2, что требовать от научрука по нормоконтролю

Введение

25 марта 2026 года «Ленинградский областной государственный архив в г. Выборге» получил планетарный сканер «ЭларСкан А1-600КС». Формально — новость про закупку железа. По факту — это готовый кейс для выпускной работы по Data Engineering: поток исторических документов, требующий конвейера «захват → контроль качества → распознавание → индексация → долговременное хранение». Плюс огромный пласт задач, которых нет в типовых «интернет-магазинах» и «блогах».

Что это даёт вам как выпускнику? Во-первых, реальный прикладной сценарий с измеримым результатом: сколько страниц в час, сколько ТБ на архив, какая полнота OCR. Во-вторых, повод уйти от абстрактной «разработки информационной системы» к защищаемой инженерной постановке. Именно такие постановки хорошо принимают комиссии — и именно на них проще считать эффективность.

FAQ: что чаще всего спрашивают про такие темы

Можно ли взять архивный кейс, если под рукой нет самого архива?

Да. Возьмите 200–500 публично доступных сканов (Открытые данные, Президентская библиотека, Wikimedia Commons, архивы периодики) — этого достаточно для пилота. Между «есть планшетный сканер» и «нужен конвейер» нет противоречия: ваша задача описать систему, а не воспроизвести парк «ЭларСкан».

Какой стек адекватно защищать в 2026 году?

Python + FastAPI для оркестрации, Celery/RQ или Airflow для очередей, PostgreSQL для метаданных, MinIO как S3-совместимое хранилище образов, Tesseract или PaddleOCR для распознавания. Для хранения метаданных в стандарте METS хватит XML-сериализации. Не тащите Kubernetes — на защите это выглядит несерьёзно, если у вас 30 страниц в час.

Как считать эффективность?

Через метрики конвейера и через сравнение «до/после». До: ручная обработка 15 страниц в час, ошибка оператора. После: 300–400 страниц в час на сканере А1 с автоматической постобработкой. Итого 20× по пропускной способности и падение CER до 2–4% после словарной коррекции. Не «ускорение в 100 раз» — комиссия такое любит ловить.

Как оформить архитектуру по ГОСТ?

ГОСТ 34.601-90 задаёт стадии и этапы, ГОСТ 19.301-79 — требования к программной документации. На практике: в главе 2 даёте схему по C4 (Context + Container), в приложении — ER-диаграмму БД и диаграмму последовательности для загрузки документа. Формулировки требований — по ISO/IEC 25010 (функциональная полнота, производительность, переносимость).

Темы ВКР, которые реально защищаются (формат карточек)

• Тема 1. Конвейер оцифровки архивных документов с контролем качества изображений.
  Актуальность: закупка «ЭларСкан А1-600КС» задаёт реальный поток сканов; без автоматического QC брак всплывает уже на этапе OCR.
  Цель: разработать конвейер с автоматической проверкой разрешения, геометрии и контраста.
  Задачи: обзор методов QC, проектирование модуля валидации, интеграция с OCR, оценка полноты и точности.
  Структура: Гл. 1 — анализ форматов и стандартов (TIFF, JPEG 2000, METS); Гл. 2 — архитектура модуля и БД метаданных; Гл. 3 — тесты на корпусе 500 сканов, метрики.
• Тема 2. Роль-ориентированная система доступа к отсканированным фондам.
  Актуальность: оцифровка без разграничения доступа противоречит требованиям архивного хранения.
  Цель: спроектировать RBAC-модель и публичный поисковый интерфейс.
  Задачи: моделирование ролей (исследователь, архивист, администратор), реализация аутентификации, полнотекстовый поиск, нагрузочный отчёт.
  Структура: Гл. 1 — модели разграничения доступа; Гл. 2 — сервисы и API; Гл. 3 — тестирование по OWASP ASVS.
• Тема 3. Автоматическое распознавание дореволюционной орфографии в архивных документах.
  Актуальность: массовая оцифровка ставит задачу OCR за пределами «стандартного» русского языка.
  Цель: адаптировать OCR-пайплайн к историческому корпусу и оценить CER/WER.
  Задачи: подготовка датасета, дообучение/постобработка словарём, оценка качества, бизнес-эффект.
  Структура: Гл. 1 — обзор OCR-подходов; Гл. 2 — пайплайн и постпроцессинг; Гл. 3 — эксперимент на 1000 страницах, сравнение с baseline.

Как встроить кейс в главы: пошаговый разбор

Глава 1 — Аналитическая. Что выжимать из новости

Не пересказывайте пресс-релиз — разбирайте постановку. Опишите тип носителя (исторические документы, разный формат листов), технические ограничения (планетарный сканер, разрешение 600 dpi, коррекция кривизны), требования по долговременному хранению. Постройте диаграмму контекста (C4 Level 1): акторы — архивист, исследователь, внешние системы хранения. Именно здесь уместно сослаться на ISO/IEC 25010 при формулировке нефункциональных требований: производительность, совместимость, защищённость, сопровождаемость.

Глава 2 — Проектирование. Конвейер и схемы

Здесь 80% ценности. Соберите цепочку: захват → препроцессинг (deskew, denoise) → сегментация → OCR → постобработка → индексация → хранение. Каждый этап — со своим входом/выходом и метрикой. Не забудьте про идемпотентность: повторный запуск обработки не должен плодить дубликаты.

Пример конфигурации ETL-этапа (псевдокод, упрощённо):

# pipeline.yaml — описание стадий конвейера
pipeline:
  - name: ingest
    source: s3://scan-incoming/
    validate:
      min_dpi: 400
      formats: [tiff, jp2]
  - name: preprocess
    ops: [deskew, despeckle, autocrop]
  - name: ocr
    engine: tesseract
    lang: rus+rus_old
    psm: 6
  - name: postprocess
    dictionary: dict/historical_ru.txt
    min_confidence: 0.72
  - name: store
    metadata: postgres://archive/meta
    objects:  s3://archive-store/

Схема БД минимально: documents, pages, ocr_regions, users, access_roles. Диаграмму классов или ER — обязательно в главу 2 и в приложение.

Глава 3 — Эффективность. Какие метрики считать

Делите на три группы. Производительность: страниц/час, среднее время обработки страницы, утилизация CPU. Качество: CER, WER, доля страниц, прошедших QC без ручной правки. Стоимость: руб./страница, руб./ТБ/год хранения с учётом репликации. Заведите дашборд (Grafana + OpenTelemetry) и покажите на защите один скриншот — этого достаточно, чтобы разговор перешёл с «и так сойдёт» на конкретику.

Чему вы научитесь на этой теме

1. Проектировать ETL-конвейеры с идемпотентными стадиями и понятной точкой отказа.
2. Формализовать нефункциональные требования через ISO/IEC 25010, а не по принципу «чтобы работало».
3. Считать метрики качества распознавания (CER/WER) и защищать их на цифрах.
4. Оформлять главы по ГОСТ 34 с UML/C4-схемами и приложениями кода.
5. Оценивать совокупную стоимость владения (TCO) системы обработки документов.

Источник: Исторические документы Выборгского архива оцифруют на планетарном сканере «ЭларСкан» (опубликовано 2026-03-25)