Прощай, архивная пыль: ИИ учится читать старинные фолианты

Максим Наговицын07.09.20251789

Новая технология бросает вызов традиционной системе научного труда, основанной на рутинной работе студентов-расшифровщиков.

Прощай, архивная пыль: ИИ учится читать старинные фолианты
Источник: нейросеть

За последние двадцать лет цифровые технологии кардинально преобразили академические исследования. Ученые получили возможность за секунды находить нужные материалы по ключевым словам в оцифрованных текстах, и им больше не обязательно ехать в другой город, чтобы неделями сидеть в архиве с единственным экземпляром редкой книги. Но у этой доступности есть и обратная сторона — вопрос труда, который за ней стоит. В The Sixteenth Century Journal вышла статья, в которой предлагаются способы получать качественные тексты старинных книг, не прибегая к сомнительным методам привлечения рабочей силы.

Авторы статьи, Серена Стрэкер и Кимберли Лифтон, начинают с небольшого экскурса в историю программ для распознавания текста. Они объясняют, что привычное нам OCR (оптическое распознавание символов) отлично справляется с книгами конца XIX–XX веков, но бессильно перед причудами ранней печати: неровными шрифтами, лигатурами и выцветшими чернилами.

Для таких случаев ученые обратились к другой технологии — HTR (распознавание рукописного текста). Лидер в этой области — платформа Transkribus. Она позволяет использовать уже готовые публичные модели распознавания или, что гораздо интереснее, обучать собственные, под конкретную задачу. Стрэкер и Лифтон провели эксперимент: взяли несколько страниц из четырех сборников XVI века и протестировали на них разные модели HTR. Они подробно описывают, как за пять шагов можно создать свою, высокоточную модель, идеально подогнанную под особенности нужного источника.

Процесс выглядит так:

  • Исследователь берет общедоступную модель Transkribus.
  • С ее помощью генерирует первичные данные.
  • Эти данные становятся основой для обучения новой, узкоспециализированной и куда более точной модели.

Авторы делают смелый вывод: теперь нет ни необходимости, ни морального оправдания тому, чтобы перекладывать эту рутинную работу на других — например, на аспирантов или низкооплачиваемых работников из развивающихся стран.

Точная автоматическая расшифровка текстов раннего Нового времени — уже не мечта, а реальность, — заключают Стрэкер и Лифтон. — Теперь вопрос в том, какой баланс между человеческим трудом и машинным обучением мы выберем. Этот выбор определит будущее исследований. Только настаивая на этичных практиках, ученые смогут избежать усугубления неравенства внутри академической системы и не будут сохранять многовековое неравенство, доставшееся нам от колониальной эпохи.

Реальная польза этой работы выходит далеко за рамки простого удобства, поскольку она:

  • Демократизирует знание: Молодые ученые из региональных университетов, независимые исследователи, энтузиасты-историки получают мощный и, что важно, относительно доступный инструмент для работы с первоисточниками, который раньше был привилегией крупных научных центров с большими бюджетами.
  • Повышает качество исследований: Высокая точность распознавания снижает количество ошибок, которые затем кочуют из работы в работу, искажая смысл. Ученые могут тратить время не на многократную сверку текста, а на его анализ и интерпретацию.
  • Создает этичный прецедент: Исследование переводит дискуссию о «цифровом труде» из плоскости морализаторства в практическую плоскость, предлагая конкретное технологическое решение для отказа от эксплуататорских практик. Это серьезный вклад в этику науки.

Основное слабое место исследования — его технологический оптимизм. Авторы предлагает решение для уже мотивированного и технически подкованного исследователя. Однако процесс обучения собственной модели в Transkribus требует:

  1. Временных затрат: Необходимо разобраться в интерфейсе, подготовить данные, провести обучение.
  2. Вычислительных ресурсов: Обучение сложных моделей может требовать мощностей, которые не у всех есть.
  3. Навыков: Понимание, как работают модели машинного обучения, необходимо для достижения хорошего результата.

Для многих гуманитариев, особенно старшего поколения, эти барьеры могут оказаться непреодолимыми. Они по-прежнему будут предпочитать делегировать эту работу, просто теперь не аспиранту, а IT-специалисту. Таким образом, проблема не исчезает, а трансформируется.

Ранее ученые придумали, как в 6 раз улучшить работу языковых моделей.

Подписаться: Телеграм | Дзен | Вконтакте


Net&IT

Поиск на сайте

Лента новостей

Пресс-релизы