ИИ внесет данные быстрее и более точно, чем человек: как сервис Google помогает работать с документами

Если корпоративные данные в вашей компании неструктурированны, вы будете долго искать нужный файл на компьютере или документе среди сотен контрактов, счетов-фактур, паспортов и так далее. Не говоря уже о том, что, возможно, когда-нибудь придется весь этот объем данных анализировать. В части компаний, которые работают с персональными данными клиентов, сотрудники до сих пор вручную выписывают информацию из удостоверений личности и других документов. Если переложить заполнение этих форм на клиентов, неудобств становится еще больше.

Все эти проблемы объединяет одно: большинство компаний при работе с документами используют ручные, трудо- и ресурсоемкие процессы. Но люди могут ошибаться, работать так сложнее, а качество обслуживания падает.

Чтобы помочь бизнесу оптимизировать эти процессы, в 2020 году в Google запустили Document AI – искусственный интеллект, который позволяет организациям применять машинное обучение (ML) для решения проблем автоматизации сканирования документов.

Команда Wise IT в партнерском материале рассказывает больше об этом инструменте: для кого он станет полезным, какие у него возможности и как им пользоваться.

Где применяют Document AI

Работа с документами – неотъемлемая повседневность любого бизнеса. Сложно найти сферу, где Document AI не пригодится. Вот несколько примеров применения этой технологии:

• Банковский сектор. Банки могут использовать технологию распознавания документов, чтобы автоматически обрабатывать данные, связанные с клиентскими счетами, кредитными картами, паспортами, в том числе с фотографиями, и так далее. Это уменьшает время, необходимое для обработки документов, а риск ошибиться при этом меньше.
• Медицинские учреждения. Автоматическое сканирование документов поможет обрабатывать медицинские записи, листки направлений к врачам, результаты тестов и другие документы.
• Бизнес-сектор. Компании могут использовать Document AI, чтобы автоматически обрабатывать и сортировать документы, связанные с финансовой отчетностью, контрактами, документами об уплате налогов и так далее.
• Государственные учреждения. Правительственные структуры могут автоматически обрабатывать документы, связанные с обращениями граждан, налоговой отчетностью, лицензированием и тому подобным.
• Гостиничный бизнес. С помощью автоматического сканирования документов можно ускорить регистрацию гостей.
• Пограничные службы. Через контрольно-пропускные пункты проходят большие потоки людей. Если данные по их паспортам вносить автоматически, можно избежать длинных очередей и задержек.

Компания Google уже разработала специализированные модели для использования в определенных отраслях, например, обработка ипотечных кредитов и закупки. Но с помощью инструментов обучение моделей любая организация может настроить Document AI под свои нужды.

У Wise IT уже есть опыт внедрения Document AI среди компаний финансового сектора. В ряде пилотных проектов мы автоматизировали процесс верификации. Также мы настроили процессы распознавания новых документов и текущего архива – в нем было более миллиона документов. Это помогло ускорить поиск и процесс структурирования данных более чем на 50%.

Document AI и ряд других сервисов Google Cloud предоставляют неограниченные возможности для решения любых задач по распознаванию документов, причем можно использовать как уже настроенные модели, так и создавать кастомные клиентские шаблоны.

Из чего состоит Document AI

Основными инструментами Document AI являются Document AI Workbench и Document AI Warehouse – средства обучения моделей искусственного интеллекта, хранения документов и работы с ними.

Как обрабатывать документы из Document AI Workbench

С помощью Document AI Workbench организации могут обрабатывать документы – создавать собственные модели машинного обучения, которые отвечают их бизнес-потребностям, и получать структурированные данные с высоким уровнем точности. С удобным интерфейсом даже бизнес-пользователи, не очень знакомые с машинным обучением, могут «научить» модель.

Более того, если организация хочет передать знания из заранее обученных моделей и улучшить их, скажем, чтобы включить новые поля, теперь можно сделать это с помощью «обучения». Функция повышения квалификации модели особенно полезна для распространенных, но сложных вариантов использования. Так вам не придется начинать все сначала, вы сэкономите время и ресурсы.

К примеру, компания Libeo использовала Document AI, чтобы повысить точность анализатора счетов с 75,6% до 83,9%.

«Благодаря обучению модели результаты Document AI теперь превосходят результаты конкурентов и позволяют Libeo сэкономить около 20% от общих затрат на обучение моделей в долгосрочной перспективе», – рассказал технический директор Libeo Пьер-Антуан Гландье.

На конференции Next’22 Google объявил о новых возможностях проверки удостоверений личности с помощью гибкого API. С его помощью можно обнаруживать измененные или поддельные документы, удостоверяющие личность.

Как хранить документы и управлять ими с Document AI Warehouse

Инструмент Document AI Warehouse позволяет предприятиям искать, хранить, контролировать документы и управлять ими, а также их данными и метаданными, извлеченными с помощью ИИ, на единой платформе. Благодаря простому и интуитивно понятному веб-интерфейсу Document AI Warehouse пользователи могут просматривать, редактировать, массово обновлять и упорядочивать документы из папок.

А инструменты безопасности помогут контролировать, кто имеет доступ на уровне документов и папок, а также назначать пользователям и группам разрешения на просмотр, редактирование, управление, совместное использование и удаление документов. Можно переносить, синхронизировать или объединять документы из других хранилищ, таких как Microsoft SharePoint, Amazon S3 и IBM FileNet. Или, если это невозможно, Google просто индексирует контент и любые удаленные/отмеченные метаданные.

А что «под капотом»?

Кроме передовых разработок в области машинного обучения Google использует технологию оптического распознавания символов, или OCR. Это технология преобразования изображений текста в компьютерный текст, который можно индексировать, искать и редактировать. При работе над ней команды инженеров Google использовали подход, ориентированный на широкий языковой охват. Так они смогли разработать архитектуру, которая потенциально может работать со всеми языками и системами письма.

Google использует скрытые марковские модели (HMM), чтобы понимать входящие данные как целую последовательность, а не пытаться сперва разбить ее на части. Это похоже на то, как современные системы распознавания речи распознают аудиовход.

Эта технология доступна каждому в Google Workspace. Google добавил OCR в Google Drive и адаптировал его для поддержки всех основных языков мира – их более двухсот. Чтобы воспользоваться данной технологией, достаточно открыть на «Google Диске» отсканированный документ как документ Google. В результате откроется файл с оцифрованным текстом изображения.

Вам даже не нужно указывать, на каком языке написан документ, система определит это автоматически. Но вы также можете использовать API «Google Диска» для более явного контроля над определением языка в документах.

У Wise IT как Google Premier Partner есть команда высококвалифицированных специалистов, которые способны выполнить любую задачу, связанную с решениями Google Cloud и Google Workspace. Если вашему бизнесу нужно автоматизировать работу с документами или вы заинтересованы в других инструментах, разработанных калифорнийским техногигантом, обращайтесь за бесплатной консультацией по телефону +380442772323 или по адресу [email protected].