2D/3D распознавание лиц
и трекинг тела

Интеграция распознавания лиц для поиска и сортировки изображений в фотоархивах

Обзор

В 2023 году к нам обратился разработчик программного обеспечения для профессиональных фотографов с задачей интегрировать технологию распознавания лиц для более эффективного управления библиотеками фотографий.

Их десктопное приложение на базе Windows, написанное на C++, использовалось для ведения и каталогизации фотобиблиотек с возможностью продажи отдельных фотографий и фотосетов онлайн.

При этом по мере роста своих коллекций пользователи сталкивались с одной и той же проблемой: поиск нужных изображений занимал слишком много времени. Так и возникла идея интеграции распознавания лиц для ускорения сортировки и поиска изображений.

Вызовы

  • Тысячи изображений: За несколько дней работы на мероприятии профессиональный фотограф делает тысячи снимков с десятками тысяч лиц. Для быстрого поиска фото конкретного человека в такой библиотеке алгоритмы распознавания должны мгновенно детектировать лица, строить биометрические шаблоны и выполнять операции сравнения.

  • Разнообразие типов изображений: Решение должно гарантированно находить все лица на изображении, будь то портретные фотографии с одним лицом, или групповые фото с десятками небольших лиц.

  • Сохранение баланса скорости и точности распознавания: С учетом большого числа изображений, важно было обеспечить быструю обработку снимков без потери точности распознавания.

Решение

Партнер интегрировал 3DiVi Face SDK в свое приложение на C++, что позволило реализовать следующие функции:

  • Распознавание лиц: Поиск всех фото конкретной персоны в библиотеке / разделе библиотеки, а также проверка нахождения нужной персоны на произвольном наборе снимков.

  • Оценка открытости глаз: Возможность автоматически убирать неудачные фотографии, на которых у человека закрыты глаза.

Реализация

У партнера не возникло концептуальных сложностей с интеграцией, ведь 3DiVi Face SDK штатно поддерживает интеграцию с С++. Более того, сам код SDK реализован на С/С++.

В приложении была реализована простейшая архитектура, соответствующая схеме общего пайплайна распознавания лиц:
пайплайн распознавания лиц
При этом, для достижения нужного результата мы применили несколько хитростей, чтобы с одной стороны распознавать как можно больше лиц на фотографиях, а с другой — делать это максимально быстро:

  • Каскад детекторов: Если первый детектор, назовем его сбалансированный, не находил на изображении ни одного лица, мы запускали другую модель детектора, более подходящую для определенных типов изображений, например, для портретных фото или для фото с большим количеством людей.

  • Использование миниатюр (thumbnails) для ускорения вычислений: Если снимок был помечен как портретный, для ускорения детекции мы использовали его уменьшенное превью вместо оригинала, так как детекторы лиц обычно быстрее обрабатывают меньшие по размеру изображения. Однако это снижало качество биометрического шаблона, поэтому такой подход мы применяли только для фотографий, явно помеченных как портретные.

Результаты

Улучшенный пользовательский опыт
Теперь фотографы-пользователи приложения не тратят время на ручную сортировку снимков с закрытыми глазами, а также могут легко собирать персональные коллекции фотографий для отдельных людей с мероприятий.

Мгновенный поиск изображений
Необходимые изображения теперь можно найти всего за несколько секунд.

Гибкая модель лицензирования
Мы подобрали удобный вариант, при котором партнер смог тиражировать приложение с SDK на борту на неограниченное число пользовательских компьютеров.

Выводы

С 3DiVi Face SDK партнер преобразовал свое десктопное ПО в умный инструмент на базе ИИ, который экономит время и улучшает рабочие процессы профессиональных фотографов. Интеграция SDK и все необходимое тестирование было завершено в рекордные сроки - всего за 1 месяц.

Хотите также ускорить и упростить работу с изображениями в своем ПО?
Обратитесь к нам за бесплатной консультацией!

Read More Success Stories

Omnigo Software
Ecortex
Mobile-Technologies Inc.
Papillon APFIS
Unique Technologies
Papillon ACS
Start your project with 3DiVi