Назад к списку

Виртуальная примерочная для косметических продуктов

Подробнее

Система состоит из моделей распознавания лица и сегментации, а также алгоритма, позволяющего изменять цвет объекта без потери их исходной текстуры.

Нашими CV-специалистами был разработан проект виртуальной примерочной косметических продуктов. Ядро системы состоит из модели для распознавания лица и разделения его на сегменты, а также алгоритма перекрашивания объектов с сохранением их текстуры.
Цель разработки основной модели: выделить на фотографии человека границы лица и разбить его на регионы (глаза, губы, область румян, нос и т.д.).

Система производит обработку в несколько этапов:

  • Обнаружение границ лица, поиск позиций ключевых точек;
  • Расчет 3D модели лица;
  • Первоначальная оценка регионов (сегментация);
  • Уточнение масок сегментов;
На первом шаге (обнаружение) используется multipurpose convolutional network модель, реализованная с помощью модуля Caffe. Эта нейронная сеть позволяет обнаруживать лица и 5 его базовых ключевых точек. Следующим шагом, с помощью двух Caffe-моделей, мы находим первоначальные оценки для границ лица и его регионов. На последнем этапе происходит уточнение регионов с учетом их специфик. В качестве исходного ориентира используются 11 сегментов. Уточняющие алгоритмы основаны на использовании анализа цветов разных участков региона, а также геометрической форме и положении частей лица.
Новый проект (12).png

Для осуществления окраски объектов на фото нами был реализован Python-модуль, позволяющий работать с выделенной частью изображения. За основу был взят принцип DRM (Dicrhomatic reflection model), позволяющий определить основной цвет тела объекта, основной цвет освещения, а также отношение между ними в каждой точке матрицы объекта. На основе этих данных реализовано максимально естественное изменение цвета объектов.
Virtual try-on tool for makeup products.png
Сервисы
Год
2019