Виртуальная примерочная для косметических продуктов

Нашими CV-специалистами был разработан проект виртуальной примерочной косметических продуктов. Ядро системы состоит из модели для распознавания лица и разделения его на сегменты, а также алгоритма перекрашивания объектов с сохранением их текстуры.
Цель разработки основной модели: выделить на фотографии человека границы лица и разбить его на регионы (глаза, губы, область румян, нос и т.д.).

На первом шаге (обнаружение) используется multipurpose convolutional network модель, реализованная с помощью модуля Caffe. Эта нейронная сеть позволяет обнаруживать лица и 5 его базовых ключевых точек. Следующим шагом, с помощью двух Caffe-моделей, мы находим первоначальные оценки для границ лица и его регионов. На последнем этапе происходит уточнение регионов с учетом их специфик. В качестве исходного ориентира используются 11 сегментов. Уточняющие алгоритмы основаны на использовании анализа цветов разных участков региона, а также геометрической форме и положении частей лица.

Для осуществления окраски объектов на фото нами был реализован Python-модуль, позволяющий работать с выделенной частью изображения. За основу был взят принцип DRM (Dicrhomatic reflection model), позволяющий определить основной цвет тела объекта, основной цвет освещения, а также отношение между ними в каждой точке матрицы объекта. На основе этих данных реализовано максимально естественное изменение цвета объектов.