Для продвижения средства Детский Микролакс наш клиент Johnson & Johnson предложил конкурс, который порадовал мам и детей, а также помог в интерактивной форме рассказать о продукте. Мы организовали конкурс от запуска специального сайта до вручения призов. Расскажем о технологическом решении, которое мы разработали специально для конкурса.
Цель конкурса
- Внедрить вау-фишку. Для пользователей это просто и интересно: они загружают на сервер несколько фото, а на выходе получают готовый мультик с лицами своих детей.
- Процесс должен быть максимально автоматизирован, чтобы уменьшить часы работы модератора.
Johnson & Johnson предложили интересный игровой конкурс для мам: пользователь регистрируется на сайте, в личном кабинете прикрепляет до 5 фотографий ребенка и пишет историю появления ласкового прозвища малыша.
После этого с помощью особого алгоритма фотографии обрабатываются, система распознает лица и автоматически генерирует видео, в котором лицо ребенка вставляется в мультфильм. За фотографии и пользовательские истории можно голосовать, в конце каждой недели участники конкурса, набравшие наибольшее количество голосов, получают призы от Johnson & Johnson и Aveeno, а раз в месяц главный приз – 50 000 рублей на ремонт детской комнаты.
Для организации конкурса нужно было создать сам сайт, интегрировать его с соцсетями, сделать личный кабинет пользователя, модерацию работ, и самое главное – механику добавления лица в видео. Здесь требовался алгоритм распознавания лиц, получения списка лиц с общих фото. Для реализации понадобились технология распознавания лиц Google, хромакей и две нейросети.
Для распознавания лиц мы выбрали технологию Google FaceNet, готовую и эффективно обученную нейронную сеть, ориентированную на распознавание натуральных неретушированных лиц. Разработанный алгоритм выбирает минимальную прямоугольную область с лицом на фотографии, вырезает лица и запускает механизм вписывания лиц в готовое видео.
Шаг 1: хромакей
Сам ролик – набор фиксированных кадров. В каждом кадре есть область для лица ребенка, отмеченная в виде хромакея. Это область зеленого цвета, позволяющая гарантированно выделить её из всего кадра. Размер области хромакея произвольный, и она не обязательно перпендикулярна кадру. Например, лицо ребенка должно вписаться под нужным углом на кадрах, где жираф качает головой. Проходящий поезд подразумевает несколько планов.
На едущем поезде 5 областей хромакея, слева направо они последовательно исчезают за кадром. Количество кадров уменьшается, и надо пропорционально уменьшать набор лиц, которые будут уходить справа налево из кадра, и сохранить их последовательность. Если одно лицо убрать из списка, они все дернутся. Кроме того, проходящий поезд подразумевает несколько планов.
Шаг 2: Google FaceNet
Есть простой базовый алгоритм, определяющий лицо на фотографиях. Но Google удалось создать самую точную нейронную сеть, поскольку они натренировали ее именно на живых фото, и сеть способна отличить их от отретушированных фото из фотобанка.
Google FaceNet получает список лиц, вырезает с фото, сохраняет, дальше список обрабатывается нейронной сетью-классификатором, которая определяет, что это именно лицо ребенка, а не взрослого. Далее список лиц попадает на обработку в приложение на базе библиотеки Open CV и вписывается в каждую уникальную область хромакея.
Библиотека Open CV реализует набор методов и метрик для работы с изображениями: сопоставление, наложение одного на другое. С помощью этой библиотеки можно написать аналог Instagram или Photoshop.
Складывается следующий алгоритм:
- Хромакей распознается на кадрах, где он содержится.
- По маске определяется угол наклона овала.
- Формируется список лиц, нужных для каждого кадра. Когда поезд уезжает на экран, все лица должны сохраниться в тех же областях, где и были.
- Лицо на фото подгоняется под область хромакея, автоматически выравнивается и поворачивается при необходимости.
- Лицо подгоняется под размер и благодаря Open CV идеально вписывается с прямоугольного фото в овал хромакея.
Для ролика 25 в секунду обрабатывается около 1000 кадров. Потом программа FFMpeg компилирует их, склеивает ролик и добавляет музыку.
Шаг 3: модерация
В проекте с пользовательским контентом не обойтись без модерации. Но после прохождения алгоритма модератору остается только проверить корректность прозвища и его истории, а также корректность распознанных фотографий.
Алгоритм может распознать, например, нарисованное лицо на футболке. Такие заявки модератор отклоняет и пишет сообщение пользователю, в котором объясняет, какие фотографии не подошли и почему.
Кроме призов все участники получают видеоролик с фотографией, которым можно поделиться в соцсетях, скачать, чтобы показать родственникам старшего поколения или своему ребенку в будущем.
Показатели конкурса
4500 пользователей зарегистрировались на сайте
1600 видео сгенерировано
Сочетание пользовательского контента, крутая реализация с использованием необычных технологий сделали конкурс очень популярным. Конкурс вызвал широкую реакцию в соцсетях и получил множество положительных отзывов: пользователи благодарят за мультик, рассказывают о том, как он понравился детям, а победители постят фотографии с призами.
Johnson & Johnson планирует порадовать призами пользователей на Украине локализует конкурса: сайт и песня будут переведены на украинский язык.
