Реализация эмодзи в дополненной реальности на смартфонах Samsung Galaxy S9 и S9+

Главная
Новости
Реализация эмодзи в дополненной реальности на смартфонах Samsung Galaxy S9 и S9+

13 мая 2018

Благодаря возможности делиться информацией и историями с друзьями и знакомыми онлайн мультимедиа-форматы в последние годы стали доминирующим инструментом общения на смартфонах. В качестве примера можно привести потрясающие фотографии, необычные GIF-файлы и креативные видеоролики, созданные благодаря впечатляющей камере новых смартфонов Samsung Galaxy S9 и S9+. Разнообразие их функций и эффектность результата просто не передать словами.

Но и это ещё не всё. Galaxy S9 и S9+ выводит общение на новый уровень благодаря расширенному набору эмодзи, персонализированных или реализованных с помощью технологий искусственного интеллекта. А это значит, что вы никогда не захотите снова отправлять просто текстовые сообщения. AR Emoji разработаны, чтобы передать ваши уникальные выражения лица и обеспечить больше удовольствия от использования эмодзи. Но как появилась эта функция на основе дополненной реальности? Рассказываем в деталях.

Задача

Обычные эмодзи добавляют разговору эмоциональную окраску и является интересным способом общения. Но специалисты Samsung установили, что во многих ситуациях эмодзи попросту сокращают разговор. Они лишены уникальности – улыбка, которую отправляет один человек, ничем не отличается от эмодзи, присланных другими. Поэтому разработчики начали искать способы обеспечить передачу в эмодзи характерных черт конкретной личности.

Цель

Разработчики считали, что в идеальном мире вы сможете телепортироваться и делиться тем, что вы чувствуете, с другими людьми в любом месте и в любое время. Поэтому они хотели придумать способ воспроизвести этот опыт, причём с помощью самых простых инструментов.

Специалисты понимали, что многие люди используют приложения для обмена сообщениями, чтобы общаться даже с людьми, которые находятся рядом с ними, и в значительной степени полагаться на эмодзи, а не на текст. Они практически сразу же стали акцентировать внимание на том, как создать образ пользователя и передать в сообщении несколько выражений лица и эмоций.

Идея

Чтобы реализовать задуманное, разработчики Samsung решили использовать технологии камеры Galaxy S9 и S9+. Они понимали, что если пользователи смогут сделать селфи и превратить его в персональный аватар и эмодзи, это добавит что-то уникальное в процесс общения и обеспечит дополнительное удовольствие.

Кроме того, специалисты хотели найти способ отслеживания выражений лица людей в реальном времени, чтобы эмодзи, которые похожи на их собственные выражения лица, в буквальном смысле были у владельцев смартфонов на кончиках пальцев. Также они сочли важным предоставление пользователям лучших инструментов для самовыражения и того, как они хотят выглядеть.

Решение

Первым шагом к реализации задуманного было использование дополненной реальности для создания аватара. Благодаря технологии распознавания лиц камера Galaxy S9 и S9+ формирует первоначальный 3D-рендер с использованием алгоритма машинного обучения на основе полученных данных. Затем камера анализирует 2D-фото пользователя и извлекает информацию из своей базы данных для алгоритма глубокого обучения, чтобы придать черты лица владельца смартфона новейшим 3D AR Emoji. Чтобы воплотить уникальные выражения людей в жизнь, инженеры Samsung решили включить в процесс технологию отслеживания лиц, которая распознаёт более 100 выражений лица и позволяет сохранять отдельные эмоции.

В дополнение к этому технология Blend Shape помогает достичь еще большего разнообразия доступных выражений лица. Основываясь на 75 базовых выражениях лица, Blend Shape позволяет передать максимально широкий набор эмоций пользователей, смешивая несколько выражений лица вместе. Эта же технология обеспечила доступность эмоций у персонажей Disney, которые также можно включать в сообщения.

Совершенствуя технологию, инженеры еженедельно проводили более сотни различных тестов. Это позволило им убедиться, что новая функция собирает достаточное количество данных для реализации пользовательских эмодзи независимо от предпочтений владельцев смартфонов.

Результат

Конечным продуктом стал набор AR Emoji. В числе его функций – реалистичные или анимационные варианты для создания собственного персонального аватара My Emoji. Аватар можно преобразовать набор из 18 различных выражений лица, который со временем будет расширен до 54 вариантов. Это универсальные визуальные представления человеческих эмоций, таких как радость, гнев, печаль и удовольствие.

Инженеры Samsung хотели предложить эмодзи, которые могли бы передать одни и те же эмоции пользователями по всему миру. Специалисты провели немало исследований, чтобы понять, как определенные эмоции классифицируются и выражаются на фундаментальном уровне. Помимо множества эмоций, AR Emoji также обладает большой универсальностью, позволяя создавать 3D-аватары, GIF-изображения, видео или PNG-файлы.

Благодаря обновлениям команда разработчиков постоянно находит способы помочь вам быть собой. Свежая версия эмодзи в дополненной реальности уже доступна для скачивания. В течение года команда Samsung выпустит обновления, которые будут включать больше причесок и других опций.