Каким образом работает распознавание лиц в смартфонах

Зачем мы выбираем разблокирование по лицу

В последние годы распознавание физиономий превратилось в одной из самых распространённых опций для открытия смартфонов. Лишь несколько годков ранее большинство юзеров обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект обуславливает данную возможность очень нужной? Во-первых, это практично: не нужно помнить трудные пароли или находить верный палец в мраке. Во-вторых, это оперативно: современные системы распознают лицо буквально за доли секунды. В-третью очередь, это чувство футуристичности — как будто в кинолентах про адмирал х агентов.

Тем не менее за данной кажущейся простотой прячется целый вселенная сложных техник и инженерных решений. Попробуем разобраться, как точно функционирует фейсканирование в новейших гаджетах, какие применяются методы, насколько они надёжны и что нас ожидает в будущем.

Короткая история прогресса техники

Распознавание лиц как техника присутствует уже более пятидесяти лет. Первые попытки автоматического анализа лица были сделаны еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины умели лишь определять силуэты головы и вычислять дистанции между очами и ртом на черно-белых снимках.

Первые коммерческие платформы стали доступны в девяностых годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом искусственных сетей и таких платформ, как адмирал х, мощных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои разработки.

Ключевые этапы работы устройства определения

Процесс определения лица можно примерно разделить на несколько важных этапов:

1. Обнаружение лица — устройство определяет существование людского лица в изображении.
2. Выделение особенностей — система анализирует особенности облика: очертания глаз, носа, уст, позицию бровей.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со стандартом — полученный образец сравнивается со зафиксированной при внесении биометрической данными владельца.
5. Принятие решения — если сходство достаточно значительное, смартфон открывается.

Каждый из указанных шагов запрашивает индивидуальных алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Железные элементы: что находится внутри

Стандартная фронтальная камера.

Самый простой способ распознавания облика использует только лицевую камеру мобильного устройства. Подобный подход осуществлён во многочисленных доступных моделях Android-девайсов.

Плюсы:

• Не потребляет внешних сенсоров.
• Оперативно работает при хорошем освещении.

Недостатки:

• Просто ввести в заблуждение снимком или видеозаписью.
• Плохо функционирует при плохом освещённости или нестандартных ракурсах.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Каким способом это действует:

• Точечный проекционный прибор показывает на облик использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 пятен).
• ИК камера регистрирует изменение формы этой сетки по поверхности лица.
• Формируется трехмерная глубинная карта глубины, которая почти неосуществима для имитации типичной фотографией или маской.

Достоинства

• Надёжная деятельность даже в полной тьме.
• Сильная защита к фальсификациям.
• Точность идентификации более 99%.

Добавочные сенсоры

В отдельных аппаратах используются также вспомогательные датчики: ToF (Time-of-Flight), которые определяют период движения луча до предмета и обратно; Цветные-датчики глубины; специальные лазерные дальномеры для построения более аккуратной 3D-модели лица.

Эти технологии применяются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум на действии

Текущие системы опознания лиц неосуществимы при отсутствии применения ИИ и machine learning. Именно из-за таким инновациям, как адмирал х, аппарат в состоянии идентифицировать юзера даже при изменениях внешнего вида: новая стрижка, щетина, очки или грим не становятся барьером для деблокировки.

Распознавание лица

В первом стадии система должна мгновенно распознать образ лица среди целого изображения с камеры. Для данной цели используются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже с неполном перекрытии (например, платком или ладонью).

Идентификация важных точек

После распознавания лица устройство, такая как адмирал х, определяет расположение ключевых точек: края глаз, кончик носа, границы губ и так далее. Как правило используется от 68 до 128 основных меток на лицевой поверхности.

Это действие нужно для стабилизации картинки: если человек удерживает смартфон под наклоном, или повернул головку, программа « выпрямляет » изображение до обычного угла для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит уплотненное математическое представление (« эмбеддинг ») облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Данный шаблон весьма сложно сфальсифицировать: он не удерживает непосредственно изображение юзера, а лишь особенные черты его облика, что делает его идеальным для таких платформ, как admiral-x.

Сравнительный анализ и осуществление заключения

В случае, когда человек намеревается разлочить смартфон взором, система воспроизводит все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к трансформациям внешнего вида

Интересная черта актуальных системы — способность самостоятельного обучения. Если вы часто открываете телефон с обновленной укладкой или оптикой, система постепенно обновляет базовый модель вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрических информации.

Многие пользователи боятся хранить свои био-идентификационные данные на мобильном устройстве из-за вероятности потери данных или взлома устройства. Некоторые фирмы, вроде admiral-x, предлагают решения для увеличения сохранности информации пользователей.

• Локальное сбережение: Основная часть устройств хранит биометрические шаблоны исключительно внутрь защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют гаджет и закрыты в том числе изготовителю.

• Шифрование: Все информация хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения сторонних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Следует упомянуть важную деталь: в случае, если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании внедряют систему защиты от автоматического разблокирования — в частности, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории распознавания лиц на изображениях?

На сегодняшний день можно различить три основных способа к осуществлению этой операции:

Софтверное плоское распознавание

Используется только передняя видеокамера без экстра сенсоров глубины. Такой способ используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость воплощения; минимальная затраты; скоростная функционирование при качественном свете.
Минусы: несложно одурачить снимком; нестабильная работа ночью; низкая охрана.

Техническое трёхмерное сканирование

Применяет ИК видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая достоверность; нельзя подделать изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (« чёлка »)

Комбинированные методы с ИИ-дополнением

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (« anti-spoofing »). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c ИК датчиком движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами посторонних устройств.

Образцы применения разных методов

• iPhone модели X/11/12/13/14 используют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в ряду Android.
• Samsung Galaxy S10/S20 поддерживают как программное обеспечение двухмерное распознавание по изображению фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-датчик

Проблемы защиты и ошибочные срабатывания

Несмотря на поразительный развитие инноваций за недавние лет, идеальных систем пока не наблюдается:

1. Шанс обмана: Бюджетные мобильники легко « разблокируются » четкой изображением владельца или видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные системы могут перепутать между монозиготными близнецами либо родственниками с очень аналогичной внешностью.
3. Метаморфозы внешнего вида: Резкое утрата веса/увеличение массы тела, косметические процедуры или повреждения иногда требуют обновления данных биометрии.
4. Условия фотографирования: Интенсивная подсветка солнечным светом или же интенсивная затенение могут уменьшить точность распознавания признаков.

Здесь несколько подсказок для надёжному использованию:

• Для критически важных операций всегда используйте двухэтапную аутентификацию;
• Не активируйте функцию « Разблокировка по лицу » на дешёвых моделях без ИК-сенсоров;
• Регулярно обновляйте прошивку прошивку телефона для предотвращения угроз от новых видов атак;
• Включайте функцию « Требовать раскрытых глаз » везде, где она имеется.

Где дополнительно используется технологии кроме мобильных телефонов?

Хотя основная мысль данной работы посвящена конкретно смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

• Управление входа в рабочих помещениях и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (« Face Pay »);
• Электронные удостоверения личности последнего типа;
• Установки видеомониторинга городских служб;
• Автоматизирование учёта посещаемости образовательных учреждений/вузов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по фейсу (« Face Pay ») — хватит пройти через турникет без пластика или мобильника! Аналогичные инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технический процесс в нынешнее время?

Каждый год возникают современные мысли для улучшения качества деятельности систем идентификации лиц:

1. Увеличивается детализация сенсорных устройств — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше риск ошибки;
2. Улучшаются нейросети — современные конструкции вида MobileNetV3 позволяют скоростно обучаться дополнительным особенностям облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства могут распознавать подлинные движущиеся лица от фиксированных фото/масок по мельчайшим движениям кожи.
4. Синхронизация со интеллектуальными приборами — умные часы могут самостоятельно блокировать мобильный телефон, если пользователь отошёл далеко.
5. Проявляются гибридные устройства — в частности комбинирующие голосовую опознание + облик + отпечаток пальца.

Вот, какие тренды очень популярны на сегодняшний день:

1) Уменьшение элементов

Изготовители пытаются уменьшить размер выреза (« чёлки ») для датчики на экране за счёт внедрения маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для повышения личной безопасности всё более расчётов выполняется внутри устройства без передачи информации во внешний облачный сервис.

3) Упорядочивание норм

Google активно продвигает эталон BiometricPrompt API, для того чтобы подобные площадки, например как admiral x, и все Android-аппы были совместимы с различными типами биометрии единообразно.

Какое подобрать сегодня?

Если тебе необходима предельная защита данных, подбирайте топовые устройства с вмонтированным ИК-проектором или же ToF-датчиком глубины.

• iPhone всех новейших поколений
• Huawei Partner/P Series серии
• Xiaomi Pro
• Vivo X серии
• Oppo Найти Х линейки.

Если бюджет ограничен – лучше отдавать предпочтение классическим методам безопасности (PIN-код/сканер отпечатка), а функцию « разблокировка по лицу », такую как в admiral x, использовать только как второстепенную возможность удобства.

Каким образом увеличить удобство функционирования возможности?

Есть несколько лайфхаков для тех, кто уже пользуется разблокировку по лицу:

1. Регулярно меняйте свою фотографию-шаблон, если сильно трансформируется облик.
2. Не упускайте из виду очищать объектив передней камеры – разводы могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам запускает фотоаппарат как только вы поднимаете его.
4. В процессе записи постарайтесь сохранять голову неподвижно напротив камеры исключая сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отворачиваетесь от экрана.

Перспективы эволюции технологии

В скоро наступающие годы можно ожидать развития полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + шаги + движения рук!

Также вероятно возникновение современных методов охраны личной информации – скажем, переменное корректировка диджитал паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих технологий нашего эпохи! Она делает интеракцию со мобильным устройством проще чем когда-либо прежде, и такие программы, как admiral-x, могут значительно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как устроена эта методика внутри, – сумеете осознаннее определять свой следующий девайс!