Каким образом функционирует распознавание лицевых образов в смартфонах

Почему мы останавливаемся на разлочивание по лицу

В недавние годы распознавание лиц стало одной из самых популярных опций для деблокировки умных телефонов. Еще пару годов тому назад основная часть пользователей довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь обуславливает данную возможность настолько популярной? Для начала, это практично: не нужно помнить трудные пароли или искать правильный палец в тьме. Также, это оперативно: современные алгоритмы идентифицируют лицо буквально за доли секунды. В-третьем пункте, это впечатление будущего — будто в кинофильмах про вулкан казино разведчиков.

Однако за такой кажущейся легкостью скрывается весь универсум комплексных техник и инженерных решений. Давайте разобраться, как именно работает распознавание лиц в современных мобильных телефонах, какие существуют методы, насколько они защищены и что нас ожидает в будущем.

Сжатая повествование эволюции техники

Идентификация лиц как техника присутствует уже более пятидесяти годов. Начальные попытки машинного изучения облика были предприняты еще в 1960-х годах в научных учреждениях США. Тогда компьютеры способны были лишь выделять силуэты лица и вычислять промежутки между глазами и устами на монохромных изображениях.

Начальные торговые установки возникли в девяностых годах, но они были несовершенны: функционировали медленно и часто давали сбои. Только с развитием искусственных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять свои разработки.

Ключевые этапы функционирования механизма идентификации

Процесс определения лица можно примерно разделить на несколько основных этапов:

Идентификация лиц — аппарат выявляет присутствие человеческого образа в изображении.
Определение характеристик — механизм изучает особенности физиономии: конфигурацию зрительных органов, обонятельного органа, уст, позицию бровей.
Построение модели — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с стандартом — сформированный образец сверяется со записанной при внесении биометрической сведениями владельца.
Принятие определения — если совпадение достаточно высокое, смартфон открывается.

Всякий из указанных шагов требует специальных процедур и усовершенствований для быстрой работы прямо на устройстве.

Аппаратные элементы: что находится внутри

Типичная передняя камера.

Наиболее легкий способ идентификации физиономии использует только переднюю видеокамеру смартфона. Данный способ внедрён во различных доступных версиях Android-устройств.

Плюсы:

Необходимо потребляет дополнительных сенсоров.
Оперативно действует при качественном освещённости.

Недостатки:

Несложно одурачить фотографией или роликом.
Неправильно функционирует при плохом свете или нестандартных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор отображает на лицо юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 точек).
Инфракрасная устройство фиксирует деформацию данной решетки по поверхности физиономии.
Получается 3D глубинная карта глубины, что почти неподвластна для имитации типичной фотографией или маской.

Плюсы

Надёжная функционирование даже в полной неосвещённости.
Большая сопротивляемость к фальсификациям.
Точность распознавания свыше 99%.

Дополнительные сенсоры

В определённых аппаратах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения света до объекта и обратно; Трехцветные-датчики глубины; специальные оптические измерители расстояния для создания более аккуратной 3D-модели лица.

Эти технологии применяются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический интеллект на действии

Современные механизмы опознания лиц немыслимы при отсутствии эксплуатации искусственного интеллекта и машинного обучения. Именно вследствие таким технологиям, как вулкан россии, аппарат в состоянии распознавать юзера даже при трансформациях облика: новая стрижка, борода, очки или грим не становятся помехой для разблокировки.

Обнаружение лица

При первом стадии система обязана быстро распознать ликовое изображение в пределах всего снимка с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN способен обнаруживать лицо даже в случае частичном закрытии (например, шарфом или рукой).

Идентификация ключевых моментов

После распознавания лица механизм, такая как вулкан россии, устанавливает местоположение главных точек: кончики глаз, верхушка носа, края губ и так далее. Обычно применяется от 68 до 128 основных точек на лицевой поверхности.

Это действие требуется для нормализации визуала: если юзер держит смартфон под наклоном, или наклонил головку, программа исправляет картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора образца

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Этот шаблон крайне сложно имитировать: он не сохраняет непосредственно фото юзера, а лишь уникальные черты его внешности, что делает его идеальным для таких платформ, как vulkan russia.

Сопоставление и вынесение выбора

Если юзер намеревается разлочить телефон глазами, программа осуществляет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Адаптация к метаморфозам внешности

Интересная особенность актуальных систем — возможность самостоятельного обучения. Если вы часто открываете смартфон с свежей укладкой или оптикой, программа постепенно модернизирует эталонный модель вашего облика для увеличения точности действия без снижения уровня безопасности.

Безопасность биометрических информации.

Многие юзеры опасаются сохранять свои био-идентификационные данные на смартфоне из-за риска потери данных или хакерской атаки. Иные организации, такие как vulkan russia, предлагают варианты для увеличения безопасности данных юзеров.

Локальное сбережение: Основная часть аппаратов хранит биометричные модели исключительно внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и недоступны в том числе производителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних девелоперов не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Необходимо отметить значимую деталь: в случае, если кто-либо сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители реализуют меры безопасности от автоматического разблокирования — например, заставляют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют категории определения лиц на изображениях?

В настоящее время можно различить 3 основных подхода к реализации этой функции:

Программное 2D распознавание

Используется только лицевая видеокамера без дополнительных датчиков глубины. Подобный подход наблюдается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная цена; оперативная деятельность при хорошем освещении.
Минусы: просто одурачить снимком; ненадежная функционирование ночью; слабая охрана.

Техническое объёмное сканирование

Использует инфракрасную камеру + проекционный модуль точек + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая достоверность; невозможно подделать изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock современных версий, комбинируют фронталку c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Иллюстрации применения различных методов

iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 имеют как программное обеспечение двухмерное определение по фото фронталкой, так и датчик глазного ириса.
Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-датчик

Трудности охраны и неверные тревоги

Несмотря на замечательный успехи технологий за прошедшие годы, совершенных механизмов пока не наблюдается:

Возможность подвоха: Недорогие телефоны без труда открываются высококачественной фотографией хозяина или же видеозаписью с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные устройства могут ошибиться между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
Метаморфозы облика: Резкое утрата веса/набор веса, хирургические вмешательства или повреждения иногда необходимы для перерегистрации биометрии.
Условия фотографирования: Яркая подсветка солнечным светом или же интенсивная затенение могут снизить верность распознавания признаков.

Вот несколько подсказок для безопасному эксплуатации:

Для критически важных операций всегда используйте двухфакторную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Постоянно апгрейдите ПО смартфона для обеспечения безопасности от актуальных атак;
Включайте опцию “Требовать открытых глаз” в тех местах, где она имеется.

В каких местах ещё используется технологии за исключением мобильных телефонов?

Хотя предмет данной публикации посвящена в частности смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:

Мониторинг доступа в офисах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Виртуальные идентификационные документы современного типа;
Системы видеоконтроля городских подразделений;
Автоматизация учёта присутствия школ/институтов;
Аутентификация участников компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Схожие проекты осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как трансформируется техпроцесс в нынешнее время?

Каждый годочек появляются новые идеи для повышения стандарта работы систем лицевого распознавания:

Увеличивается разрешение сенсоров — чем больше информации фиксируется камерой/датчиками глубины, тем меньше риск неточности;
Развиваются нейронные сети — передовые структуры модели MobileNetV3 позволяют скоростно обучаться свежим характеристикам внешности владельца прямо на устройстве без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь смартфоны могут распознавать реальные движущиеся облики от фиксированных фотографий/масок по микроскопическим микродвижениям.
Интеграция со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к мобильный телефон, если владелец удалился на значительное расстояние.
Проявляются смешанные устройства — например комбинирующие речевую аутентификацию + физиономию + отпечаток пальца.

Здесь, какие тенденции очень популярны на сегодняшний день:

1) Миниатюризация деталей

Производители пытаются уменьшить величину прорези (“чёлки”) для сенсоры на экране за счёт внедрения миниатюрных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработывание прямо на девайсе

Для повышения личной безопасности всё больше обработки данных осуществляется внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Упорядочивание норм

Гугл активно пропагандирует норму BiometricPrompt API, с целью чтобы такие платформы, как вулкан россия, и каждые Android-приложения могли работать с всеми формами биометрии унифицированно.

Какое выбрать на сегодня?

Когда вам всем необходима наивысшая безопасность информации, остановите выбор на передовые модели с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех существующих актуальных версий
Huawei Mate/Series P серии
Mix Expert
Vivo X модели
Оппо Найти Икс серий.

Если средства невелик – лучше выбирать обычным средствам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как дополнительную возможность комфорта.

Каким способом повысить практичность работы функции?

Есть пара лайфхаков для пользователей, кто уже пользуется функцию распознавания лица:

Часто меняйте свою фотографию-шаблон, если сильно трансформируется внешность.
Не упускайте из виду протирать объектив передней камеры – пятна могут уменьшить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает камеру когда вы поднимаете его.
Во время регистрационного процесса старайтесь удерживать лицо неподвижно напротив видеоустройства исключая значительного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от экрана.

Будущее эволюции техники

В скоро наступающие времена можно предполагать возникновения полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + походка + жесты рук!

Также предполагается возникновение свежих способов защиты конфиденциальности – к примеру, переменное модификация электронного паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень захватывающих инноваций нашего времени! Она обеспечивает взаимодействие со телефоном удобнее чем до этого, и такие аппы, как vulkan russia, могут в разы оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как функционирует эта технология в деталях, – будете в состоянии более осмысленно выбирать свой очередной устройство!