Каким образом действует распознавание лиц в телефонах

Для чего мы останавливаемся на разблокировку по лицу

В недавние годы распознавание лиц стало одной из наиболее востребованных возможностей для разблокировки умных телефонов. Еще несколько лет тому назад основная часть юзеров довольствовались пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает данную возможность очень нужной? Прежде всего, это удобно: не нужно помнить замысловатые пароли или искать правильный палец в тьме. Во-вторых, это мгновенно: современные программы распознают лицо практически за мгновения ока. В-третьих, это чувство будущего — словно в фильмах про admiral x зеркало агентов.

Однако за такой кажущейся несложностью прячется полный мир сложных техник и инженерных решений. Позвольте нам понять, как именно работает фейсканирование в актуальных смартфонах, какие существуют технологии, насколько они безопасны и что нас ждёт впереди.

Краткая история эволюции техники

Распознавание лиц как технология имеется уже более пятидесяти годов. Первые эксперименты автоматического анализа облика были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры умели лишь определять силуэты черепа и определять промежутки между зрачками и ртом на монохромных изображениях.

Первые коммерческие системы появились в 1990-х годах, но они были неидеальны: действовали неспешно и часто давали сбои. Только с прогрессом синтетических сетей и таких платформ, как адмирал х, высокопроизводительных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные разработки.

Главные этапы работы системы распознавания

Процесс идентификации лица можно примерно разделить на несколько важных этапов:

Идентификация лица — устройство определяет наличие гуманного лица в изображении.
Определение особенностей — механизм изучает особенности облика: форму зрительных органов, обонятельного органа, губ, положение надбровных дуг.
Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение со стандартом — полученный модель сопоставляется с записанной при учёте биометрической информацией владельца.
Принятие определения — если совпадение достаточно высокое, смартфон деблокируется.

Всякий из этих шагов требует особых методов и оптимизаций для оперативной работы непосредственно на девайсе.

Технические составляющие: что скрыто внутри

Типичная селфи камера.

Простейший легкий вариант распознавания физиономии задействует лишь лицевую камеру мобильного устройства. Подобный способ внедрён во многочисленных недорогих моделях Android-устройств.

Достоинства:

Необходимо потребляет внешних датчиков.
Оперативно функционирует при качественном свете.

Отрицательные стороны:

Просто обмануть изображением или видео.
Неудачно функционирует при низком освещённости или необычных углах обзора.

ИК фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика составляет базу Face ID от Apple.

Как это работает:

Точечный проекционный прибор проецирует на лицо использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 точек).
Инфракрасная камера фиксирует изменение формы данной сетки по поверхности физиономии.
Получается трехмерная карта глубины глубинности, что почти невозможна для подделки обычной снимком или маской.

Выигрыши

Надёжная деятельность даже в полной темноте.
Большая устойчивость к фальсификациям.
Точность определения выше 99%.

Дополнительные сенсоры

В определённых устройствах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют период движения света до цели и обратно; Цветные-датчики дальности; специальные лазерные измерители расстояния для формирования более точной 3D-модели лица.

Эти технологии применяются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический ум на исполнении

Нынешние механизмы опознания лиц неосуществимы при отсутствии использования artificial intelligence и машинного обучения. Именно благодаря таким технологиям, как адмирал х, аппарат способно распознавать владельца даже при изменениях внешности: новая укладка, борода, оптика или грим не становятся барьером для открытия.

Распознавание физиономии

При начальном этапе программа должна оперативно обнаружить ликовое изображение внутри всего кадра камеры. Для данной цели применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже при неполном перекрытии (например, платком или ладонью).

Идентификация ключевых точек

После распознавания лица система, такая как адмирал х, устанавливает положение ключевых точек: уголки глаз, верхушка носа, контуры губ и так далее. Как правило задействуется от 68 до 128 ключевых маркеров на лице.

Это нужно для нормализации картинки: если человек держит мобильник под наклоненным, или повернул головку, программа “выпрямляет” картинку до обычного угла для последующего изучения.

Формирование биометрического шаблона

Далее нейронная сеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Такой формат весьма затруднительно сфальсифицировать: он не сохраняет непосредственно изображение юзера, а лишь исключительные характеристики его облика, что делает его совершенным для таких площадок, как admiral-x.

Сравнение и осуществление выбора

Если юзер намеревается разблокировать смартфон взглядом, система повторяет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно больше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Привыкание к метаморфозам облика

Занимательная характеристика актуальных систем — возможность самообучения. Если ты часто доступаете к смартфон с новой стрижкой или оптикой, программа постепенно освежает эталонный образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Безопасность биометрии данных.

Большинство юзеры боятся сохранять свои био-идентификационные данные на мобильном устройстве из-за вероятности утечки данных или хакерской атаки. Некоторые фирмы, например admiral-x, предлагают методы для улучшения безопасности сведений юзеров.

Локальное сбережение: Основная часть девайсов сохраняет биометрические образцы только внутрь защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют гаджет и закрыты в том числе создателю.
Шифрование: Все информация сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Следует подчеркнуть значимую особенность: в случае, если кто-то сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители внедряют меры безопасности от неосознанного разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц?

На сегодняшний день можно определить выделить 3 ключевых метода к выполнению этой задачи:

Программируемое двухмерное распознавание

Применяется только передняя видеокамера без вспомогательных сенсоров глубины. Этот способ наблюдается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость воплощения; низкая цена; оперативная работа при достаточном освещении.
Минусы: легко одурачить снимком; ненадежная функционирование ночью; низкая безопасность.

Техническое объёмное сканирование

Использует ИК видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: высокая надежность; нельзя подделать фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные методы с интеграцией ИИ

Задействуют комбинацию программных методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock современных версий, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Образцы использования разных методов

iPhone серии X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз представил подобие Face ID в числе Android.
Samsung Galaxy S10/S20 обеспечивают как программное обеспечение двухмерное определение по фото фронтальной камерой, так и сканер ириса глаза.
Huawei Mate20 Pro применяет систему из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы защиты и ошибочные срабатывания

Несмотря на поразительный прогресс техники за последние годы, безупречных систем пока не имеется:

Шанс подвоха: Недорогие телефоны без труда “разблокируются” четкой фотографией хозяина или роликом с экрана другого устройства.
Идентичные близняшки: Даже самые совершенные механизмы могут ошибиться между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Трансформации внешнего вида: Стремительное снижение веса/набор веса, пластические операции или травмы порой требуют повторной регистрации биометрии.
Условия фотографирования: Яркая засветка солнцем либо плотная темнота могут понизить аккуратность идентификации признаков.

Ниже некоторые рекомендаций по безопасному использованию:

Для критически важных операций всегда применяйте дополнительную аутентификацию;
Не запускайте функцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Систематически обновляйте прошивку программное обеспечение телефона для защиты от актуальных атак;
Включайте настройку “Требовать раскрытых глаз” в тех местах, где она имеется.

Где также применяется технологии за исключением мобильных телефонов?

Несмотря на то, что предмет данной работы сосредоточена на именно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

Мониторинг доступа в офисах и жилых домах;
Платёжные терминалы финансовых учреждений (“Face Pay”);
Цифровые идентификационные документы последнего поколения;
Установки видеоконтроля городских сервисов;
Автоматизация отслеживания посещаемости школ/институтов;
Аутентификация пользователей компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Похожие инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как изменяется технология сегодня?

Каждый год возникают современные концепции для усовершенствования уровня деятельности систем идентификации лиц:

Увеличивается детализация сенсорных устройств — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше шанс ошибки;
Улучшаются искусственные интеллекты — современные структуры типа MobileNetV3 обеспечивают возможность оперативно обучаться дополнительным характеристикам облика владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются способы антиспуфинга — теперь телефоны умеют различать настоящие живые лица от статичных фото/масок по микроскопическим микродвижениям.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут авто блокировать смартфон, если пользователь отошёл далеко.
Появляются смешанные механизмы — к примеру комбинирующие аудио идентификацию + облик + дактилоскопический след.

Итак, какие тренды в особенности популярны на сегодняшний день:

1) Уменьшение деталей

Производители пытаются минимизировать размер отверстия (“чёлки”) под сенсоры на дисплее за счёт внедрения компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения конфиденциальности всё больше расчётов осуществляется на месте без отправки данных во сторонний облачный сервис.

3) Стандартизация регламентов

Гугл энергично продвигает норму BiometricPrompt API, с целью чтобы такие системы, например как admiral x, и любые Android-приложения могли взаимодействовать с всеми формами биометрии унифицированно.

Что подобрать на сегодня?

Когда вам всем важна наивысшая сохранность информации, подбирайте топовые устройства с интегрированным ИК-проектором либо ToF-датчиком глубины.

iPhone каждого новейших поколений
Huawei Partner/P Series ряда
Mix Professional
Vivo X модели
Oppo Найти Х серий.

Если средства ограничен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как второстепенную опцию комфорта.

Каким способом увеличить комфорт работы возможности?

Есть пара лайфхаков для людей, кто уже пользуется функцию распознавания лица:

Часто меняйте свою фотографию-шаблон, если значительно изменяется облик.
Не пренебрегайте очищать линзу фронтальной камеры – загрязнения могут снизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат когда вы берёте его в руки.
При регистрационного процесса постарайтесь удерживать лицо неподвижно напротив видеоустройства без значительного наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвернулись от дисплея.

Перспективы прогресса технологии

В скоро наступающие периоды можно предполагать развития полностью дистанционных способов идентификации персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + голос + походка + жесты рук!

Также возможно появление современных методов защиты конфиденциальности – к примеру, динамическое модификация диджитал шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных инноваций нашего периода! Она делает общение со мобильным устройством комфортнее чем до этого, и такие аппы, как admiral-x, могут в разы повысить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как работает эта методика изнутри, – сумеете более осмысленно подбирать свой очередной устройство!