Presentation Attack Detection on face recognition systems in mobile devices

Abstract

El acceso a nuestros datos personales desde el teléfono móvil se ha convertido en una acción casi diaria. Para obtener acceso de manera segura a nuestras redes sociales, datos bancarios, etc. es habitual el uso de contraseñas, patrones de desbloqueo, así como sistemas de reconocimiento biométrico. Uno de los sistemas que destacan por la familiarización de los usuarios con la cámara de los dispositivos, son los basados en reconocimiento facial. Sin embargo, dados los recursos multimedia disponibles en internet (e.g fotografías en facebook, videos en youtube, etc), es sencillo obtener material audiovisual del usuario a suplantar, que permita la creación de instrumentos para perpetrar los ataques de presentacion (PAI, Presentation Attack Instrument).

Para combatir estos ataques, existen numerosos sistemas de detección de ataques (PAD, Presentation Attack Detection). Estos sistemas, se pueden clasificar en dos bloques: los basados en colaboración del usuario, y los métodos automáticos. Los métodos colaborativos implican estrategias de respuesta a un desafío (e.g asentir con la cabeza, ladear el rostro, sonreír, etc…). Por otra parte, los método automáticos van desde los basados en secuencias de vídeo (flujo óptico, detección de movimientos involuntarios, etc..) a los basados en el análisis de textura de las imágenes.

El reto de estos sistemas está en poder funcionar en entornos reales, donde las condiciones son mucho menos controladas y donde los ataques no están acotados como en las bases de datos públicas disponibles para la comunidad investigadora. Los principales problemas que presentan los métodos actuales residen en la dificultad de generalización y la consecuente pérdida de prestaciones ante accesos con unas condiciones diferentes a las de entrenamiento. En la actualidad no se dispone de ningún dataset para evaluación justa de los métodos estado del arte, basados en la colaboración del usuario. Por el contrario, para los métodos automáticos, existen numerosas bases de datos capturadas en el entorno móvil, utilizando diferentes dispositivos, iluminaciones, sujeción del dispositivo móvil ( sujetados por el usuarios, en un atril), así como diferentes calidades de materiales y pantallas para generar los ataques. Muchas de los métodos publicados comparan diferentes aproximaciones y métodos, sin tener estos parámetros en cuenta, por lo que la comparación deja de ser justa, pudiendo determinar que un método funciona mejor que otro, cuando el agravio comparativo es evidente.

Las limitaciones actuales de los PAD, tanto a nivel algorítmico, como a nivel de análisis de prestaciones, suponen una motivación para nuestra tesis. Los objetivos planteados en el proyecto, van desde la implementación de sistemas PAD que permitan la generalización en entornos reales, hasta el estudio de la fusión con diferentes fuentes de información, cómo pueden ser diferentes modalidades biométricas, que unidos a las capacidades actuales de los dispositivos pueden proporcionar un factor de riesgo asociado a la operación protegida por el sistema de reconocimiento facial.

Para tal fin se consideran como recurso metodológico la medición de las prestaciones a partir de la creación de un framework de evaluación justa de sistemas PAD. Para ello se tomarán como referencia las unidades de media presentes en el estándar ISO/IEC 30107-3, así como las recomendaciones de la ISO 29197 (Evaluation methodology for environmental influence in biometric system performance).

O acceso a os nosos datos persoais dende o telefono móbil estase a converter en unha acción case diaria.. Para obter acceso de maneira segura as nosas redes sociais, datos bancarios, etc, é habitual o uso de contrasinais, patróns de desbloqueo, así como sistemas de recoñecemento biométrico. Un dos sistemas que destacan pola familiarización dos usuarios coa cámara do dispositivo, son os baseados no recoñecemento facial. Con todo, e dado os recursos multimedia dispoñibles no internet (e.g fotografías en facebook, vídeos en youtube, etc.), e sinxelo obter material audiovisual do usuario a suplantar, permitindo a creación de instrumentos para perpetrar os ataques de presentación (PAI, Presentation Attack Instrument).

Para combater estes ataques, hoxe en día existen numerosos sistemas de detección de ataques por presentación (PAD, Presentation Attack Detection). Estes sistemas poden clasificarse en dous bloques: os baseados en colaboración co usuario, e os métodos automáticos. Os métodos colaborativos implica estratexias de resposta a un desafío (e.g asentir coa cabeza, ladear o rostro, sorrir, etc.). Por outra parte, os métodos automáticos van dende os baseados en secuencias de vídeo (fluxo óptico, detección de movementos involuntarios, etc.) a os baseados en análises de textura das imaxes.

O reto de estes sistemas, esta en poder funcionar en entornos reais, onde as condicións son moito menos controladas que nas bases de datos públicas dispoñibles para a comunidade investigadora. Os principais problemas que presentan os métodos actuais residen la dificultade de xeneralización e a consecuente perdida de prestacións ante acesos con condicións diferentes as de adestramento. Na actualidade non hai ningún dataset dispoñible que permita a avaliación razoable dos métodos do estado do arte, baseados na colaboración co usuario. Polo contrario, para os métodos automáticos, existen numerosas bases de datos capturadas no entorno móbil, utilizando diferentes dispositivos, iluminacións, suxeición do dispositivo móbil (suxeitos polos usuarios, por un atril), así como diferentes calidades dos material e pantallas para xerar os ataques. Moitos de os métodos publicados comparan diferentes aproximacións e métodos, sen ter estes parámetros en conta, polo que a comparación deixa de ser xusta, pudendo determinar que un método funciona mellor que outro, cando o agravio comparativo é evidente.

As limitacións actuais dos PAD, tanto a nivel algorítmico, como a nivel de anélese de prestacións, supoñen unha motivación para a nosa tese. Os obxectivos plantados no proxecto, van dende a implementación de sistemas PAD que permitan a xeneralización en entronos reais, ata o estudio de a fusión con diferentes fontes de información, como poden ser diferentes modalidades biométricas, que unidos as capacidades actuais dos dispositivos poden proporcionar un factor de risco asociado a operación protexida polo recoñecemento facial.

Para tal fin considéranse como recurso metodolóxico a medición das prestacións a partires da creación de un framework de avaliación xusto dos sistemas PAD. Para isto, tomaranse como referencia as unidades de medida presentes no estándar ISO/IEC 30107-3, así como as recomendacións da ISO 29197 (Evaluation methodology for environmental influence in biometric system performance).

Access to personal data using our smartphones has become a part of normal everyday life. Is quite common to use passwords, unlock patterns, as well as biometric recognition systems for accessing securely to our social networks, bank apps, etc. Facial recognition is one of the most widespread biometric features on nowadays applications. However, given a huge multimedia resources available the internet (e.g Facebook pictures, youtube videos, etc.), is easy to obtain audiovisual material in order to manufacture presentation attack instruments (PAI) with low-cost equipment.

Nowadays there are a large number of presentation attack detection (PAD) systems. This anti-spoofing systems can be classified as in two blocks: ones based on user collaboration, and automatic methods. Collaborative methods implies challenge-response strategies (eye blinking, smiling, looking in different directions. On the other hand, some of the automatic methods are based on exploiting motion features of the scene. Some others are based on texture features.

The challenge of these systems is to work on real scenarios, where the condition are not controlled and the attack is not enclosed as in publicly available databases. One of the main problems of current systems lies in the difficulty of generalizing, losing performance when the system faces images with different conditions than trained ones. For collaborative based methods do not exist an available datasets for comparing systems. Conversely, for automatic methods, there are a large number of databases which videos captured with smartphones and tablets. However, current state-of-art system could generalize correctly when those are trained on one database and evaluated on another. The disparity between database scenarios and conditions (type of capture sensor, illumination, devices are held or not, user movement, different materials and screens for creating the attack). Most of published methods compare different approaches and methods, without taking into account these parameters. so that comparison is not fair.

Current PAD limitations, both in algorithmic terms and on performance analysis, are a motivation for our thesis. The goals of the project range from the implementation of PAD systems that allow the generalization in real environments, to the study of fusion based system (alternative biometric modalities, location, etc.) , which uses several sources of information, in order to give a risk factor in regards to access control.

Finally, it will be considered as a methodological resource, the measurement of performance based on the creation of a fair evaluation framework for PAD systems. For this purpose, measurement recommendations on ISO / IEC 30107-3 standard, as well as ISO 29197 (Evaluation methodology for environmental influence in biometric system performance) will be taken as reference.