FACIAL
TEMPERATURE
& MASK
DETECTION

Oye una cosilla: por qué no…

La idea es sencilla y directa: vamos a diseñar y construir un dispositivo capaz de medir la temperatura superficial de una persona, y de detectar si lleva colocada una mascarilla. Fácil, ¿verdad? Pero qué hay de nuevo en eso. Lo nuevo es que lo vamos a hacer con dispositivos sencillos y tecnologías Open Source. Lo nuevo es que lo vamos a compartir con la comunidad para que cualquiera pueda utilizarlo y por supuesto mejorarlo a un coste mínimo. Lo nuevo es que lo vamos a hacer con todo el cariño del mundo.

Pero qué necesitamos, por dónde empezamos. La receta es humilde: una Raspberry Pi, una cámara común, una cámara IR, una pantalla táctil y una carcasa de diseño propio que convierta toda esa amalgama tecnológica en una cosa muy coqueta.

¿Y cómo va a funcionar? Habrá que hacer un software que lo orqueste todo, ¿no? Configuración, modelo de aprendizaje, gestión de imágenes, detección, etc. Lo que suele llamarse «la magia», al fin y al cabo. De todo eso hablaremos más adelante.

Pues manos a la obra: se planifica y crea el proyecto en Jira, se reparten las historias de usuario y se empieza a palpar la ilusión. Rastreamos un poco Internet para la compra de nuestros nuevos amigos… y ¡tachán! comienza el juego.

also known as
LA FASE CACHARREO

Tal y como adelantábamos en el primer capítulo de esta aventurilla, la receta es bien sencilla. Para poner en marcha el tema, necesitaremos: una Raspberry Pi, una cámara térmica, una cámara de toda la vida, y una pantalla táctil.

Optamos, como no, por las nuevos modelos de Raspberry Pi 4 Modelo B, un ordenadorcito nada desdeñable: potente y hasta de 4GB de memoria, ojito. En cuanto a las cámaras, nada del otro mundo (¡las cosas no son tan complicadas!), la Raspberry Pi Camera Module v2 para hacer fotitos y capturar vídeo, y la Adafruit MLX90640, un chisme muy coqueto que captura el calor de las cosas. Antes todo eso era de ciencia ficción, hoy en día fijaos a qué se reduce (los dedos no son de James Bond ni de ningún espía secreto, son de Jesús).

Por último, en cuanto a la pantalla táctil, otra elección sencilla: Raspberry Pi Touch Display. Con esto y un bizcocho, tenemos un aparato de lo más completo y funcional, hasta con una pantallita para que el usuario pueda hacer sus cosas.

La conexión de los distintos componentes a la Raspberry es bien simple: cable, cable y cable. No obstante, ¿vamos a dejar todos los elementos «al aire»? La respuesta evidentemente es no. Vamos a diseñar una carcasa propia que se ajuste a las necesidades y empaquete todos los cacharritos de una forma elegante y personal. ¡Y que se pueda fabricar con impresoras 3D!

Esto empieza a hacer cosas

Mientras nuestros compis manitas siguen con la bricomanía (ya veréis los avances sobre el dispositivo tan cuqui que están haciendo), los cerebritos de la operación empiezan a trabajar sobre el software propiamente dicho. En concreto, sobre la magia Deep Learning. Para este truco, necesitamos primero detectar una cara en una imagen y, sobre ella, determinar a través de un modelo de clasificación si lleva o no mascarilla.

Para la detección de caras sobre fotogramas, no hay que reinventar la rueda. Probamos OpenCV con resultados muy buenos. No nos engañemos, la detección de caras no es la panacea de la novedad a estas alturas. Pero ¿y la detección de uso de mascarilla? Eso es harina de otro costal. El objetivo es construir un buen modelo Deep Learning con un buen entrenamiento. Hemos comenzado por trabajar con un banco de 20.000 imágenes, imagen arriba imagen abajo, que creo que Jesús ha clasificado a mano :_____) Las primeras aproximaciones no son nada malas. Aquí lo podéis ver. Pero hay que seguir mejorando, siempre, mucho y bien.

Vale, dejemos a esta gente trabajar sobre ello. Pero, ¿qué hay de la temperatura? Pues también han empezado los jueguecitos. El bichito térmico que utilizamos devuelve una matriz de temperaturas. Lo que tenemos que hacer es quedarnos con la más alta y ya está, qué fácil ¿verdad? Pues no, no es fácil. Pensemos que la detección de uso de mascarilla y de temperatura deben hacerse sobre la misma región de un fotograma, y que tenemos dos cámaras distintas… Reescalado e interpolación, amigos y amigas del riesgo y la aventura.

Ese que sale ahí, aunque parezca increíble, es nuestro compi Pablo. Más allá de que se le da bien esto del cacharreo, parece que sigue con una temperatura corporal adecuada 😀

also known as
LA FASE DUDA

Así fue como llegamos a FaceAPI.js y OpenCV.js. Hagamos unas pruebas de rendimiento, porque sin un buen rendimiento esto no tiene sentido. Y porque somos serios y hacemos mediciones. Pero como todo en la vida, nadie dijo que esto fuese fácil. La verdad, no quedamos del todo convencidos.

Como podemos ver, en RPi hay resultados que no nos vienen muy bien para la solución que pretendemos implementar, seamos justos, y ante esto hay dos opciones: o volver a la arquitecturita original o… mejorar la potencia de la maquinita con algún nuevo cacharro. ¿Cuál elegimos? Pues claro, la segunda opción. Y así fue como se unió a la familia nuestro «Coral Accelerator». Ya os contaremos qué tal va 🙂

STAGE#5 LA FASE BUENO BUENO

TO BE CONTINUED…