1 Sistema de Re-Identificación de personas desconocidas a través de características biométricas: facial y soft-biométricas: silueta corporal, textura y color de la vestimenta, con el uso de modelos no holísticos, utilizando técnicas computacionales avanzadas. Castillo Nicolalde, Anshela Melania y Illapa Suntasig, José Santiago Departamento de Ciencias de la Computación Carrera de Ingeniería en Software Trabajo de unidad de integración curricular, previo a la obtención del título de Ingeniero en Software Dr. Carrillo Medina, José Luis, Ph.D Carátula 29 de febrero del 2024 Latacunga 2 Reporte de Verificación de Contenido 3 Certificación 4 Responsabilidad de Autoría 5 Autorización de Publicación 6 Dedicatoria Dedico este logro a mis sobrinas Isabella, Charly, Giovana y Navila, valientes semillas de esperanza recordándoles que el mundo es su lienzo y sus sueños son las pinceladas con las que pintaran su destino. En un universo de posibilidades ilimitadas, que nunca duden de su capacidad para ser lo que desean ser y alcanzar las estrellas que anhelan. Agradezco de manera especial a mis valiosos hermanos Yovani y Diego, cuya presencia ha sido un pilar fundamental en este viaje académico, brindándome valiosos consejos y enseñanzas que han sido la base de mi crecimiento. Un agradecimiento lleno de gratitud a mi inquebrantable mejor amiga Carolina y a mi inseparable mejor amigo Jean Pierre. Su apoyo incondicional y aliento constante han sido un faro en los momentos más desafiantes. Sus risas compartidas y palabra alentadoras han sido el combustible que impulso mi éxito. Y a mí misma, incasable luchadora, dedico unas palabras de aliento. Que este logro sea un testimonio de tu coraje y determinación. Nunca te rindas, afronta los desafíos con valentía y persevera con una determinación inalterable. Sigue forjando a la mujer poderosa y profesional que aspiras a ser. ¡Que este logro sea solo el comienzo de tus éxitos! Anshela Melania Castillo Nicolalde Ecuador, febrero 2024 7 Dedicatoria Dedico este trabajo a mi amada madre Elsa Guadalupe Suntasig, quien fue mi fuente inagotable de amor, apoyo y sabiduría. Su inquebrantable dedicación y sacrificio ha sido mi inspiración constante a lo largo de esta travesía universitaria. Mamá, gracias por ser mi faro en los momentos más oscuros, y por celebrar conmigo cada triunfo. Este logro es tanto mío como tuyo. Te amo con todo mi corazón. José Santiago Illapa Suntasig Ecuador, febrero 2024 8 Agradecimiento A mis padres Gladiz Nicolalde y Lauro Castillo, en este día de logro, deseo que sientan en cada palabra mi profundo agradecimiento. Comparto este momento con ustedes, no solo como un símbolo de mis esfuerzos, sino como una celebración de su inmenso amor y sacrificio. Vuestras lecciones de vida han sido mi luz, guiándome a través de los desafíos. El cariño que me han brindado es el combustible que ha impulsado cada paso hacia este logro monumental. En este instante, quiero expresar mi eterna gratitud por ser mi fuerza Este título no solo representa mis logros académicos, sino que también es un tributo al legado que han construido. Cada página de esta tesis está impregnada con la admiración eterna que siento por ustedes. Estoy agradecida con Dios por tener los mejores padres del mundo, y compartir este logro con ustedes es un honor que llevare eternamente en mi corazón Anshela Melania Castillo Nicolalde Ecuador, febrero 2024 9 Agradecimiento Agradezco de corazón a mis padres y familiares, cuyo amor y apoyo incondicional han sido mi pilar durante todo este proceso académico. A mis maestros, por compartir su conocimiento y guiarme en el camino del aprendizaje. A mis tutores, quienes con paciencia y dedicación han contribuido significativamente a mi desarrollo académico y profesional. Un agradecimiento especial a mi tutor de tesis, el Ing. José Luis Carrillo, cuya orientación experta y compromiso fueron fundamentales para el éxito de este trabajo. Su sabiduría, paciencia y apoyo constante fueron una guía indispensable en este proceso de investigación. A mis amigos y compañeros, gracias por compartir risas, desafíos y momentos inolvidables a lo largo de esta travesía. Su compañía hizo que este viaje fuera aún más significativo. A todos, gracias por ser parte integral de mi camino académico. José Santiago Illapa Suntasig Ecuador, febrero 2024 10 ÍNDICE DE CONTENIDO Carátula .............................................................................................................................................1 Reporte de Verificación de Contenido.................................................................................................2 Certificación ......................................................................................................................................3 Responsabilidad de Autoría ................................................................................................................4 Autorización de Publicación ...............................................................................................................5 Dedicatoria ........................................................................................................................................6 Dedicatoria ........................................................................................................................................7 Agradecimiento .................................................................................................................................8 Agradecimiento .................................................................................................................................9 Índice de Contenido ......................................................................................................................... 10 Índice de Figuras .............................................................................................................................. 15 Índice de Tablas ............................................................................................................................... 18 Resumen ......................................................................................................................................... 20 Abstract ........................................................................................................................................... 21 Capítulo I: Introducción .................................................................................................................... 22 Propósito y contextualización del tema................................................................................. 22 Justificación del interés de la investigación ........................................................................... 22 Objetivo Generales y Específicos ........................................................................................... 24 Objetivo General .......................................................................................................... 24 Objetivo Especifico ........................................................................................................ 24 Metodología ........................................................................................................................ 24 Capítulo II: Marco Teórico ................................................................................................................ 27 11 Re-Identificación de Personas ............................................................................................... 27 Características Biométricas y Soft-biométricas ...................................................................... 28 Características Biométricas ........................................................................................... 28 Características Soft-biométricas .................................................................................... 29 Modelos Holísticos y No Holísticos ........................................................................................ 30 Modelos Holísticos ........................................................................................................ 30 Modelos no Holísticos ................................................................................................... 30 Visión por Computadora (VC) ............................................................................................... 31 Local Binary Patterns Histograms (LBPH) ............................................................................... 32 Histogram of Oriented Gradients (HoG) ................................................................................ 33 HSV, Matiz, Saturación y Valor.............................................................................................. 35 Dense DAYSI Feature description .......................................................................................... 36 Proceso de Fusión de Características y Modelos .................................................................... 37 Machine Learning ................................................................................................................. 37 K Nearest Neighbors (KNN) ................................................................................................... 37 Support Vector Machine (SVM) ............................................................................................ 38 Framework You Only Look Once (YOLO) ............................................................................... 39 YOLO POSE........................................................................................................................... 41 Métricas de evaluación ........................................................................................................ 42 Metodología de trabajo SCRUM ........................................................................................... 44 Capítulo III: Implementación del sistema de Re-Identificación de personas desconocidas .................. 47 Contexto de desarrollo ......................................................................................................... 47 Entorno de desarrollo ................................................................................................... 48 12 Hardware utilizado ....................................................................................................... 48 Software y herramientas utilizadas ............................................................................... 49 Metodología de desarrollo ............................................................................................ 50 Roles y Colaboración ..................................................................................................... 50 Sprint 1: Dataset y algoritmo para identificación biométrica (rostro) ..................................... 56 Historia de usuario 01: Construcción del dataset de rostros ............................................ 57 Detalle de la Historia de Usuario. .................................................................................. 57 Sprint Backlog .............................................................................................................. 58 Historia de usuario 02: Desarrollo del modelo y/o algoritmo para la identificación de personas mediante el rostro .......................................................................................... 59 Detalle Historia de Usuario. .......................................................................................... 59 Sprint Backlog .............................................................................................................. 60 Resultados Sprint 01. .................................................................................................... 62 Resultados de las tareas de la Historia de Usuario 01..................................................... 63 Resultados de las tareas de la Historia de Usuario 02..................................................... 65 Sprint 2: Dataset y algoritmo para identificación soft-biométrica (silueta, textura y color) ..... 68 Historia de usuario 03: Construcción de dataset para almacenar características soft- biométricas en tiempo real. ........................................................................................... 68 Detalle Historia de Usuario ........................................................................................... 69 Sprint Backlog .............................................................................................................. 70 Historia de usuario 04: Generación de descriptores de silueta corporal, textura y color de la vestimenta y fusión de estos ......................................................................... 71 Detalle Historia de Usuario. .......................................................................................... 71 13 Sprint Backlog .............................................................................................................. 72 Burndown chart ............................................................................................................ 74 Resultados Sprint 02. .................................................................................................... 75 Resultados de las tareas de la Historia de usuario 03 ..................................................... 75 Resultados de las tareas de la Historia de usuario 04 ..................................................... 79 Sprint 03: Detección y Re-Identificación de personas conocidas y desconocidas mediante las características soft-biométricas textura y color de la vestimenta y silueta corporal y validación del sistema. .................................................................................................... 83 Historia de usuario 05: Generación de modelos de Re-Identificación de personas mediante características soft-biométricas ..................................................................................... 84 Detalle de la Historia de Usuario ................................................................................... 84 Sprint Backlog .............................................................................................................. 85 Historia de usuario 06: Validación, ajuste del sistema e implementación ........................ 86 Detalle Historia de Usuario. .......................................................................................... 86 Sprint Backlog .............................................................................................................. 87 Burndown Chart ........................................................................................................... 88 Resultados del Sprint 03 ................................................................................................ 89 Resultados de las tareas de la historia de usuario 05 ..................................................... 89 Resultados de las tareas de la historia de usuario 06 ..................................................... 94 Identificación de Errores ............................................................................................... 99 Capítulo IV: Validación del Sistema de Re-Identificación de personas deconocidas .......................... 101 Marco de Evaluación .......................................................................................................... 101 Aplicación de las Métricas de Evaluación ............................................................................ 102 14 Pruebas de Algoritmos de Identificación Facial.................................................................... 102 Capítulo V: Conclusiones y Recomendaciones ................................................................................. 114 Conclusiones ...................................................................................................................... 114 Recomendaciones .............................................................................................................. 116 Bibliografía .................................................................................................................................... 117 Anexos .......................................................................................................................................... 123 15 ÍNDICE DE FIGURAS Figura 1 Imágenes de distintos rostros dentro de un dataset de personas ............................................... 29 Figura 2 Representación del Modelos No Holístico ................................................................................... 31 Figura 3 Representación LBPH .................................................................................................................. 33 Figura 4 Descriptor de características HOG .............................................................................................. 34 Figura 5 Imagen convertida en HSV .......................................................................................................... 35 Figura 6 Generación de histograma mediante DAYSI................................................................................ 36 Figura 7 Representación gráfica del clasificador KNN ............................................................................... 38 Figura 8 Representación gráfica de la clasificación mediante SVM .......................................................... 39 Figura 9 Algoritmo y flujo de trabajo de YOLO .......................................................................................... 40 Figura 10 Representación de los puntos de interés o keypoints usando YOLO Pose ................................. 42 Figura 11 Ciclo de vida de Scrum............................................................................................................... 46 Figura 12 Pasillos de la Universidad de las Fuerzas Armadas ESPE sede Latacunga ................................. 48 Figura 13 Burndown chart Sprint 01 ......................................................................................................... 62 Figura 14 Videos para la creación del dataset de rostros.......................................................................... 63 Figura 15 Estructura del dataset de características faciales ..................................................................... 64 Figura 16 Dataset de Imágenes de rostros de una persona ...................................................................... 64 Figura 17 Pre procesamiento facial ........................................................................................................... 65 Figura 18 Procesamiento de rostro ........................................................................................................... 66 16 Figura 19 Identificación facial de una persona conocida .......................................................................... 66 Figura 20 Identificación facial de una persona desconocida ..................................................................... 67 Figura 21 Burndown chart Sprint 02 ......................................................................................................... 74 Figura 22 Visualización la extracción de la imagen del torso mediante YOLO Pose .................................. 75 Figura 23 Dataset de imágenes de torsos de una persona........................................................................ 76 Figura 24 Extracción de la imagen de la silueta mediante YOLO Segmentation ....................................... 77 Figura 25 Dataset de imágenes de la silueta de una persona ................................................................... 78 Figura 26 Estructura del dataset de características soft-biométricas ....................................................... 78 Figura 27 Procesamiento de la imagen del torso para obtener descriptor de color .................................. 79 Figura 28 Obtención de Histogramas de color .......................................................................................... 80 Figura 29 Procesamiento de la imagen del torso para obtener descriptor de textura .............................. 81 Figura 30 Obtención de Histogramas de textura ...................................................................................... 81 Figura 31 Procesamiento de la imagen de la silueta con Daysi y HOG ...................................................... 82 Figura 32 Histogramas de Daysi y Hog ..................................................................................................... 83 Figura 33 Burndown chart Sprint 03 ......................................................................................................... 89 Figura 34 Reconocimiento soft-biométrico de persona conocida en la Cámara 2 ..................................... 90 Figura 35 Intento de Identificación de una persona desconocida en la Cámara 1 .................................... 91 Figura 36 Reconocimiento soft-biométrico de persona desconocida en la Cámara 2 ............................... 92 Figura 37 Casos de Etiquetado para personas conocidas y desconocidas ................................................. 93 17 Figura 38 Pruebas del sistema con personas caminando por las tres rutas. ............................................. 95 Figura 39 Pruebas del sistema con enfoque de la cámara 2 por las tres rutas. ......................................... 96 Figura 40 Reconocimiento de personas de espaldas ................................................................................. 99 Figura 41 Resultados de predicción errónea de la clase “Carlos” ............................................................ 100 Figura 42 Pruebas del sistema con varias personas en un entorno controlado Cámara 1 ...................... 103 Figura 43 Prueba con la configuración 1 Cámara 1 ................................................................................ 104 Figura 44 Prueba con la configuración 2 Cámara 1 ................................................................................ 106 Figura 45 Pruebas del sistema con varias personas en un entorno controlado Cámara 2 ...................... 108 Figura 46 Prueba con la configuración 1 Cámara 2 ................................................................................ 109 Figura 47 Prueba con la configuración 2 Cámara 2 ................................................................................ 111 18 ÍNDICE DE TABLAS Tabla 1 Métricas de evaluación utilizadas ................................................................................................ 43 Tabla 2 Valores de la matriz de confusión ................................................................................................ 44 Tabla 3 Hardware utilizado ....................................................................................................................... 49 Tabla 4 Herramientas de desarrollo .......................................................................................................... 49 Tabla 5 Equipo Scrum ............................................................................................................................... 51 Tabla 6 Historias de Usuario ..................................................................................................................... 52 Tabla 7 Product Backlog del Proyecto ....................................................................................................... 55 Tabla 8 Historia de usuario H.U.01 ........................................................................................................... 57 Tabla 9 Sprint Backlog 01.......................................................................................................................... 58 Tabla 10 Historia de usuario H.U.02 ......................................................................................................... 60 Tabla 11 Sprint Backlog 02........................................................................................................................ 61 Tabla 12 Resultados del método de reconocimiento de personas por el rostro de la clase Anshela ......... 68 Tabla 13 Historia de usuario H.U.03 ......................................................................................................... 69 Tabla 14 Sprint Backlog 03........................................................................................................................ 70 Tabla 15 Historia de usuario H.U.04 ......................................................................................................... 71 Tabla 16 Sprint Backlog 04........................................................................................................................ 73 Tabla 17 Historia de usuario H.U.05 ......................................................................................................... 84 Tabla 18 Sprint Backlog 05........................................................................................................................ 85 19 Tabla 19 Historia de usuario H.U.06 ......................................................................................................... 86 Tabla 20 Sprint Backlog 06........................................................................................................................ 88 Tabla 21 Resultados reconocimiento soft-biométrico en personas desconocidas ..................................... 93 Tabla 22 Resultados de las interacciones por las tres rutas ...................................................................... 97 Tabla 23 Tabla de resultados de las interacciones por las tres rutas con una persona conocida .............. 97 Tabla 24 Tabla de resultados de las interacciones por las tres rutas con una persona desconocida......... 98 Tabla 25 Resultados de la exactitud del modelo de los 3 ejemplos mediante identificación facial ......... 103 Tabla 26 Porcentaje de confianza del modelo de identificación facial con la configuración 1 ................ 105 Tabla 27 Porcentaje de confianza del modelo de identificación facial con la configuración 2 ................ 106 Tabla 28 Resultados de la exactitud del modelo combinando características soft-biométricas .............. 108 Tabla 29 Porcentaje de confianza del modelo de Re-Identificación con la configuración 1 .................... 110 Tabla 30 Porcentaje de confianza del modelo de Re-Identificación con la configuración 2 .................... 112 20 Resumen El presente proyecto desarrolla e implementa un sistema de Re-Identificación de personas desconocidas a través de características biométricas(rostro) y soft biométricas (silueta corporal, textura y color de la vestimenta), con la ayuda de técnicas, modelos y/o algoritmos de Visión por Computador y Machine Learning, esto para el análisis de videos, a fin de realizar el proceso de Identificación biométrica y posteriormente la Re-Identificación soft biométrica. Se utiliza la metodología ágil Scrum para el desarrollo del sistema, obteniendo un trabajo organizado en tiempos de entrega establecidos. La implementación y pruebas del sistema se realiza en un ambiente controlado, ubicado en los pasillos del Departamento de las Fuerzas Armadas Espe sede Latacunga en el campus Gral. Guillermo Rodríguez Lara de la parroquia Belisario Quevedo. Los videos utilizados para la implementación y pruebas de este proyecto son capturados mediante dos cámaras estratégicamente ubicadas. La primera cámara está orientada hacia el norte, mientras que la segunda está posicionada con dirección al este. Ese enfoque dual permite obtener una cobertura completa de la escena y facilita el análisis integral de los datos recopilados. Esta disposición permite visualizar la parte frontal de la persona con la cámara 1, realizando la Identificación del rostro, y la segunda cámara permite la Re-Identificación con la parte posterior de la persona. Palabras clave: Re-Identificación de personas desconocidas, características biométricas, características soft-biométricas, técnicas de visión por computador, machine learning. 21 Abstract This project develops and implements a Re-Identification system of unknown people through biometric characteristics (face) and soft biometrics (body silhouette, texture and color of clothing), with the help of techniques, models and/or algorithms. Computer Vision and Machine Learning, this for video analysis, in order to carry out the biometric Identification process and subsequently the soft biometric Re- Identification. The agile Scrum methodology is used for the development of the system, obtaining organized work in established delivery times. The implementation and testing of the system are carried out in a controlled environment, located in the hallways of the Department of the Armed Forces Espe Latacunga headquarters on the Gral. Guillermo Rodríguez Lara campus of the Belisario Quevedo parish. The videos used for the implementation and testing of this project are captured by two strategically located cameras. The first camera is facing north, while the second is positioned facing east. This dual approach allows for complete coverage of the scene and facilitates comprehensive analysis of the collected data. This arrangement allows viewing the front part of the person with camera 1, performing Face Identification, and the second camera allows Re-Identification with the back part of the person. Keywords: Re-Identification of unknown people, biometric characteristics, soft-biometric characteristics, computer vision techniques, machine learning. 22 Capítulo I Introducción Propósito y contextualización del tema La videovigilancia se ha consolidado como un sistema integral de gestión de datos visuales, desempeñando un papel esencial en la seguridad contemporánea. Esto se logra mediante la captura, procesamientos y análisis de información visual, lo que permite la identificación precisa de individuos. También, los avances de los sistemas automáticos de videovigilancia han suscitado un interés creciente y se ha convertido en un tema de investigación crucial en el ámbito de la seguridad. En los últimos años, este método de seguridad se ha centrado especialmente en la detección e identificación de personas, haciendo uso de características como el rostro, un aspecto que ha adquirido especial relevancia en esta área (Moctezuma-Ochoa, 2016). Estas características especiales de identificación de personas han evolucionado, su utilidad fomentando la capacidad de identificar personas con precisión a través de sistemas de videovigilancia donde demuestran un impacto significativo en la prevención y el control de delito así, como la respuesta ante situación de seguridad (Moctezuma-Ochoa, 2016). En este sentido, la seguridad ha avanzado al punto en que puede llevar a una vigilancia más proactiva. Esto se traduce en la posibilidad de monitorear y características las actividades y el comportamiento de las personas en un entorno durante un periodo prolongado de tiempo (Sánchez, 2019). Justificación del interés de la investigación En el desarrollo de esta investigación, los sistemas de Re-Identificación de personas han vuelto imperativos para garantizar la seguridad de personas, más que un lujo. Sin embargo, se enfrentan a desafíos inherentes, como la variabilidad en la orientación de las personas, en el entorno o su posición. 23 Estos desafíos deben abordarse para lograr un funcionamiento optimo, lo que justifica aún más relevancia de esta tesis. Este estudio representa una contribución significativa el ámbito de la videovigilancia inteligente al incorporar un enfoque analítico que se centra en partes especificas o aspectos aliados de un sistema o fenómeno. Este enforque principalmente se centra en el diseño de sistema de Re-Identificación de personas desconocidas, haciendo hincapié en la utilización de características biométricas faciales y soft- biométricas como también modelos holísticos y no holísticos. Este enfoque se respalda en el empleo de técnicas computacionales avanzadas, técnicas de visión por computadora y/o Machine Learning. La combinación de características y modelos representa a un avance significativo en la efectividad y versatilidad de estos sistemas. Al superar las limitaciones de los enfoques convencionales, el sistema propuesto no solo representa como una herramienta valiosa para la seguridad pública, sino que también despliega aplicaciones prácticas en la gestión de información. Además, información obtenida del sistema de Re-Identificación de personas abarcan un análisis minucioso, explorando no solo la eficiencia técnica del sistema propuesto, sino también sus aplicaciones prácticas y su aportación a la vanguardia de la seguridad derivado un aprendizaje profundo. La elección de estas técnicas se fundamenta no solo en investigación previas a Re-Identificación de personas en la Universidad de las Fuerzas Armadas ESPE sede Latacunga, sino también en una revisión exhaustiva de la literatura especializada. Para abordar este desafío tecnológico, se empelará un conjunto de herramientas que son respaldadas por el lenguaje de programación Python, que destaca por su ecosistema inherente a estos campos de estudio. La utilización de herramientas específicas de Python, busca impulsar el campo de la videovigilancia hacia un futuro más seguro y eficiente, por lo que la herramienta de lenguaje de programación Python proporciona una evolución escalable para el sistema de Re-Identificación de 24 personas, contribuyendo no solo a la comunidad científica, sino también a la sociedad en su conjunto, al mejorar la seguridad y la protección de las personas en su entorno cotidiano. Objetivo Generales y Específicos Los objetivos generales y específicos de la presente tesis de integración curricular, se plantean a continuación: Objetivo General • Desarrollar un sistema de Re-Identificación de personas desconocidas a través de características biométricas: facial y soft-biométricas: silueta corporal, textura y color de la vestimenta, con el uso de modelos no holísticos, utilizando técnicas computacionales avanzadas. Objetivo Especifico • Estudiar y conocer técnicas de Visión por Computador y modelos y/o algoritmos de Machine Learning utilizadas en la Re-Identificación de personas, utilizando características biométricas y soft-biométricas. • Implementar un sistema de Re-Identificación de personas desconocidas a través de las características faciales y soft-biométricas: la silueta corporal, textura y color de la vestimenta, utilizando técnicas de Visión por Computadora y modelos y/o algoritmos de Machine Learning. • Validar los resultados, analizar los errores y ajustar los modelos de Re-Identificación Metodología El propósito primordial de esta investigación es concretar la idea de un sistema de Re- Identificación de Personas Desconocidas, enfocado en el aprovechamiento de características 25 biométricas, tales como el rostro, y soft-biométricas, que abarcan la silueta corporal, textura y color de la vestimenta. Iniciamos nuestra investigación con una profunda búsqueda en la literatura científica, donde examinan características biométricas (rostro) y soft-biométricas (silueta corporal, textura y color de la vestimenta). Este análisis, guiado por un enfoque sistemático, establece la base teórica para la investigación (Pedregosa F. V., 2011). Como primer paso es una investigación exhaustiva sobre la Re-Identificación de Personas Desconocidas mediante modelos no holísticos, técnicas de Visión por Computadora y modelos y/o algoritmos de Machine Learning. La búsqueda y revisión de publicaciones de Scopus e IEEE Xplore orientan este estudio, mientras que la inclusión de datasets en tiempo real son capturados mediante cámaras de circuito cerrado no solapadas, que proporciona la parte fundamental para la identificación de rasgos faciales, color, textura y silueta corporal (Pedregosa F. V., 2011). Para la implementación practica del sistema de Re-Identificación de Personas Desconocidas, se emplean descriptores como Local Binary Patterns (LBP) para representar el rostro e Histogramas de Gradientes Orientados (HOG) para modelar la silueta corporal. Estos son respaldados por el Framework YOLO para extraer características de color y textura de la vestimenta (Nixon, 2006).También estas características mediante un enfoque integrando, se procesan por separado como módulos independientes. Las representaciones obtenidas son provistas como entrada a un clasificador SVM entrenado con datos etiquetados que resaltan los rasgos más distintivos para identificación. El clasificador SVM categoriza a los individuos previamente conocidos en la base de datos. En caso de no encontrar coincidencias, se determina que se trata de una persona no registrada y se procede a: 1) Asignarle un ID de individuo desconocido; 2) Extraer sus características biométricas y agregarlas a la base de datos; 3) Buscar coincidencias de esta nueva persona en otras cámaras del 26 sistema (Nasaruddin, 2020). De esta manera, el proceso de Re-Identificación de Personas Desconocidas no solo categoriza a sujetos conocidos, sino que también detecta y registra nuevos individuos desconocidos de formar automática para enriquecer el sistema y mejorar la vigilancia. Además, del proceso reside en la validación de los resultados mediante pruebas específicas en conjuntos de datos, buscando alcanzar niveles de precisión alineados con estándares reportados en la literatura científica (Lignia Tuapanta, 2023).Asimismo, estudios previos indican que las características individuales, tanto biométricas como soft-biométricas, han demostrado precisión aceptable, especialmente en entornos controlados por cámaras no solapadas, donde el factor ambiental minimiza variables externas que podrían impactar el reconocimiento (Lignia Tuapanta, 2023). Finalmente, para llevar a cabo este estudio se utilizará la metodología ágil Scrum. Scrum proporciona un marco de trabajo excelente para proyectos complejos e innovadores que requieren un alto grado de agilidad y flexibilidad (Sun, 2014). Scrum permitirá gestionar el proceso de manera incremental, estableciendo ciclos de trabajo en los que se construirán y probarán nuevas funcionalidades del sistema de forma continua. 27 Capítulo II Marco Teórico En este capítulo se detallada los conceptos, términos y aplicaciones asociadas a la Re- Identificación de personas, a través de características propias de cada individuo. Además, se examinan las técnicas computacionales utilizadas para implementar un modelo de Re-Identificación de personas. Este análisis se centra específicamente en la tarea de reconocer a individuos desconocidos, requiriendo una comprensión completa de los principios teóricos y prácticos esenciales para llevar a cabo este proceso de manera fluida. Re-Identificación de Personas La Re-Identificación de personas conocidas o desconocidas se centra en el análisis e identificación de individuos en distintos lugares y momentos, a través de diversas características (Satta, 2023). Una persona se considera conocida cuando el sistema de Re-Identificación identifica a un individuo mediante el rostro. Por otro lado, una persona es desconocida cuando el sistema trata de identificar un rostro que no está registrado en el sistema. El proceso de Re-Identificación se realiza en un circuito cerrado de cámaras que no se solapan, con el objetivo de localizar y dar seguimiento a una determinada persona conocida o desconocida. Este análisis se lleva a cabo incluso cuando la apariencia de la persona sufre cambios significativos, implicando la correcta asociación de videos que la capturan en distintas cámaras y momentos (Xu, 2021). Se han propuesto diversas estrategias para llevar a cabo la Re-Identificación de personas. Una de ellas se basa en características biométricas y soft-biométricas, aprovechando el empleo de modelos computacionales avanzados como las técnicas de Visión por Computadora y modelos y/o algoritmos de Machine Learning (Ray, 2019). Estos enfoques consideran tanto la totalidad como partes específicas de las personas, utilizando modelos holísticos y no holísticos. 28 Características Biométricas y Soft-biométricas Las características biométricas y soft-biométricas son dos tipos de rasgos que son utilizados en sistemas de reconocimiento para identificar individuos. Características Biométricas Se refieren a aquellos rasgos físicos que son únicos para cada individuo, estos rasgos pueden ser medidos y utilizados para identificar a una determinada persona. Ejemplos comunes de características biométricas incluyen huellas dactilares, patrones de retina o iris, geometría de la mano, y características faciales. En este trabajo se utiliza el rostro como característica biométrica para identificar a personas conocidas y si no se la reconoce, es una persona desconocida (Hema, 2020). El reconocimiento por la forma del rostro consiste en la determinación de características únicas como la longitud de separación entre cada ojo, las dimensiones de la nariz, la posición de los pómulos, entre otros. Estos rasgos son difíciles de alterar y ofrecen una forma precisa de identificación (Prioletti, 2013). 29 Figura 1 Imágenes de distintos rostros dentro de un dataset de personas Nota. Cada persona posee características faciales diferentes, generalizando, se puede decir que son únicas y estos rasgos son ideales para la identificación de individuo mediante el rostro. Recuperado de (Felzenszwalb et al., 2010) Características Soft-biométricas Las características soft-biométricas son aquellas que proveen cierta información sobre las personas, como el alto y ancho, la silueta corporal y la textura y color de la vestimenta, la textura y el color del pelo, etc. (Muhammad Sharif, 2010) El uso de estas características en los sistemas de Re- Identificación personas reside en su capacidad para complementar y enriquecer la información obtenida a través de rasgos biométricos. En este trabajo, vamos a utilizar las características soft-biométricas: silueta corporal, textura, color de la vestimenta para identificar a personas. El uso de estos rasgos permitiría identificar a persona conocidas y/o desconocidas incluso cuando no es visible el rostro, por ejemplo, a través del análisis de la 30 silueta corporal, textura y/o color de la vestimenta, ya sea de forma separada o combinada, con el fin de identificar o Re-Identificación individuos en otras cámaras (Gaba, 2016). Modelos Holísticos y No Holísticos En el ámbito del procesamiento y análisis de imágenes, existen dos enfoques principales para representar y reconocer objetos: los modelos holísticos apuntan a capturar la totalidad del objeto, mientras que los no holísticos se concentran en características o partes particulares. Ambos presentan ventajas y desventajas en términos de precisión y eficiencia computacional. Pero en este estudio nos enfocaremos en la utilización de los modelos no holísticos. Modelos Holísticos En el ámbito de la visión por computadora, los modelos holísticos se caracterizan por abordar la tarea de reconocimiento considerando la apariencia global de un objeto o sujeto en una imagen (Chhajro, 2018). Estos modelos tratan la totalidad de la entidad como una unidad única, sin analizar sus partes o características específicas de manera individual. Modelos no Holísticos Los modelos no holísticos son aquellos que no consideran el objeto de interés de forma completa, sino que se enfocan en partes o características específicas (Diana Judith, 2016) En contraste con los modelos holísticos que analizan la apariencia global, los no holísticos descomponen el objeto en partes clave y las modelan por separado. Luego, las relaciones espaciales entre las partes se utilizan para conformar el modelo completo, un ejemplo se detalla a continuación en la Figura 2 (Diana Judith, 2016) 31 Figura 2 Representación del Modelos No Holístico Nota. Representación de forma gráfica de un Modelo Holístico y No Holístico que identifica personas, donde se enmarca a toda la persona (modelo Holístico) en un recuadro de color violeta, mientras que los recuadros de color rojo son las regiones de interés (modelo No Holístico) que se analizaran, para determinar si realmente se trata de una persona. Recuperado de (Diana Judith, 2016). Visión por Computadora (VC) La Visión por Computadora (VC) engloba el análisis y procesamiento de imágenes mediante técnicas computacionales con el propósito de extraer información relevante y tomar decisiones. Al utilizar estas técnicas y algoritmos se genera descriptores que representan las características fundamentales de las imágenes, estos facilitan la identificación de patrones, la detección de objetos y el reconocimiento de contenido visual. (Arce, 2019) Para el caso de Re-Identificación de personas las técnicas de Visión por Computadora que se pueden utilizar son: Local Binary Patterns Histogram (LBPH), Histogramas de Gradientes Orientados 32 (HOG), HUE Saturation Value (HSV), Dense Daysi feature description, las cuales se describen a continuación (Dayangac, 2015). Local Binary Patterns Histograms (LBPH) El algoritmo LBPH es uno de los métodos más utilizados actualmente para el reconocimiento automatizado de rostros en aplicaciones de seguridad y videovigilancia. Fue propuesto originalmente por (Gafurov, 2011) Fue propuesto originalmente por Gaafurov et al. en 2011 y se basa en crear matrices de patrones binarios locales que representan las texturas faciales. Según Gafurov et al. (2011), " LBPH caracteriza los vecindarios de los píxeles de una imagen mediante códigos binarios basados en las comparaciones de intensidad entre el píxel central y sus vecinos" (p.1). Se compara cada píxel con sus 8 vecinos circundantes y se asigna 1 o 0 basado en si son mayores o menores. Posteriormente se calculan histogramas de estas matrices binarias locales que capturan las texturas únicas de cada rostro (Zheng, 2016) LBPH es considerado un descriptor simple pero muy efectivo para el reconocimiento de caras en tiempo real. Tiene buen rendimiento con variaciones en iluminación, expresiones y edad. Es popular por su eficiencia computacional en aplicaciones embebidas con hardware limitado (Luna da Silva, 2017). En este trabajo se utiliza LPBH como descriptor para la extracción de características faciales y utilizaras en los modelos y/o algoritmos de reconocimiento de rostros. El procesamiento de LBPH se muestra en la Figura 3. 33 Figura 3 Representación LBPH Nota. La imagen muestra visualmente cómo se aplica LBP para codificar los patrones locales de una imagen. Inicialmente, la imagen facial es dividida en regiones o vecindarios de píxeles, generalmente cuadrados de 3x3 o 5x5 píxeles, luego se genera los histogramas por región y estos se concatenan generando el LBPH. Tomado de Object Detection with Discriminatively Trained Part-Based Models (p. 7), por David Forsyth, 2014, University of Illinois. Histogram of Oriented Gradients (HoG) En el ámbito de la visión por computadora, Histograma de gradientes Orientados (HOG) es un descriptor de características utilizado para el reconocimiento de objetos (Jain, 2004). HoG captura información sobre la orientación de los gradientes locales de una imagen, estos datos muestran la intensidad en la imagen. Además, al calcular la orientación de estos gradientes se puede obtener características distintivas que describen la textura y la forma de un objeto detectado en una imagen, es decir, HoG captura la intensidad y orientación de los gradientes en regiones locales de una imagen. El proceso para calcular el HoG comienza con la aplicación de un filtro de gradiente a la imagen para obtener componentes de gradiente en las direcciones x e y. Estos componentes se utilizan para calcular la magnitud y dirección del gradiente para cada píxel. Luego, la imagen se divide en pequeñas celdas, y para cada celda, se crea un histograma de gradientes orientados. 34 Estos histogramas se normalizan, y la concatenación de estos histogramas normalizados forma el descriptor HOG de la imagen. Una de las fortalezas del HoG radica en su capacidad para capturar información de forma y estructura, lo que lo hace resistente a variaciones en iluminación y sombras. Esta resistencia es esencial en aplicaciones de detección en condiciones de iluminación variables. Sin embargo, como cualquier técnica, HoG tiene sus limitaciones, especialmente cuando se enfrenta a cambios significativos en la postura o apariencia del objeto de interés (Srivastava, 2017). HoG es particularmente eficaz al procesar información sobre los bordes y transiciones de densidad en una imagen, por esta razón, en este trabajo se utiliza HoG como descriptor para la extracción de características de la silueta corporal (Adelson., 1994). El flujo de proceso que realiza HoG se aprecia en la Figura 4. Figura 4 Descriptor de características HOG Nota. Al ingresar como parámetro la imagen en escala de grises HoG calcula los gradientes mediante la aplicación de operadores como el operador de Sobel, luego esta imagen es dividida en celdas y bloques, 35 esto genera un histograma por cada una de las celdas y por último normaliza estos histogramas para mejorar la robustez al cambio de iluminación y contraste. Tomado de Histograms of oriented gradients for human detection (p. 886), por Dalal & Triggs, 2005, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). HSV, Matiz, Saturación y Valor Los valores de HSV pueden ser utilizado como características o descriptores en ciertas aplicaciones de Visión por Computador, porque permite describir colores de manera más intuitiva que en el espacio RGB, al obtener un descriptor de color, saturación y tonalidad de un objeto dentro de una imagen. Como ejemplo se tiene la obtención de HSV desde la imagen que contiene una planta donde se transforma a HSV, esto se aprecia en la Figura 5. Figura 5 Imagen convertida en HSV 36 Nota. La imagen original es dividida en los valores de Hue, Saturation y Value, estos datos son utilizados para generar un histograma de color y con este insertarlo en un clasificador para predecir el color del objeto en la imagen. Recuperado de (Xu et al., 2021) Dense DAYSI Feature description El descriptor de imagen local DAISY, se basa en histogramas de orientación de gradiente similar a HoG, se aplica al estéreo de base amplia para la estimación de profundidad. Este descriptor local se calcula de manera rápida y eficiente, basándose en histogramas de gradientes con una ponderación gaussiana y un núcleo circularmente simétrico (Abderrahmane, 2013). La velocidad y eficiencia del cálculo se logran mediante este enfoque, permitiendo la generación de descriptores para cada píxel en una imagen de 800 × 600 en menos de 5 segundos (González, 2016). En este trabajo DAYSI se utiliza como un descriptor de apoyo para HoG especialmente por sus histogramas, que ayudan bastante en la extracción de características de la silueta corporal, como se ve en la Figura 6. Figura 6 Generación de histograma mediante DAYSI 37 Nota. Estos valores del histograma en conjunto con los resultados de HoG facilitan la clasificación de modelos de Re-Identificación por silueta corporal. Recuperada de (Dabhi & Pancholi, 2013). Proceso de Fusión de Características y Modelos En el contexto de Re-Identificación de personas los descriptores obtenidos contienen los rasgos característicos de un individuo. Con LBPH se obtiene el descriptor de rostro, HoG para la textura de la vestimenta, HSV para el color de la vestimenta, y Daysi para la silueta. Estos pueden combinarse, integrarse o fusionarse entre ellos, con el fin de generar un modelo en base a estas características, mediante un vector unificado. La fusión de características y modelos maximiza la precisión de la Re-Identificación de Personas (Almeida, 2021), debido a la combinación de estos rasgos. Machine Learning Machine Learning (Aprendizaje Automático) es una rama de la inteligencia artificial, que se ocupa en el desarrollo de algoritmos y modelos que permite a las computadoras, aprender patrones y predecir resultados, sin realizar tareas programadas explícitamente, Machine Learning puede ser aplicado en varias áreas de conocimiento como el reconocimiento de patrones, desempeñando un papel crucial en la clasificación de datos visuales (August, 2023). Dos de los clasificadores más comunes, SVM (Support Vector Machine) y k-NN (Algoritmo de k vecinos más cercanos l) os mismos que se utilizan en este trabajo, se detallan a continuación. K Nearest Neighbors (KNN) KNN es un algoritmo de aprendizaje supervisado que se utiliza como clasificador, el cual se basa en instancias, lo que significa que no aprende explícitamente un modelo durante la fase de entrenamiento, si no que memoriza los ejemplos de entrenamiento y realiza predicciones basándose en 38 la proximidad de las instancias con los ejemplos conocidos. Una ilustración gráfica del modelo se encuentra en la Figura 7. Figura 7 Representación gráfica del clasificador KNN Nota. En la clasificación con KNN el punto P es la característica que se pretende categorizar, en la cual se mide la distancia más corta entre el punto inicial y el conjunto de clases. Recuperada de (Huang et al., 2019). Este clasificador se usa en combinación del descriptor LBPH para entrenar y predecir características biométricas, es decir, los rostros de las personas. Para el entrenamiento y predicción se utiliza imágenes de rostros como parámetros de entrada, y los resultados que se obtienen son la etiqueta de la clase predicha, y el porcentaje de confianza de la misma. Support Vector Machine (SVM) SVM es un algoritmo de aprendizaje supervisado utilizado para la clasificación y análisis de datos. Su esencia radica en encontrar el hiperplano óptimo que maximiza la separación entre diferentes clases en un espacio multidimensional. SVM busca trazar un hiperplano que actúe como una especie de 39 "frontera" entre estas clases, maximizando la distancia (margen) entre ellas. Las instancias más cercanas al hiperplano son los llamados "vectores de soporte", elementos cruciales para definir la ubicación y orientación del hiperplano (Dalal, 2005). En la Figura 8, se observa cómo SVM establece el hiperplano de manera más óptima para separar las dos clases. La distancia entre el hiperplano y los vectores de soporte es maximizada, garantizando una clasificación robusta y generalizable. Figura 8 Representación gráfica de la clasificación mediante SVM Nota. En la imagen, se observa un proceso de clasificación de clases, cada figura representa una clase, y están divididas por regiones y se aprecian los vectores de soporte. (Support Vector Machines) Para este sistema de Re-Identificación se usa SVM como clasificador de características soft- biométricas (textura y color de la vestimenta y silueta corporal). Recuperada de (Huang et al., 2019). Framework You Only Look Once (YOLO) YOLO, cuyo nombre proviene del acrónimo "You Only Look Once" (Solo Miras Una Vez), es una técnica innovadora en el campo de la Visión por Computadora, particularmente útil en tareas de 40 detección de objetos. Analiza la imagen en su totalidad en una sola pasada y predice los objetos lo que le permite ser extremadamente rápido y eficiente (Redmon et al., 2016). El funcionamiento de YOLO se basa en dividir la imagen en una cuadrícula de tamaño determinado, por ejemplo, 13x13. Para cada celda de esta cuadrícula, el modelo predice múltiples bounding boxes (cajas delimitadoras) y sus respectivos porcentajes de confianza. Estos porcentajes indican la probabilidad de que el objeto detectado pertenezca a una clase específica, ya sea "persona", "automóvil" o "perro", una ejemplificación del funcionamiento de YOLO se muestra en la Figura 9 Figura 9 Algoritmo y flujo de trabajo de YOLO Nota. Dentro del proceso de detección de YOLO, el algoritmo toma la imagen de entrada y la segmenta en una matriz SxS donde S es el tamaño de la celda. Cada celda es responsable de predecir un conjunto de cuadros delimitadores, junto con los porcentajes de probabilidad de que estos cuadros contengan objetos, luego se aplica un umbral de confianza para filtrar las detecciones en el mapa de probabilidad 41 de clase y finalmente la salida es la lista de cajas delimitadoras y sus respectivas clases predichas. Tomado de You Only Look Once: Unified, Real-Time Object Detection (p. 779), por Radmon et al., 2016, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). YOLO POSE YOLO Pose es un método de vanguardia para la detección e interpretación de poses del cuerpo humano en imágenes y videos en tiempo real. (Cuzzolin, 2010). Se basa en YOLO, un popular algoritmo para la detección de objetos Este método puede detectar e identificar de forma rápida y precisa la ubicación de las distintas partes del cuerpo como cabeza, hombros, codos, muñecas, cadera, rodillas y tobillos en múltiples personas dentro de una imagen (Li et al., 2019). Esto permite interpretar la pose general e interpretar acciones. YOLO Pose utiliza redes neuronales convolucionales entrenadas con grandes conjuntos de datos de imágenes etiquetadas. Su arquitectura unificada permite un procesamiento más rápido que otros métodos de estimación de pose (Nie et al., 2022). La manera en que YOLO Pose genera estos puntos de interés se muestra en la Figura 10. 42 Figura 10 Representación de los puntos de interés o keypoints usando YOLO Pose Nota. La imagen muestra un ejemplo de la detección de la pose humana utilizando el modelo YOLO Pose (Cao et al., 2018). YOLO dibuja líneas que conectan las detecciones de cada articulación para representar el esqueleto de la persona. De esta manera, a partir de la imagen original, YOLO Pose es capaz de estimar eficiente y precisamente la ubicación esqueletal de la persona. Tomado de Face Description with Local Binary Patterns: Application to Face Recognition (p. 2038), por Timo Ahonen, 2006, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28 (12). Métricas de evaluación Es esencial comprender las métricas de evaluación utilizadas para medir la eficacia y la precisión de los modelos desarrollados. Específicamente, se emplean medidas de exactitud, precisión y Recall para evaluar el rendimiento. La exactitud proporciona una visión general del rendimiento, calculando la proporción de muestras correctamente clasificadas. Por otro lado, la precisión evalúa la capacidad del modelo para Re-Identificar individuos correctamente, informando el número de muestras positivas detectadas entre todas las clasificadas como positivas. El Recall mide el porcentaje de muestras verdaderamente positivas, indicando la capacidad del modelo para identificar verdaderos positivos. 43 Estas métricas ofrecen una evaluación detallada del rendimiento del modelo, y un desempeño satisfactorio se logra con una estrategia equilibrada que genere valores altos para las tres métricas. Tabla 1 Métricas de evaluación utilizadas Métricas de evaluación Formula aplicada Accuracy 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑉𝑃 + 𝑉𝑁 𝑉𝑃 + 𝑉𝑁 + 𝐸𝑃 + 𝐹𝑁 Precision 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑉𝑃 𝑉𝑃 + 𝐹𝑁 Recall 𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑉𝑃 𝑉𝑃 + 𝐹𝑁 En la Tabla 1 se exhiben las expresiones matemáticas correspondientes a las métricas de evaluación empleadas. Estas fórmulas posibilitan la evaluación cuantitativa de los resultados del sistema propuesto para la Re-Identificación de Personas Desconocidas, seguido de la explicación de las variables involucradas en dichas fórmulas. VP: Representa el número de imágenes positivas que resultaron en una clasificación correcta de verdaderos. VN: Representa el número de imágenes negativas que resultaron en una clasificación correcta de falsos. FN: Representa el número de imágenes positivas que resultaron en una clasificación incorrecta de falsos. FP: Representa el número de imágenes negativas que resultaron en una clasificación incorrecta de positivos 44 Tabla 2 Valores de la matriz de confusión Positivo Negativo Positivo Verdadero Positivo (VP) Falso Negativo (FN) Negativo Falsos Positivos (EP) Verdadero Negativo (VN) Así también, en la Tabla 2, detalla los casos posibles cuando el modelo evalúa una imagen, estos son:  1: Si Re-Identifica a la persona.  0: No Re-Identifica a la persona. Entonces, con los valores descritos los resultados obtenidos pueden ser interpretados como: Verdadero Positivo: Corresponde al valor (1,1), es decir 1. Falso Negativo: Corresponde al valor (1,0), es decir 0. Falso Positivo: Corresponde al valor (0,1), es decir 1. Verdadero Negativo: Corresponde al valor (0,0), es decir 0. Metodología de trabajo SCRUM La técnica Scrum, conocida por su enfoque ágil y adaptable, se ha convertido en uno de los principales métodos de gestión de proyectos de desarrollo de software (Rola & Kuchta, 2015). Esta metodología se basa en principios que promueven la colaboración entre equipos multidisciplinarios, la adaptabilidad ante cambios y la entrega continua de valor. En el presente trabajo se utilizará Scrum por la complejidad (desafíos técnicos) y la incertidumbre del proyecto. Dado que la Visión por computadora y las técnicas de Re-Identificación están en constante evolución, fue importante 45 escoger un enfoque ágil y flexible que permita adaptarse rápidamente a los cambios. Scrum se organiza en ciclos llamados "Sprint", que suelen durar entre dos y cuatro semanas. El equipo se reúne para planificar las tareas que deben llevarse a cabo al inicio de cada sprint utilizando un "backlog" o lista priorizada de necesidades (Navajo, 2023). El equipo colabora para completar estas tareas a lo largo del sprint y, al final del mismo, se proporciona un incremento del producto, es decir, una versión funcional del sistema o software (Zhang et al., 2010). Una de las principales ventajas de Scrum es la retroalimentación. Al final de cada sprint, el equipo realiza una revisión y una retrospectiva, donde se evalúa el trabajo realizado y se identifican áreas de mejora (Navajo, 2023). Esto permite adaptarse y mejorar continuamente, garantizando que el proyecto se mantenga alineado con los objetivos planteados. Para el presente trabajo, Scrum ofrece un marco estructurado que facilita la colaboración y comunicación (Navajo, 2023). Además, al adoptar un enfoque iterativo, se pueden realizar pruebas y ajustes continuos en las técnicas y modelos implementados, asegurando que el sistema de Re-Identificación sea lo más preciso y eficiente posible. En la Figura 11, se presenta el proceso del marco de trabajo scrum. 46 Figura 11 Ciclo de vida de Scrum Nota. En el marco de trabajo Scrum, el ciclo de vida se asemeja una sucesión de Sprints, estos, siempre entregan un producto al final del mismo, tomando en cuenta la retrospectiva de sprint y el ajuste del Product Backlog Tomado de (Zayat & Senvar, 2020). 47 Capítulo III Implementación del Sistema de Re-Identificación de personas desconocidas En el ámbito de la visión por computadora, construir un sistema de Re-Identificación de personas, tanto conocidas como desconocidas, basado en rasgos biométricos y soft-biométricos, demanda una atención meticulosa. Este proceso no solo requiere la aplicación de técnicas y modelos avanzados, sino también la integración efectiva de múltiples componentes para lograr un sistema con alta cohesión y bajo acoplamiento, pero sobre todo eficiente. La importancia de una implementación acertada radica en su capacidad para transformar teorías y conceptos en una solución práctica y aplicable en escenarios del mundo real. En este contexto, el propósito de este capítulo radica en detallar exhaustivamente el proceso de implementación del sistema de Re-Identificación de personas. Este inicia con la definición de la arquitectura del sistema como un paso crucial. Posteriormente, continua con la aplicación de la metodología Scrum, que incluye la elaboración de historias de usuario, la creación del Product Backlog, la misma se extiende hasta las fases de validación y las métricas de evaluación utilizadas. Contexto de desarrollo En el proceso de desarrollo del sistema de Re-Identificación de personas, se estableció un entorno técnico meticulosamente configurado para maximizar la eficiencia y precisión del proyecto. Utilizando hardware y software especifico, se creó un ambiente propicio para la implementación exitosa de un sistema biométrico robusto y eficaz. Este entorno diseñado proporciona la base necesaria para abordar los desafíos específicos de la Visión por Computadora y la Re-Identificación de individuos, destacando la importancia de una infraestructura sólida en el logro de los objetivos del proyecto. 48 Entorno de desarrollo La implementación del sistema de Re-Identificación de personas desconocidas se efectúa en un entorno controlado, el sistema se ejecuta en los pasillos del Departamento de Ciencias de la Computación de la universidad de las Fuerzas Armadas ESPE sede Latacunga, en el campus Gral. Guillermo Rodríguez Lara de la parroquia Belisario Quevedo. El sistema está dispuesto de manera que la orientación y el enfoque de las cámaras están ubicadas de forma contigua, la cámara 1 tiene como punto de vista (FOV) la dirección norte, mientras que la cámara 2 tiene como punto de vista la dirección oriente, en este entorno se realizó las pruebas como se muestra en la Figura 12. Figura 12 Pasillos de la Universidad de las Fuerzas Armadas ESPE sede Latacunga Nota. Se aprecia los pasillos de la Universidad de las Fuerzas Armadas ESPE sede Latacunga, con dirección norte y oriente respectivamente, en donde se realizaron las pruebas. Hardware utilizado El sistema de Re-Identificación se codificó y se probó en hardware especifico. En la Tabla 3. 49 Tabla 3 Hardware utilizado Componente Especificaciones Procesador Intel Core i7-6500U, 2.60 GHz de 8 Core, Memoria RAM Memoria RAM DDR3 Dual de 8 GB GPU Intel HD Graphics 520 Software y herramientas utilizadas Para este proyecto se ha integrado software y herramientas de desarrollo como se muestran en la Tabla 4. Tabla 4 Herramientas de desarrollo Herramienta Descripción Sistema Operativo El sistema operativo que se utiliza es la versión Home de Windows 10. Entorno de desarrollo Integrado (IDE) Para la codificación del sistema se usa Visual Studio Code versión 1.86.2 Lenguaje de programación Como lenguaje se utiliza la versión 3.11.3 de Python. 50 Herramienta Descripción Procesamiento de Imágenes Se usa OpenCV versión 4.6.0 para el procesamiento de imágenes y Numpy versión 1.23.4 para el cálculo de datos matemático. Descriptores para identificación facial, textura y color de la vestimenta y silueta corporal Como descriptores se utiliza: LBPH para el rostro HOG para la textura, HSV para el color y Daysi para la silueta. Clasificadores para identificación biométrica y soft-biométrica Para la clasificación de imágenes se utiliza: KNN y SVM, además de modelos y/o algoritmos de Machine Learning. Metodología de desarrollo En el marco de esta investigación, la implementación del sistema se llevó a cabo siguiendo la metodología Scrum, una de las metodologías ágiles más reconocidas y utilizadas en el desarrollo de software (Zheng, 20216). Scrum, con su enfoque iterativo e incremental, permite adaptarse a los cambios y requerimientos emergentes, garantizando que el producto final satisfaga las expectativas y necesidades del proyecto. Roles y Colaboración Para la implementación del sistema de Re-Identificación de personas siguiendo la metodología Scrum, se constituyó un equipo multidisciplinario que desempeñó roles específicos para garantizar un desarrollo eficiente. Como se ve en la Tabla 5, cada miembro del equipo contribuyó con actividades específicas. 51 Tabla 5 Equipo Scrum I D Rol Integrante Responsabilidades 0 1 Product Owner Dr. José Luis Carrillo Medina Asegurar que el equipo trabaje en las funcionalidades más valiosas para el cliente. Tomar decisiones sobre las características y su prioridad 0 2 Scrum Master José Santiago Illapa Suntasig Definir y priorizar el backlog del producto. Asegurar que el equipo trabaje en las funcionalidades más valiosas para el cliente. Tomar decisiones sobre las características y su prioridad. Mantener una comunicación constante con los interesados. 0 3 Desarrolladores José Santiago Illapa Suntasig, Anshela Melania Castillo Nicolalde Diseñar la arquitectura del sistema. Programar e implementar el sistema. Colaborar en la definición y estimación de las tareas durante la planificación de Sprint. 52 La Tabla 5 detalla los roles individuales, destacando las responsabilidades clave de cada integrante. Este enfoque colaborativo permitió gestionar de manera efectiva los desafíos del proyecto, asegurando una implementación exitosa del sistema de Re-Identificación. De este modo se adquiere toda la información necesaria para documentar las historias de usuario. Historias de usuario En la Tabla 6, se define las historias de usuario, en donde se indica el Id (Identificador único), el nombre de la historia de usuario, el rol de usuario, la funcionalidad y el resultado esperado. Tabla 6 Historias de Usuario I D Nombre Rol Funcionalidad Resultado 1 H.U.01 Como usuario Quiero un data set que contenga características biométricas (rostros) que permita identificar a personas. Para entrenar un modelo de Machine Learning. 2 H.U.02 Como usuario Quiero un modelo o algoritmo de visión computacional que permita realizar la identificación de rostros, en el sistema de Re-Identificación de personas mientras se está grabando el primer video. Para Reconocer individuos a través de características biométricas, es decir el rostro. 53 I D Nombre Rol Funcionalidad Resultado 3 H.U.03 Como usuario Quiero un dataset que almacene imágenes (torso de la persona, silueta corporal) mientras se esté grabando el primer video. Para obtener descriptores de textura y color de la vestimenta, así como descriptores de la silueta corporal. 4 H.U.04 Como usuario Quiero que mi sistema genere descriptores de silueta corporal, textura y color de la vestimenta, con el fin de fusionarlos Para entrenar un modelo de Machine Learning. 5 H.U.05 Como usuario Quiero que mi sistema utilice un modelo de Machine Learning que tenga como entrada la combinación de descriptores (textura y color de la vestimenta y silueta corporal), que permita realizar la identificación de estas características. mientras se está grabando el primer video. Para crear modelos de Re- Identificación de personas desconocidas capaz de Re- Identificar a individuos a través de características soft- biométricas, es decir, la silueta corporal y la textura y color de la vestimenta. 6 H.U.06 Como Quiero que mi sistema realice la Para verificar si se identifica 54 I D Nombre Rol Funcionalidad Resultado usuario detección y Re-Identificación de personas conocidas y desconocidas a través de su vista posterior (vista de espalda), mediante las características soft-biométricas textura y color de la vestimenta y silueta corporal, mientras se está grabando el segundo video al individuo con el dataset creado con las imágenes del torso y silueta corporal Product Backlog del sistema Una vez las Historias de Usuario ya hayan sido especificadas, se procede a realizar el Product Backlog del proyecto, una lista ordenada de los requisitos del sistema, aquí se aloja las historias de usuario, y su finalidad de entregar el producto de software con éxito, -(Matharu et al. 2015). En la Tabla 7, se muestra de forma ordenada todas las Historias de Usuario, la estimación en días y horas, y las fechas de inicio y fin de cada sprint que corresponde a cada historia de usuario. 55 Tabla 7 Product Backlog del Proyecto I ID Historia de Usuario Estimación (días) Estimación (horas) Fecha Inicio Fecha Fin 0 1 Construcción del dataset de rostros 7 56 23/10/2023 31/10/2023 0 2 Generación de modelo de identificación de rostros 14 112 01/11/2023 20/11/2023 0 3 Construcción de dataset de personas en tiempo real. 14 112 21/11/2023 08/12/2023 0 4 Generación de descriptores de silueta corporal, textura y color de la vestimenta y 14 112 11/12/2023 29/12/2023 56 I ID Historia de Usuario Estimación (días) Estimación (horas) Fecha Inicio Fecha Fin fusión de estos. 0 5 Generación de modelos de Re- Identificación de personas mediante características soft- biométricas 7 56 02/01/2024 10/01/2024 0 6 Validación, ajuste del sistema e implementación 14 112 11/01/2024 30/01/2024 Sprint 1: Dataset y algoritmo para identificación biométrica (rostro) Para el desarrollo del primer sprint se tomaron las Historias de Usuario H.U.01 y H.U.02 que se encuentran en la Tabla 6, la finalidad de este sprint es la identificación del rostro de una o varias personas, mientras se está grabando el primer video, por medio de la cámara 1. A continuación se detalla la ejecución del sprint. 57 Historia de usuario 01: Construcción del dataset de rostros La historia de usuario H.U. 01 indica que se requiere un almacenamiento de imágenes de rostros, para posteriormente desde este dataset obtener los datos para crear y entrenar un modelo de identificación facial. Detalle de la Historia de Usuario. La Tabla 8, muestra de forma detallada la Historia de usuario H.U.01 del sistema re Re- Identificación de personas desconocidas, así como los criterios de aceptación (Validación) para la creación del dataset. Tabla 8 Historia de usuario H.U.01 Historia de Usuario Número: H.U.01 Usuario: Usuario Nombre historia: Creación del dataset de rostros Número de sprint: 1 Prioridad: Alta Riesgo de desarrollo: Bajo Puntos Estimados: 7 Interacción asignada: 1 Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: Como usuario quiero un dataset de características biométricas que permitan la Identificación de personas. 58 Historia de Usuario Validación: ● Se realiza la captura de varias imágenes de rostros de personas conocidas. ● Utiliza un Identificador único auto incremental, que permita la unicidad entre las diferentes personas, conocidas y desconocidas Sprint Backlog En la Tabla 9, se especifica las tareas que se realizan para cubrir la Historia de Usuario H.U.01, también muestra las horas de ejecución, las fechas de inicio, fechas de fin y los responsables que se encargan de cumplir dichas actividades. Tabla 9 Sprint Backlog 01 HU ID Tarea Horas Inicio Fin Responsable H.U.01 Grabación de videos de varias personas caminando por los pasillos del campus universitario. 24 23/10/2023 25/10/2023 Anshela Castillo H.U.01 Creación de un algoritmo para capturar los rostros de las ¿ 16 26/10/2023 27/10/2023 Santiago Illapa, Anshela Castillo 59 HU ID Tarea Horas Inicio Fin Responsable personas. H.U.01 Creación de un algoritmo que cree las carpetas con un identificador único para cada persona. 16 30/10/23 31/10/2023 Santiago Illapa Historia de usuario 02: Desarrollo del modelo y/o algoritmo para la identificación de personas mediante el rostro La historia de usuario H.U.02 que se encuentra en la Tabla 6, indica que se requiere un desarrollar un algoritmo de Visión por Computador capaz de identificar rostros mientras la persona está siendo grabada por la cámara 1. Detalle Historia de Usuario. La Tabla 10, presenta la Historia de Usuario H.U.02 del sistema de Re-Identificación de personas desconocidas en la que se detalla los desarrolladores responsables, la descripción y los criterios de aceptación para el desarrollo del algoritmo para identificación facial 60 Tabla 10 Historia de usuario H.U.02 Historia de Usuario Número: H.U.02 Usuario: Usuario Nombre historia: Generación de modelo de identificación de rostros Número de sprint: 1 Prioridad: Alta Riesgo de desarrollo: Media Puntos Estimados: 14 Interacción asignada: 1 Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: Como usuario quiero un modelo y/o algoritmo de Visión por Computadora que me permita identificar a personas mediante el rostro mientras está siendo grabada con la cámara 1. Validación: ● Se desarrolló un modelo y/o algoritmo de Visión por Computador capaz de identificar rostros, en donde se aplicó métricas de evaluación para calcular la variación de los valores de las métricas con respecto a su promedio. ● Se realizaron pruebas con una persona conocida y otra desconocida con el modelo generado con KNN implementados a partir del dataset creado anteriormente, donde se pudo registrar los resultados correspondientes de cada clase. Sprint Backlog En la Tabla 11, se especifican las tareas que se realizaron acorde a la Historia de Usuario H.U.02, los responsables, las horas empleadas y las fechas de inicio y fin de cada actividad. 61 Tabla 11 Sprint Backlog 02 HU ID Tarea Horas Inicio Fin Responsable H.U.02 Creación de un algoritmo para el entrenamiento del modelo con el dataset de rostros generado previamente. 2 01/1/2023 03/11/2023 Anshela Castillo, Santiago Illapa H.U.02 Implementación del algoritmo KNN para a identificación del rostro con el modelo entrenado. 56 06/11/2023 14/11/2023 Anshela Castillo H.U.02 Generación de pruebas del algoritmo para el reconocimiento facial 32 15/11/2023 20/11/2023 Anshela Castillo, Santiago Illapa Burndown chart En la Figura 13, se muestra el progreso en la ejecución de las actividades correspondientes a las Historias de usuario tratadas en este sprint. El eje x(horizontal) representa las fechas especificadas en la 62 Tabla 11, en este caso el periodo de tiempo inicia el 23/10/2023 y culmina el 20/11/2023. El eje y (vertical) muestra las horas estimadas que se obtiene de la multiplicación entre el total de días trabajados y las horas que se trabajan al día, de manera que para este sprint se tiene 21 días con 8 horas diarias lo que da como resultado 168 horas y este es el valor máximo en este eje, mientras transcurren los días el valor de horas se reducirá hasta llegar a 0, cumpliendo el objetivo del Sprint. Figura 13 Burndown chart Sprint 01 Resultados Sprint 01. Cada vez que un sprint finaliza, se esperan resultados, y estos deben ser funcionales para el usuario final, en este sprint se culminó la generación del dataset y la implementación del algoritmo de identificación facial, utilizando técnicas de Visión por Computador, teniendo esto, se procede a probar el sistema con varias personas en el mismo escenario por diferente ruta, con la captura de 300 imágenes por cada persona, por medio de la cámara 1. 0 50 100 150 200 Burn down chart - Sprint 01 Estimado Real 63 Resultados de las tareas de la Historia de Usuario 01 Para la creación del dataset, se grabaron varios videos con distintas personas caminando por diferente ruta, como se muestra en la Figura 14. Figura 14 Videos para la creación del dataset de rostros. En la Figura 15, se aprecia como se ha estructurado la forma de guardado del dataset, este dataset va guardando carpetas con un identificador auto incremental, este identificador sirve como etiqueta de la clase que se quisiera predecir, dentro está la carpeta se encuentra el nombre de la persona, y como subdirectorio tenemos la carpeta de características faciales. 64 Figura 15 Estructura del dataset de características faciales En la Figura 16, se muestra las imágenes capturadas con una cámara, estas imágenes de rostros están normalizadas y poseen un tamaño de 400x400 píxeles. Cada clase que se almacena en el dataset posee 300 imágenes de rostros de la misma persona. Figura 16 Dataset de Imágenes de rostros de una persona 65 Resultados de las tareas de la Historia de Usuario 02 Como resultados de este sprint se tiene la creación de una clase llamada Face, esta clase usa las librerías de YOLO face, librerías de OpenCV y Numpy. Al utilizar modelos no holísticos se puede separar el frame del rostro en una imagen nueva, esto permite ser más selectivo al momento de extraer las características biométricas, con YOLO face se separa el rostro del cuerpo en la imagen original, como se ve en la Figura 17. Figura 17 Pre procesamiento facial Nota. En a) se muestra el segmento del cuerpo de la persona, en b) se muestra la detección de YOLO face. El modelo de YOLO obtiene los frames de rostros de la imagen ingresada, para conseguir el rostro de la persona, este frame es transformado en formato de escala de grises, para luego procesar la imagen y obtener el LBPH (ver Figura 18) para que todas las imágenes de rostro sean iguales, lo único que cambia son las características faciales. 66 Figura 18 Procesamiento de rostro Nota. Este a) se tiene el frame del rostro original, luego en b) se transforma a una imagen en escala de grises y en c) se obtiene la imagen de LBPH De estas imágenes se extraen las características faciales mediante el descriptor y son ingresadas en el clasificador KNN, este retorna los resultados de predicción, siendo la etiqueta predicha y el valor de confianza, que varía del 0 al 1. En el caso de que el porcentaje de confianza supere el umbral que es del 70% (Zhao et al., 2003). esta persona es etiquetada con su nombre y el porcentaje de predicción como se ve en la Figura 19. Figura 19 Identificación facial de una persona conocida 67 Nota. La imagen muestra el resultado del modelo de identificación facial enmarcando el rostro de la persona y colocando el porcentaje de predicción y su etiqueta. Si el porcentaje de confianza es menor que el umbral significa que esta persona no ha sido encontrada en el dataset, entonces esta persona es enmarcada con un rectángulo de color rojo y es etiquetada con “Desconocido” como se ve en la Figura 20. Figura 20 Identificación facial de una persona desconocida Nota. Debido a que el porcentaje de confianza de predicción es inferior al valor del umbral 70% (Zhao et al., 2003), este no aparece junto la etiqueta de la persona que se ve en la Imagen. Las pruebas se realizaron con la misma persona pasando por 3 carriles distintos obteniendo los datos de Accuracy, Recall y Precision que se muestran en la Tabla 12 68 Tabla 12 Resultados del método de reconocimiento de personas por el rostro de la clase Anshela Clasificador/ Descriptor Métricas Carril Izquierdo Carril Central Carril Derecho Promedio k-NN/ LPBH Accuracy 0.9320 0.9876 0.9833 0.9676 ± 0.0253 Recall 0.9054 0.9114 0.9156 0.9108 ± 0.0041 Precision 0.8918 0.8923 0.9023 0.8955 ± 0.0048 De acuerdo con la literatura científica (Sun et al., 2014b), se indica que, en los sistemas de identificación facial los porcentajes de predicción en la identificación del rostro se encuentra entre el 76% y el 100%, por lo tanto, los porcentajes obtenidos según la Tabla 12, se encuentran dentro del rango de porcentaje permitido. Sin embargo, cuando existen casos en que el rostro no puede ser analizado, se recurren a modelos de reconocimiento con características soft-biométricas, como se ven en el siguiente sprint. Sprint 2: Dataset y algoritmo para identificación soft-biométrica (silueta, textura y color) Para el desarrollo del segundo sprint se tomaron en cuenta las Historias de Usuario H.U.03 y H.U.04 que se encuentran en la Tabla 6, con el fin de identificar a personas a través de su silueta corporal, la textura y color de su vestimenta, utilizando modelos no holísticos, mientras se está grabando el primer video. Historia de usuario 03: Construcción de dataset para almacenar características soft-biométricas en tiempo real. La historia de usuario H.U.03 que se encuentra en la Tabla 6, indica que se quiere generar un dataset que permita el guardado del torso y la silueta corporal de la persona para la extracción de características soft-biométricas. 69 Detalle Historia de Usuario La Tabla 13, presenta de forma detallada, la Historia de Usuario H.U.03 del sistema de Re- Identificación de personas desconocidas, en la cual se indica los responsables en el desarrollo, así como los criterios de aceptación (validación) para la creación del Dataset de siluetas y torsos de personas. Tabla 13 Historia de usuario H.U.03 Historia de Usuario Número: H.U.03 Usuario: Usuario Nombre historia: Creación del dataset de características soft-biométricas Número de sprint: 2 Prioridad: Alta Riesgo de desarrollo: Bajo Puntos Estimados: 14 Interacción asignada: 1 Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: Como usuario quiero un dataset de características soft-biométricas que permitan la Identificación de personas mediante textura y color de la vestimenta y silueta corporal. Validación: ● Crea el dataset a partir de las imágenes capturadas de la cámara 1 ● Se asigna un Identificador único auto incremental, que permita la unicidad entre las diferentes personas, conocidas y desconocidas ● Se almacenan imágenes del torso de la persona y su silueta corporal. 70 Sprint Backlog En la Tabla 14, se especifica las tareas que se realizan durante el desarrollo del sprint, así como los responsables a cargo de las tareas, el tiempo estimado en horas y las fechas de inicio y fin. Tabla 14 Sprint Backlog 03 HU ID Tarea Horas Inicio Fin Responsable H.U.03 Creación del algoritmo que permite obtener las imágenes del torso y la silueta del cuerpo de la persona, utilizando técnicas no holísticas. 28 21/11/2023 24/11/2023 Anshela Castillo, Santiago Illapa H.U.03 Creación del algoritmo para generar los directorios donde se almacenan las imágenes del torso y silueta corporal de la persona. 28 24/11/2023 29/11/2023 Anshela Castillo H.U.03 Creación del algoritmo para el guardado de imágenes en tiempo real 56 30/11/2023 08/12/2023 Anshela Castillo, Santiago Illapa 71 HU ID Tarea Horas Inicio Fin Responsable en el dataset de textura, color y silueta Historia de usuario 04: Generación de descriptores de silueta corporal, textura y color de la vestimenta y fusión de estos La historia de usuario H.U.04 que se encuentra en la Tabla 6, indica que se requiere generar un algoritmo que permita generar los descriptores de las características soft-biométricas (textura y color de la vestimenta y silueta corporal) Detalle Historia de Usuario. La Tabla 15, presenta de forma detallada la Historia de Usuario H.U.04 del sistema de Re- Identificación de personas desconocidas, en la que se indica los desarrolladores responsables del sistema, así como los criterios de aceptación (validación) para el desarrollo del algoritmo para la generación de descriptores soft-biométricos. Tabla 15 Historia de usuario H.U.04 Historia de Usuario Número: H.U.04 Usuario: Usuario Nombre historia: Generación de descriptores Número de sprint: 2 72 Historia de Usuario de silueta corporal, textura y color de la vestimenta y fusión de estos Prioridad: Alta Riesgo de desarrollo: Alta Puntos Estimados: 14 Interacción asignada: 1 Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: Como usuario quiero que mi sistema pueda generar descriptores soft-biométricos (textura y color de la vestimenta y silueta corporal), para ello, debe utilizar el dataset de textura y silueta de los cuales se extraen las imágenes que son utilizadas como parámetros de los descriptores mientras se graba el primer video. Validación: ● Se utilizan las imágenes del torso y la silueta almacenadas previamente en el dataset ● Se procesan estas imágenes para extraer las características soft biométricas. Sprint Backlog En la Tabla 16, se especifican las tareas que se realizan para cubrir la Historia de Usuario H.U.04, en esta se aprecia la tarea, las horas empleadas, las fechas de inicio y fin, por último, los responsables en llevar a cabo estas actividades. 73 Tabla 16 Sprint Backlog 04 HU ID Tarea Horas Inicio Fin Responsable H.U.04 Creación de la función para obtener las imágenes del dataset para generar el descriptor. 28 11/12/2023 14/12/2023 Anshela Castillo, Santiago Illapa H.U.04 Creación del algoritmo para la extracción de características de textura y color de la vestimenta 28 14/12/2023 19/12/2023 Anshela Castillo H.U.04 Creación del algoritmo para la extracción de características de silueta corporal 28 20/12/2023 26/12/2023 Anshela Castillo, Santiago Illapa H.U.04 Combinación de características soft- biométricas (textura, 28 26/12/2023 29/12/2023 Anshela Castillo, Santiago Illapa 74 HU ID Tarea Horas Inicio Fin Responsable color y silueta) Burndown chart En la Figura 21, se muestra el progreso en la ejecución de las actividades correspondientes a las Historias de usuario tratadas en el Sprint 2. El eje x(horizontal) representa las fechas especificadas en la Tabla 16, en este caso el periodo de tiempo inicia el 21/11/2023 y culmina el 29/12/2023. El eje y (vertical) muestra las horas estimadas que se obtiene de la multiplicación entre el total de días trabajados y las horas que se trabajan al día, de manera que para este sprint se tiene 28 días con 8 horas diarias lo que da como resultado 224 horas y este es el valor máximo en este eje, mientras transcurren los días el valor de horas se reducirá hasta llegar a 0, cumpliendo el objetivo del Sprint. Figura 21 Burndown chart Sprint 02 0 50 100 150 200 250 Burn down chart - Sprint 02 Estimado Real 75 Resultados Sprint 02. En esta sección se indica el desarrollo del sprint 2 y los resultados obtenidos de la creación del dataset de características soft-biométricas y también de la generación de los descriptores mediante estas características (textura, color y silueta) Resultados de las tareas de la Historia de usuario 03 Para la creación del dataset de características soft-biométricas en tiempo real, primero se realiza una segmentación del cuerpo de la persona detectada con la cámara 1, haciendo énfasis en obtener el torso y la silueta de la persona, Obtención del Torso de la persona Para obtener el torso, se utiliza YOLO Pose, con esta herramienta se ingresa la imagen de la persona y luego este modelo retorna las coordenadas de los puntos de las articulaciones y estos sirven para extraer en una imagen nueva el torso de la persona como se ve en la Figura 22. Figura 22 Visualización la extracción de la imagen del torso mediante YOLO Pose 76 Nota. En a) se tiene la imagen original, ya al pasar por el modelo de YOLO Pose, se obtiene la imagen b) y con los puntos clave se obtiene el frame del torso. En la Figura 23, se muestran las imágenes capturadas con la cámara 1. Estas imágenes del torso están normalizadas y poseen un tamaño de 220x440 píxeles. Cada clase que almacena posee 300 imágenes de torsos de la misma persona. Figura 23 Dataset de imágenes de torsos de una persona Obtención de la silueta de la persona Para obtener la silueta, se utiliza Yolo Segmentation, con esta herramienta se ingresa la imagen de la persona, luego el modelo retorna una imagen con el cuerpo de la persona segmentada de color rojo. El flujo de trabajo de Yolo Segmentation se muestra en la Figura 24. 77 Figura 24 Extracción de la imagen de la silueta mediante YOLO Segmentation Nota. En a) se muestra la imagen de la persona, en b) ya se muestra el resultado de utilizar Yolo Segmentation. Y en c) se obtiene la máscara de esta segmentación lo que viene siendo la silueta. En la Figura 25, se muestran las imágenes capturadas con la cámara 1. Estas imágenes de la silueta están normalizadas y poseen un tamaño de 220x660 píxeles. Cada clase que almacena posee 300 imágenes de la silueta de la misma persona. 78 Figura 25 Dataset de imágenes de la silueta de una persona La estructura para el dataset de Torsos y Siluetas se ven en Figura 26. Figura 26 Estructura del dataset de características soft-biométricas 79 Nota. Esta es la estructura que se utiliza en cada una de las clases que se pretende entrenar. Resultados de las tareas de la Historia de usuario 04 Para la generación de los descriptores de textura, color y silueta, se toma las imágenes previamente guardadas en el dataset de torsos y siluetas, estas imágenes son procesadas individualmente para extraer las características soft-biométricas. Descriptor de color y textura de la vestimenta Para los descriptores de color se necesita un formato de color llamado HSV que describe los colores en Visión Computacional, para esto se utiliza la librería OpenCV y la función cvtColor que transforma la imagen de RGB a HSV. Como se ve en la Figura 27. Figura 27 Procesamiento de la imagen del torso para obtener descriptor de color Nota. En esta Figura se ve las imágenes del torso separado en cada canal del HSV, con la librería OpenCV calcHist y estos frames, se extraen los histogramas Hue, Saturation y value 80 Los resultados de HSV son normalizados para obtener las características de color de la vestimenta como se ve en la Figura 28. Figura 28 Obtención de Histogramas de color Nota. Cada objeto que se analiza con este descriptor tiene diferente tonalidades, matices y saturación, con lo que estos histogramas varían, permitiendo clasificar colores. Ahora, para obtener la textura de la vestimenta se parte de igual forma del frame del torso, con OpenCV cvtColor se transforma la imagen a escala de grises, para luego utilizar el descriptor local binary pattern de la librería skimage como se aprecia en la Figura 29. 81 Figura 29 Procesamiento de la imagen del torso para obtener descriptor de textura Nota. En a) se muestra la imagen original del torso de la persona, en b) ya se muestra convertida a escala de grises, y en c) se tiene la imagen procesada por LBPU. Esta imagen es normalizada para obtener el histograma de textura, la cual servirá para reconocer vestimentas como se ve en la Figura 30. Figura 30 Obtención de Histogramas de textura 82 Nota. En esta figura se aprecia el histograma LBP que sirve para diferenciar diferentes texturas de vestimentas. Descriptor de silueta corporal Para obtener las características de silueta se usa la librería Daysi y HOG de skimage, esta librería calcula los gradientes locales los bordes de la silueta Figura 31. Figura 31 Procesamiento de la imagen de la silueta con Daysi y HOG Nota.Teniendo las imágenes procesadas por Daysi y Hog se puede apreciar que Hog tiene más definición en su silueta que Daysi. Sin embargo es necesario usar Daysi ya que cuando el histograma que se obtiene, muestra más detalle que HoG, como se ve en la Figura 32. 83 Figura 32 Histogramas de Daysi y Hog Combinación de los descriptores Una vez obtenidos los tres descriptores estos se combinan para generar un modelo combinado el cual se probará en la cámara 2 para la Re-Identificación de personas. Esta combinación de descriptores se usa como parámetro de entrada en modelos o algoritmos de Machine Learning para reconocer personas mediante características soft-biométricas, este proceso se detalla en el siguiente sprint. Sprint 03: Detección y Re-Identificación de personas conocidas y desconocidas mediante las características soft-biométricas textura y color de la vestimenta y silueta corporal y validación del sistema. Para el desarrollo del Sprint 03, se tomó en cuenta las Historias de Usuario H.U.05 y H.U.06 que se encuentra en la Tabla 6, en donde se debe detectar y Re-Identificar la vista posterior de una persona, utilizando técnicas No Holísticas para la detección de la silueta corporal, la textura y color de la vestimenta. 84 Historia de usuario 05: Generación de modelos de Re-Identificación de personas mediante características soft-biométricas La historia de usuario H.U.03 que se encuentra en la Tabla 6, indica que se quiere generar un dataset que permita el guardado del torso y la silueta corporal de la persona para la extracción de características soft-biométricas. Detalle de la Historia de Usuario En la Tabla 17, se presenta, de forma detallada, la Historia de Usuario H.U.05 del sistema de Re- Identificación de personas desconocidas, en la cual se indica los desarrolladores responsables del sistema, así como los criterios de aceptación (validación) para el desarrollo del modelo y algoritmo de identificación mediante características soft-biométricas Tabla 17 Historia de usuario H.U.05 Historia de Usuario Número: H.U.05 Usuario: Usuario Nombre historia: Generación de modelos de Re-Identificación de personas mediante características soft-biométricas Número de sprint: 3 Prioridad: Alta Riesgo de desarrollo: Media Puntos Estimados: 7 Interacción asignada: 1 85 Historia de Usuario Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: Como usuario quiero que mi sistema Re-Identifique a personas conocidas y desconocidas mediante características soft-biométricas (textura, color y silueta) Validación: ● Detectar y Re-Identificar a personas a través de su vista posterior mediante el análisis de la textura de la vestimenta durante la grabación del segundo video, aplicando métricas de evaluación para calcular los resultados obtenidos. Sprint Backlog En la Tabla 18, se especifica las tareas que se realizaron durante el desarrollo del Sprint, así como los responsables en llevar a cabo cada uno de estos, los días en los que se planificó realizar el Sprint son del 02 al 10 de enero del 2024. Tabla 18 Sprint Backlog 05 HU ID Tarea Horas Inicio Fin Responsable H.U.05 Creación del componente normalizador 28 02/01/2024 05/12/2023 Anshela Castillo 86 HU ID Tarea Horas Inicio Fin Responsable H.U.05 Adición de los modelos de Re-Identificación dinámicamente 28 05/01/2024 19/01/2024 Santiago Illapa Historia de usuario 06: Validación, ajuste del sistema e implementación La historia de usuario H.U.06 que se encuentra en la Tabla 6, indica que se requiere realizar pruebas para validar el sistema utilizando la combinación de los modelos de Re-Identificación de personas. Detalle Historia de Usuario. La Tabla 19, presenta la Historia de Usuario H.U.06 del sistema de Re-Identificación de personas desconocidas en la que se detalla los desarrolladores responsables, la descripción y los criterios de aceptación para el desarrollo del algoritmo para identificación facial Tabla 19 Historia de usuario H.U.06 Historia de Usuario Número: H.U.06 Usuario: Usuario Nombre historia: Validación e implantación del sistema Número de sprint: 3 Prioridad: Alta Riesgo de desarrollo: Alta 87 Historia de Usuario Puntos Estimados: 14 Interacción asignada: 1 Desarrolladores responsables: Santiago Illapa, Anshela Castillo Descripción: La validación e implantación del sistema de Re-Identificación de personas conocidas y desconocidas que sean detectadas de espalda con la cámara 2, utilizaran los modelos de reconocimiento soft-biométrico, realizando pruebas y asegurando la calidad de predicción con métricas de evaluación Validación: ● El sistema podrá Re-Identificar a personas incluso si está va de espaldas ● Se evalúa la precisión de los modelos de Re-Identificación aplicando métricas de evaluación ● Se prueba y se refina los ajustes de los modelos de Re-Identificación para mejorar los resultados de predicción. Sprint Backlog En la Tabla 20, se especifica las tareas que se realizaron durante el desarrollo del Sprint, así como los responsables en llevar a cabo cada uno de estos, los días en los que se planificó realizar el Sprint son del 11 al 30 de enero del 2024 y el tiempo estimado en horas. 88 Tabla 20 Sprint Backlog 06 HU ID Tarea Horas Inicio Fin Responsable H.U.06 Probar el sistema en el entorno controlado para evaluar funcionamiento con dos cámaras 56 11/01/2024 19/12/2023 Anshela Castillo, Santiago Illapa H.U.06 Ajustar los valores de las configuraciones de los modelos de Re- Identificación 56 22/01/2024 30/01/2024 Anshela Castillo, Santiago Illapa Burndown Chart En la Figura 33, se muestra el progreso efectuado en los días estimados para el desarrollo del presente Sprint. El eje X representa las fechas especificadas en la Tabla 20, en este caso el intervalo de tiempo inicia el 02/01/2024 y termina el 30/01/2024. El eje Y, por el contrario, muestra el número total de horas estimadas, el cual se obtiene a través de una multiplicación entre el total de días estimados y las horas que se trabajara por día, de manera que para este Sprint son 14 días y 8 horas diarias, presentando como resultado un valor de 112 horas que se considerara el valor máximo de este eje, y acorde transcurran los días, el valor de horas se reducirá hasta llegar a cero, cumpliendo así el objetivo del Sprint. 89 Figura 33 Burndown chart Sprint 03 Resultados del Sprint 03 Los resultados obtenidos en el Sprint abarcan la detección y Re-Identificación de una persona, mediante el entrenamiento en tiempo real utilizando descriptores de características soft-biométricas, además de realizar pruebas y la validación del sistema Resultados de las tareas de la historia de usuario 05 Al concatenar los tres descriptores antes mencionados, se ingresan como parámetro al clasificador SVM, este interpreta estos descriptores y retorna una lista con los porcentajes de predicción de cada clase, si este porcentaje es superior a 70% (Zhao et al., 2003). que es el umbral de detección, implica que la clase se ha encontrado en el dataset, caso contrario significa que no ha podido reconocer a dicha persona. En la Figura 34, se aprecia la detección de una persona conocida con los descriptores fusionados en la cámara 2. 0 20 40 60 80 100 120 140 160 180 Burn down chart - Sprint 03 Estimado Real 90 Figura 34 Reconocimiento soft-biométrico de persona conocida en la Cámara 2 Nota. En la Figura se aprecia los resultados de predicción de una persona conocida mediante el modelo de reconocimiento por características soft-biométricas, en este caso Santiago, dando como resultado el 75% en la cámara 2. En la Figura 35, se ve caminando a una persona desconocida siendo captada por la cámara 1. Debido a que esta persona no se encuentra en el dataset se la etiqueta como “Desconocido”. 91 Figura 35 Intento de Identificación de una persona desconocida en la Cámara 1 Nota. Mientras la persona siga siendo detectada como desconocido, el sistema en segundo plano obtiene las imágenes del torso y la silueta corporal para generar el modelo de Re-Identificación por características soft-biométricas. En la Figura 36, se realiza la Re-Identificación del desconocido en la Cámara 2, utilizando el modelo con características soft-biométricas que se entrenó mientras se detectó y grabó con la Cámara 1. 92 Figura 36 Reconocimiento soft-biométrico de persona desconocida en la Cámara 2 Nota. En esta Figura se aprecia los resultados de predicción de la persona desconocida mediante el modelo de reconocimiento por características soft-biométricas, para este caso se dio 75% en la cámara 2. Cabe recalcar que la variación de tonalidades por efecto de la iluminación dificulta la predicción con características de color, y la diferencia de ángulos en la posición de las cámaras disminuye la precisión de reconocimiento por silueta, es por eso que se utiliza esta combinación para reducir el margen de error en estos casos particulares. Nuevamente haciendo pruebas se muestra los tres casos de etiquetado que puede haber con el sistema en la Figura 37. 93 Figura 37 Casos de Etiquetado para personas conocidas y desconocidas Nota. En a) se muestra una imagen donde se detecta a una persona que no tiene datos en el dataset, por lo que es etiquetada como “Desconocido”, se enmarca en color rojo y no posee porcentaje de predicción, en b) se muestra una imagen donde se encuentra una persona que si es conocida por el sistema, esta etiqueta es de color verde y posee el porcentaje de predicción y el nombre de la persona, y en c) se ve a una persona que previamente ha sido Re-Identificada pero que aún no se conoce su identidad, por lo que se etiqueta de color amarillo y si posee porcentaje de predicción. En la Tabla 21, se muestran los porcentajes de los datos de Accuracy, Recall, y Precision que se obtienen al entrenar este modelo de Re-Identificación por textura y color de la vestimenta y silueta corporal. Tabla 21 Resultados reconocimiento soft-biométrico en personas desconocidas Clasificador/ Descriptores Métricas Valor Cámara 2 SVM/ HSV, HOG, Daysi Accuracy 0.7811 ± 0.0182 94 Clasificador/ Descriptores Métricas Valor Cámara 2 Recall 0.8531 ± 0.0285 Precision 0.8454 ± 0.0233 Nota. Estos son los resultados de predicción de personas desconocidas con características soft- biométricas (silueta, textura y color) teniendo un promedio de 0.7811 con una desviación estándar del ± 0.0182, estos resultados pueden variar dependiendo de factores externos como la iluminación, el contraste de color en la vestimenta, la forma en la que se viste una prenda, etc. De acuerdo con la literatura los porcentajes de precisión mínimos y máximos que se encuentran al utilizar (silueta, corporal, textura y color de la vestimenta) oscila entre un 63.7% (Islam et al.,2017) y 90% (Nithyakani et al., 2019). Por lo que el promedio de 78.11% que arroja el modelo de Re- Identificación de personas desconocidas por características soft-biométricas se encuentran dentro del rango permitido, asumiendo que la construcción del modelo es un éxito. Resultados de las tareas de la historia de usuario 06 Los resultados de esta historia de usuario involucran la ejecución del sistema con la segunda cámara, en donde el enfoque es hacia las personas vistas de espaldas, los resultados de predicción prácticamente se basan solo en la textura y color de la vestimenta, y la silueta corporal, el reconocimiento facial es inexistente con lo que los porcentajes de confianza pueden ser más bajos Figura 38. Además, se realizó pruebas exhaustivas para evaluar el funcionamiento del sistema realizando varias pasadas de una persona, de varias personas y de un desconocido, por tres carriles definidos (cerca de la oficina, mitad del pasillo y cerca de la baranda) 95 Figura 38 Pruebas del sistema con personas caminando por las tres rutas. Además de esta persona, se registró videos de otras tres personas que sirvieron para generar el porcentaje de precisión y la desviación estándar. Para eso también se tomó videos de las personas enfocadas por la otra cámara de seguridad como se ve en la Figura 39. 96 Figura 39 Pruebas del sistema con enfoque de la cámara 2 por las tres rutas. Nota. Estas imágenes tomas de los tres carriles se realizó para garantizar que los datos de predicción sean viables incluso si la persona que se quiere Re-Identificar caminase ya sea por los extremos o por el centro de los pasillos. Habiendo realizado estas pasadas y Re-Identificando a las personas, se consigue un promedio para medir la precisión del modelo de Re-Identificación con una persona, por lo que se procede a realizar otra comparativa pero con otras clases (ver Tabla 22) donde el reconocimiento frontal es muy superior teniendo 96.26% de precisión en contra del 86.52% del reconocimiento posterior, esto se debe, a que naturalmente estamos obviando el reconocimiento facial, y solo apuntamos a Re-Identificar únicamente con características soft-biométricas. 97 Tabla 22 Resultados de las interacciones por las tres rutas Clasificador NP Carril Clase Métrica Cámara 1 Cámara 2 SVM 01 Izquierdo Santiago Accuracy 0.9782 0.9813 02 Izquierdo Helen Accuracy 0.9441 0.8245 03 Izquierdo Roberto Accuracy 0.9843 0.6323 04 Centro Santiago Accuracy 0.9411 0.8983 05 Centro Helen Accuracy 0.9104 0.9214 06 Centro Anthony Accuracy 0.9713 0.9431 07 Centro Roberto Accuracy 0.9814 0.8934 08 Derecho Santiago Accuracy 0.9112 0.8943 09 Derecho Roberto Accuracy 0.9601 0.9148 10 Derecho Helen Accuracy 0.9443 0.8483 Promedio 0.9526 ± 0.0258 0.8751 ± 0.0912 Nota. Estos promedios se realizaron con cada una de las personas en pasadas individuales, es decir, cada porcentaje se ha tomado cuando cada persona caminó por las distintas rutas del pasillo. En la Tabla 23, se muestra los resultados de predicción con una sola persona en diez pasadas, esto se hace para corroborar la robustez del sistema y garantizar así su eficacia. Tabla 23 Tabla de resultados de las interacciones por las tres rutas con una persona conocida Clasificador NP Carril Clase Métrica Cámara 1 Cámara 2 SVM 01 Izquierdo Santiago Accuracy 0.9082 0.8313 02 Izquierdo Santiago Accuracy 0.9138 0.8134 03 Izquierdo Santiago Accuracy 0.9251 0.8465 04 Centro Santiago Accuracy 0.9543 0.9163 05 Centro Santiago Accuracy 0.9686 0.8914 06 Centro Santiago Accuracy 0.9723 0.9431 07 Centro Santiago Accuracy 0.9645 0.8934 08 Derecho Santiago Accuracy 0.8963 0.7943 09 Derecho Santiago Accuracy 0.9179 0.7548 98 Clasificador NP Carril Clase Métrica Cámara 1 Cámara 2 10 Derecho Santiago Accuracy 0.8892 0.7283 Promedio 0.9310 ± 0.0296 0.8412 ± 0.0667 Nota. Los resultados que se muestran en esta tabla, dependen según el carril que se haya optado para el entrenamiento inicial, al haberse entrenado el modelo con imágenes de la persona conocida caminando por el carril central, los resultados de predicción varían en los dos otros carriles, provocando una reducción en la precisión de los modelos. La Tabla 24, muestra la clase Santiago como persona desconocida, es decir, esta persona es borrada del sistema, esto significa que el sistema no será capaz de identificar a este individuo, ya que su porcentaje de predicción estará por debajo del valor de umbral y lo clasificará como un desconocido, esto mientras el sistema obtenga las características soft-biométricas, para posteriormente, poder Re- Identificarlo como desconocido. Tabla 24 Tabla de resultados de las interacciones por las tres rutas con una persona desconocida Clasificador NP Carril Clase Métrica Cámara 1 Cámara 2 SVM 01 Izquierdo Desc. 1 Accuracy 0.3451 0.8113 02 Izquierdo Desc. 1 Accuracy 0.4312 0.7945 03 Izquierdo Desc. 1 Accuracy 0.2953 0.8223 04 Centro Desc. 1 Accuracy 0.4311 0.8983 05 Centro Desc. 1 Accuracy 0.3729 0.9014 06 Centro Desc. 1 Accuracy 0.4263 0.8943 07 Centro Desc. 1 Accuracy 0.4135 0.9234 08 Derecho Desc. 1 Accuracy 0.3215 0.7843 09 Derecho Desc. 1 Accuracy 0.3896 0.7848 10 Derecho Desc. 1 Accuracy 0.3516 0.7683 Promedio 0.3778 ± 0.0461 0.8382 ± 0.0561 99 Nota. Cuando el sistema ha finalizado la generación del dataset y seguidamente se haya entrenado, este es capaz de Re-Identificar a este desconocido, gracias a esta capacidad cuando pasa por la cámara 2, el porcentaje de predicción aumenta considerablemente, de tener un promedio bajo de 0.3778 pasa a tener un promedio de 0.8382 con una desviación estándar del ± 0.0461 y del ± 0.0561 como se ve en la Tabla 24respectivamente, lo que implica que sobrepase el umbral establecido y por consecuencia que sea ahora una persona Re-Identificada. En la literatura se han reportado porcentajes de precisión que varían entre el 63.7% (Islam et al.,2017) y el 90% (Nithyakani et al., 2019) como los valores mínimos y máximos alcanzados. Con un promedio del 83.82% ± 5.61%, se confirma la validez del modelo Re- Identificación de desconocidos mediante textura y color de la vestimenta y silueta corporal probado con diez iteraciones. Identificación de Errores El sistema cumple con su función principal, que es reconocer a personas conocidas (resaltadas con un marco verde), a personas desconocidas que no están en el dataset (resaltadas con un marco rojo) y a personas desconocidas Re-Identificadas (resaltadas con un marco amarillo). ver Figura 40. Figura 40 Reconocimiento de personas de espaldas 100 Sin embargo, es importante señalar que en ciertas situaciones la precisión puede no ser total. Un ejemplo de esto se presenta con nuestro modelo "Carlos", quien utiliza una chaqueta abierta de color negro y una camisa gris. Esta combinación de vestimenta puede ocasionar dificultades en situaciones específicas, como cuando "Carlos" se encuentra de espalda. En esta posición, el sistema puede tener dificultades para reconocerlo correctamente debido a que, desde la parte frontal, su vestimenta es de color gris, mientras que, desde la espalda, es de color negro. En consecuencia, el sistema podría no lograr la Re-Identificación precisa de este individuo en tales circunstancias como se ve en la Figura 41. Figura 41 Resultados de predicción errónea de la clase “Carlos” 101 Capítulo IV Validación del Sistema de Re-Identificación de personas desconocidas En este segmento, se exponen minuciosamente las evaluaciones llevadas a cabo para los diversos modelos de Re-Identificación de individuos, destacando el enfoque destinado a reconocer tanto a personas previamente identificadas como aquellas cuya identidad aún es desconocida, abordando los criterios empleados y los parámetros específicos para la identificación, el marco de evaluación se detalla a continuación. Marco de Evaluación La validación del sistema de Re-Identificación, se llevó a cabo mediante la utilización de dos cámaras estratégicamente ubicadas en un entorno controlado. La primera cámara desplegó su capacidad para extraer características biométricas (rostro) y soft-biométricas (silueta corporal, textura y color de la vestimenta). Estas características fueron almacenadas en un dataset, para luego proceder a entrenar el sistema en tiempo real. Por otro lado, la segunda cámara fue designada para capturar imágenes en las cuales los individuos estuvieran de espaldas, propiciando así la recolección de datos para el reconocimiento basado en las tres características soft-biométricas previamente mencionadas. La implementación del sistema se incluye en la librería de Python llamada threading, este módulo construye interfaces de hilado de alto nivel sobre el módulo de más bajo nivel _thread. En esta configuración se ha usado cuatro hilos, el primer hilo se ocupa de la detección y etiquetado de la o las personas, el segundo hilo asume la responsabilidad del procesamiento en el reconocimiento facial, mientras que el tercer hilo se encarga del reconocimiento por características soft-biométricas. Finalmente, el cuarto hilo se dedica al entrenamiento en tiempo real del sistema. 102 Aplicación de las Métricas de Evaluación Para realizar las validaciones, se seleccionó como entorno uno de los pasillos de la Universidad de las Fuerzas Armadas ESPE sede Latacunga, Campus Gral. Guillermo Rodríguez Lara, y se propuso la Re-Identificación de cuatro personas caminando simultáneamente por dicho corredor. Se utilizó videos en los que aparecen las personas: Roberto, Helen, Santiago y un desconocido. Como el sistema es capaz de procesar personas por separado, se obtuvo datos de cada una de las personas para sus respectivas pruebas. Estas pruebas fueron realizadas utilizando cuatro hilos de procesamiento, la razón de esta decisión va más allá del rendimiento, cuando se utiliza un solo hilo para realizar todo, al momento de que el sistema detecte a una persona, este esperará hasta que el procesamiento de imagen termine y arroje los resultados, esto toma tiempo y genera retrasos en el video. Además, cuando se obtengan las imágenes necesarias para el entrenamiento, el sistema pausará el proceso principal hasta que el entrenamiento haya terminado retardando aún más el tiempo de ejecución. Por esta razón se usó este enfoque, haciendo que el procesamiento y entrenamiento se ejecuten paralelamente, sin afectar la ejecución principal. Pruebas de Algoritmos de Identificación Facial Este algoritmo se sometió a la tarea de Re-Identificar a múltiples personas mediante el rostro en una misma toma, como ejemplo se tiene un video de la cámara 1 que abarca las cuatro clases (Roberto, Santiago, Un Desconocido y Helen), cada persona yendo por una ruta. Figura 42. 103 Figura 42 Pruebas del sistema con varias personas en un entorno controlado Cámara 1 Nota. Para cada clase se ha optado por procesar 150 imágenes por cada ruta, siendo en total 450 Imágenes. En la Tabla 25, muestra los resultados provenientes de haber procesado estas imágenes haciendo uso las métricas de evaluación para el cálculo de Accuracy de las clases: Roberto, Santiago y Helen Tabla 25 Resultados de la exactitud del modelo de los 3 ejemplos mediante identificación facial Clasificador/ Descriptor Clase Métricas Valor k-NN / LBPH Roberto Accuracy 0.9341 Santiago Accuracy 0.9532 Helen Accuracy 0.8889 Promedio 0.9254 ± 0.0269 104 Nota. Los valores de la Figura 41 son los resultados que provienen de predecir con el modelo de identificación. Para estas clases se muestran los siguientes valores: Roberto con 0.9341, Santiago con 0.9532 y por último Helen con 0.8889 dando un promedio del 0.9254 y una desviación estándar de ± 0.0269 como resultado de usar la identificación facial. Se ha configurado las pruebas para realizarse con distintas pasadas con diferente orden, en la Figura 43, se aprecia el reconocimiento de la primera cámara correctamente. Figura 43 Prueba con la configuración 1 Cámara 1 Nota. En esta configuración se ha dispuesto el siguiente orden: un desconocido, Santiago, otro desconocido y Helen. Los resultados de la predicción con la configuración 1 de la Figura 43, y los datos corresponden a los de la Tabla 26, donde se aprecia que, si el porcentaje de confianza de la predicción no supera el umbral que es de 70% (Zhao et al., 2003)., esta persona es categorizada como un desconocido por lo que se lo etiqueta de esa forma. 105 En la Tabla 26, se detalla los resultados de la prueba con dos conocidos y dos desconocidos, donde se aprecia el porcentaje de precisión. Tabla 26 Porcentaje de confianza del modelo de identificación facial con la configuración 1 Clase Escenario Característica biométrica Predicción Resultado esperado Resultado obtenido Porcentaje de confianza - Cámara 1 Facial No Identificado Desc. 1 Desc. 1 0.59341 Santiago Cámara 1 Facial Identificado Santiago Santiago 0.82952 - Cámara 1 Facial No Identificado Desc. 2 Desc. 2 0.38889 Helen Cámara 1 Facial Identificado Helen Helen 0.90454 Nota. En esta tabla dado que el sistema no consigue reconocer al Desconocido 1 ni al Desconocido 2, sus porcentajes de confianza son bajos y dispersos lo que significa que no existe clase alguna con cual comparar, por lo que no se puede realizar el promedio con estos datos. En la Figura 44, se aprecia la prueba con la configuración 2, donde se ha cambiado el orden de las personas a identificar. 106 Figura 44 Prueba con la configuración 2 Cámara 1 Nota. A pesar de que el orden de las personas cambie, el sistema puede detectar y diferenciar correctamente a los individuos, tanto conocidos y desconocidos, y se muestran los datos correspondientes a esta prueba en la Tabla 27. La Tabla 27 detalla los resultados de la prueba con dos conocidos y dos desconocidos en la configuración 2. Tabla 27 Porcentaje de confianza del modelo de identificación facial con la configuración 2 Clase Escenario Característica biométrica Predicción Resultado esperado Resultado obtenido Porcentaje de confianza Santiago Cámara 1 Facial Identificado Santiago Santiago 0.84451 - Cámara 1 Facial No Identificado Desc. 1 Desc. 1 0.56952 107 Clase Escenario Característica biométrica Predicción Resultado esperado Resultado obtenido Porcentaje de confianza Helen Cámara 1 Facial Identificado Helen Helen 0.89421 - Cámara 1 Facial No Identificado Desc. 2 Desc. 2 0.29421 Nota. Los resultados de la Tabla 27 son similares a la Tabla 26 por lo que se asume que el reconocimiento por características biométricas resulta arroja buenos resultados, cuando se trata de personas conocidas, como de las personas desconocidas. El promedio del porcentaje de confianza del modelo de Re-Identificación facial en personas conocidas fue del 87%, lo que significa que, de cada 100 detecciones, 87 de estas serán reconocimientos positivos, ya sean conocidos, los valores de predicción del modelo están entre el 85% y el 96% como valor mínimo y máximo respectivamente. Según la literatura (Sun et al., 2014b), se indica que, en los sistemas de identificación facial los porcentajes de predicción en la identificación del rostro se encuentra entre el 76% y el 100%, los porcentajes que muestra este modelo están en el rango aceptable de reconocimiento por características faciales. Pruebas del algoritmo de Re-Identificación por textura y color de la vestimenta y silueta corporal Para el reconocimiento por la cámara 2, se requiere utilizar las características soft-biométricas: color y textura de la vestimenta, y silueta corporal, de igual forma, este algoritmo se sometió a la tarea de Re-Identificar a múltiples personas caminando en dirección contraria al cámara, dando la espalda a dicho enfoque como se ve en la Figura 45. 108 Figura 45 Pruebas del sistema con varias personas en un entorno controlado Cámara 2 Realizadas las pruebas se obtiene los promedios de la métrica Accuracy para las clases Roberto, Santiago,Helen y del Desconocido 1 como se muestra en la Tabla 28. Tabla 28 Resultados de la exactitud del modelo combinando características soft-biométricas Clasificador/ Descriptor Clase Métricas Valor SVM / HSV, LBP, Daysi, HOG Roberto Accuracy 0.8444 Santiago Accuracy 0.8601 Helen Accuracy 0.8132 Desconocido 1 Accuracy 0.7843 Promedio 0.8527 ± 0.0226 Nota. En esta tabla se aprecia los valores resultantes del uso del modelo reconocimiento por características soft-biométricas estos valores son: para la clase Roberto un valor de Accuracy del 0.8444, 109 para Santiago 0.8601, para Helen 0,8132 y para el Desconocido 1 se tiene 0.7843 dando un promedio del 0.8527 y una desviación estándar de ± 0.0226 para la Re-Identificación con este modelo. En Figura 46, se ha realizado la prueba con las cuatro clases antes mencionadas utilizando la configuración 1 en la cámara 2. Figura 46 Prueba con la configuración 1 Cámara 2 Nota. En las pruebas, se entrenó las clases del Desconocido 1 y del Desconocido 2 mientras seguía detectado en la cámara 1, en la cámara 2 estos individuos fue Re-Identificados correctamente, luego de esto se realizó otra prueba, pero con la configuración número 2, estos datos se muestran en la Tabla 29. La Tabla 29, muestra la información correspondiente a las cuatro clases de prueba, donde de igual forma, se aprecia el porcentaje de precisión y la desviación estándar. 110 Tabla 29 Porcentaje de confianza del modelo de Re-Identificación con la configuración 1 Clase Escenario Característica soft-biométrica Predicción Resultado esperado Resultado obtenido Porcentaje de confianza Helen Cámara 2 Color, textura y silueta Identificado Helen Helen 0.8144 Desc. 2 Cámara 2 Color, textura y silueta Identificado Desc. 2 Desc. 2 0.8793 Santiago Cámara 2 Color, textura y silueta Identificado Santiago Santiago 0.8914 Desc. 1 Cámara 2 Color, textura y silueta Identificado Desc. 1 Desc. 1 0.8294 Promedio 0.8536 ± 0.0324 Nota. Ahora que el sistema ha sido entrenado los porcentajes de confianza de las personas desconocidas que se aprecian en la Tabla 29 aumentaron significativamente comparación de las predicciones en la Tabla 26. En la Tabla 26, para la clase Desconocido 1 se tiene un porcentaje de confianza del 0.59341 mientras que en la Tabla 29 se tiene un valor del 0.8294, lo que significa un aumento del 0.236, de igual forma para el Desconocido 2 se tiene un porcentaje del 0.38889 en la primera tabla, y para la segunda se tiene 0.8793, aumentando su porcentaje de confianza un valor de 0.4904, estos nuevos valores producto de la Re-Identificación superan el umbral que se estableció. El promedio de los resultados de 111 usar el modelo reconocimiento por características soft-biométricas da 0.8536 con una desviación estándar de ± 0.0324. En la Figura 47, se vuelve a realizar la prueba en la segunda cámara, pero con una configuración distinta, el orden de las personas cambia y se aprecian los resultados correctamente. Figura 47 Prueba con la configuración 2 Cámara 2 Nota. En esta Figura, para Re-Identificar a Helen ya existe una limitación, ya que el cambio de iluminación afecta directamente en la tonalidad de la vestimenta que lleva puesta, esto hace que el sistema tienda a confundirse y en vez de percibir un color blanco, se ve un color gris oscuro, reduciendo considerablemente el porcentaje de confianza. Los resultados de esta prueba se muestran en la Tabla 30 112 Tabla 30 Porcentaje de confianza del modelo de Re-Identificación con la configuración 2 Clase Escenario Característica soft-biométrica Predicción Resultado esperado Resultado obtenido Porcentaje de confianza Desc. 2 Cámara 2 Color, textura y silueta Identificado Desc. 2 Desc. 2 0.8211 Santiago Cámara 2 Color, textura y silueta Identificado Santiago Santiago 0.8802 Desc. 1 Cámara 2 Color, textura y silueta Identificado Desc. 1 Desc. 1 0.8894 Helen Cámara 2 Color, textura y silueta Identificado Helen Helen 0.7124 Promedio 0.8257 ± 0.0705 Nota. De igual forma que ocurre con la configuración 1, en esta configuración también, comparando con la Tabla 27, se observa un aumento en los porcentajes de confianza para las clases Desconocidas, de 0.5695 a 0.8802 con un valor de aumento de 0.3107 para el Desconocido 1 y de 0.29421 a 0.8894 con un valor de aumento de 0.5951 para el Desconocido 2. El promedio de confianza es del 0.8257 con una desviación estándar de 0.0705 para el modelo de reconocimiento por características soft-biométricas en la configuración 2. 113 Algo importante que se aprecia en la Tabla 30 , es que el porcentaje de confianza de la clase Helen, disminuyó en comparación de la prueba con la configuración 1, esto puede deberse al cambio de iluminación y así como también a la diferencia de ángulos que se tiene en la cámara, sin embargo, los resultados muestran correctamente a las personas Re-Identificadas. El promedio del porcentaje de confianza del modelo de Re-Identificación soft-biométrico fue del 82,57%, lo que significa que, de cada 100 detecciones, 82 de estas serán reconocimientos positivos, ya sean conocidos o desconocidos, los valores de predicción del modelo están entre el 71% y el 89% como valor mínimo y máximo respectivamente. Entonces Según la literatura científica, los porcentajes de precisión mínimos y máximos que se encuentran al utilizar (silueta, corporal, textura y color de la vestimenta) varía entre un 63.7% (Islam et al.,2017) y 90% (Nithyakani et al., 2019). Dejando al modelo de Re-Identificación mediante características soft-biométricas dentro de los rangos de establecidos, confirmando la eficacia del modelo 114 Capítulo V Conclusiones y Recomendaciones Conclusiones A continuación, presentamos las conclusiones a las que hemos llegado en este trabajo de investigación de acuerdo a los resultados obtenidos y las validaciones realizadas: -- La búsqueda en múltiples repositorios, incluidos IEEE, WOS, Scopus y Google Scholar, proporciona un conocimiento de varias técnicas de visión por computadora, modelos y/o algoritmos de aprendizaje automático utilizados para construir sistemas de Re-Identificación de personas desconocidas. Estos sistemas se basan en el uso de rasgos biométricos (el rostro) y soft-biométricos (textura y color de la vestimenta, silueta corporal). Estos métodos se utilizan para generar diversos modelos de Re- Identificación diseñados para mejorar el rendimiento del sistema desarrollado. (Pedregosa F. V., 2011). -- La ejecución de este proyecto se realizó bajo el marco de la metodología SCRUM, ya que el método fue diseñado para ser altamente adaptable y permitir la adaptación a las necesidades del proyecto. Esto permite crear un historial de usuario y estimar el tiempo necesario para realizar diversas tareas, teniendo en cuenta la posibilidad de cambios, especialmente debido a la complejidad inherente a los sistemas de Re-Identificación de personas desconocidas (Rola, 2015). -- En el desarrollo de este trabajo de investigación se realizó el reconocimiento de personas conocidas y/o desconocidas mediante características biométricas(El rostro) y soft-biométricas( la silueta corporal, textura y color de la vestimenta) con la aplicación de modelos no holísticos, mediante la implementación de técnicas de Visión por Computador( LBP, LBPH, HoG, HSV, DAYSI) y la aplicación de modelos y/o algoritmos de Machine Learning (KNN, SVM), utilizados para la identificación facial mediante el rostro y 115 la detección y Re-Identificación de personas conocidas y desconocidas a través de la silueta corporal y la textura y color de la vestimenta. -- Al combinar rasgos soft-biométricos puede producir mejores predicciones en la Re-Identificación de personas que utilizarlas de forma individual, ya que se obtiene un conjunto de características más descriptivas de un individuo. Este proceso no solo identifica sujetos previamente registrados, sino que también detecta y registra automáticamente personas desconocidas, cuyo fin es mejorar la videovigilancia (Nasaruddin, 2020). En cuanto a la validación de los resultados se lleva a cabo mediante pruebas especiales sobre el conjunto de datos obtenido en forma real, para alcanzar un nivel de precisión que este acorde a las mediciones presentes en los artículos científicos (Lignia Tuapanta, 2023). -- Los principales problemas que tiene que ver con la Re-Identificación de personas es la obtención de datos de calidad que están relacionados, en general, con la imagen como es el brillo de los objetos del entorno y los reflejos de azulejos y ventanas, así como también, del cambio de iluminación con respecto a la tonalidad de la vestimenta, o el ángulo del que se tomó la imagen de la silueta. 116 Recomendaciones --En el ámbito del reconocimiento de personas, es fundamental determinar la dificultad inherente a este proceso, mediante la silueta corporal. Basándose en la experiencia de desarrollo de este trabajo, se recomienda que los enfoques futuros consideren la incorporación de modelos entrenados en datos multidireccionales y la implementación de técnicas innovadoras como la capa de atención espacial y el uso de redes neuronales convolucionales (CNN). --Las limitaciones del sistema indicadas en las conclusiones, son factores que influyen al seleccionar el entorno adecuado para afinar el sistema en lo que respecta a pruebas y validaciones del mismo. --Adquirir recursos tecnológicos necesarios para llevar a cabo de forma eficientemente los trabajos de investigación planteados en la carrera, dado que restringe el accionar de los futuros profesionales. 117 Bibliografía Abadi, M. B. (2016). . TensorFlow: A system for large-scale machine learning. USENIX, 21. Abderrahmane, E. &. (2013). . Conception and development of a video surveillance system for detecting, tracking and profile analysis of a person | IEEE Conference Publication | IEEE Xplore. https://ieeexplore.ieee.org/document/6728128. Adelson., N. &. (1994). . Analyzing and recognizing walking figures in XYT. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition CVPR-94, 469–474. https://doi.org/10.1109/CVPR.1994.323868. Agoués, L. Á. (2020). De la tutela en origen a la guarda de hecho en destino: reconocimiento de la institución desconocida. A propósito del Auto Nº 209/2020 (procedimiento de exequátur) del Juzgado de Primera Instancia N. º 6 de San Sebastián. Cuadernos de derecho transnaciona. Almeida, F. &. (2021). Performance metrics in scrum software engineering companies. International Journal of Agile Systems and Management, 14(2), 205-223 https://doi.org/10.1504/IJASM.2021.118061. Arce, J. I. (2019). La matriz de confusión y sus métricas – Inteligencia Artificial –. Juan. August, R. (2023). How Face Recognition Technology and Person Re-identification Technology Can Help Make Our World Safer and Secure | NEC. (n.d.). Chhajro, M. K. (2018). Pedestrian Detection Approach for Driver Assisted System using Haar based Cascade Classifiers. International Journal of Advanced Computer Science and Applications, 9 https://doi.org/10.14569/IJACSA.2018.090616. 118 Cuzzolin, F. (2010). Multilinear Modeling for Robust Identity Recognition from Gait [Chapter]. Behaviora Biometrics for Human Identification: Intelligent Applications; IGI Global. https://doi.org/10.4018/978-1-60566-725-6.ch008. Dalal, N. &. (2005). Histograms of oriented gradients for human detection. 2005 IEEE 893 vol. 1. https://doi.org/10.1109/CVPR.2005.177. Dayangac, E. W. (2015). . Robust Head-shoulder Detection using Deformable Part-based Models: Proceedings of the 10th International Conference on Computer Vision Theory and Applications, 236-243. Diana Judith, I. M. (2016). Diana Judith, I., Mary, G. J. J., & Susanna, M. M. (2016). Three factor biometric authentication for spiraling of security. 2016 International Conference on Emerging Trends in Engineering, Technology and Science (ICETETS), 1-3. https://doi.org/10.1109/ICE. Felzenszwalb, P. F. (2010). Object Detection with Discriminatively Trained Part-Based Models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(9), 1627-1645. https://doi.org/10.1109/TPAMI.2009.167. Felzenszwalb, P. F. (2010). Object Detection with Discriminatively Trained Part-Based Models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(9), 1627–1645. https://doi.org/10.1109/TPAMI.2009.167. Gaba, N. B. (2016). Motion detection, tracking and classification forautomated Video Surveillance. 2016 IEEE 1st International Conference on Power Electronics automated Video Surveillance. 2016 IEEE 119 1st International Conference on Power Electronics, automated Video Surveill. https://doi.org/10.1109/ICPEICES.2016.7853536. Gafurov, D. (2011). Person re-identification using biometrics: Challenges, approaches, and applications. In Biometrics, 175–198. González, A. F. (2016). Pedestrian Detection at Day/Night Time with Visible and FIR Cameras: A Comparison. Sensors, 16(6), Art 6. https://doi.org/10.3390/s16060820. Han, J. &. (2006). Individual Recognition Using Gait Energy Image. IEEE Transactions on Pattern. Hema, V. T. (2020). Scrum: An Effective Software Development Agile Tool. IOP Conference Series: Materials Science and Engineering, 981(2), 022060. https://doi.org/10.1088/1757- 899X/981/2/022060. Hernández, C. (2017). Las desconocidas de la Revolución. Cuaderna Vía, 2(2), 1-1. Jain, A. K.–2. (2004). An introduction to biometric recognition. IEEE Transactions https://doi.org/10.1109/TCSVT.2003.818349. LeCun, Y. B. (2015). Deep learning. Nature, 521(7553), Article 7553. Lignia Tuapanta, L. D. (2023). Sistema de Re-Identificación de personas a través de las características faciales y soft-biométricas la textura de la vestimenta, y modelos holísticos y no holísticos, utilizando algoritmos de Visión por Computadora y Machine Learning. Learning. https://repositorio.espe.edu.ec/handle/21000/35825?locale=es. 120 Luna da Silva, R. C. (2017). Detecting People from Beach Images. 2017 IEEE 29th International Conference on Tools with Artificial Intelligence (ICTAI), 636-643. https://doi.org/10.1109/ICTAI.2017.00102. Marr, D. (2010). A computational investigation into the human representation and processing of. Marr, D. (2010). A computational investigation into the human representation and processing of visual information. MIT Press. Merusi, D. (1995). Software Implementation Techniques, Second Edition: Writing Software in OpenVMS, OS/2, UNIX ans Windows NT (2nd edition). Digital Press. Moctezuma-Ochoa, D. A. (2016). Re-identificación de personas a través de sus características softbiométricas en un entorno multi-cámara de video-vigilancia. . Ingeniería. Investigación y Tecnología, VXII(2), 257–271. Muhammad Sharif, S. M. (2010). Illumination normalization preprocessing for face recognition. 2010 The 2nd Conference on Environmental Science and Information Application Technology, 44-47 https://doi.org/10.1109/ESIAT.2010.5567274. Nasaruddin, N. M. (2020). Deep anomaly detection through visual attention in surveillance videos. Journal of Big Data, 7(1), 87 https://doi.org/10.1186/s40537-020-00365-y. Nixon, M. C. (2006). Automatic Gait Recognition. In Motion Analysis and Tracking (Vol. 103, pp. 231– 249). https://doi.org/10.1007/0-306-47044-6_11. Pedregosa, F. V. (2011). Scikit-learn: Machine Learning in Python. MACHINE LEARNING IN PYTH. 121 Pedregosa, F. V. (2011). Scikit-learn: Machine Learning in Python. MACHINE LEARNING IN PYTHON, 6. Prioletti, A. M. (2013). PartBased Pedestrian Detection and Feature-Based Tracking for Driver Assistance: Real-Time Robust Algorithms, and Evaluation. IEEE Transactions on Intelligent Transportation Systems,14(3), 1346-1359. https://doi.org/10.1109/TITS.2013.226204. Puebla, A. L. (2017). Reconocimiento y discriminación de voces desconocidas de hombre y mujer. Behavior & Law Journal, 3(1), 52-60. Ray, S. (2019). A Quick Review of Machine Learning Algorithms. 2019 International Conference on Machine Learning, Big Data, Cloud and Parallel Computing (COMITCon), 35-39 https://doi.org/10.1109/COMITCon.2019.8862451. Rola, P. &. (2015). Implementing Scrum Method in International Teams—A Case Study. Open Journal of Social Sciences, 3(7), Article 7. https://doi.org/10.4236/jss.2015.37043. Sánchez, S. L. (2019). Re- Identificación de personas utilizando únicamente información de profundidad. Telemática, 18(3). Article 3. https://revistatelematica.cujae.edu.cu/index.php/tele/ article/view/347. Satta, R. (2023). Appearance Descriptors for Person Re-identification: A Comprehensive Review. Sharma, P. (2019). A survey on color space and color model. International Journal of Computer Scienc. Srivastava, P. &. (2017). Integration of wavelet transform, Local Binary Patterns and moments for content-based image retrieval. Journal of Visual Communication and Image Representation, 42, 78-103. https://doi.org/10.1016/j.jvcir.2016.11.008. 122 Sun, Y. W. (2014). Deep Learning Face Representation from Predicting 10,000 Classes. 2014 IEEE Conference on Computer Vision and Pattern Recognition, 1891–1898. Vigneshwaran, T. G. (2020). Effective Framework for real time video face recognition system. Ournal of Advanced Research in Dynamical and Control System, 12(6), 680–684. Wang, J. W. (2011). Gait recognition using gait energy image and convolutional neural network. Pattern Recognition, 34(1), 186–195. https://doi.org/10.1016/j.patrec.2010.11.033. Xu, S. W.-M. (2021). Computer Vision Techniques in Construction: A Critical Review. Archives of Computational Methods in Engineering, 28(5),3383-3397. https://doi.org/10.1007/s11831-020- 09504-3. Zheng, L. Y. (2016). Person Re-identification: Past, Present and Future (arXiv:1610.02984). arXiv. https://doi.org/10.48550/arXiv.1610.02984. 123 Anexos