Computer Vision

Resumen

Desarrollar un sistema de Visión por Computadora (CV) que identifique grietas en pavimento de pistas de aeródromos. El sistema irá montado sobre un vehículo aéreo no tripulado (UAV) el cual recorrerá la pista de manera autónoma, tomará fotografías del pavimento, analizará la existencia de grietas y en caso de existir una, transmitirá las coordenadas GPS de la misma al operador o en su defecto, almacenará la información internamente para luego ser descargada al finalizar el vuelo.

Objetivo

Implementar un modelo de redes neuronales (NN) para identificar grietas sobre pavimento. Una cámara situada en el UAV tomará fotografías del pavimento y las mismas serán analizadas por el modelo. Dicho modelo deberá ser alojado sobre hardware específico para aplicaciones de Inteligencia Artificial (IA) como por ejemplo Jetson nano o similar.

Metodología

Actividades a desarrollar

1. Analizar el estado del arte (SOTA) de soluciones similares.
2. Buscar modelos ya implementados para soluciones similares.
3. Buscar modelos ya entrenados para soluciones similares.
4. Construcción de set de entrenamiento. Dado que se trata de análisis supervisado se requiere de un set de datos anotado. Es probable que este proceso lo llevemos a cabo utilizando herramientas como Amazon Mechanical Turk
5. Entrenamiento de nuestro modelo.
6. Cálculo de performance del mismo contra un test set.
7. Modificación del modelo, reentrenamiento, análisis de performance. Proceso iterativo en el cual se modifica el modelo, se calcula la performance y se vuelve a modificar en caso de ser necesario.
8. Deploy del modelo en hardware específico para aplicaciones de IA.
9. Integración del hardware para IA en UAV.
10. Pruebas en campo.
11. Publicación de trabajo científico. (Esta actividad debe ser desglosada ya que requiere mucho esfuerzo).

Materiales requeridos

1. Hardware para entrenamiento de modelos de NN. (GPU, TPU, etc).
2. Hardware para inferencia de modelo de NN. (Jetson nano, etc).
3. Drone con capacidad de vuelo autónomo en ruta predefinida.

Recursos

Recursos humanos

Rodrigo Durán. Desarrollador Senior
Darío Pérez Principi. Líder de proyecto.
Máximo Iaconis. Coordinador general.

Recursos financieros
Impacto

Actualmente la tarea de inspeccionar las pistas de aeródromos se realiza en forma manual, ya que el técnico camina por la misma y la inspecciona visualmente. El proyecto posee un alto impacto en el tiempo de inspección de la pista, reduciendo costos ya que no se requiere la presencia del técnico por períodos prolongados para efectuar las inspecciones.

El modelo desarrollado puede ser transferido a otros dominios, como por ejemplo, detección de grietas en durmientes de ferrocarril, detección de grietas y fisuras en aspas de molinos de generación eólica, etc.

Estado actual del proyecto

Implementamos la arquitectura de red U-Net (http://deeplearning.net/tutorial/unet.html) para el problema de segmentación semántica de 2 clases (grieta / no grieta). El código fue desarrollado en Python utilizando la librería de alto nivel Keras (https://keras.io/) y Tensorflow (https://www.tensorflow.org/?hl=es-419) como backend. La arquitectura se entrenó utilizando un dataset de imágenes de grietas en asfalto, disponible públicamente, llamado CRACK500 ya que es el dataset que cuenta con mayor cantidad de muestras de fracturas en asfalto. Se realizaron también algunas pruebas incorporando otros datasets más pequeños (GAPs384,etc).
El modelo fue entrenado durante 70 epochs utilizando optimizador Adam, loss binary crossentropy y métricas accuracy y mIoU.

Respecto de SOTA podemos citar al trabajo Feature Pyramid and Hierarchical Boosting Network for Pavement Crack Detection (https://github.com/fyangneil/pavement-crack-detection). El mismo utiliza una métrica modificada que calcula el IoU (Intersection over Union) para cada umbral en la capa de salida (default 0.5) y luego realiza el promedio, llamada AIoU.

U-Net (nosotros) 0.54
Feature Pyramid 0.49

Dado que se trata de un problema de clases altamente desbalanceado, pues es mayor el porcentaje de pixeles que pertenecen a la clase no grieta que a la clase grieta en cualquier imágen, es necesario la utilización de una métrica como IoU ya que que la utilización de pixel wise accuracy arroja siempre valores superiores al 90%.

Próximos pasos
Datasets

CRACK500:

Road crack detection using deep convolutional neural network -Zhang, Lei and Yang, Fan and Zhang, Yimin Daniel and Zhu, Ying Julie -Image Processing (ICIP), 2016 IEEE International Conference on pages 3708-3712 -2016 -IEEE

Feature Pyramid and Hierarchical Boosting Network for Pavement Crack Detection -Yang, Fan and Zhang, Lei and Yu, Sijia and Prokhorov, Danil and Mei, Xue and Ling, Haibin -IEEE Transactions on Intelligent Transportation Systems, 2019 -IEEE

GAPs384:

Feature Pyramid and Hierarchical Boosting Network for Pavement Crack Detection -Yang, Fan and Zhang, Lei and Yu, Sijia and Prokhorov, Danil and Mei, Xue and Ling, Haibin, IEEE Transactions on Intelligent Transportation Systems, 2019 -IEEE

How to Get Pavement Distress Detection Ready for Deep Learning? A Systematic Approach -Eisenbach, Markus and Stricker, Ronny and Seichter, Daniel and Amende, Karl and Debes, Klaus and Sesselmann, Maximilian and Ebersbach, Dirk and Stoeckert, Ulrike and Gross, Horst-Michael -International Joint Conference on Neural Networks (IJCNN) on pages 2039-2047 -2017

CFD:

Automatic road crack detection using random structured forests -Shi, Yong and Cui, Limeng and Qi, Zhiquan and Meng, Fan and Chen, Zhensong -IEEE Transactions on Intelligent Transportation Systems 17, 12, on pages 3434-3445 -2016 -IEEE

AEL:

Automatic Crack Detection on Two-Dimensional Pavement Images: An Algorithm Based on Minimal Path Selection. -Amhaz, Rabih and Chambon, Sylvie and Idier, Jérome and Baltazart, Vincent

cracktree200:

CrackTree: Automatic crack detection from pavement images -Zou, Qin and Cao, Yu and Li, Qingquan and Mao, Qingzhou and Wang, Song -Pattern Recognition Letters, 33, 3, on pages 227-238 -2012 -Elsevier

Referencias