Percepción inteligente para asistencia a personas con discapacidad visual
Actualmente en el mundo hay aproximadamente 300 millones de personas que padecen algún tipo de discapacidad visual grave o ceguera completa. Por otro lado, en los últimos años hemos podido contemplar un avance extraordinario en el campo de la inteligencia artificial (IA), especialmente cuando va destinado a mejorar la calidad de vida de las personas. El objetivo principal de nuestra propuesta es mostrar cómo pueden utilizarse métodos de percepción inteligente (particularmente visión por computador, deep learning y robótica) para tareas de asistencia de personas con discapacidad visual. Para ello, nos centramos en la percepción mediante cámaras, puesto que es el tipo de sensor que adquiere la información más relevante y es similar a la percibida mediante la visión humana. Existen además modelos de cámaras menos convencionales (de profundidad y omnidireccionales) que nos ayudarán a ampliar y enriquecer la información obtenida. Por otro lado, respecto a la manera de comunicar lo percibido al usuario nos centramos en las prótesis visuales puesto que son dispositivos experimentales muy prometedores, aunque actualmente con importantes limitaciones técnicas y biológicas.
Para combatir esas limitaciones, se propone utilizar métodos de IA de manera que nos permita, de manera eficaz, informar al usuario de la presencia de obstáculos, guiar al usuario a llegar a un objetivo, o facilitar el reconocimiento de escenas y objetos, entre otros. En nuestro trabajo se proponen diferentes maneras de extraer la información relevante del entorno y con ello distintas representaciones compatibles con la visualización que permiten estas prótesis visuales. Dado que el objetivo final es la evaluación de dichas propuestas con sujetos reales, diseñamos un framework de visión protésica simulada (SPV) que puede funcionar tanto con una cámara real como en un entorno virtual en el cual puede interactuar el usuario, cuyo desarrollo también es parte del proyecto. Habitualmente suele trabajarse con visión protésica simulada para facilitar y economizar el proceso de experimentación, pues a día de hoy sólo unos pocos centenares de personas han sido operados con alguno de estos sistemas.
Vamos a separar nuestro conjunto de propuestas de representación en dos grandes grupos: En primer lugar, aquellas que se benefician del uso de cámaras de profundidad (RGB-D) y de técnicas de robótica para ayudar en tareas de movilidad. En segundo lugar, proponemos algunos modos de representación para reconocimiento visual de escenas mediante técnicas de deep learning. Para ambos casos presentaremos el procesamiento para extraer información de la imagen, el cómo se ha decidido mostrar esa información en nuestro sistema de SPV, y finalmente, las primeras conclusiones de evaluación del método con sujetos reales obtenidas experimentalmente.
Intermedio
- Motivación: Discapacidad visual e IA. Percepción artificial y comunicación.
- Prótesis visuales y sistemas de visión protésica simulada.
- Nuestra solución.
- Movilidad del sujeto utilizando cámaras RGB-D y técnicas de robótica.
- Reconocimiento visual de escenas y objetos mediante técnicas de Deep Learning.
- Conclusiones y trabajo futuro.