Monitorización de la atención en el automóvil con sensores 3D de tiempo de vuelo

Melexis se ha asociado con empresas de tecnología 3D para crear demostraciones de DMS basadas en los sensores de cámara 3D de tiempo de vuelo (ToF) Melexis MLX75027.

A medida que los vehículos actuales se hacen más inteligentes, la supervisión del conductor se está convirtiendo en una característica necesaria para mejorar la seguridad y garantizar una interacción más fluida con los modos de conducción autónomos.

El Reglamento General de Seguridad de la UE exige la supervisión de la somnolencia y la distracción como una de las nuevas características de seguridad requeridas en los nuevos vehículos europeos a partir de 2022. Del mismo modo, la ley estadounidense SAFE (Stay Aware for Everyone) de 2020 exige medidas para minimizar o eliminar la distracción y la perdida de concentración del conductor, la "complacencia de la automatización" y el mal uso de los ADAS.

Además de proteger a los usuarios de la carretera, se espera que los nuevos sistemas ayuden a los conductores a acostumbrarse a la creciente automatización que puede compensar los errores humanos y apoyar los nuevos modelos de movilidad.

Tecnologías de seguimiento de la cabeza y de la mirada
Las señales de que un conductor puede estar distraído o ha perdido la concentración incluyen periodos prolongados en los que mira a otro lado de la carretera, a la consola central o al teléfono móvil. Esto puede detectarse mediante el seguimiento de la posición de la cabeza y la mirada. La somnolencia, además, puede manifestarse en movimientos inusuales de la cabeza, parpadeo excesivo o cambios de postura.

Los sistemas de vigilancia del conductor (DMS) pueden identificar con precisión estos signos y proporcionar una advertencia útil al conductor para que vuelva a centrar su atención en la carretera o le recomiende que se tome un descanso. Además, el DMS puede evaluar la disposición del conductor para interactuar con diversos sistemas de conducción autónoma, como por ejemplo retomar el control tras un periodo de conducción autónoma del vehículo.




Con un campo de visión convenientemente amplio, el DMS también puede admitir funciones adicionales de valor añadido, como el control basado en gestos de los modos del vehículo y los ajustes de infoentretenimiento, así como la supervisión de los pasajeros (OMS: occupant monitoring system), como los niños en los asientos de seguridad.

Las cámaras 2D ya se utilizan ampliamente en los sistemas de automoción basados en la visión, como los sistemas ADAS y de visión envolvente. El uso de longitudes de onda infrarrojas como fuente de iluminación permite que el sistema sea independiente de los cambios en las condiciones de iluminación, lo que permite un rendimiento consistente tanto si se conduce con luz solar brillante como en condiciones de nubosidad o de noche.

Sin embargo, los sistemas 2D sólo tienen una capacidad limitada para abordar las variaciones de postura de la cabeza y, por tanto, sólo pueden detectar una pequeña variedad de movimientos de la cabeza. Se necesita una detección en 3D. Entre las técnicas establecidas, la iluminación estructurada y las imágenes de cámaras estereoscópicas presentan importantes inconvenientes como posibles soluciones para el DMS.

La iluminación estructurada proyecta un patrón conocido sobre una escena y observa la distorsión para determinar la distancia. Sin embargo, los proyectores adecuados para el DMS de alta resolución son voluminosos y caros, mientras que se necesita un complejo procesamiento de imágenes para calcular los datos de la distancia. Además, la iluminación ambiental brillante puede comprometer el rendimiento.

Las imágenes estereoscópicas con dos cámaras permiten calcular un mapa de profundidad mediante la correlación de las dos imágenes. Aunque se puede conseguir una buena resolución con sensores de bajo coste, las cámaras deben colocarse con precisión una respecto a la otra y las condiciones de iluminación afectan en gran medida al rendimiento. Además, el coste y la disipación de calor asociados al procesamiento de imágenes son elevados.

Como alternativa, la detección indirecta del tiempo de vuelo (ToF) ilumina una escena con luz modulada y determina la información de profundidad midiendo el retardo de fase en las señales reflejadas. Esto puede lograrse utilizando un único sensor de relativamente baja resolución y permite un sólido rendimiento de DMS en un factor de forma pequeño.




Detección de profundidad mediante ToF
Para calcular la información de profundidad a partir de las mediciones ToF, se aplica una correlación cruzada matemática a la señal modulada de retorno. El muestreo en cuadratura, que cambia la fase de iluminación en pasos de 90 grados, proporciona cuatro términos de correlación cruzada de los que se recuperan la fase y la amplitud. La distancia se calcula a partir de la fase mediante la fórmula:

La carga del píxel acumulada al medir cada fase se muestrea para encontrar la amplitud. La fase y la amplitud de todos los píxeles se calculan en paralelo para crear la imagen de profundidad.

En la práctica, un sensor ToF utiliza una modulación de luz activa a una frecuencia en el rango de 20-100MHz. Se generan cuatro formas de onda en cuadratura para accionar un láser VCSEL (Vertical Cavity Surface-Emitting Laser) o un emisor LED. Un amplificador "lock-in" calcula las cuatro señales desfasadas de cada píxel y puede distinguir las señales con una onda portadora conocida frente a un fondo ruidoso para garantizar una detección precisa de la profundidad en todo tipo de iluminación ambiental. El subsistema del sensor también contiene una óptica de conformación del haz con una lente de gran apertura y un microcontrolador.

Utilizando los datos de profundidad de cada píxel del sensor, y teniendo en cuenta los parámetros de la lente en la ubicación del píxel, se puede crear una imagen de nube de puntos en 3D.



Imagen de nube de puntos 3D construida con los datos del sensor ToF.

Implementación de una solución 3D ToF
Con la tecnología de monitorización de la atención de Eyeware, el DMS proporciona un seguimiento de la mirada y la cabeza con una alta precisión de detección en una amplia gama de condiciones de conducción, incluida la luz solar brillante.

Los algoritmos utilizan estrategias propias basadas en el aprendizaje automático, lo que garantiza tiempos de respuesta rápidos y un bajo consumo de energía. Combinando los puntos fuertes del sensor ToF, con su procesamiento interno de señales, y el software, el sistema puede supervisar una gama muy amplia de movimientos de la cabeza y localizar bien los ojos con distintos ajustes de resolución.

Con un único sensor MLX75027, que tiene una resolución VGA (640 x 480 píxeles), el DMS resultante puede seguir tanto al conductor como al pasajero. El sensor ocupa un espacio mínimo, lo que permite crear un módulo económico y compacto que puede integrarse fácilmente en el conjunto del espejo retrovisor. Melexis dispone de una gama de sensores ToF calificados para el sector de la automoción que van desde la resolución QVGA (320 x 240) hasta la VGA, y que son adecuados para las aplicaciones DMS.

Detección ToF 3D en la práctica
El prototipo de DMS, construido con la placa de evaluación del sensor ToF EVK75027 de Melexis, se probó en condiciones de laboratorio diseñadas para reproducir las distancias y los ángulos de mirada de un coche real. Los experimentos se llevaron a cabo con un conjunto de 15 participantes.



Resultados de la precisión de la posición de la cabeza.

La imagen del interior de un coche, con objetivos visuales que parecían estar fuera, se proyectaba en una pantalla delante del participante. Para poder recopilar información sobre la mirada exacta de los ojos, se mostraron puntos en la pantalla en lugares aleatorios y se pidió al participante que mirara al punto específico y lo confirmara. Después de cada confirmación, se presentaba en la pantalla el siguiente punto de mirada. Los participantes fueron grabados dos veces, con una duración de 120 segundos por sesión.

Para evaluar el rendimiento de la detección de la postura de la cabeza, se consideraron exitosos los casos en los que el seguimiento de la cabeza se logró con un error de posición inferior a 3 cm. En consecuencia, la tasa de detección positiva alcanzada fue del 99,7%, como se muestra en la tabla 1.

El análisis estadístico de los resultados de la posición de la cabeza mostró un error de posición medio de 7,3 mm, con una desviación estándar de 4,8 mm. Con una tasa total de fallos inferior al 0,3% para ángulos de visión muy amplios, los resultados sugieren que un DMS que utiliza la tecnología ToF es capaz de seguir siempre el rastro de la cara.

Para evaluar la detección de ojos fuera de la carretera, se seleccionaron puntos de datos de verdad sobre el terreno basados en la definición de las zonas de ojos en la carretera y ojos fuera de la carretera.



Regiones de ojos en la carretera (verde) y fuera de la carretera (rojo).

El rendimientose midió mediante las métricas "Precision" y "Recall" (Precisión y Recuperación). La precisión se define como la relación entre los verdaderos positivos (fotogramas detectados correctamente como ojos fuera de la carretera) y el número de detecciones. Una precisión del 100% significa que no se registran falsas alarmas, aunque pueden perderse algunos eventos.

La recuperación es la relación entre los verdaderos positivos (fotogramas detectados correctamente como ojos fuera de la carretera) y el número de eventos/alarmas. En el caso extremo, una recuperación del 100% significa que se detectan todos los eventos, con algunas falsas alarmas.

El DMS detectó el 95% (recall) de los eventos de ojos fuera de la carretera. El número de falsas alarmas (precision) fue inferior al 5%.

Dado que el cierre de los ojos es un fuerte indicador de la somnolencia del conductor, también se controló la detección de ojos abiertos/cerrados. Se logró una precisión superior al 95%, a pesar de la resolución VGA relativamente baja del sensor. Esto demuestra la solidez de la detección del cierre de ojos, lo suficientemente precisa como para ser un componente de un sistema más amplio de detección de la somnolencia.

Conclusión
Los DMS implementados con sensores ToF pueden aumentar la seguridad y mejorar el compromiso con los sistemas de conducción autónoma. Un prototipo de DMS que contiene un sensor de cámara ToF con software de monitorización de la cabeza y seguimiento de la mirada ha demostrado una gran precisión y fiabilidad para cumplir la nueva legislación sobre vehículos que entrará en vigor a partir de 2022.

www.melexis.com

  Solicite más información…