Deep Learning i fusió de dades multimodal perquè el cotxe autònom pugui veure a través de la boira

Més enllà de la 5G: continuïtat de les xarxes òptiques
febrer 22, 2023
ANEM: Models i tècniques d’anonimització de dades amb aplicació al sector de la mobilitat
febrer 21, 2023

21/02/2023

Els vehicles autònoms són una realitat a la qual ens acostem a poc a poc, però de manera inexorable. El Centre de Desenvolupament de Sensors i Sistemes (CD6) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) ha desenvolupat tecnologies per a aquest tipus de vehicles, que milloren la seguretat en els desplaçaments. En aquest sentit, i per cobrir les necessitats de percepció de l’entorn a llarg abast, es requereix el desenvolupament d’un conjunt molt complet de sensors, entre els quals s’inclouen càmeres, LIDAR (Light Detection And Ranging) i radar. 

Si bé la solució pel que fa al hardware és coneguda (requereix combinar diferents sensors com càmeres de diferents tipus, per compensar els diferents modes de fallada de cadascun), cal encara molta feina per millorar pel que fa a la percepció que pot oferir el software. La manera en què es fusionen les dades, o l’exactitud amb què es perceben vianants o amenaces a llargues distàncies, són encara camps de treball de gran recorregut fins a arribar a una solució definitiva. Amb aquest projecte es milloraran els aspectes de percepció i fusió dels sensors d’imatge, radar i núvols de punts d'alta densitat, la qual cosa permetrà millorar la percepció dels vehicles en entorns hostils, com la boira o el fum, i fins i tot la sorra o l’smog.


Resultats

En el marc del projecte, s’ha desenvolupat una solució software per a la detecció en medis dispersius, que integra càmera, LIDAR i radar, a través de la generació de datasets i algorismes de deep learning. En concret, s’han desenvolupat algorismes de fusió de sensors que permeten integrar el processament d'imatges a temps real de diferents sensors d'imatge, dades de radar i LIDAR respectivament. Aquest enfocament amb múltiples sensors cobreix els diferents modes de fallida dels sensors i, per tant, proporciona un entorn de treball sòlid en totes les condicions climàtiques. El pas següent serà incorporar diferents tipus de càmeres (RGB, NIR, SWIR, tèrmiques) de manera que estiguin perfectament fusionades amb les dades LIDAR a totes les distàncies. 

Aquest enfocament permet realitzar deteccions molt més segures en algorismes de visió per computador basats en intel·ligència artificial, eliminant falses alarmes. Aquesta tecnologia ha estat llicenciada i ha donat lloc a una spin-off, la qual l’ha subllicenciat a un TIER1.

En el projecte ha col·laborat també l’Intelligent Data Science and Artificial Intelligence Research Center (IDEAI) de la UPC, a través del Grup de Processament d’Imatge de la UPC. Aquest projecte ha rebut finançament del programa de recerca i innovació Horitzó 2020 de la Unió Europea sota l’acord de subvenció Marie Skłodowska-Curie No 712949 (TECNIOspring PLUS), així com d’ACCIÓ, l’Agència per a la Competitivitat de l’Empresa de la Generalitat de Catalunya.



Projectes Relacionats