Обединяване на данни в невронни мрежи за самоуправляващи се автомобили

канал, мрежите връщат изчислената си увереност относно способността на NN да открива точно обекти в определено изображение. Например, ако изображението е много тъмно, RGB мрежата ще върне резултат с ниска достоверност. 2 DNN (дълбоки невронни мрежи) работят без надзор върху обединения набор от данни и търсят изображения, където една от DNN има ниска степен на доверие, а другата има висок резултат. След това каналите на изображението с високи резултати на достоверност се използват за обучение на NN за канали с по-ниски резултати на достоверност. Този процес значително подобрява работата на двете DNN, като ги обучава при най-взискателните условия. Един от резултатите е, че RGB DNN показват големи подобрения в тъмни сцени и директни отблясъци.

C. Мрежа Fusion Image (R, G, B, IR).

Използвайте 4D изображения (R, G, B, IR), за да постигнете най-добра производителност за системи, които включват RGB и IR камери. Резултатът за откриване на тази DNN е резултатът за откриване на комбинацията от 2 DNN, споменати в раздел Б по-горе, като се използва само половината от изчислителните ресурси. Тази комбинация/сливане ще даде най-добри резултати за една система.

Въпреки това, някои фактори трябва да бъдат взети предвид при избора на подход за термоядрен синтез. Чрез използване на 2 различни DNN (както е показано в раздел B), системата получава фактора на излишък, необходим за безопасността на автономните превозни средства (предотвратяване на повреда в случай на запушване, замърсяване на лещите, повреда на един от сензорите и т.н.). Освен това подобрената RGB плюс IR мрежа може да бъде настроена малко повече, така че премахването на една от камерите (RGB или IR) няма да повлияе на DNN на останалите канали.

A) RGB DNN обучава IR DNN. B) RGB DNN и IR DNN се обучават взаимно. C) 4D изображение DNN

в заключение

RGB камерите вероятно ще останат основните сензори в самоуправляващите се автомобили. В някои случаи RGB камерите стават ненадеждни, което изисква използването на допълнителни сензори. Когато избирате придружаващ сензор, трябва да имате предвид следните точки:

Работа на сензора при условия на околната среда (осветление, време и т.н.), които влияят върху работата на RGB камерата

цена на датчика

Лесни за обучение AI алгоритми и пълна способност за обединяване на данни

LWIR камерите напълно отговарят на всички горепосочени съображения. Системата за зрение QuadSight използва най-съвременните възможности за изкуствен интелект за бързо и надеждно постигане на пълно сливане на данни, за да превърне напълно автономните превозни средства в реалност.

RGB изображение във видима светлина (вляво), LWIR изображение (в средата) и смесено RGB-IR изображение (вдясно)