Design af en robust LiDAR Vision-software til autonom kørsel

Skrevet af Jaeil Park og Thorsteinn Jonsson hos Seoul Robotics

I de senere år har LiDAR-baserede opfattelsessystemer oplevet en stigning i popularitet sammen med udviklingen af ​​selvkørende biler. Hos Seoul Robotics stræber vi efter at tilbyde avancerede løsninger inden for autonom opfattelsesteknologi, og vi er stolte af at introducere vores seneste opfattelsesteknologi til autonome kørselsapplikationer.

Vores LiDAR Vision-software er en opfattelsessoftware, der er i stand til jordsegmentering, objektdetektion og klassificering, sporing og forudsigelse. LiDAR point cloud-behandling er berygtet for dyre beregningsomkostninger, men ved at bruge kantenheder er vi i stand til at levere ydelse, der fungerer nøjagtigt i realtidsapplikationer.

Seoul Robotics LiDAR Vision-software med Velodyne VLP-16

Jordsegmentering

Det første trin i behandlingen af ​​punktskyen er jorddetektion. I næsten alle tilfælde er det kørbare område, som et køretøj kan krydse, en kontinuerlig overflade, og på baggrund af dette anvender vi en stokastisk modelbaseret armatur for at finde en model til jordvurderingen. Vores jordsegmenteringsmetode kan lære jorden form af forskellige kørselssager i realtid og klassificere hvert punkt som jord eller ej. Jordhøjden estimeres over hele det observerede rum med en matematisk model for at øge nøjagtigheden af ​​objektdetektering og for at kompensere for okklusion i pointskyen.

Jordsegmentering

Objektdetektion

Vores Deep Neural Network opdager objekter, der skal spores omhyggeligt under kørsel. Den opdager mennesker, cyklister, biler, busser, lastbiler og mere med in shot-inferens i realtid. I slutningen af ​​2018 var vores seneste Deep Learning-model, den hierarkiske funktionsdetektor, blandt de syv bedste i en af ​​verdens mest berømte mål for objektdetektering, Kitti Object Detection Benchmark. Blandt de ti største algoritmer var vores den eneste, der pålideligt kunne registrere objekter i realtid (20+ billeder i sekundet) udelukkende baseret på LiDAR-punktskyer, da andre også er afhængige af kameraer til detektion.

Selvom vores Deep Learning-baserede objektdetekteringsmetode registrerer objekter meget nøjagtigt, kan den ikke registrere objekter, der ikke er i træningsdatabasen. Det er umuligt at inkorporere alle objekter af interesse i databasen, så for at overvinde denne begrænsning bruger vores objektdetekteringsmetode en uovervåget 3D-funktion, ekstraktionsbaseret metode ved siden af ​​den datadrevne metode. Objektforslag fremsættes parallelt med begge metoder, og resultaterne smelter sammen. Dette hybridobjektforslag sikrer, at objektdetekteringen ikke går glip af nogen objekter, selvom nogle af dem ikke er klassificeret som de foruddefinerede klasser. Desuden forbedrer dette resultatet fra den datadrevne metode med de nøjagtige 3D-funktioner fra point cloud input.

Hybridobjektforslag og fusion for sikker og nøjagtig detektion af objekter

Objektsporing

Drevet af avancerede Kalman-filtreringsteknikker tilbyder vores løsning nøjagtig sporing af genstande af interesse såsom biler og fodgængere. Hvis maskininformationen fra ego-køretøjet er tilgængelig, kan køretøjets odometri estimeres og bruges til at beregne en nøjagtig repræsentation af bevægelsen af ​​sporede objekter rundt om køretøjet. Dette betyder, at hastigheden af ​​hvert sporet objekt kan estimeres i et globalt koordinatsystem snarere end kun i køretøjets referenceramme.

En anden fordel ved vores sporingssystem er, at det kan forbedre resultatet af objektdetektering ved at give en historie for hvert sporet objekt. Dette er især nyttigt til sparsomme punktskyer (på grund af afstand, okklusion, sensorbegrænsning osv.), Da objektets historie kan give kritiske oplysninger, der ikke kan udledes fra en enkelt ramme. Dette resulterer i et meget mere nøjagtigt estimat med hensyn til placering, størrelse, orientering og endda klassificering af de sporede objekter og viser sig at være vigtigt for nøjagtig forudsigelse.

Objektsporing med information om ego-køretøjer

Hardware Agnostic

Alle vores algoritmer, inklusive vores Deep Learning-baseret inferens, er designet til at være sensor-agnostiske. Vi træner og tester vores algoritmer med en række point cloud-data, både rigtige og simulerede, for at dække så mange forskellige typer scenarier som muligt. Derudover anvender vi intensiv dataforøgelse ved tilfældigt at transformere point skyen i træningsprocessen. Dette sikrer, at vores algoritmer ikke påvirkes af sensorenes placering og orientering, så brugerne kan tilslutte LiDAR på enhver måde, de ønsker. Vores algoritme indfanger objektive 3D-funktioner fra pointskyen til robust objektdetektion med mange forskellige former for point clouds. Vores test viser, at vi perfekt kan dække LiDAR fra Velodyne, Ouster, Hesai, Robosense og mere.

LiDAR Vision-software med 16 ch, 32 ch, 64 ch og 128 ch LiDAR (med uret)

Vi hyrer. Tjek tilgængelig position her!