Észlelés

Az észlelés (perception) az érzékelt nyers adatokból történő információ kinyerése.

Az észlelés célja lehet:

Objektumfelismerés (detekció), pl:
- Gyalogos, biciklis jármű felimerés
- Tábla felismerés, jelzőlámpa felismerés
- Vezethető felület és fogalmi sáv felismerés (lokalizációhoz és tervezéshez is)
Objektumklasszifikáció:
- A már felismert objektumok osztályzása. Pl a jelzőlámpa milyen színű éppen, melyik jármű kisteherautó és melyik lovaskocsi.
Objektum követés és predikció:
- Merre haladtak eddig a járművek, gyalogosok illetve becslés, hogy merre haladnak majd a jövőben. Ez összefügghet a klasszifikációval, hiszen bár egy lovaskocsi méretre hasonló egy utánfutós autóhoz, mégis egész más gyorsulásra képes. Az így gyűjtött infromációnak megfeleően lehet útvonalat, tarjektóriát tevezni.
Lokalizáció és térképépítés
- SLAM: nem illetve nem csak GNSS alapú helymeghatározás kiegészítése lokális térképp készítéssel. LOAM: LIDAR alapú odometria.

A felhasznált szenzorok alapján lehet:

LIDAR
Kamera
Radar
IMU
GNSS/GPS
Mikrofon
A fenti szenzorok tetszőleges kombinációja

Magyar nyelven könnyű összekeverni az érzékelés (sensing) és az észlelés (perception) foglamakat. Az észlelés összetett funkció a nyers adatokból feldolgozott, értelmezett kimenet előállításával foglakozik.

flowchart LR

L[Tervezés]:::light

subgraph Perception [Észlelés]
  T[Térképezés]:::light 
  H[Lokalizáció]:::light
  P[Objektum
  predikció]:::light 
  D[Objektum
  detekció]:::light
  K[Objektum 
  klasszifikáció]:::light
  D-->K
end
subgraph Sensing [Érzékelés]
  GPS[GPS/GNSS]:::light -.-> T
  GPS -.-> H
  LIDAR[LIDAR]:::light
  KAM[Kamera]:::light
  IMU[IMU]:::light
  LIDAR -.-> D
  LIDAR -.-> P
  LIDAR -.-> T
  KAM-.-> P
  KAM-.-> D
  IMU-.-> T
  D-.->P
end

T -->|térkép| L
H -->|pose| L
P -->|obj.| L
K -->|obj.| L


classDef light fill:#34aec5,stroke:#152742,stroke-width:2px,color:#152742  
classDef dark fill:#152742,stroke:#34aec5,stroke-width:2px,color:#34aec5
classDef white fill:#ffffff,stroke:#152742,stroke-width:2px,color:#152742
classDef red fill:#ef4638,stroke:#152742,stroke-width:2px,color:#fff

Ez a tananyagrész a TU München Autonomous Driving Software Engineering tantárgy tananyagán alapszik, amit az Institute of Automotive Technology intézet munkatársai állítottak össze. Az órai videó elérhető német nyelven:

Kihívások, nehézségek

Számos kihívás nehezítheti a felismerést illetve annak pontosságát:

Időjárás (eső, hó, köd, …)
Napszak (éjszaka, naplemente, napfelkelte …)
Takarás (objektumok csak részlegesen látszanak)
Számítási idő (nagyobb sebességeknél hatványozottan)
Különböző könyezetek (városi, autópálya, erdős szakasz …)

Use case (esettanulmányok)

Mivel az észlelés minden egyes aspektusát nehéz lenne bemutani, inkább pár use-case segítségével mutatnánk be.

Kamera-alapú jelzőlámpa klasszifikáció

Mesterséges intelligencia (neurális háló: YOLOv7) segítségével kamerakép feldolgozás.

LIDAR-alapú egyszerű magasság szűrés

A gyakorlaton is előkerülő feladat egyszerű LIDAR szűrés, X, Y és Z koordináták szerint. Mivel a LIDAR a 3D környezet egyszerű reprezentációját adja bizonyos szempontból könnyebb dolgunk van vele, mint a kamerával. Gyakori technológia, hogy az út szintjét szűrik ki a LIDAR adatból(ground-segmentation), majd a maradék pontok (non-ground) jelentik az összes objektumot. Itt egy sokkal egyszerűbb technológiát demonstrálunk:

Klaszterezés

Miután az út szintjét kiszűrtük a LIDAR adatból (ground-segmentation), út pontok (ground) és maradék pontok (non-ground) keletkeztek. A non-ground pontokat természetesen klaszterezni (cluster) kell, hogy kialakuljanak az objektumokat leíró pontok. A klaszterezés lényege, hogy egy adott objektum (pl egy autó) pontjai egymáshoz közel állnak.

Forrás: codeahoy.com

Szenzorfúzió

A következő videó egy való életből vett példán keresztül mutatja be az észlelést.

LIDAR-alapú útfelület / padka detekció

Egyetemünk egyik saját fejlesztésű algoritmusa.

LIDAR-alapú objektum követés és predikció

SLAM LIDAR és kamera fúzió

A Simultaneous Localization and Mapping (SLAM) lényege, hogy egy mozgó rendszer (robot vagy jármű) pozícióját és a környezetét térképezze egyszerre, miközben navigál.