Voetganger niet gezien, obstakel gemist: het zal nog wel even duren voordat zelfrijdende auto's echt veilig zijn in het verkeer. Door data van allerlei sensors te combineren, leren de voertuigen snel bij.
Ze ogen als een stippenschilderij van Damien Hirst: de kleurige rondjes die schijnbaar achteloos op het witte scherm worden geprojecteerd. Maar het toverachtige beeld is allesbehalve kunst, ze tonen de wereld zoals de radar van een robotauto die ziet.
Een zinnig mens kan er niks mee, maar de zelflerende systemen van Timo Winterling zien een busje, een truck met oplegger, lantaarnpalen, wandelaars, fietsers. Als Winterling, radarspecialist bij het onderdeel autonoom rijden van Bosch, even later ter vergelijking een foto laat zien die op hetzelfde moment met een gewone camera is gemaakt, ziet de menselijke toeschouwer het plotseling ook.
De radar ziet zelfs méér dan de camera, want op de foto is de truck grotendeels verscholen achter een busje. Dat de vrachtwagen wordt gespot, komt doordat de radar laag bij de voorbumper is gemonteerd en computeralgoritmen de reflecties van de onderzijde van de truck herkennen, zegt Winterling.
Welkom in de wondere wereld van machine learning, computers die zichzelf leren de wereld om zich heen te begrijpen. Dit gebeurt door zelflerende algoritmen te voeden met eindeloze reeksen data en ze vervolgens te vertellen wat ze zien. Train de computer lang genoeg en hij kan uiteindelijk een koe van een hond onderscheiden. Of, in het geval van zelfrijdende auto's, een wandelaar van een fietser.
Waarom zou je hiervoor een radar gebruiken, zoals de onderzoekers van het gloednieuwe testcentrum in het Zuid-Duitse Immendingen? Bosch en Daimler werken daar samen aan robotauto's. Een gewone camera kan objecten veel beter onderscheiden. De onderzoekers moeten wel. Want de volledig zelfrijdende auto heeft een probleem: als een van de sensors uitvalt, is hij direct bijziend en kan niet verder rijden. Zeker omdat er in de toekomst geen stuur meer in de auto zit en de menselijke bestuurder dus niet langer als back-up kan dienen. De computers moeten het straks zelf afkunnen, ook als de auto bijvoorbeeld een mistflard inrijdt en de camera het zicht verliest.
Het was daarom een welkome ontdekking dat de boordradar ook objecten kan herkennen - een taak waarvoor hij niet ontworpen is.
Soms is het bijna onnavolgbaar hoe een radar objecten herkent, zegt Winterlings collega Jakob Lombacher van Daimler, het moederbedrijf van Mercedes-Benz: 'Een wandelende voetganger wordt herkend doordat zijn torso een andere snelheid heeft dan zijn benen.' De radar ziet dat verschil in snelheid tussen benen en romp onmiddellijk, en deze unieke kenmerken helpen het systeem de juiste classificatie te maken en zelfs te bepalen welke richting de voetganger op loopt - belangrijk om te bepalen of auto en mens mogelijk op ramkoers liggen.
Er is nog een voordeel: door data van sensors samen te voegen, ontstaat een beeld van de wereld dat betrouwbaarder is dan wat elke afzonderlijke sensor kan schetsen. Dit samenvoegen van gegevenstypen heet sensorfusie en geldt als een belangrijke technologie voor de zelfrijdende auto.
Sensorfusie is een onderdeel waaraan ook Dariu Gavrila werkt, hoogleraar Intelligent Vehicles aan de TU Delft. Gavrila, die in het verleden bij Daimler onderzoek deed naar algoritmen voor voetgangerherkenning, geeft sinds vorig jaar leiding aan een nieuwe onderzoeksgroep, waar nu twintig onderzoekers werken.
'Een autonoom rijdende auto heeft doorgaans drie typen sensors', zegt hij. 'Een laserscanner of lidar, camera's en gewone radars.' Dit drietal vormt de zintuigen van de auto. Elke sensor heeft zijn eigen sterkte en zwakte. Zo kan de radar nauwkeurig afstanden en snelheden meten en kan hij 's nachts en door de mist kijken, maar hij is minder goed in het onderscheiden van hoogten, omdat hij in een plat horizontaal vlak 'kijkt'. De lidar op het dak maakt juist een 3D-beeld van de hele omgeving, maar ziet minder details dan de stereocamera's achter de voorruit. Om een auto goed zicht te geven, moeten ze alle drie worden gebruikt, waarbij de sterkte van elke sensor optimaal wordt ingezet.
Het samenvoegen van alle informatie kent veel uitdagingen. Neem de enorme berg data die sensors produceren; tientallen megabytes per seconde. Die gegevens moeten realtime worden verwerkt en geanalyseerd, wat veel computerkracht vergt.
Dit blijkt als Gavrila de kofferbak laat zien van de Toyota Prius die zijn vakgroep gebruikt als testwagen. De ruimte zit tjokvol apparatuur.
Nu is de 'autonome' Prius van de TU Delft nog handbediend, maar alle sensors zitten er al in, inclusief het snelcirkelende lidartorentje op het dak. De computers in de kofferbak analyseren de binnenkomende beelden alsof er autonoom wordt gereden, maar de besturing tijdens het ritje rond de Delftse campus is nu nog in handen van de hoogleraar. Tijdens het rijden toont een monitor wat de computer 'ziet' en welke overige weggebruikers hij herkent.
Wandelaars, fietsers en auto's worden omlijst met een gekleurd vierkant ten teken dat de software ze heeft gezien. Dit soort realtimebeeldherkenning is dankzij machine learning de afgelopen tien jaar exponentieel verbeterd, zegt de Delftse hoogleraar. Inmiddels kunnen algoritmen ook vaststellen in welke richting iemand loopt, en helpen onder meer lichaamshouding en kijkrichting vast te stellen wat hun intenties zijn - een van de belangrijkste onderzoeksdoelen van Gavrila's vakgroep en noodzakelijk voor een soepele integratie van de zelfrijdende auto in het normale stadsverkeer.
De modernste systemen herkennen op basis van dit soort cues een seconde eerder of een auto dreigt te botsen met een voetganger. Een ogenschijnlijk geringe tijdwinst, maar bij hogere snelheden is dit al snel het verschil tussen doorrijden, gas loslaten, een noodstop of erger.
Er zijn twee manieren waarop data uit verschillende sensors zijn samen te voegen, schetst Gavrila even later in zijn kantoor. Bij de eerste worden alle data van de sensors samengevoegd en moet machine learning betekenis geven aan de binaire oersoep - dit wordt 'vroege' sensorfusie genoemd. Bij de tweede optie worden de data van elke sensor apart verwerkt en pas dan wordt de informatie samengevoegd. Dit is 'late' sensorfusie.
Het voordeel van vroege sensorfusie is dat machine learning meer informatie uit de sensordata kan halen; er wordt niks weggegooid en dat kan een voordeel zijn ten opzichte van late sensorfusie, waarbij elke sensor uit zijn eigen beperkte waarneming conclusies moet trekken. Aan de andere kant is de hoeveelheid te analyseren data bij vroege fusie veel groter, waardoor files dreigen te ontstaan - niet op de weg, maar in de computers. Daardoor wordt in de praktijk voor late sensorfusie gekozen. 'We zijn er nog niet uit welke school wint', zegt Gavrila. 'Misschien komt er wel een hybride vorm.'
Nadat de overige verkeersdeelnemers zijn gedetecteerd en geclassificeerd, proberen andere algoritmen te achterhalen wat de intenties zijn ('de voetganger dreigt de straat over te steken'), waarna met kansberekening wordt vastgesteld hoe groot de kans is op bijvoorbeeld een botsing. Na deze stap krijgt de auto instructies te sturen, te remmen, het gas los te laten. Dit gebeurt meerdere keren per seconde. 'Bij deze aanpak hoeven uiteindelijk veel minder data te worden verwerkt', zegt Gavrila. Dankzij de tussenstapjes is het makkelijker de wereld te beschrijven. Ook zijn beslissingen van de auto achteraf beter te verklaren. We kunnen bij late sensorfusie dus beter zien waarom iets misgaat.
Bij vroege sensorfusie kijk je feitelijk alleen naar de uitkomst van alle data, aldus Gavrila. Op basis daarvan wordt bepaald of de auto moet remmen, sturen of gas geven. Vroege sensorfusie is een zwarte doos, zegt de hoogleraar. 'Je weet niet wat er precies in het systeem gebeurt en hoe het tot zijn beslissingen komt. Om zo'n systeem zinvolle acties te leren, heb je veel meer trainingsdata nodig.'
Bij het testcentrum in Immendingen maken de onderzoekers gebruik van deze vroege sensorfusie. Hun algoritmen kunnen inmiddels realtime personen detecteren, blijkt tijdens een ritje door het dorp. De computers in de Mercedes E-klasse herkennen mensen in de gekste posities, of ze nu gehurkt langs de weg zitten of in een kofferbak staan te graaien.
Dat de zelfrijdende auto bij wijze van spreken gereedstaat om de hoek, zoals sommige autofabrikanten suggereren, is niet waar, zeggen de ingenieurs van Bosch en Daimler. Hoewel Waymo (onderdeel van Google) al in diverse staten experimenteert met zelfrijdende auto's en begin december onder een nieuwe naam zijn eerste betaalde taxidienst begint, zal het nog wel even duren voor de robotauto gemeengoed is. In Amerikaanse zuidwestelijke steden met hun mooie weer en rechte straten heeft die het relatief gemakkelijk. 'Zelfrijdende auto's zullen eerst aan de westkust verschijnen', zegt Stefan Gehrig van Daimler, gespecialiseerd in beeldherkenning. In het oosten van de VS, waar de steden 'Europeser' zijn en het weer minder goed is dan in Californië en Nevada, zal het langer duren, stelt hij.
Nog langer gaat het duren voordat de zelfrijdende auto door Delft rijdt, zegt Gavrila. Hij toont een video, gemaakt vanuit zijn Prius, waaruit blijkt hoe lastig het zelfs voor een menselijke bestuurder is in te schatten wat de krioelende auto's, wandelaars en fietsers van plan zijn. Er zullen nog best wat jaren overheen gaan voordat robottaxi's net zo goed rijden als taxi's met een mens achter het stuur, denkt de hoogleraar. 'Dat gebeurt niet voor 2030.'
Hopelijk is er tegen die tijd ook een algoritme dat een praatje over het weer maakt.
ZELFRIJDENDE AUTO'S, WAAROM? Zelfrijdende auto's worden gezien als een mogelijkheid om het aantal verkeersdoden en -gewonden terug te dringen. Een zelfrijdende auto is immers altijd alert, nooit dronken, valt niet in slaap, ruziet niet met kinderen op de achterbank. Hij kan bovendien trucs die een mens niet kan, zoals door de mist kijken en zelfstandig een parkeerplaats met laadpaal opzoeken. Doordat zelfrijdende auto's buiten de stad kunnen parkeren, komt in de binnensteden veel ruimte vrij voor andere zaken, is de hoop. Of dat werkelijk gebeurt, is overigens de vraag. Zeker is dat diverse grote auto- en techconcerns al aan het experimenteren zijn met robottaxi's. Nog niet in Europa, maar voorlopig alleen aan de Amerikaanse westkust en in China.