Schon heute reagieren automatisiert fahrende Autos schneller als der Mensch. Das ermöglichen extrem leistungsfähige Computer an Bord der Fahrzeuge, die die Daten aller Sensorsysteme zusammenfassen. Sie können die Daten in Sekundenbruchteilen bewerten und entsprechende Aktionen auslösen.
Wenn ein Kind auf die Straße rennt, braucht der Mensch durchschnittlich 1,6 Sekunden, bis er auf die Bremse tritt. Hochautomatisierte Fahrzeuge, die mit Radar- oder Lidar-Sensoren und einem Kamerasystem ausgestattet sind, reagieren dagegen bereits heute in 0,5 Sekunden.
Umfeld in Echtzeit wahrnehmen
Dies ist nur möglich, wenn die Daten direkt an Bord des Autos in eingebetteten, hochleistungsfähigen Bildverarbeitungsrechnern verarbeitet sind. Und diese in Echtzeit und kontinuierlich ein Gesamtbild der Verkehrssituation im Umfeld erstellen. Man muss bedenken, dass ein vollautomatisiertes Fahrzeug zwischen 30 und 40 Terabyte Daten pro acht Stunden Fahrt erzeugt. Das sind rund 3.500 4K-Filme. Dadurch wird klar, dass die aktuelle, aber auch eine zukünftige 5G-Netzwerkarchitektur mit dieser Art von Volumen überfordert ist. Zudem können es sich automatisiert fahrende Autos schlichtweg nicht leisten, auf in der Cloud gespeicherte und verarbeitete Informationen zu warten.
KI als wichtiger Baustein
Laut Robert Bielby, als Senior Director verantwortlich für die Automotive-Systemarchitektur in der Embedded Business Unit von Micron, ermöglichen es Hochleistungscomputer auf Basis künstlicher Intelligenz mit tiefen neuronalen Netzwerkalgorithmen, dass autonome Autos besser fahren als von Menschen gesteuerte Fahrzeuge. „Sie haben eine Vielzahl von verschiedenen Sensoren, die zusammenwirken, um die gesamte Umgebung in 360 Grad, rund um die Uhr, auf eine größere Entfernung und mit einer höheren Genauigkeit zu sehen, als es Menschen können“, sagt Bielby. „In Kombination mit der extremen Rechenleistung, die heute in einem Auto eingesetzt werden kann, leisten Autos einen viel besseren Job dabei, sicherer auf der Straße unterwegs zu sein, als wir es können.“
Micron Technology bietet ein breites Portfolio an flüchtigen und nichtflüchtigen Speicherprodukten für Automotive-Anwendungen. Sie kommen zum Beispiel auch bei einer Computing-Plattform zum Einsatz, die speziell für autonomes Fahren entwickelt wurde und auf einer hoch leistungsfähigen DRAM-Technologie basiert.
Hunderte Billionen Rechenoperationen in der Sekunde
Die KI-Plattform liefert unter anderem die erforderliche Rechenpower für die hochautomatisierten Fahrzeuge von Daimler. Künstliche Intelligenz ist ein wichtiger Baustein für den aus mehreren Einzelsteuergeräten bestehenden Steuergeräteverbund von vollautomatisierten und fahrerlosen Fahrzeugen. Insgesamt erreicht der Steuergeräteverbund bei den Fahrzeugen von Daimler eine Rechenkapazität von hunderte Billionen Rechenoperationen in der Sekunde. Das entspricht so viel, wie mindestens sechs zusammengeschaltete, hochmoderne Computer-Arbeitsplätze leisten.
Hier laufen zum Beispiel die Informationen der verschiedenen Umfeldsensoren mit Radar-, Video-, Lidar- und Ultraschall-Technik zusammen. Der Steuergeräteverbund führt die Daten aller Umfeldsensoren zusammen. Die sogenannte Sensordatenfusion wertet die Daten innerhalb von Sekundenbruchteilen aus und plant darauf aufbauend den Fahrweg des Fahrzeuges. Das ist vergleichbar schnell wie ein Schmerzreiz beim Menschen, der zwischen 20 und 500 Millisekunden braucht, bis er im Gehirn ankommt.
Bremsen in weniger als 10 Millisekunden
Doch es wird an Systemen geforscht, die noch schneller sind. Ein automatisiert fahrendes Auto reagiert innerhalb von 500 Millisekunden. Allerdings fährt es bei einer Geschwindigkeit von 50 Kilometern pro Stunde immer noch sieben Meter ungebremst weiter. Das Fraunhofer-Institut für Zuverlässigkeit und Mikrointegration IZM arbeitet daher an einem Kamera-Radar-Modul, das Veränderungen im Straßenverkehr deutlich schneller registriert. Das handygroße Modul wird eine Reaktionszeit von unter 10 Millisekunden haben.
Der Trick dahinter ist die integrierte Signalverarbeitung. Die Daten von dem Radarsystem und der Stereokamera werden direkt im bzw. am Modul verarbeitet und gefiltert. Nicht relevante Informationen werden zwar erkannt, aber nicht weitervermittelt. Durch die Sensor-Fusion werden die Daten von Kamera und Radar zusammengeführt. Auf Basis neuronaler Netzwerke werden diese Daten und damit verschiedene Verkehrszustände durch Machine Learning inhaltlich ausgewertet. Daraufhin sendet das System keine Zustandsinformationen, sondern lediglich Reaktionsanweisungen an das Fahrzeug. So bleibt die Busleitung des Fahrzeuges frei für wichtige Signale. Zum Beispiel bei einem Kind, das plötzlich auf die Straße rennt.
„Die integrierte Signalverarbeitung verkürzt die Reaktionszeit enorm“, sagt Christian Tschoban, Gruppenleiter in der Abteilung RF & Smart Sensor Systems am Fraunhofer IZM. Das System soll, wenn es fertig ist, 50-mal schneller als gängige Sensorsysteme und 160-mal so schnell wie der Mensch sein. Das Auto fährt dann nur noch 15 Zentimeter ungebremst weiter. Das System reagiert und sendet Signale zum Bremsen. Damit könnten viele Unfälle im städtischen Straßenverkehr vermieden werden.
Das Umfeld stets im Blick
Das System besteht aus mehreren Multi-Stereo-Sensorsystemen. Jedes davon setzt sich aus vier im Quadrat angeordneten Kameras zusammen und besitzt zudem ein eigenes Lasersystem. Kameras aus benachbarten, weiter auseinanderliegenden Multi-Stereo-Kameras bilden weitere Stereo-Paare für höhere Reichweiten. Fischaugen-Objektive halten die notwendige Anzahl von Multi-Stereo-Kameras gering. Diese von Myestro patentierte Anordnung erlaubt die gleichzeitige Messung von Hindernissen im Nah- und Fernbereich. Um Schwingungen der Fahrzeugkarosserie zu kompensieren, die verwertbare Bildinformationen verhindern würden, entwickelte Myestro die „RubberStereo-Technologie“. Sie erkennt und kompensiert Schwingungen in Echtzeit direkt aus dem Vergleich der Bilddaten des Kamerapaares. Das System läuft auf einem Embedded Rechner von MicroSys, der wiederum rund um einen speziell für Automotive-Vision-Anwendungen entwickelten Prozessor aufgebaut ist. Die Plattform kombiniert Signalverarbeitungs- und Rechenfunktionen zur Umgebungserkennung in einem besonders kleinen Formfaktor.