Die allgemeine Erklärung:
Was passiert hier gerade?
Wir befinden uns auf dem Gelände des Forschungszentrums Brandschutz der Firma Minimax in Bad Oldesloe. Wir treffen uns im DRZ Konsortium, um eine Woche lang alle Robotersysteme von den Verbundpartnern zu integrieren. Das bedeutet, dass jeder Roboter dieselbe Sprache spricht und die Informationen in ein großes gemeinsames System gebracht wird. So soll jeder Benutzer sehen, welche Informationen die einzelnen Robotersysteme liefern.
Und wie sieht das jetzt konkret aus?
Jedes Verbundpartner hat eigenes Roboterequipment von der Drohne bis zum Bodenroboter in seinem Spezialgebiet und diese verschiedenen Systeme in ein gemeinsames System zu integrieren, das ist die Hauptaufgabe. Die andere Hauptaufgabe ist es, dass dann für die Anwender, also für die Feuerwehr bzw. die Sicherheitskräfte so zu visualisieren und darzustellen, dass die Zielgruppe im Einsatz damit umgehen können.
Die Interviews mit unseren Partnern:
Was passiert hier gerade?
Wir integrieren gerade unsere autonomen Flugroboter mit dem Netzwerk, welches von der TU Dortmund zur Verfügung gestellt wird. Die Roboter haben Wlan und die TU Dortmund kümmert sich darum, dass genügend Accesspoints zur Verfügung gestellt werden, das die Datenrate stimmt und das genügend Traffic übertragbar ist. Wir klinken jetzt gerade unsere Roboter in dieses System ein.
Welche Hürden habt Ihr im Projekt schon genommen?
Die schwierigste Hürde im Projekt ist die Komplexität der Systeme, da ein Roboter zig Sensoren und Subsysteme hat und die alle gleichzeitig ans Laufen zu bringen ist das Schwierigste. Wir sind auf einem sehr guten Weg dahin und haben schon einige Teilhürden gemeistert.
Welche Erleichterung leistet Ihr für den realen Einsatz?
Wir sind für die autonomen Assistenzfunktionen zuständig und sorgen dafür, dass die Flugroboter den Einsatzkräften autonom assistieren. Bedeutet, Sie weichen Hindernissen aus oder fliegen selbstständig zu bestimmten Punkten. Das unterstützt die Einsatzkräfte, um Fehlentscheidung anhand von Stresssituationen zu vermeiden.
Was heißt genau autonom für dich?
Autonom bedeutet, dass der Roboter selbstständig bestimmte Aufgaben erledigt, die ein Feuerwehrmann nicht mehr übernehmen muss. Beispielsweise das selbstständige Abfliegen vom Einsatzort, Fotos von der Gefahrenlage aufnehmen, wichtige Einzelheiten im Gefahrenbereich erkennen (z.B. Gefahrgutzeichen). Anhand dieser Daten schätzt der Roboter die Gefahr ein und übermittelt diese an die Einsatzkraft bzw. die Leitstelle. Eine Vollautonomie wird aus rechtlichen und sicherheitstechnischen Gründen nicht angestrebt. Aber je mehr selbständige Arbeiten der Roboter dem Operator abnehmen kann, desto besser. In unserem Projekt wird es allerdings immer noch einen Operator geben, der überwacht, was der Roboter entscheidet.
Was genau passiert hier gerade?
Wir bereiten uns gerade vor, unseren Roboter in einer nachgebauten, realen Umgebung zu testen. Dabei wird die Umgebung mit Rauch vernebelt und wir möchten sehen, wie dieser Rauch die Sensordaten beeinflusst. Aus diesen Daten möchten wir Rückschlüsse ziehen, ob die Daten im Rauch noch verwertbar sind.
Welche Hürden habt Ihr im Projekt schon genommen?
Wir haben einen komplett neuen Demonstrator (D4) aufgebaut. Dieser ist für Indoor Zwecke gedacht also für Industriegelände, Industriehallen. Da soll er Patrouille fahren und möglichst früh Brände detektieren, um einen größeren Brand direkt zu unterbinden. Der Roboter ist über ein Modulkonzept konfigurierbar. Durch seine hohe Geschwindigkeit (118 km/h) und die sehr hohe Tragkraft von Nutzlasten (100 kg), kann er ganz individuell eingesetzt werden.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Wir versuchen schon präventiv zu agieren, indem der Roboter schon früh erkennen kann, wo Brände entstehen könnten (z.B. schwer zugängliche Bereiche in Industrieanlagen) und diese meldet. Mit dieser Hilfe haben Einsatzkräfte schnell einen Überblick über die Lage und können frühzeitig eingreifen. Der Roboter ist auch in der Lage, kleine Brände direkt und eigenständig zu löschen.
Was genau passiert hier gerade?
Wir testen aktuell das, von uns entwickelte Radarmodul, womit der Roboter die Lokalisierung und Navigation in verrauchten Umgebungen ermöglicht wird. Das Radarmodul basiert auf einem Radarsignal, womit der Roboter durch den Rauch durschauen und im Raum die Geometrie erkennen kann. So ist er in der Lage, Hindernisse im Raum zu erkennen und zu vermeiden. Der Roboter steht im Testraum und die Sensoren sind aufgebaut. Erst wird Rauch mit einer Nebelmaschine erzeugt und dann eine Rauchpatrone gezündet. Dann testen wir, wie gut die Sensoren im verrauchten Raum arbeiten können.
Welche Hürden habt Ihr im Projekt schon genommen?
Wir haben mittlerweile eine egozentrische Darstellung unserer Roboterlagebilder. Das bedeutet, der Roboter versteht seine Umgebung. Er weiß somit wo z.B. Wände oder ein Feuer in seiner Umgebung sind und kann basierend darauf Entscheidungen treffen. Beispielsweise die Erkundung der Umgebung, eine Meldung an den Operator wo sich Gefahren befinden oder auch die Erstellung eines 3D Modells von der Umgebung.
- Zwischenfrage: Wie hat der Roboter das gelernt? War er in der Schule?
Ja, das könnte man so sagen. Der Roboter hat gelernt, seine Umgebung in 3D zu verstehen. Er hat verschiedene Sensoren, mit denen er seine Umgebung wahrnimmt. Wir haben uns damit beschäftigt, wie man die gewonnenen Sensordaten verarbeiten kann und der Roboter zum einen versteht, hier gibt es Wände und Böden, hier kann ich fahren, dort steht ein Hindernis, das ich nicht überwinden kann oder hier gibt es ein Hindernis, wo ich meine Gelenke und Arme einsetzen muss, um es zu überwinden.
Die Assistenzfunktionen werden dabei ständig weiterentwickelt. Somit ermöglichen Sie einen immer höheren Level an Autonomität. So schreitet die Lernfähigkeit des Roboters stetig voran.
- Zwischenfrage: Was bedeutet Autonomie für dich?
Autonomie bedeutet, dass wir den Roboter in eine Umgebung setzen und dann auf „Exploration starten“ gehen. Dann erkundet der Roboter eigenständig die Umgebung, ohne dass ein weiterer Eingriff notwendig ist. Bei uns gibt es noch jemanden, der den Roboter kontrolliert und auch eine gewisse Transparenz der Assistenzfunktionen erlebt. Aber er muss nicht mehr direkt eingreifen.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Wir wollen verhindern, dass sich Rettungskräfte in gefährlichen, unübersichtlichen Situationen erhöhten Risiken aussetzen müssen. Also beispielsweise die Situation, wenn ein Gefahrstoff austritt, die Einsatzkräfte wissen nicht, um welchen Gefahrstoff es sich handelt, welche Menge, wo genau ist er ausgetreten oder ein Gebäude was einsturzgefährdet ist und man weiß nicht, ob in den Trümmern noch ein verletzter Mensch ist. Dann ist unser Ziel, dass der Roboter vorgeschickt wird und er ein Lagebild von der Umgebung erstellt. Somit ist es nicht mehr notwendig, die Einsatzkraft in die Gefahrensituation zu bringen.
Was genau passiert hier gerade?
Hier sieht man die Lagedarstellung, die wir im Rahmen des Projektes entwickeln. Die Lagedarstellung zeigt eine Karte, auf der die gesamte Einsatzlage visualisiert wird. Hier werden die Daten der Roboter aber auch die Positionen der Einsatzkräfte, eine Übersicht über Einsatzbefehle, Aufträge und ausgeführten Aktionen dargestellt. Also eine genaue Abbildung des Geschehens vor Ort. Die Daten der Einsatzkräfte werden von den Gruppen- und Zugführern händisch ins System eingegeben. Dabei werden virtuelle Kärtchen auf das Lagebild gezogen, um die Lage entsprechend darzustellen. Das System vereint somit alle Komponenten des Einsatzgeschehens. Mehrwert ist, dass unterschiedliche Parteien (Einsatzkräfte im Geschehen, Operator im Robotik-Leitwagen, Einsatzkräfte weiter entfernt, etc.) auf dieselbe Lagedarstellung zugreifen und Änderungen und Aktualisierungen in Sekundenbruchteilen mitbekommen.
Welche Hürden habt Ihr im Projekt schon genommen?
Wir haben schon zahlreiche Hürden genommen. Die größte Herausforderung war, dass wir die unterschiedlichen Daten zentral abspeichern und verfügbar machen. Eine weitere große Hürde haben wir mit dem Aufbau der Software an ein reales Einsatzgeschehen genommen. Wir bilden dabei die komplette Kommandostrukturen in einem Feuerwehreinsatz in der Software und in der Lagebilddarstellung ab.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Wir erleichtern die Darstellung der gesamten Lage. Was vorher mit Papier und Zetteln gemacht wurde, wird in diesem System mit modernster Technik grafisch aufbereitet und es können mehrere Instanzen auf die gleichen Daten zugreifen. Eine Aktualisierung über Funk, Mail oder SMS entfällt und somit wird wertvolle Zeit für den Einsatz gewonnen.
Was genau passiert hier gerade?
Bei Minimax haben wir uns auf die Detektion und Bekämpfung von Entstehungsbränden spezialisiert und versuchen gerade, diese Brände mit einem Roboter anzufahren, zu detektieren und zu bekämpfen. Einsatzort ist in der Regel ein industrielles Unternehmen. Im Unterschied zur Feuerwehr, die erst dann zum Einsatzort kommt, wenn ein Feuer ausgebrochen ist, sind wir schon mit dem Roboter am Einsatzort. Der Roboter, der klein, schnell und wendig ist und eine gute Detektion hat, kann den Entstehungsbrand bekämpfen. Er hat wenig Löschmittel an Bord – die Menge reicht, um den Zeitraum zu überbrücken, bis die Einsatzkräfte eintreffen. Wir beschäftigen uns nicht mit unterschiedlichen Fahrplattformen und wie diese gerichtet sind, sondern mit der Löschapplikation. Also welches Löschmittel ist am besten geeignet für einen Entstehungsbrand. Unterstützt wird der Roboter durch eine Brandmeldeanlage oder einer Person.
Welche Hürden habt Ihr im Projekt schon genommen?
Die größte Herausforderung war die zunächst ungewohnte Kooperation mit einer Universität im Vergleich zu einem Wirtschaftsunternehmen. Bestimmte Prozesse laufen in einer Universität ganz anders als bei uns, aber daran haben wir uns schnell gewöhnt.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Die Erleichterung ist, dass man schon ein mobiles Gerät am Einsatzort hat, das Daten liefert oder bereits den Löschvorgang eingeleitet hat. So können die Einsatzkräfte mit den gewonnenen Daten schon arbeiten und gezielt eingreifen. Ein großer Brand kann mit dem Löschroboter vermieden werden.
Was genau passiert hier gerade?
Wir lassen hier gerade eine Drohne steigen, die Bilder aufnimmt und Panoramabilder erzeugt. Dieser Livestream von der Drohne wird über das Handy an einen Server gesendet. Dort wird eine Auswahl an Videobilddaten getroffen und über einen Intelligent Image Hub, der im Hintergrund eine KI beinhaltet, der Audios detektieren kann an einen sogenannten Web-ODM schicken kann. Dort wird eine 3D-Punktwolke erzeugt, die die Einsatzkräfte vor Ort unterstützen. Die Einsatzkräfte können so in der bemaßten Punktwolke alle Objekte einsehen und Rückschlüsse über Größe und Form gewinnen.
Welche Hürden habt Ihr im Projekt schon genommen?
Zuerst einmal habe ich mit 4 weiteren Kollegen bei Prof. Surmann das Fliegen einer Drohne gelernt. Aber nicht nur das einfach Fliegen, sondern auch die ganzen autonomen Assistenzfunktionen und die Sensordatenverarbeitung sowie die verschieden KI-Algorithmen auf die man beim Fliegen achten muss. Das Lernen unter Pandemiebedingungen war schon eine echte Herausforderung. Dann haben wir mit dem Verein und Fraunhofer IAIS den Robotik-Leitwagen zu einem kleinen mobilen Rechenzentrum erweitert, auf dem Cloud und Serverdienste laufen sowie die gerade erwähnten KI-Verfahren. Damit können wir Livebilddaten über das Netzwerk an verschiedene Systeme senden, zum Beispiel an das Lagebildsystem des IAIS oder auch zum 3D Mapping Modul. Das System haben wir so robust gemacht, das es bereits auf einer Feuerwehrübung verwendet werden konnte.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Wenn die Einsatzkräfte vor Ort sind kann die Drohne bereits Panoramabilder und Punktwolken aufnehmen ohne dass ein Feuerwehrmann sich beispielsweise in eine Gefahrensituation begeben muss. Die Lokalisierung von Personen in einem Gebäude kann eine Drohne liefern und somit gezielt Informationen an die Einsatzkräfte weitergeben.
Was genau passiert hier gerade?
Wir nehmen gerade unseren Demonstrator „Xplorer“ in Betrieb. Auf diesem Forschungssystem werden im Rahmen der Entwicklung interoperabler Kommunikationsschnittstellen vier Kommunikationskanäle gebündelt, um für die Rettungskräfte eine optimale Anbindung zu generieren. Folgende Netze werden gebündelt:
- Lokales Netz – welches uns als Forschungsnetz dient
- Öffentliches Mobilfunknetz
- Privates Mobilfunknetz im 5G Campusnetz Band – welches wir auf unserem Kommunikationslabor mitführen
- Proprietäres System – welches aus dem Kontext der aktuellen Systeme in der Rettungsrobotik zu sehen ist
Diese vielen Systeme sind notwendig, da jedes System seine individuellen Vor- und Nachteile hat. Ein proprietäres System unterstützt beispielsweise nur eine sehr geringe Datenrate und ist nur lokal verfügbar. Wenn der Roboter aus dem Empfangsbereich des Systems fährt, werden alternative Systeme benötigt, um eine kontinuierliche Anbindung aller Robotiksysteme zu gewährleisten. Daher haben wir Methoden entwickelt, die eine Kombination dieser Netze ermöglicht. Ziel ist die kontinuierliche Bereitstellung der Anbindung im realen Einsatz, so dass der Roboter immer verfügbar ist und Daten übertragen werden können.
Parallel erfolgt gerade die Integration der zentralen Demonstratoren mit unseren Kommunikationsmodulen. Am Ende des Integrationssprints werden alle Systeme über unsere Kommunikationsschnittstellen mit dem Leitstand im RobLW kommunizieren können.
Welche Hürden habt Ihr im Projekt schon genommen?
Wir haben erstmalig die Möglichkeit geschaffen, unterschiedliche Netze transparent über interoperable Kommunikationsschnittstellen zu bündeln. Das gab es vorher noch nicht. Diese Bündelung erfolgt hier in Bad Oldesloe erstmalig in der Praxis. Außerdem haben wir die zentralen Demonstratoren des Projektes erstmalig über die interoperable Kommunikationsmodule angebunden.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Im realen Einsatz schlägt die Netzanbindung oftmals fehl, sobald sich der Roboter in einem Gebäude bewegt oder ein System plötzlich keine Verfügbarkeit mehr hat. Schlussfolgernd kann eine Erkundung nicht mehr stattfinden und die Einsatzkraft entsprechend nicht mehr agieren. Eine kontinuierliche Verfügbarkeit durch unsere interoperablen Kommunikationsschnittstellen ist daher von enormer Wichtigkeit für die Einsatzkräfte.
Was genau passiert hier gerade?
Die Universität zu Lübeck kümmert sich im Gesamtprojekt um den Faktor Mensch. Das Ziel eines Feuermannes ist es, neben der Brandbekämpfung gefährdete Menschen zu retten. Auch Roboter im Feuerwehreinsatz sollten Menschen zumindest erkennen. Es gibt bereits viele Möglichkeiten, Menschen zu detektieren. Umwelteinflüsse wie Rauch, Feuer oder teilweise Verdeckung verhindern aber oft eine Lokalisierung. Daher werden in unserem Modul drei Ansätze kombiniert: Die Bildverarbeitung erkennt zu 50% ein Gesicht, dazu kommt ein Körperumriss und eine Wärmequelle. Ist eine Kombination der Merkmale gegeben, kann man davon ausgehen, dass es sich um einen Menschen handelt. Darüber hinaus kümmern wir uns um die Beurteilung des Gesundheitszustands von Verletzten. Wir bringen den Robotern bei, wie er menschliche Lebenszeichen erkennt und die Schwere von Verletzungen bestimmt. Das sind in erster Linie Herzschlag, Atmung und Körpertemperatur.
Welche Hürden habt Ihr im Projekt schon genommen?
Wir haben inzwischen zwei Module aufgebaut. Eins bildet den Stand der Technik und Forschung in der Rettungsrobotik ab. Es wurden viele der in der Literatur veröffentlichten Methoden zur Personendetektion integriert. Das Modul ist ausgestattet mit Wärmebild- und normalen Kamera, einem Mikrofonarray, das Menschen anhand ihrer Rufe lokalisiert, und 8 Gassensoren, mit denen in der Literatur verschüttete Menschen anhand ihres Geruchs erkannt wurden. Ein Radarmodul misst und lokalisiert große, aber auch kleinste Bewegungen wie die Pulsation, also die durchblutungsbedingte Hautoberflächenbewegung während des Herzschlages. Natürlich erzeugt eine durch Radar erfasste, sich bewegende Einsatzkraft ein 1000mal stärkeres Signal. Wir wissen aber, mit welcher Frequenz ein Herz schlägt und mit welcher Frequenz ein normaler Mensch atmet. Nach diesen Frequenzen wird gefiltert, um Verletzte nicht nur zu detektieren, sondern auch etwas über Ihren Gesundheitszustand zu sagen.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Der Schwerpunkt der Universität zu Lübeck liegt eindeutig auf der Medizintechnik. Andere Gruppen navigieren ihre Roboter autonom durch ein Rettungsszenario und tragen dabei unser Lebenszeichenmodul. Das Modul detektiert automatisch Menschen in seiner Umgebung und erfasst verschiedene Vitalparameter. Das gibt Erkenntnisse, ob Menschen noch leben und wer zuerst Hilfe benötigt. Somit können Einsatzkräfte gezielt Ihren Einsatz planen und dort helfen, wo Hilfe am schnellsten benötigt wird.
Was genau passiert hier gerade?
Wir arbeiten an einem plattformübergreifenden Modularisierungskonzept. Das Ziel ist es, die Roboterfunktionen auf kleinere Einheiten, sogenannte Module, herunter zu brechen. Diese Module kann man unabhängig voneinander in verschiedenen Robotersystemen verwenden. Die Roboter selbst werden dabei mit einem sogenannten Modulträger ausgestattet. Dieser Träger bietet eine vereinheitliche Aufnahme für die entwickelten DRZ-Module, die selbst ganz unterschiedliche Fähigkeiten haben können. Die Einsatzkraft kann wählen welche Geräte und Sensorik mitgeführt werden soll und so z.B. entscheiden ob eher eine Thermalkamera, eine optische Kamera, ein 3D Laserscanner oder anderes für den aktuellen Einsatz benötigt wird. So wird ein maßgeschneiderter Einsatz möglich.
Welche Hürden habt Ihr im Projekt schon genommen?
Es gab keine vergleichbaren Vorarbeiten, die adaptiert werden konnten. Also mussten wir erst einmal überlegen, wie soll das Ganze aussehen – von der Platzaufteilung bis hin zu Formen der Module, Schnittstellen und Stecker. Das System soll so flexibel wie möglich sein, ohne zu viele Vorgaben zu machen.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Der Benefit für die Einsatzkraft ist, dass sie mit bekannten Systemen operieren kann. Bedeutet, wenn man den Roboter (groß, klein mit Manipulation, etc.) je nach Einsatzsituation auswählt, kann das ihm bekannte Modul auf diesen Roboter aufgesetzt werden. Also völlig unabhängig von der Bodenplattform. Mit dem normierenden Gedanken können wir dafür sorgen, dass es nicht so viele Insellösungen gibt. Wir möchten ein Set von Grundfähigkeiten über die Module abbilden, mit der die Einsatzkraft vertraut ist.
Was genau passiert hier gerade?
Der Funkverkehr wird von unserem System mitgehört und interpretiert. Die aus der Interpretation resultierende Informationen werden in den Kontext der Mission eingeordnet und an unsere Prozessassistenz-Komponente weitergeleitet. Hier werden diese Informationen genutzt, um den Stand der Mission zu visualisieren und mögliche nächste Schritte vorzuschlagen.
Welche Hürden habt Ihr im Projekt schon genommen?
Integration! Das ist in einem Projekt mit so vielen verschiedenen Partnern immer einer der größten Herausforderungen. Außerdem entwickeln wir Sprachmodelle für eine “real-live” Domäne, für die es keine bzw. kaum Daten gibt. Aus Sicht der Prozessassistenz-Komponente ist dies auch der erste uns bekannte Versuch Methoden und Techniken des Geschäftsprozessmanagements in Einsätze der Feuerwehr zu integrieren. Wir glauben, dass uns dies gut gelungen ist.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Wir entwickeln zwei Komponenten, die den Einsatz erleichtern sollen. Bei der ersten Komponente zur Spracherkennung und -verarbeitung müssen Daten nicht eingeben werden, sondern es werden Komponenten der Daten aus der Funkkommunikation automatisch extrahiert und in das DRZ-System einpflegt. Die zweite Komponente verarbeitet diese Daten aus einer prozessorientierten Sicht und visualisiert relevante Informationen zum aktuellen Stand der Mission für die Einsatzkräfte. Dadurch wird die kognitive Last der Einsatzkräfte, vor allem der Führungskräfte, reduziert. Sichtbar ist dann der aktuelle Stand eines Einsatzes sowie mögliche zukünftige Schritte. Zudem ermöglicht die zentrale Datensammlung und -aufbereitung eine bessere Nachbereitung des Einsatzes. So befindet sich momentan beispielsweise eine Funktionalität zur automatischen Erstellung von Einsatzberichten in der Erarbeitung.
Was genau passiert hier gerade?
Wir testen die entwickelten Systeme in einem praxisbezogenen Einsatzszenario wobei auch die Zusammenarbeit der verschiedenen robotischen Systeme erprobt wird.
Welche Hürden habt Ihr im Projekt schon genommen?
Das Einsatzgeschehen unterscheidet sich durch die individuellen Umgebungsbedingungen erheblich von standardisierten industriellen Anwendungen. Um praxistaugliche Lösungen für die herausfordernden Aufgaben an Einsatzstellen zu entwickeln, unterstützen wir die Projektpartner bei der Umsetzungen von anwenderbezogenen Anforderungen und Spezifikationen u.a. durch die Entwicklung von vergleichbaren Testszenarien.
Welchen Beitrag leistet Ihr zur Erleichterung im realen Einsatz?
Die Integration der verschiedenen technischen Systeme ist eine große Herausforderung und muss in praktischen Übungen getestet werden. Die Feuerwehr Dortmund testet u.a. das Zusammenspiel der entwickelten Systeme der Projektpartner in realitätsnahen Szenarien. Hierzu werden einsatzbezogene Abläufe unter Praxisbedingungen geübt.
German 
English