M. Tappe, A. Wickers, B. Kelm, S. Myschik, O. Niggemann

Die Anwendung von maschinellem Lernen gewinnt in zahlreichen Bereichen zunehmend an Bedeutung. Reinforcement Learning ermöglicht es, Steuerungsstrategien direkt aus den Interaktionen eines Agenten mit seiner Umgebung zu erlernen – komplexe Systeme können so ohne explizite numerische Modellgleichungen angelernt werden. In diesem Beitrag steht das eigenständige Erlernen eines Flugverhaltens unterstützt durch ein qualitatives Systemmodell im Fokus. In einer virtuellen Umgebung lernt ein Multi-Rotor-UAS-Agent eigenständig einen Zielpunkt anzufliegen und zeigt dabei wie das Verwenden eines modellbasierten Ansatzes des Reinforcement Learnings das Lernverhalten gegenüber einem klassischen modellfreien Ansatz beschleunigen kann. Um dies zu erreichen wird mittels dem logischen Modell der Aktionsraum des Agenten eingeschränkt, sodass das Training mit weniger Schritten erfolgreich abgeschlossen werden kann. Durch den direkten Vergleich der Flugperformance der verschiedenen untersuchten Ansätze wird der Vorteil des modellbasierten Ansatzes zusätzlich verdeutlicht. Das zugrunde liegende qualitative Modell kann mit einfachem Systemvorwissen hergeleitet werden, ohne dass eine numerische Parametrisierung des Systems notwendig wird. Gegenüber eines klassischem numerischen Systemmodells wird ein deutlich geringerer Aufwand für die Implementierung aufgebracht. Anschließend werden die Möglichkeiten des Einsatzes von qualitativen Systemmodellen zur Optimierung von ML-Verfahren in einem Ausblick erläutert.

The application of machine learning is becoming increasingly important in numerous fields. Reinforcement learning enables control strategies to be learned directly from an agents interactions with its environment – complex systems can thus be trained without explicit numerical model equations. This article focuses on the independent learning of flight behavior supported by a qualitative system model. In a virtual environment, a multi-rotor UAS agent learns to fly to a target independently and demonstrates how using a model-based reinforcement learning approach can accelerate learning compared to a classic model-free approach. To achieve this, the agents action space is restricted using the logical model, allowing training to be successfully completed with fewer steps. The advantage of the model-based approach is further demonstrated by a direct comparison of the flight performance of the various approaches investigated. The underlying qualitative model can be derived using simple prior system knowledge, without the need for numerical parameterization of the system. Compared to a classic numerical system model, significantly less effort is required for implementation. Subsequently, the possibilities of using qualitative system models to optimize ML processes are explained in an outlook.

Deutscher Luft- und Raumfahrtkongress 2023, Stuttgart

Deutsche Gesellschaft für Luft- und Raumfahrt - Lilienthal-Oberth e.V., Bonn, 2025

Conference Paper

deutsch

21,0 x 29,7 cm, 10 Seiten

urn:nbn:de:101:1-2503141204387.610681288743

10.25967/610214

Reinforcement Learning, Input Masking, Qualitatives Systemmodell, UAS, Modellierung

Download - Bitte beachten Sie die Nutzungsbedingungen dieses Dokuments: Copyright protected  

Tappe, M.; Wickers, A.; et al. (2025): Verwendung eines qualitativen Systemmodells zum maschinellen Lernens des Flugverhaltens eines Multicopters. Deutsche Gesellschaft für Luft- und Raumfahrt - Lilienthal-Oberth e.V.. (Text). https://doi.org/10.25967/610214. urn:nbn:de:101:1-2503141204387.610681288743.

14.03.2025