K. Djebko, T. Baumann, E. Dilger, F. Puppe, S. Montenegro

Zuverlässige Lageregelung ist essenziell für Satellitenmissionen. Die Entwicklung klassischer Regler ist jedoch zeitaufwendig und anfällig für Abweichungen zwischen Erwartung und Realität. Deep Reinforcement Learning (DRL) bietet eine vielversprechende Alternative, mit der ein Regler durch selbstständige Interaktion mit einer Umgebung eine angepasste Regelungsstrategie lernen kann, indem eine Belohnungsfunktion maximiert wird. In der Praxis werden häufig Reaktionsräder und Magnettorquer kombiniert, wobei Reaktionsräder für schnelle Lageänderungen und Magnettorquer für langsames Momentum-Management eingesetzt werden. Da sich beide Aktuatoren gegenseitig beeinflussen, ist ein vereinigter, auf beide Aktuatoren abgestimmter KI-Regler wünschenswert. Das Training eines solchen vereinigten Reglers ist jedoch anspruchsvoll, da die Aktuatoren widersprüchliche Anforderungen an die Belohnungsfunktion und die Trainings-Hyperparameter haben. Reaktionsräder ermöglichen schnelle Lageänderungen und erfordern während des Trainings primär den Fokus auf unmittelbare Aktionen, während Magnettorquer langsame Änderungen bewirken und für sie lange Zeithorizonte betrachtet werden müssen. Erschwerend kommt hinzu, dass beide Aktuatortypen zwar stark unterschiedliche Verhaltenseigenschaften aufweisen, sich jedoch gegenseitig beinflussen. In unserer Arbeit vereinen wir die Regelung beider Aktuatoren durch den Einsatz von Subnetzwerken, die während des Trainings aktiviert, eingefroren oder deaktiviert werden können. Dies löst den Trainingskonflikt auf und vereinfacht das zugrundeliegende Optimierungsproblem. Wir haben unser Verfahren angewendet, um mithilfe eines realistischen Simulators einen KI-Regler für den InnoCube-Satelliten zu trainieren. InnoCube ist ein 3U-CubeSat, der von der Julius-Maximilians-Universität Würzburg in Kooperation mit der Technischen Universität Berlin entwickelt und im Januar 2025 erfolgreich gestartet wurde. Ziel ist es, den Regler zukünftig direkt an Bord des Satelliten im All zu erproben und iterativ zu verbessern.

Reliable attitude control is essential for satellite missions. However, the development of conventional controllers is time-consuming and prone to discrepancies between expectations and reality. Deep reinforcement learning (DRL) offers a promising alternative, allowing a controller to learn an adapted control strategy through autonomous interaction with an environment by maximizing a reward function. In practice, reaction wheels and magnetic torquers are often combined, with reaction wheels used for rapid attitude changes and magnetic torquers for slow momentum management. Since both actuators influence each other, a unified AI controller tuned to both actuators is desirable. Training such a unified controller is challenging, however, because the actuators have conflicting requirements for the reward function and the training hyperparameters. Reaction wheels enable rapid attitude changes and require a primary focus on immediate actions during training, whereas magnetic torquers cause slow changes and require long time horizons to be considered. What makes matters worse is that although both actuator types have very different behavioral characteristics, they influence each other. In our work, we combine the control of both actuators by using subnetworks that can be activated, frozen, or deactivated during training. This resolves the training conflict and simplifies the underlying optimization problem. We applied our method to train an AI controller for the InnoCube satellite using a realistic simulator. InnoCube is a 3U CubeSat developed by the Julius-Maximilians-University of Würzburg in cooperation with the Technical University of Berlin and successfully launched in January 2025. The goal is to test the controller directly on board the satellite in space and to iteratively improve it.

Deutscher Luft- und Raumfahrtkongress 2025, Augsburg

Deutsche Gesellschaft für Luft- und Raumfahrt - Lilienthal-Oberth e.V., Bonn, 2025

Conference Paper

deutsch

21,0 x 29,7 cm, 10 Seiten

urn:nbn:de:101:1-2510241121206.896055490146

10.25967/650051

Künstliche Intelligenz, Deep Reinforcement Learning, Nanosatelliten, CubeSats, Lageregelung

Download - Bitte beachten Sie die Nutzungsbedingungen dieses Dokuments: CC BY 4.0  OPEN ACCESS

Djebko, K.; Baumann, T.; et al. (2025): Vereinigung der Steuerung von Aktuatoren mit unterschiedlichen Zeithorizonten für KI-basierte Satelliten-Lageregelung mittels Subnetz-Politik. Deutsche Gesellschaft für Luft- und Raumfahrt - Lilienthal-Oberth e.V.. (Text). https://doi.org/10.25967/650051. urn:nbn:de:101:1-2510241121206.896055490146.

24.10.2025