Reward design for reinforcement learning agents

Abstract

Reward functions are central in reinforcement learning (RL), guiding agents towards optimal decision-making. The complexity of RL tasks requires meticulously designed reward functions that effectively drive learning while avoiding unintended consequences. Effective reward design aims to provide signals that accelerate the agent’s convergence to optimal behavior. Crafting rewards that align with task objectives, foster desired behaviors, and prevent undesirable actions is inherently challenging. This thesis delves into the critical role of reward signals in RL, highlighting their impact on the agent’s behavior and learning dynamics and addressing challenges such as delayed, ambiguous, or intricate rewards. In this thesis work, we tackle different aspects of reward shaping.

Belohnungsfunktionen sind beim Reinforcement Learning (RL) von zentraler Bedeutung, da sie Agenten zu optimalen Entscheidungen führen. Die Komplexität von RLAufgaben erfordert sorgfältig entworfene Belohnungsfunktionen, die das Lernen effektiv vorantreiben und gleichzeitig unbeabsichtigte Konsequenzen vermeiden. Effektives Belohnungsdesign zielt darauf ab, Signale zu liefern, die die Konvergenz des Agenten zu optimalem Verhalten beschleunigen. Die Gestaltung von Belohnungen, die mit den Zielen der Aufgabe übereinstimmen, erwünschte Verhaltensweisen fördern und unerwünschte Handlungen verhindern, ist von Natur aus eine Herausforderung. Diese Arbeit befasst sich mit der kritischen Rolle von Belohnungssignalen in RL, wobei ihre Auswirkungen auf das Verhalten und die Lerndynamik des Agenten hervorgehoben werden und Herausforderungen wie verzögerte, mehrdeutige oder komplizierte Belohnungen behandelt werden. In dieser Arbeit befassen wir uns mit verschiedenen Aspekten der Gestaltung von Belohnungen. Zunächst befassen wir uns mit dem Problem der Gestaltung informativer und interpretierbarer Belohnungssignale aus der Perspektive des Lehrers/Experten (teacher-driven). Hier entwirft der Experte, ausgestattet mit der optimalen Strategie und der entsprechenden Wertfunktion ausgestattet, Belohnungssignale die die Konvergenz des Agenten zum optimalen Verhalten beschleunigen. Zweitens: Wir bauen auf diesem auf diesem lehrergesteuerten Ansatz auf, indem wir eine neuartige Methode zur adaptiven, interpretierbaren Gestaltung. In diesem Szenario passt der Experte die Belohnungen an die aktuelle Strategie des Lernenden an und sorgt für eine Anpassung und optimale Progression. Drittens schlagen wir einen Meta-Lernansatz vor einen Meta-Learning-Ansatz vor, der es dem Agenten ermöglicht, seine Belohnungssignale online selbst zu gestalten, ohne dass ein Experte (agent-driven). Diese selbstgesteuerte Methode berücksichtigt das Lernen und Erforschen des Agenten um eine sich selbst verbessernde Feedbackschleife zu etablieren.