Industrielle Anwendungsfelder von Reinforcement Learning

Ein Interview mit Dr. Axel Plinge, Fraunhofer IIS

Reinforcement Learning ist derzeit in aller Munde, doch was genau verbirgt sich hinter diesem Schlagwort? Und wie könnten Unternehmen im industriellen Kontext davon profitieren? Der Anwendungsbereich des autonomen Fahrens wurde bereits in der Applikation »KI-Frameworks für autonome Systeme« im ADA Lovelace Center for Analytics Data and Applications bearbeitet. Aber das war nur ein Anfang: Dr. Axel Plinge, Leiter der Gruppe Self-Learning Systems am Fraunhofer IIS in Nürnberg und Teil des ADA Lovelace Center, forscht mit seinem Team weiter zu den Potenzialen von Reinforcement Learning und Quantencomputing für Unternehmen. Gemeinsam entwickeln sie konkrete Anwendungen, die darauf abzielen, die Effizienz und Effektivität von betrieblichen Prozessen durch KI-gestützte Ansätze zu steigern. In einem Interview mit Axel habe ich nun mehr erfahren über die vielversprechenden Einsatzmöglichkeiten von Reinforcement Learning in industriellen Kontexten sowie über einige konkrete Projekte aus seiner Gruppe:

Hallo Axel. Dein Team und du beschäftigt euch seit nunmehr vier Jahren im Rahmen des ADA Lovelace Center mit der Entwicklung von »KI-Frameworks für autonome Systeme«. Was genau verbirgt sich dahinter?

Dr. Axel Plinge: Fraunhofer steht für angewandte Forschung, daher streben wir danach, Forschung und Praxis eng miteinander zu verknüpfen. Unser Fokus liegt hierbei auf der Erforschung und Entwicklung von Anwendungsfeldern künstlicher Intelligenz (KI) in industriellen oder betrieblichen Umfeldern. Unser Ziel ist es, Unternehmen und ihren Mitarbeitenden die Möglichkeit zu geben, von KI-Systemen zu profitieren, ohne Angst vor ihrer Anwendung zu haben. Wir sind der Meinung, dass es einfach sein sollte, autonome Systeme mithilfe des Wissens der Mitarbeitenden zu trainieren, und dass die Handlungen und Entscheidungen des Systems jederzeit transparent und überprüfbar sein müssen. Reinforcement Learning bietet sich hierbei besonders an. Bei dieser Form des maschinellen Lernens lernt ein Agent durch Interaktion mit seiner Umgebung, welche Aktionen in sich verändernden Situationen optimal sind, um ein bestimmtes Ziel zu erreichen. Der Agent passt seine Entscheidungsstrategie basierend auf dem Feedback der Umgebung an, verstärkt gute Handlungen und vermeidet schlechte. Nach intensivem Training kann der Agent optimale Entscheidungen in komplexen und dynamischen Umgebungen treffen. Wir sind davon überzeugt, dass Reinforcement Learning Mitarbeitende entlasten und unterstützen kann. Gleichzeitig können Ressourcen geschont und Effizienzpotenziale für Unternehmen erschlossen werden.

Da gebe ich dir Recht, das hört sich nach einer Menge Potenzial an. Welche konkreten Anwendungsfälle von Reinforcement Learning habt ihr denn im Rahmen des ADA Lovelace Center erforscht und entwickelt?

Dr. Axel Plinge: Die Applikation »KI-Frameworks für autonome Systeme des ADA Lovelace Center, widmete sich einem der populärsten Anwendungsgebiete des Reinforcement Learning: dem autonomen Fahren und den Fahrassistenzsystemen. Dank hochentwickelter Sensoren und erheblicher Rechenleistung ist es modernen Fahrzeugen möglich, Umweltfaktoren zu erfassen und zu verarbeiten. An diesem Punkt tritt ein Reinforcement-Learning-Agent in Erscheinung. Trotz der immensen Komplexität des Straßenverkehrs kann ein solcher Agent durch intensives Training im Simulator optimales Verhalten für die (assistierende) Steuerung von Fahrzeugen erlernen. Um die entwickelten Fahrassistenzsysteme so sicher wie möglich zu gestalten, wurden Verfahren eingesetzt, die das Verhalten des Reinforcement-Agenten einfach nachvollziehbar und verifizierbar machen.

Wie man für eine spezifische Situation noch sicherer und nachvollziehbar werden kann, haben wir mit dem SafeVIPER-Ansatz gezeigt. Hier wird zunächst ein neuronales Netz trainiert, um sicheres Verhalten zu lernen. Dann wird ein Entscheidungsbaum daraus extrahiert der dieses Verhalten nachvollziehbar umsetzt. Schließlich kann man diesen mit einem mathematischen Modell der Umwelt sogar verifizieren.

Alles klar, damit habt ihr einen enormen Fortschritt im Bereich autonomes Fahren erreicht. Und woran arbeitet Ihr aktuell? Wir sprachen ja auch über industrielle Anwendungen, gibt es da etwas?

Dr. Axel Plinge: Neben dem autonomen Fahren kann Reinforcement Learning auch komplexe Entscheidungen in industriellen Umgebungen optimieren, beispielsweise in der Verfahrenstechnik. Verfahrenstechnische Produktionsprozesse werden mittels sogenannten Fließbildern visualisiert, die die Grundlage für Planungsentscheidungen bilden. Im Rahmen des KIAFE-Projekts entwickeln wir einen Reinforcement-Learning-Agenten, der automatisch Fließbilder für optimale Produktionsplanungsprozesse unter sich verändernden dynamischen Rahmenbedingungen erstellt, beispielsweise für die Herstellung von nachhaltigem Biotreibstoff.

Und welche Vorteile erwartest du für Unternehmen der Verfahrenstechnik durch die Anwendung von Reinforcement Learning?

Dr. Axel Plinge: Der KI-Agent optimiert den Planungsprozess gleichzeitig hinsichtlich verschiedenster Anforderungen wie Energieeffizienz, Kosten und CO₂-Ausstoss unter Berücksichtigung variierender Rahmenbedingungen. Daurch kann er also wie im Bild gezeigt auf der Basis von Entwürfen neue Pläne vorschlagen. Um optimale Entscheidungen treffen zu können, wurde der KI-Agent mithilfe des Fachwissens von Experten und Fachkräften trainiert. Das sind neben den Chemieingenieuren auch Experten für Life Cycle Analysis (LCA), um die Nachhaltigkeitsaspekte fundiert abzubilden. Auch für die fertige Anlage können die Prozessparameter automatisch an beispielsweise variierende Rohstoffpreise und -verfügbarkeiten, oder Nachfrageaspekte angepasst werden. Dies ermöglicht umgehendes und effektives unternehmerisches Handeln.

Das ist ein gutes Beispiel dafür, wie KI-Methoden – hier das Reinforcement Learning – sinnvoll eingesetzt werden können und zeigt, wie vielfältig die Anwendungsmöglichkeiten sind. Vielen Dank, Axel, für die Einblicke in eure Arbeit und die Möglichkeiten, die sich durch Reinforcement Learning für Unternehmen ergeben. Und wenn Sie mehr darüber erfahren möchten oder Axel kontaktieren möchten, finden Sie hier weitere Informationen.

Titelbild © Adobe Stock / metamorworks – stock.adobe.com und ©Adobe Stock / Scanrail – stock.adobe.com

From autonomous driving to sustainable biofuel

Industrial fields of application of reinforcement learning

An interview with Dr. Axel Plinge, Fraunhofer IIS

Everyone is currently talking about reinforcement learning, but what exactly is behind this buzzword? And how could companies benefit from it in an industrial context? The application area of autonomous driving has already been addressed in the „AI frameworks for autonomous systems“ application at the ADA Lovelace Center for Analytics Data and Applications. But that was just the beginning: Dr. Axel Plinge, head of the Self-Learning Systems group at Fraunhofer IIS in Nuremberg and part of the ADA Lovelace Center, and his team are continuing their research into the potential of reinforcement learning and quantum computing for companies. Together, they are developing specific applications that aim to increase the efficiency and effectiveness of operational processes through AI-supported approaches. In an interview with Axel, I learned more about the promising applications of reinforcement learning in industrial contexts and about some specific projects from his group:

Hello Axel. You and your team have been working on the development of „AI frameworks for autonomous systems“ at the ADA Lovelace Center for four years now. What exactly is behind this?

Dr. Axel Plinge: Fraunhofer stands for applied research, which is why we strive to closely link research and practice. Our focus here is on researching and developing fields of application for artificial intelligence (AI) in industrial or operational environments. Our goal is to enable companies and their employees to benefit from AI systems without being afraid of using them. We believe that it should be easy to train autonomous systems using the knowledge of employees and that the actions and decisions of the system must be transparent and verifiable. Reinforcement learning is particularly suitable here. In this form of machine learning, an agent learns through interaction with its environment which actions are optimal in changing situations in order to achieve a specific goal. The agent adapts its decision-making strategy based on feedback from the environment, reinforcing good actions and avoiding bad ones. After intensive training, the agent can make optimal decisions in complex and dynamic environments. We are convinced that reinforcement learning can relieve and support employees. At the same time, resources can be conserved and efficiency potential can be tapped for companies.

I agree, that sounds like a lot of potential. What specific applications of reinforcement learning have you researched and developed as part of the ADA Lovelace Center?

Dr. Axel Plinge: The „AI frameworks for autonomous systems“ application of the ADA Lovelace Center was dedicated to one of the most popular application areas of reinforcement learning: autonomous driving and driver assistance systems. Equipped with advanced sensors and powerful computational capabilities, modern vehicles can effectively detect and analyze environmental data. Here, Reinforcement Learning steps in. Intensive simulation training equips the agent with the ability to acquire optimal behaviors for safely guiding vehicles through complex road traffic. To ensure the utmost safety of the developed driver assistance systems, it was ensured that the reinforcement agent’s behavior remains constantly verifiable and understandable.

We have used the SafeVIPER approach to show how to become even safer and more comprehensible for a specific situation. Here, a neural network is first trained to learn safe behavior. Then a decision tree is extracted from it that implements this behavior in a comprehensible way. Finally, this can even be verified with a mathematical model of the environment.

All right, so you’ve made enormous progress in the field of autonomous driving. And what are you currently working on? We also talked about industrial applications, is there anything there?

Dr. Axel Plinge: In addition to autonomous driving, reinforcement learning can also optimize complex decisions in industrial environments, for example in process engineering. Process engineering production processes are often visualized using flowcharts, which form the basis for planning decisions. As part of the KIAFE project, we are developing a reinforcement learning agent that automatically creates flowcharts for an optimal production planning process under changing dynamic conditions, for example for the production of sustainable biofuel.

And what advantages do you expect for process engineering companies through the use of reinforcement learning?

Dr Axel Plinge: The AI agent simultaneously optimizes the planning process with regard to a wide range of requirements such as energy efficiency, costs and CO2 emissions, taking into account varying framework conditions. As a result, it can propose new plans based on drafts, as shown in the image. In order to make optimal decisions, the AI agent has been trained with the help of experts and specialists. In addition to chemical engineers, these include experts in Life Cycle Analysis (LCA) in order to map the sustainability aspects in a well-founded manner. The process parameters for the finished plant can also be automatically adapted to varying raw material prices and availability or demand aspects, for example. This enables immediate and effective entrepreneurial action.

This is a good example of how AI methods – in this case reinforcement learning – can be put to good use and shows how diverse the possible applications are. Thank you, Axel, for the insights into your work and the opportunities that reinforcement learning opens up for companies. And if you would like to find out more or contact Axel, you can find more information here.

Cover picture © Adobe Stock / metamorworks – stock.adobe.com und ©Adobe Stock / Scanrail – stock.adobe.com