Karin MaturaEin innovativer Ansatz mit der DATEV
Ein Interview mit Dr. Quirin Göttl, Fraunhofer IIS
Reinforcement Learning (RL) hat in den letzten Jahren erheblich an Bedeutung gewonnen, insbesondere im Kontext industrieller Anwendungen. Wir haben dazu bereits ein interessantes Interview mit unserem Experten Dr. Axel Plinge veröffentlich, bei dem es um die Anwendung von RL beim autonomen Fahren und für nachhaltigen Biotreibstoff ging. Nun erschließt sich das Team in der Gruppe Self-Learning Systems am Fraunhofer IIS in Nürnberg neue Anwendungsmöglichkeiten für Reinforcement Learning und zwar im Bereich der Personalplanung. Der traditionelle Ansatz, Ressourcen manuell zu planen, stößt schnell an seine Grenzen, wenn unvorhersehbare Faktoren wie plötzliche Abwesenheiten oder individuelle Arbeitsgeschwindigkeiten ins Spiel kommen. Reinforcement Learning birgt Potenziale zur Optimierung betrieblicher Prozesse, die im Rahmen des Projekts ROLF („Reinforcement Learning für betriebswirtschaftliche Prozesse“) in Zusammenarbeit mit der DATEV eG erforscht werden. In einem Gespräch mit unserem Experten Dr. Quirin Göttl, habe ich mehr über die innovativen Ansätze und konkreten Anwendungen erfahren:
Von ADA über Biotreibstoffe zur Personalplanung
Quirin, ich weiß, dass ihr bei Fraunhofer an vielen verschiedenen Projekten arbeitet, von ADA – in diesem Fall bin nicht ich gemeint, sondern steht die Abkürzung für Anomalie-Detektion-Algorithmen – bis hin zu Biotreibstoffen. Wie kam es, dass ihr euch jetzt auf Personalplanung mit Reinforcement Learning konzentriert? Was ist der Zusammenhang zwischen diesen verschiedenen Bereichen?
Dr. Quirin Göttl: Ja, das klingt erstmal nach unterschiedlichen Welten, aber sie teilen ein gemeinsames Ziel: Effizienzsteigerung durch intelligente Systeme. In Projekten wie ADA haben wir gelernt, wie man große, dynamische Datenmengen analysiert und Anomalien erkennt, was auch im Energiesektor nützlich ist. Das gleiche Prinzip – datengetriebene Entscheidungen – lässt sich auch auf die Personalplanung anwenden. Unternehmen stehen vor der Herausforderung, nicht nur die Arbeitszeiten zu koordinieren, sondern auch unvorhergesehene Ereignisse wie ungeplante Abwesenheiten zu managen. Hier kommt Reinforcement Learning ins Spiel: Es hilft uns, diese komplexen Prozesse zu optimieren
Die größten Herausforderungen in der Personalplanung
Das klingt spannend! Was sind die spezifischen Herausforderungen bei der Personalplanung, zum Beispiel in Bezug auf den Unternehmensgewinn?
Dr. Quirin Göttl: Die Personalplanung mag auf den ersten Blick simpel erscheinen – wie das Zuteilen von Jobs in einem Rechencluster. Doch in der Realität gibt es viele weiche Faktoren. Zum Beispiel variieren die Arbeitsgeschwindigkeiten der Mitarbeiter, und unerwartete Abwesenheiten können große Lücken reißen. Der Unternehmensgewinn lässt sich nicht so leicht optimieren, weil man nicht nur die Produktivität steigern, sondern auch die Zufriedenheit der Mitarbeiter berücksichtigen muss. Und da kommt die KI ins Spiel: Sie kann durch Simulationen und Optimierungen verschiedene Szenarien durchspielen, zum Beispiel, welche Auswirkungen die Weiterbildung eines Mitarbeiters hat, wenn er dadurch mehr Verantwortung übernehmen kann.
Vorteile des Reinforcement Learning
Das scheint sehr herausfordernd zu sein. Was sind die Vorteile, wenn man KI, besonders Reinforcement Learning, für diese Art der Planung einsetzt? Wie funktioniert die Methode im Vergleich zu traditionellen Ansätzen?
Dr. Quirin Göttl: RL hat das Potenzial, nicht nur eine effizientere Planung zu ermöglichen, sondern auch Pläne zu entwickeln, die robuster gegenüber Störungen sind – zum Beispiel, wenn ein Mitarbeiter krank wird. Der Vorteil ist, dass die KI durch Erfahrung lernt. Sie muss nicht alle Eventualitäten vorher berechnen, sondern kann dynamisch auf neue Situationen reagieren. Das macht den Planungsprozess flexibler. Und wie bei unseren Projekten im ADA Lovelace Center ist der Schlüssel die datengetriebene Optimierung, die es uns erlaubt, mit verschiedenen Szenarien zu experimentieren, um das Beste aus den verfügbaren Ressourcen herauszuholen.
Reinforcement Learning im ROLF-Projekt
Sehr interessant! Könntest du uns ein konkretes Beispiel geben, wie das Reinforcement Learning im ROLF-Projekt angewendet wird? Was habt ihr bisher herausgefunden?
Dr. Quirin Göttl: Im ROLF-Projekt untersuchen wir konkret die Anwendung von RL in der Personalplanung für Steuerkanzleien. Kanzleien planen ihre Ressourcen oft manuell, was zeitaufwendig und fehleranfällig ist. Unser Demonstrator zeigt, wie RL diese Prozesse optimieren kann. Zum Beispiel könnte die KI erkennen, dass bestimmte Aufgaben vorgezogen werden sollten, um Fristen einzuhalten, was die Effizienz steigert, und Fehler reduziert. Erste Ergebnisse zeigen, dass die KI in der Lage ist, Personalressourcen besser zu verteilen und dabei flexibel auf unvorhergesehene Ereignisse zu reagieren.
Das heißt der Demonstrator zeigt, wie das RL-gestützte System in der Praxis aussieht? Wie muss ich mir das genau vorstellen, also wie wird die KI in realen Szenarien eingesetzt, und welche konkreten Verbesserungen ergeben sich daraus? Kannst du uns ein Beispiel zeigen?
Dr. Quirin Göttl: Natürlich. Betrachten wir zunächst ein vereinfachtes Beispiel aus einer Steuerkanzlei. Traditionell würde die Planung der Aufgaben manuell erfolgen, indem die Lohnaufgaben nach dem frühestmöglichen Fristdatum sortiert und bearbeitet werden. In der Abbildung sieht man 4 Mitarbeiter, die bestimmte Aufgabenarten (Lohn, FiBu, Steuer) abarbeiten können. Manche Aufgaben sind voneinander abhängig (gekennzeichnet durch Verbindungen), d.h., dass diese nicht parallel bearbeitet werden können. Zudem hat jede Aufgabe eine Frist, die eingehalten werden muss. Aufgaben die nicht innerhalb der Frist bearbeitet werden, sind mit einer roten Umrandung markiert.
Dies erscheint auf den ersten Blick sinnvoll, kann jedoch zu Problemen führen, wie wir in einem unserer Beispiele gesehen haben. Denn aufgrund von Abhängigkeiten zwischen den Aufgaben kann es passieren, dass die Zeit für andere Aufgaben nicht mehr ausreicht. Mit einem RL-System könnte die KI entscheiden, welche Aufgaben zuerst erledigt werden sollten, um alle Fristen einzuhalten und mögliche Engpässe zu vermeiden.
In einem unserer Demonstrationsszenarien haben wir gezeigt, dass die KI die Aufgaben den Mitarbeitenden effizienter zuteilt, die Anhängigkeiten berücksichtigt und dabei alle Fristen einhält. Diese Optimierung reduziert Fehler und spart Zeit, was in der Praxis oft eine erhebliche Verbesserung bedeutet.
Das ist echt beeindruckend, wie RL die Personalplanung vereinfachen und verbessern kann. Es gibt sicher noch viele weitere Anwendungsmöglichkeiten.
Dr. Quirin Göttl: Ja, die Möglichkeiten von RL sind wirklich faszinierend, und wir freuen uns darauf, weiter an der Optimierung der Planung zu arbeiten. Aktuell erforschen wir weitere Anwendungsfälle und entwickeln die Technologie weiter, um noch präzisere und flexiblere Lösungen anbieten zu können.
Dann sage ich Danke Quirin für die interessanten Einblicke und freu mich, wenn ihr mich und unsere Leserinnen und Leser auf dem Laufenden haltet, wie eure Forschung und Entwicklung voranschreitet.
Titelbild © Adobe Stock / ipopba – stock.adobe.com
Reinforcement learning for personnel planning
An innovative approach with DATEV
An interview with Dr. Quirin Göttl, Fraunhofer IIS
Reinforcement learning (RL) has become considerably more important in recent years, especially in the context of industrial applications. We have already published an interesting interview with our expert Dr. Axel Plinge about the application of RL in autonomous driving and for sustainable biofuel. Now the team in the Self-Learning Systems group at Fraunhofer IIS in Nuremberg is exploring new applications for reinforcement learning in the field of personnel planning. The traditional approach of planning resources manually quickly reaches its limits when unpredictable factors such as sudden absences or individual working speeds come into play. Reinforcement learning holds potential for optimizing operational processes, which is being researched as part of the ROLF („Reinforcement Learning for Business Processes“) project in collaboration with DATEV eG. In an interview with our expert Dr. Quirin Göttl, I learned more about the innovative approaches and concrete applications:
From ADA to biofuels to personnel planning
Quirin, I know that you work on many different projects at Fraunhofer, from ADA – in this case I’m not referring to myself, but the abbreviation stands for Anomaly Detection Algorithms – to biofuels. How did it come about that you are now focusing on personnel planning with reinforcement learning? What is the connection between these different areas?
Dr. Quirin Göttl: Yes, they sound like different worlds at first, but they share a common goal: increasing efficiency through intelligent systems. In projects such as ADA, we have learned how to analyze large, dynamic amounts of data and detect anomalies, which is also useful in the energy sector. The same principle – data-driven decisions – can also be applied to personnel planning. Companies are faced with the challenge of not only coordinating working hours, but also managing unforeseen events such as unplanned absences. This is where reinforcement learning comes into play: it helps us to optimize these complex processes.
The biggest challenges in personnel planning
That sounds exciting! What are the specific challenges in personnel planning, for example in terms of company profit?
Dr. Quirin Göttl: Personnel planning may seem simple at first glance – like allocating jobs in a computing cluster. But in reality, there are many soft factors. For example, employees’ working speeds vary and unexpected absences can leave large gaps. It is not so easy to optimize company profits because you not only have to increase productivity, but also take employee satisfaction into account. And this is where AI comes into play: it can run through various scenarios using simulations and optimizations, for example the impact of training an employee if it allows them to take on more responsibility.
Advantages of reinforcement learning
This seems very challenging. What are the advantages of using AI, especially reinforcement learning, for this type of planning? How does the method work compared to traditional approaches?
Dr. Quirin Göttl: RL has the potential not only to enable more efficient planning, but also to develop plans that are more robust in the face of disruptions – for example, if an employee falls ill. The advantage is that the AI learns through experience. It does not have to calculate all eventualities in advance, but can react dynamically to new situations. This makes the planning process more flexible. And as with our projects at the ADA Lovelace Center, the key is data-driven optimization, which allows us to experiment with different scenarios to get the best out of the available resources.
Reinforcement learning in the ROLF project
Very interesting! Could you give us a concrete example of how reinforcement learning is used in the ROLF project? What have you found out so far?
Dr. Quirin Göttl: In the ROLF project, we are specifically investigating the application of RL in personnel planning for tax firms. Law firms often plan their resources manually, which is time-consuming and error-prone. Our demonstrator shows how RL can optimize these processes. For example, the AI could recognize that certain tasks should be brought forward to meet deadlines, which increases efficiency and reduces errors. Initial results show that the AI is able to better allocate personnel resources and react flexibly to unforeseen events.
So the demonstrator shows what the RL-supported system looks like in practice? How exactly do I have to imagine this, i.e. how is the AI used in real scenarios, and what specific improvements result from this? Can you show us an example?
Dr. Quirin Göttl: Of course. Let’s start by looking at a simplified example from a tax office. Traditionally, tasks would be planned manually by sorting and processing payroll tasks according to the earliest possible deadline date. The illustration shows 4 employees who can process certain task types (payroll, financial accounting, tax). Some tasks are interdependent (indicated by links), i.e. they cannot be processed in parallel. In addition, each task has a deadline that must be met. Tasks that are not completed within the deadline are marked with a red border.
In the example shown above, the deadline is not met for 2 orders. AI, especially RL, should now be used to prevent this from happening. In addition, the generated work plan should be as resilient as possible to certain events, such as illness or new incoming orders. A possible solution for the above example problem is shown in the following figure.
In reality, the situations are much more complex, i.e. more orders, internal dependencies and employees have to be taken into account, as shown in the following diagram. The use of RL enables an increase in efficiency here.
That’s really impressive how RL can simplify and improve personnel planning. There are certainly many more possible applications.
Dr. Quirin Göttl: Yes, the possibilities of RL are really fascinating and we are looking forward to continuing to work on optimizing planning. We are currently researching further use cases and developing the technology further in order to be able to offer even more precise and flexible solutions.
