Studentische Arbeiten

(Kurzfassungen/Abstracts: siehe weiter unten)

  • Monica Guimares: "Graph Analytics Algorithms for Serious Games", HS Aalen, Fraunhofer IOSB, Master Thesis, 2023
  • German Pustovojtovskij: "Untersuchung und Operationalisierung von Performance-Messungen für adaptive Assistenzsysteme", KIT, Fraunhofer IOSB, Master Thesis, 2023 [ PDF ]
  • Alexis Delaunay: "Operationalisierung Graph-basierter Lernpfade für adaptive Serious Games", KIT, Fraunhofer IOSB, Bachelor Thesis, 2022 [ PDF ]
  • Rafael Baur: "Graph Analytics für Performance Messungen und adaptive Lernpfade", KIT, Fraunhofer IOSB, Bachelor Thesis, 2022 [ PDF ]
  • Simon Schwarz: "Deep-Crawling-Assistenzsysteme als E-Learning-Autorenwerkzeuge", KIT, Fraunhofer IOSB, Master Thesis, 2021 [ PDF ]
  • Geraldine Sutter: "SmartLISA – Unüberwachtes Maschinelles Lernen auf xAPI-Nutzungsinteraktionsdaten zur adaptiven Regelung in Serious Games", Jade Hochschule, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]
  • Benjamin Rauwolf: "Evaluation von adaptiven Lernsystemen am Beispiel von Elektrotechnik Mathematik und Bildauswertung", HAWK Göttingen, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]
  • German Pustovojtovskij: "Anwendung von Regressionsmodellen für adaptive digitale Lernspiele in der Bildauswertung", KIT, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]
  • Kolja Bauer: "Application of A.I. Driven Cognitive User Modeling for Adaptive Serious Games", KIT, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]
  • Andreas Lobstedt: "Smarte digitale Lernspiele mit interoperabler Kopplung und Adaptivität", KIT, Fraunhofer IOSB, Bachelor Thesis, 2020 [ PDF ]
  • Alexander Grissinger: "User Modeling Using Graph Algorithms for Adaptivity in E-Learning Systems", SRH Heidelberg, Fraunhofer IOSB, Master Thesis, 2020 [ PDF ]
  • Vivek Yadav: "User Assistance for Serious Games Using Hidden-Markov-Model", SRH Heidelberg, Fraunhofer IOSB, Master Thesis, 2020 [ PDF ]
  • Kansei Hara: "Entwicklung von gekoppelten Lernumgebungen mit Interoperabilität-Standards", KIT, Fraunhofer IOSB, Bachelor Thesis, 2019 [ PDF ]
  • Michael Aydinbas: "Realizing Cognitive User Models for Adaptive Serious Games", TU Darmstadt, Fraunhofer IOSB, Master Thesis, 2019 [ PDF ]
  • Simon Schwarz: "Erweiterung Web-basierter Prozesslernspiele zur Abbildung von allgemeinen Prozessabläufen (Extending Process Training Serious Games for Generic Workflows Applications)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2019 [ PDF ]
  • Lukas Bach: "Nutzungssimulator für adaptive Lernspiele und Computersimulationen (Usage Simulator for Adaptive Serious Games and Computer Simulations)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2018 [ PDF ]
  • Julius Busch: "Einsatz künstlicher Intelligenz in adaptiven Lernsystemen (Use of Artificial Intelligence in Adaptive E-learning Systems)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2018 [ PDF ]
  • Julien Hoffmann: "Virtual Reality für Assistenzsysteme in der Bildauswertung (Virtual Reality for Assistance Systems in Image Exploitation)", KIT, Fraunhofer IOSB, Master Thesis, 2017 [ PDF ]
  • Sebastian Leidig: "Analysis of User Attention for Adaptive Serious Games - Design and Implementation of an Evaluation Framework (Aufmerksamkeitsanalyse für adaptive Lernspiele - Konzeption und Entwicklung eines Evaluations-Frameworks)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]
  • Christian Biegemeier: "Web-basierte Schnittstelle zur Analyse und Adaption von Serious Games (Web-based Interface for Analysis and Adaption of Serious Games)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]
  • Alexander Gundermann: "A Web-Based Serious Game for Joint Training (Web-basiertes Serious Game für Training im Verbund)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]
  • Eva Lehmann: "Entwicklung und Akzeptanzanalyse eines kartenbasierten Lernspiels", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Bachelor Thesis, 2015 [ PDF ]
  • Marcel Finger: "Markerbasiertes Assistenzsystem für 3D-Radarbildsimulation", KIT, Fraunhofer IOSB, Bachelor Thesis, 2013 [ PDF ]
  • Andreas Feuerbach: "Konzeption und Entwicklung eines Szenarioassistenten für ein heterogenes Verbundsystem in der Bildaufklärung", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Bachelor Thesis, 2012 [ PDF ]
  • Stefan Bürger: "Bildbasierte Objekterkennung mittels mobiler Endgeräte für das Mobile Lernen", KIT, Fraunhofer IOSB, Diplomarbeit, 2012 [ PDF ]
  • Sergius Dyck: "Benutzermodellierung beim arbeitsbegleitenden Lernen unter Berücksichtigung des Aufgabenkontextes", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB Master Thesis, 2011 [ PDF ]
  • Andreas Suchanek: "Konzeption und Entwicklung einer Android-App zur Berechnung von Radarbildern auf Grundlage 3-dimensionaler Objekte", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Master Thesis, 2011 [ PDF ]
  • Stefan Bürger: "Gestensteuerung mit Microsoft Kinect", KIT, Fraunhofer IOSB, Studienarbeit, 2011 [ PDF ]

2023

Monica Guimares: "Graph Analytics Algorithms for Serious Games", HS Aalen, Fraunhofer IOSB, Master Thesis, 2023

[EN] The subject of this work is the modeling and analysis of standardized tracking data from serious educational games using graph analytics to derive knowledge that can be used to improve the learning experience.
In this work, I present models to transform interaction data coming from a serious game into graphs that depict the paths followed by the learners. I also present ideal path models to distinguish novices from experts. To measure how distant a player is from an ideal learning, I analyze several metrics to compare learning paths and introduce a new metric that can be used for long sequences of interactions. I also examine the graph properties of centrality and path length and show that they can provide information about how the learners interacted with the resources and how these interactions relate to final grades.
The results of this analysis can be sent to a recommender system or can inform the different participants in the learning process: students, teachers, game developers, researchers, and stakeholders. This information can be used to personalize the learning experience or to answer typical learning questions.
The proposed approach was validated against the Open University Learning Analytics Dataset [OULAD]. This dataset contains the interactions of students with the resources of an online system, the results of the evaluations, and demographic data about the students.

German Pustovojtovskij: "Untersuchung und Operationalisierung von Performance-Messungen für adaptive Assistenzsysteme", KIT, Fraunhofer IOSB, Master Thesis, 2023 [ PDF ]

[DE] Im Zuge der COVID-19 Pandemie konnte die Wichtigkeit der Bereiche E-Learning und adaptive
Assistenzsysteme besonders deutlich aufgezeigt werden. Unter E-Learning versteht man den
Einsatz von elektronischen Medien, um Lerninhalte zu präsentieren und zu vermitteln. Adaptive
Assistenzsysteme wiederum beziehen sich auf Technologien, welche sich an die individuellen
Bedürfnisse sowie den Lernstil der Nutzer anpassen und ihnen personalisierte Unterstützung
oder Feedback bieten.
Adaptivität kann die Wissensvermittlung für einen Nutzer beim E-Learning sowohl effektiver
als auch effizienter gestalten. Damit adaptives Verhalten des Systems gewährleistet werden
kann, muss der Lernfortschritt des Nutzers - auch Performance genannt - gemessen werden.
Dabei wird die Performance durch die erfassten Interaktionen des Nutzers mit einem E-Learning
System beschrieben.
Die vorliegende Masterarbeit untersucht, wie sich die Performance für adaptive Assistenz-
systeme operationalisieren lässt. Hierfür werden die Modelle Knowledge Tracing (KT) und
Performance Factor Analysis (PFA) aufbauend auf dem Stand der Forschung und Technik
im Hinblick auf ihre Einsetzbarkeit für die Berechnung der Performance untersucht. Die Un-
tersuchung zeigt, dass sich Graph-basierte Lernpfade sowie die Graph Performance Factor
Analysis (GPFA) aufgrund ihrer gleichzeitigen Betrachtung aller Interaktionsdaten besonders
für die Performance-Messungen eignen. Aufbauend auf dem entwickelten Konzept, wird eine
Modellierung der GPFA für adaptive Assistenzsysteme erstellt. Diese wird im Anschluss für das
Quizlernspiel Spot-X implementiert und der Lösungsansatz konzeptionell für die E-Learning-
Plattformen ILIAS sowie Moodle diskutiert.
Anhand einer Nutzerstudie wurde das Konzept und die implementierte Adaptivität eva-
luiert, Verbesserungsvorschläge identifiziert, und erste Ergebnisse (𝑛 = 4) weisen auf eine
Verbesserung der Performance hin.

[EN] In the course of the COVID-19 pandemic, the importance of the fields of e-learning and intelli-
gent tutoring systems (ITSs) was clearly demonstrated. E-learning is the use of media to present
and deliver learning content. Intelligent tutoring systems, on the other hand, are technologies
that adapt to the user’s individual needs and learning style and provide personalized support or
feedback. The purpose of adaptivity is to make e-learning more effective and also more efficient
in delivering knowledge to a user. To enable adaptive behavior, the user’s learning progress -
also called performance - must be measured. Performance is described by the recorded interac-
tions of the user with an e-learning system. This thesis investigates how performance can be
operationalized for ITSs. For this purpose, Knowledge Tracing (KT) and Performance Factor
Analysis (PFA) are investigated with respect to their applicability for the performance calcula-
tion. The investigation shows that graph-based learning paths as well as Graph Performance
Factor Analysis (GPFA) are suitable for performance measurement due to their simultaneous
interpretation of all interaction data. Based on the theoretical concept, a GPFA model for ITSs is
developed and implemented for the serious game Spot-X. This approach will also be discussed
conceptually for other e-learning platforms such as ILIAS and Moodle. Based on a user study,
the concept and implemented adaptivity were evaluated, suggestions for improvement were
identified, and initial results (𝑛 = 4) indicate an improvement in performance.

2022

Alexis Delaunay: "Operationalisierung Graph-basierter Lernpfade für adaptive Serious Games", KIT, Fraunhofer IOSB, Bachelor Thesis, 2022 [ PDF ]

Video Adaptive Lernpfade mit Spot-X:

[DE] Diese Bachelorarbeit untersucht, wie sich Graph-basierte Lernpfade für adaptive digitale Lernspiele operationalisieren lassen. Adaptivität meint hierbei die automatische Anpassung an das Nutzungsverhalten und die jeweiligen Nutzerbedürfnisse, um ein charakterisierendes Ziel zu erreichen. Dies kann im E-Learning zum effektiven, effizienten Voranschreiten zu einem Lernziel verwendet werden. Dazu muss der Fortschritt auf Lernpfaden messbar gemacht werden. In dieser Arbeit wird eine benutzerspezifische Progress Performance (Fortschritt-Performance) auf Graph-basierten Lernpfaden gemessen, um darauf basierend eine adaptive Regelung, in Form von Lernempfehlungen, auszuführen. Hierzu werden unter anderem standardisierte Beobachtungsdaten und Graph-Algorithmen verwendet. Es werden Anwendungsszenarien mit typischen Benutzerprofilen (Personas) am Beispiel des Spiel-Quiz “Spot-X”, einem digitalen Lernspiel für die Bildauswertung, angewendet und ausgewertet. Die wissenschaftliche Fragestellung untersucht, wie sich die verschiedenen Nutzungsszenarien in den Graphen widerspiegeln und wie die Performance sowie die (Lern-)Pfade miteinander zusammenhängen. Zusätzlich sollen durch die Analyse der Lernpfade, implizite Abhängigkeiten der Lerneinheiten entdeckt werden. Ein Vergleich mit etablierten Verfahren zum Graph-based Knowledge Tracing (GKT) zeigt den Mehrwert, Gemeinsamkeiten und Unterschiede. Idealerweise kann durch die Operationalisierung gezeigt werden, wie eine indirekte Regelung (Adaptivität) die Lerneffizienz steigern kann.

[EN] This bachelor thesis examines how graph-based learning paths can be operationalized for adaptive Serious Games. Adaptivity describes the automatic adaption to usage patterns and user needs to reach a characterized goal. This can be used in E-learning for an effective and efficient improvement. Therefore the progress on these learning paths must be measurable. This bachelor thesis measures the user-specific Progress Performance of learning paths to execute an adaptive ruling by learning recommendations. This includes the use of standardized meta data and graph-algorithms. In this relation user scenarios and stereotypes are analysed on the basis of “Spot-X”, a digital Serious Game for Image Analysis. The scientific problem examines how these user scenarios can be reflected in graphs and how the performance is connected to learning paths. Furthermore, an analysis of learning paths should show implicit dependencies of learning sessions. Established Methods, such as Graph-based Knowledge Tracing (GKT), will be compared to show their added value, similarities and differences. In an ideal case the operationalization shows how the learning efficiency can be increased by adaptivity.

Rafael Baur: "Graph Analytics für Performance Messungen und adaptive Lernpfade", KIT, Fraunhofer IOSB, Bachelor Thesis, 2022 [ PDF ]

[DE] Ideal Paths Models (IPMs) sind Referenzmodelle, die ideale Sequenzen an Lernobjekten durch ein Lernsystem als Pfade in Graphen, die sogenannten Ideal Paths (IP), modellieren. Ideal bedeutet, dass die IPs den Lernpfaden von Experten entsprechen und das Befolgen dieser IPs ein effektives und effizientes Lernen ermöglicht. Mithilfe von IPMs können Lernpfade von Nutzern durch individuelle Empfehlungen angepasst werden, um mithilfe dieser Adaptivität dem Nutzer beim effektiven und effizienten Erreichen des Lernziels zu helfen. Eine Empfehlung kann beispielsweise durch die Auswahl des IP erfolgen, der die höchste Übereinstimmung mit dem bisherigen Nutzerpfad hat. IPMs und Lernpfade können auf Basis von standardisierten Beobachtungsdaten wie xAPI-Statements modelliert werden. Diese Arbeit entwirft und vergleicht verschiedene Modellierungen für IPMs in Graph-Datenstrukturen und klärt Anwendungen am Beispiel von Learning Management Systems. Außerdem wird eine Möglichkeit, die Progress Performance zu berechnen, vorgestellt. Diese soll nutzerspezifisch die Effizienz des Lernens bezüglich eines IP angeben und ein IP soll empfohlen werden, wenn dieser über alle möglichen IPs im IPM die Progress Performance maximiert. Durch die Verifikation mittels synthetischer Daten kann festgestellt werden, dass Algorithmen für kürzeste Pfade die konstruierten IPs finden.

[EN] Ideal Paths Models (IPMs) are reference models that model ideal sequences of learning objects of a learning system, the so called Ideal Paths (IPs), using graphs. Ideal means that the IPs model sequences of experts and following them results in an efficient and effective way of learning. A user's learning path, which is the sequence of learning objects performed by the user, can be adapted by individual recommendations to enable the user to learn more effective and efficient. Such a recommendation can be obtained by selecting the learning path that has the highest similarity to the user's learning path. IPMs and learning paths can be modeled based on standardized observation data such as xAPI-statements. This work creates and compares different modelings of IPMs in graph data structures and shows a use case in Learning Management Systems. Furthermore a method to measure the Progress Performance is explained. The Progress Performance should measure how efficient a user learns on an IP and the IP that maximizes the Progress Performance can be used as a recommendation. A verification using synthetic data showed that shortest paths algorithms can find the constructed IPs.

2021

Simon Schwarz: "Deep-Crawling-Assistenzsysteme als E-Learning-Autorenwerkzeuge", KIT, Fraunhofer IOSB, Master Thesis, 2021 [ PDF ]

[DE] Suchmaschinen spielen eine essenzielle Rolle in der Nutzung des Internets. Ihre Nutzbarkeit im Kontext des E-Learning ist aber sehr eingeschränkt, denn mit konventionellen Methoden und Technologien sind sie nicht in der Lage Inhalte in Learning Management Systemen zu indizieren und zu durchsuchen. Im Rahmen dieser Arbeit wird eine General-Purpose Deep-Web Suchmaschine für E-Learning-Inhalte entworfen und implementiert. Grundlage der Suchmaschine ist ein LTI-basierter Deep Web-Crawler. Desweiteren werden vor dem Hintergrund der Interoperabilität von Informationssystemen Erweiterungen wie eine semantische Suchfunktionalität und ein Recommender-System diskutiert. Zu diesem Zweck werden Techniken des Natural-Language Processing und des Semantic Web angewendet. Das so entworfene System kommt im Rahmen der am Fraunhofer IOSB entwickelten Common Learning Middleware als Teil eines Kurskurationssystems zum Einsatz. Evaluationsergebnisse zeigen, dass das System in diesem Kontext sehr gut für das Finden von E-Learning-Inhalten geeignet ist, jedoch weniger gut für domänenspezifische Suchen. Entsprechend wird das System als eine modulare Architektur entworfen, die an zukünftige Anwendungsfälle angepasst werden kann.

[EN] Search Engines play an essential role in how people use the Internet. However, their usefulness in the context of e-learning is severely limited because they are not able to index and search content that is located inside learning management systems using conventional methods. This thesis details the design and implementation of a general-purpose deep web search engine for e-learning content based on a LTI-deep-web crawler. Against the background of the interoperability of information systems additional extensions like semantic search functionality and recommender systems are discussed. To this end, natural language processing and semantic web technologies are leveraged. The designed system is used as part of a course curation system in the Common Learning Middleware developed at the Fraunhofer IOSB. Experimental results demonstrate that the system is well suited to find e-learning content in this context but also somewhat limited for domain-specific information retrieval. As a consequence, the system is designed around a modular architecture which makes fine-tuning to future use cases possible.

Geraldine Sutter: "SmartLISA – Unüberwachtes Maschinelles Lernen auf xAPI-Nutzungsinteraktionsdaten zur adaptiven Regelung in Serious Games", Jade Hochschule, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]

[DE] In dem Prozess des Lernens macht jeder unterschiedliche Fortschritte und benötigt dementsprechend individuelle Anleitung. In Zeiten der Digitalisierung, wird vermehrt auf Serious Games gesetzt, welche dem Nutzer spielerisch den Lernstoff nahebringen. Dadurch entfällt die Notwendigkeit einer menschlichen Assistenz. Wenn ein Lehrer nicht vor Ort sein kann um zu unterstützen, kann dies zu Frustration führen. Deshalb wäre ein virtueller Assistent, der sich adaptiv an das Lernverhalten des Nutzers anpasst, vorteilhaft.
Ziel dieser Arbeit ist die Umsetzung eines intelligenten virtuellen Assistenten. Hierbei soll der bereits vorhandene Assistent Smart LISA verbessert, also "intelligent" gemacht werden.
Die Forschungsfrage ist, ob es möglich ist, eine künstliche Intelligenz (KI) zu erstellen, welche das Nutzerverhalten in einem Spiel analysiert, mit anderen Nutzern vergleicht und das Agieren des Assistenten darauf adaptiv anpasst. Um einen solchen Assistenten implementieren zu können wurde ein xAPI-Tracker genutzt, um die Lerndaten der Nutzer aufnehmen zu können. Der Assistent kommuniziert mit einem Cluster-Server, welcher die Nutzerdaten kategorisiert und ein passendes Cluster zurückgibt. Für dieses Clustering wurde der Elkan-Algorithmus genutzt. Dieser Assistent wurde in ein Lernspiel eingebaut und in einer Online-Studie getestet und bewertet. Durch diese Studie wurde deutlich, dass Nutzer eine passive Unterstützung bevorzugen.

[EN] In the process of learning, everyone makes different progress and needs individual guidance accordingly. In times of digitalization, there is more and more reliance to Serious Games are set, which playfully bring the learning material closer to the user. This replaces the human assistance. It can lead to frustration, if a teacher cannot be on site to assist. Therefore, a virtual assistant would be beneficial, that adaptively adjusts to the user’s learning behavior.
The purpose of this work is the implementation of an intelligent virtual assistant. The existing assistant Smart LISA is to be improved, or other words, it is to be made „intelligent“.
The research question is whether it is possible to create an Artificial intelligence (AI) that analyzes user behavior in a game, compares it with other users, and adaptively adjusts the assistant’s actions accordingly. To implement such an assistant, an xAPI tracker was used to record the learning data of the users. The assistant communicates with a cluster server, which categorizes the user data and returns a matching cluster. For this clustering the Elkan algorithm was used. This assistant was built into an educational game and tested and evaluated in an online study. Through this study, it became apparent that users prefer passive assistance.

Benjamin Rauwolf: "Evaluation von adaptiven Lernsystemen am Beispiel von Elektrotechnik Mathematik und Bildauswertung", HAWK Göttingen, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]

Diese Bachelorarbeit untersucht, wie sich adaptive Lerninhalte zur Elektrotechnik-Mathematik, unter Berücksichtigung von Bildauswertungsaufgaben, realisieren lassen. Eine Nutzerstudie evaluiert diese adaptiven Lerninhalte auf Ihre Akzeptanz und den Lerneffekt. Als sekundäres Ziel steht die systematische Produktion und Sammlung von realistischen Nutzerinteraktionsdaten, die für andere Arbeiten zum Thema intelligente, adaptive Assistenz- und Lernsysteme genutzt werden sollen.

German Pustovojtovskij: "Anwendung von Regressionsmodellen für adaptive digitale Lernspiele in der Bildauswertung", KIT, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]

[DE] In der heutigen Zeit wird durch die COVID-19 Pandemie die Wichtigkeit von digitalem Lernen besonders deutlich aufgezeigt. Solche Krisen schließen offline-Lernmethoden, wie sie in Klassenzimmern oder Vorlesungssälen üblich sind, aus. E-Learning und digitale Lernspiele bieten gute Möglichkeiten, die Bildung der Menschen trotzdem weiter zu fördern. Der Lernfortschritt kann mit Hilfe von digitalen Lernspielen verbessert werden, indem der Spieler im sogenannten Flow-Kanal gehalten wird. Um das zu erreichen, muss für eine Balance zwischen Über- und Unterforderung gesorgt werden. Dazu wurde am Fraunhofer IOSB das Adaptivitäts-Framework E-Learning Artificial Intelligence (ELAI) entwickelt.
Diese Arbeit untersucht, wie der aktuelle Wissensstand des Nutzers mittels Regressionsmodellen bestimmt werden kann. Dabei werden die drei Modelle Knowledge Tracing (KT), Learning Factor Analysis (LFA) und Performance Factor Analysis (PFA) aufbauend auf dem Stand der Forschung und Technik im Hinblick auf ihre Einsetzbarkeit für die Berechnung eines sogenannten „Performance Scores“ genauer überprüft. Die PFA zeigt sich als gut geeignete Methode zur Datenanalyse für das ELAI Framework.Aufbauend auf den entwickelten Konzepten, wird eine Modellierung für PFA auf Serious Games (SG) erstellt und anschließend im SG Streamlined Lost Earth (SLE) mit einem angepassten ELAI Interface implementiert.
Eine Evaluation in Form einer Nutzerstudie zeigt die Mehrwerte der Implementierung von PFA anhand eines Anwendungsszenarios auf. Abschließend werden noch mögliche Erweiterungen durch Anwendung der Selbsteinschätzung und andere Ergänzungen diskutiert.

[EN] At the present time, the COVID-19 pandemic highlights the importance of digital learning. Such crises flipped out offline learning methods which have long been common in classrooms or lecture halls. E-learning and digital learning games offer good opportunities to further people's education. In order to improve learning progress with the help of digital learning games, it is important to keep the player in the so-called flow channel. To achieve this, a balance between frustration and boredom must be ensured. For this purpose, the adaptivity framework ELAI was developed at Fraunhofer IOSB.
By means of regression models, this work investigates how the user's current level of knowledge can be determined. In doing so, the three models KT, LFA and PFA are reviewed in more detail based on state of the art and technology in order to calculate a so-called "performance score". The PFA is shown to be a well-suited method for data analysis for the ELAI framework. Building on the concepts developed, a modeling for PFA on gerious games is created and then used in the serious game "Streamlined Lost Earth" with a customized ELAI interface implemented.
An evaluation in the form of a user study shows the additional benefits of the implementation of PFA based on an application scenario. Finally, possible extensions by applying self-assessment and other factors are discussed.

Kolja Bauer: "Application of A.I. Driven Cognitive User Modeling for Adaptive Serious Games", KIT, Fraunhofer IOSB, Bachelor Thesis, 2021 [ PDF ]

[EN] In the domain of adaptive serious games, accurate user models can be crucial for helpful adaptation. The goal is to automatically adapt such games to the user's current needs and knowledge level, thus increasing his learning flow and, ultimately, his learning outcome. In contrast to physiological measurements, a user's clicks can be captured without special equipment. Therefore, inferring a user's cognitive state solely from interaction data could make the development of adaptive serious games far more feasible.
In this thesis, the existing approach of the Cognitive Intelligent User Modeling tool (CogIUM) is enhanced and applied to the serious game Streamlined Lost Earth (SLE). The main research question is: How to apply CogIUM to serious games to provide adaptivity?
By extending CogIUM and applying it to SLE, it is investigated how exactly CogIUM can be utilized to compute quantitative measures of user performance called adaptivity scores. Subsequently, CogIUM is evaluated in a user study in which n=22 participants played SLE and afterwards filled out self-assessments regarding various cognitive attributes.
Results show a moderate correlation between self-assessed cognitive load and CogIUM's inferences. CogIUM showcases promising potential to infer a user's cognitive load solely from his click data, enabling the implementation of adaptivity manifestation based on CogIUM's inferences in future work.

[DE] Im Bereich der adaptiven Lernspiele können akkurate Benutzermodelle entscheidend für eine hilfreiche Adaption sein. Ziel ist es, solche Spiele automatisch an die aktuellen Bedürfnisse und den Wissensstand des Nutzers anzupassen und so seinen Lernfluss sowie letztlich seinen Lernerfolg zu steigern. Im Gegensatz zu physiologischen Messungen können die Klicks eines Benutzers ohne spezielle Hardware erfasst werden. Die Bestimmung des kognitiven Zustands eines Benutzers allein aus Interaktionsdaten könnte somit die Entwicklung adaptiver Lernspiele weitaus praktikabler machen.
In dieser Arbeit wird der bestehende Ansatz des Cognitive Intelligent User Modeling tools (CogIUM) erweitert und auf das Lernspiel Streamlined Lost Earth (SLE) angewendet. Die Hauptforschungsfrage ist: Wie kann CogIUM auf Lernspiele angewendet werden, um Adaptivität zu ermöglichen?
Durch die Erweiterung von CogIUM und die Anwendung auf SLE wird untersucht, wie genau CogIUM genutzt werden kann, um quantitative Maße der Nutzerperformance, sogenannte Adaptivitäts-Scores, zu berechnen. Weiterhin werden CogIUM's Berechnungen mittels einer Nutzerstudie evaluiert, in der n=22 Teilnehmer SLE gespielt und anschließend Selbsteinschätzungen bezüglich verschiedener kognitiver Attribute ausgefüllt haben.
Die Ergebnisse zeigen eine moderate Korrelation zwischen selbst eingeschätzter kognitiver Belastung und CogIUM‘s Berechnungen. CogIUM zeigt vielversprechendes Potential, die kognitive Belastung eines Benutzers allein aus seinen Klickdaten zu ermitteln, was die Implementierung von Adaptivitätsmanifestationen basierend auf CogIUMs Berechnungen in zukünftigen Arbeiten ermöglicht.

2020

Andreas Lobstedt: "Smarte digitale Lernspiele mit interoperabler Kopplung und Adaptivität", KIT, Fraunhofer IOSB, Bachelor Thesis, 2020 [ PDF ]

Um das Lernen mit Hilfe von digitalen Lernspielen zu verbessern gilt es, den Spieler im sogenannten Flow-Kanal zu halten, in der Balance zwischen Herausforderung und seinen Fähigkeiten. Dazu wurde am Fraunhofer IOSB das Adaptivität-Framework „E-Learning A.I.“ (ELAI) entwickelt.
Diese Arbeit untersucht, wie sich eine interoperable, netzwerkbasierte Kopplung des Lernspiels „Lost Earth 2308“ mit der ELAI realisieren lässt, um anhand von zu entwickelnden Beispielszenarien die Mehrwerte einer Adaptivität zu demonstrieren. Damit soll untersucht werden, in wiefern ELAI, ein externes Adaptivität-Framework, ein Lernspiel adaptieren kann.
Aufbauend auf zu entwickelnden Konzepten nach dem Stand der Forschung und Technik sowie Szenarien zur Kopplung und Adaption werden Lost Earth und ELAI technisch und inhaltlich angepasst. Eine technische Verifikation anhand von Beispielszenarien zeigt die Adaptivitätsfähigkeit und die Mehrwehrte.
Abgrenzend zu einer echten automatischen K.I.-Adaptivität liegt der Fokus in dieser Arbeit auf der eigentlichen Kopplung und der Demonstration mittels der L.I.S.A. Die Adaptivität kann mittels einfachen heuristischen Regelsätzen simuliert werden.

Alexander Grissinger: "User Modeling Using Graph Algorithms for Adaptivity in E-Learning Systems", SRH Heidelberg, Fraunhofer IOSB, Master Thesis, 2020 [ PDF ]

This thesis deals with the topic of adaptivity in e-learning using graph analytics. The aim of this thesis was to create user models based on data from a serious game by using graphs and graph algorithms in order to use them for adaptivity. The aim is to interpret the given data correctly in order to visualise them in a graph database. The graphs will also be analysed in order to determine user models about certain user behaviour, which will be used in the Serious Game to display individual hints to the player. For this purpose, the frame for a learning scenario was first created in the conceptual design, which makes it possible to derive a data model. From this model concepts for user modelling can be created. Furthermore, a tool was developed, which allows to load the user data from the Serious Game into a graph database automatically and to analyse the existing user data with the help of the tool.

Vivek Yadav: "User Assistance for Serious Games Using Hidden-Markov-Model", SRH Heidelberg, Fraunhofer IOSB, Master Thesis, 2020 [ PDF ]

Serious Games, i.e., games not just for pure entertainment and with characterizing goals, are gaining huge popularity for the purpose of education and training. To further increase the learning outcome of serious games, assistance functionalities like adaptive systems observe the users and try to guide them to achieve their learning objectives. The research question is how to model the user’s behavior, their progress, and how to determine the best adaptation strategies to motivate the users and provide assistance whenever required. Using experience-data in a serious game is one approach to develop and train models for adaptivity. This thesis presents SeGaAdapt, an adaptive framework that is based on a Hidden Markov Model (HMM) algorithm for providing dynamic user-assistance and learning analytics for a serious game. For the development and training of the HMM, the system is provided with activity streams or user interaction data gained from an Experience API (xAPI) tracker. The adaptivity mechanism uses the HMM model to analyze the current state of the user (player) in order to predict the best probable hidden-state or event pertaining to the assistance result. Technical verification of the implementation shows the feasibility of the approach and hints at future research directions. The evaluation concept includes testing with synthetic data and the simulator for serious game.

2019

Kansei Hara: "Entwicklung von gekoppelten Lernumgebungen mit Interoperabilität-Standards", KIT, Fraunhofer IOSB, Bachelor Thesis, 2019 [ PDF ]

Gegenstand dieser Arbeit ist die Untersuchung von E-Learning Interoperabilitätsstandards für den Einsatz bei der Kopplung von digitalen Lernspielen (z.B. Unity-basierte Serious Games) mit Lernmanagementsystemen (z.B. Moodle, Ilias, OpenEdx). Die projektspezifischen Anforderungen betreffen speziell die Kopplung eines Unity-basierten Serious Game für die Bildauswertung mit dem Lern¬managementsystem OpenEdx mittels xAPI, LTI und standardisiertem Austausch von Inhalten. Die Forschungsfragen betreffen die Auswahlmethodik geeigneter Inter¬opera¬bilitätsstandards und wie diese in existierende Systemlandschaften anwendungsbezogen integriert werden können (Kopplung). Eine eigene Realisierung zeigt die Gültigkeit des entwickelten Konzepts und veranschaulicht die Mehrwerte anhand eines Anwendungsbeispiels.

Michael Aydinbas: "Realizing Cognitive User Models for Adaptive Serious Games", TU Darmstadt, Fraunhofer IOSB, Master Thesis, 2019 [ PDF ]

Playing games is fun, promotes a wide range of cognitive skills, and has motivational, emotional, and social benefits. What could be more obvious than to use games for learning, an otherwise considered strenuous activity. Educational serious games follow the premise that games are effective learning environments, primary because of their motivational function.
However, in order to keep learners engaged over a longer period of time, games must strike the right balance between being challenging and fun. To allow for experiencing a state of flow, the game has to be adaptive so it can react to the learner’s needs. Adaptivity, though, requires a dynamic assessment of the learner’s current cognitive state. The challenge is to intervene adaptively at the right time.
Two methods from the field of computational cognitive science were tested for their applicability to the realization of cognitive user models: Soar 9, a hybrid cognitive architecture and hierarchical Bayesian models (HBMs). Soar was not considered useful for the implementation of cognitive user models, but approaches for the integration of Soar into adaptive systems were demonstrated. The probabilistic programming framework PyMC3 was used to implement four HBMs. The models made use of the Cognitive Load Theory to describe the relationship between the characteristics of the learner and the characteristics of the learning material. The models were validated extensively.
A detailed model comparison was conducted to obtain the best model. The final model is able to explain three observational variables for data sets with different subjects and concepts. The model can accurately predict individual differences as well as group differences. The model’s output are probability distributions that allow for arbitrary inferences about the model’s parameters and provide the uncertainty associated
with these inferences.
The comparison of Soar with PyMC3 showed a clear advantage of PyMC3 for realizing cognitive user models. PyMC3 and HBMs met all the requirements for a cognitive user model. The developed Python package CogIUM can be used to build, train, and test cognitive user models. To the best knowledge of the author, this is the first application of a HBM for realizing cognitive user models for adaptive serious
games. Several issues with the final model were identified and discussed. In addition, possible future work to further evaluate the model was presented.

Simon Schwarz: "Erweiterung Web-basierter Prozesslernspiele zur Abbildung von allgemeinen Prozessabläufen (Extending Process Training Serious Games for Generic Workflows Applications)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2019 [ PDF ]

[DE] Trotz der zentralen Rolle, die Prozesse in vielen Sektoren von Industrie und Regierung spielen, ist die Bereitschaft der beteiligten Akteure ihre Abläufe zu lernen gering. Hier können Serious Games wie das Prozeslernspiel Excercise Trainer (EXTRA) Abhilfe schaffen. In diesem ist es bisher allerdings nicht möglich Prozesse abzubilden, die optionale oder verpflichtende Pfade enthalten. Ebenso erfolgt die Erstellung entsprechender Level komplett manuell und ist somit fehleranfällig. Um diese Limitierungen von EXTRA zu eliminieren, entwickelt diese Arbeit ein theoretisches Modell, dass es ermöglicht, Prozesse unabhängig ihrer Modellierung als Graph zu spezifiziern. Diese generische (Graph-)Repräsentation erlaubt die Definition von Algorithmen für die Transformation eines Graphen in EXTRA-Level verschiedener Schwierigkeit sowie für die Verifikation eines solchen Levels. Darüber hinaus wird die Programmlogik von EXTRA erweitert und eine Web-Applikation implementiert, die es erlaubt, EXTRA-Level zu erstellen und zu modifizieren. Sie unterstützt zudem das (semi-)automatische Übersetzen eines in den Standards BPMN oder UML modellierten Prozesses in ein EXTRA-Level.

[EN] Processes play a central role in many sectors of industry and government. Despite this fact, participants are usually not willing to learn about them. Serious Games like Exercise Trainer (EXTRA) can help to bridge this motivation gap. However, EXTRA\'s functioniality is currently limited: Processes containing optional or mandatory paths cannot be displayed. Moreover, all levels have to be created manually which can cause a multitude of errors. This thesis develops a theoretical model to represent processes as graphs, irrespective of their original format, to eliminate these limitations. This generic graph format allows for the definition of algorithms to transform such graphs into EXTRA levels (of varying difficulty) and to verify such instances. Additionally, the EXTRA game logic is extended to support these new features and a web application is developed which allows for the creation and modification of levels. This app is also able to directly translate a process (specified in BPMN or UML) into an EXTRA level.

2018

Lukas Bach: "Nutzungssimulator für adaptive Lernspiele und Computersimulationen (Usage Simulator for Adaptive Serious Games and Computer Simulations)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2018 [ PDF ]

[DE] Im Rahmen dieser Arbeit wurde ein Simulator für Benutzerverhalten, genannt ElaiSim, entwickelt. Der Simulator kann in verschiedene Anwendungen aus dem E-Learning Bereich integriert werden und das Verhalten des Spielers nachahmen. So sollen externe Adaptivitätssysteme, die konstruktiv in den Spielverlauf von Educational Serious Games eingreifen, systematisch getestet werden. Die Arbeit beschreibt konzeptionell, wie Benutzerverhalten im Kontext zu E-Learning auf standardisierte Art und Weise gespeichert und übertragen werden kann. Dazu wird auf verschiedene bestehende Serialisierungsmechanismen eingegangen, die dieses Ziel erfüllen. Insbesondere das Protokoll xAPI wird thematisiert, da es in der realisierten ElaiSim verwendet wird. Außerdem wird beschrieben, wie solche Standardisierungen verwendet werden können, um Benutzerverhalten zu simulieren und damit systematisch die Entwicklung von adaptiver Lernsoftware zu unterstützen. Aus technischer Sicht liegt der Fokus auf der E-Learning A.I. (ELAI), einer in Serious Games integrierbaren Software, die adaptive Eingriffe zur Steigerung des Lerneffektes im Spielverlauf vornimmt. ElaiSim kann die Handlungen einer echten Person im Serious Game nachahmen und die Ergebniswerte der ELAI abfangen und verifizieren. Darüber hinaus liefert ElaiSim eine grafische Oberfläche zur Spezifizierung und Editierung von klar definierten Spielverläufen und Testfällen, mit denen die Ergebnisse der ELAI systematisch verifiziert werden können. Die Implementierung ist als NodeJS Anwendung mit einer auf React basierenden Oberfläche realisiert. Verschiedene Komponenten sind als RESTful Webservices entwickelt worden, um eine interoperable Kommunikation mit der ELAI sowie weiteren Anwendungen zu ermöglichen.

[EN] Within the scope of this work a simulator for user behaviour, called ElaiSim, was developed. The simulator can be integrated into various applications from the E-Learning field. It is intended to be used to systematically test external Adaptivity Software, which improves the course of the game in Educational Serious Games. This thesis describes the concept of storing and transmitting user behaviour in the context of E-Learning in a standardized way. Various existing serialization techniques are described which solve this problem. The protocol xAPI is of particular interest, as it is being used in the implemented ElaiSim application. Furthermore, it is described how such standardization techniques can be used to simulate user behaviour and thus systematically support the development of adaptive learning software. From a technical point of view, the application focuses on the adaptivity software E-Learning A.I. (ELAI), which can be integrated into serious games to make adaptive changes to the course of the game in order to improve the learning experience. ElaiSim can mimic the actions performed by a real person within the serious game and intercept and verify the result values of the ELAI. The simulator also provides a graphical user interface for specifying and editing well-defined play scenarios and test cases, with which the results of the ELAI can be systematically verified. The implementation is realized as a NodeJS application with a React based user interface. Various components have been developed as RESTful web services in order to allow an interoperable communication with the ELAI as well as other applications.

Julius Busch: "Einsatz künstlicher Intelligenz in adaptiven Lernsystemen (Use of Artificial Intelligence in Adaptive E-learning Systems)", KIT, Fraunhofer IOSB, Bachelor Thesis, 2018 [ PDF ]

[DE] Eines der aktiven E-Learning Forschungsfelder befasst sich mit der individuellen Wissensvermittlung. Lernende sollen hierbei im Idealfall die gleiche adaptive Unterstützung zur Überbrückung von Verständnisengpässen genießen, wie es ihnen ein menschlicher Tutor ermöglichen könnte. Intelligente Tutoring Systeme (ITS) versuchen, dieses Ziel mittels Techniken der künstlichen Intelligenz zu erreichen. Die Entwicklung derartiger Systeme ist aufgrund der benötigten Modellierung des Expertenwissens der jeweiligen Domäne kostspielig. In dieser Arbeit wird die Erweiterung schon bestehender webbasierter Lernsysteme zu einem ITS aufgezeigt. Hierbei wurde der Fokus auf die Analyse von Benutzerinteraktion mithilfe der Modellierung menschlichen Denkens in kognitiven Architekturen gelegt. Als Grundlage diente das am Fraunhofer IOSB entwickelte Serious Game EXercise TRAiner (EXTRA). In dem Spiel wurde ein Adapter integriert, welcher nach aktuellen Interooperabiliätstandards den Activity Stream in xAPI Statements generiert. Die in dieser Arbeit entwickelte User Model Artificial Intelligence (UMAI) nutzt diese Daten wiederum zur dynamischen Generierung eines ACT-R Modells, um Aktionen auf ihre Frequenz und das zeitliche Vorkommen hin zu analysieren. Hierbei werden für jede Aktion deklarative Chunks in ACT-R modelliert. Die während einer Simulation produzierten Aktivitätsdaten dieser Chunks werden in einem Front-End visualisiert. Dies kann Lehrenden helfen, den Schüler adaptiv zu unterstützen. Entwickler können die Daten nutzen, um die Theorien und Funktionsweisen von ACT-R besser zu verstehen.

[EN] An active e-learning research field is devoted to the individual transfer of knowledge. Ideally, learners should enjoy the same adaptive support to overcome understanding bottlenecks as a human tutor could provide. Intelligent Tutoring Systems (ITS) try to achieve this goal by means of various techniques of artificial intelligence. The development of such systems is a costly undertaking due to the need to cognitivly model the expertise and knowledge of each domain. The aim of this work is to demonstrate the feasibility of extending already existing web-based learning systems to an ITS, which can support students individually. Here, the focus has been placed on the analysis of user interaction by modeling human thinking in cognitive architectures. The underlying learning system was the Serious Game EXercise Trainer (EXTRA), developed at Fraunhofer IOSB. In the game the user generates xAPI data, which is forwarded to an LRS. The User Model Artificial Intelligence (UMAI), developed in this work, uses this data in turn to dynamically generate an ACT-R model in order to analyze actions according to their frequency and temporal occurrence. For each action declarative chunks are modeled in ACT-R. The activity data of these chunks produced during a simulation is visualized in a frontend. This can help teachers to adaptively support the student. Developers can use the data in order to better understand how ACT-R works.

2017

Julien Hoffmann: "Virtual Reality für Assistenzsysteme in der Bildauswertung (Virtual Reality for Assistance Systems in Image Exploitation)", KIT, Fraunhofer IOSB, Master Thesis, 2017 [ PDF ]

[DE] Gegenstand dieser Arbeit ist die Konzeption und Entwicklung eines Assistenzsystems für die Bildauswertung in der virtuellen Realität (VR). Die Herausforderungen hierbei sind die nicht-standardisierten Interaktionskonzepte, die Gestaltung der Immersion, die Vermeidung des Auslösens von Übelkeit durch die Nutzung von VR (VR-Krankheit), die fragwürdige subjektiv wahrgenommene Bildqualität von aktuellen VR-Systemen und der Umgang mit hochaufgelösten Luftbildaufnahmen in VR. Aus diesem Grund wurde ein systematisches Experiment zur Untersuchung der auftretenden visuellen Artefakte und zur Einschätzung der subjektiv wahrgenommenen Bildqualität vorgenommen. Anschließend wurden Interaktionskonzepte von existierenden VR-Anwendungen untersucht und eigene Interaktionskonzepte erstellt. Letztlich wurden mit Hilfe vom Web Map Service-Protokoll die Darstellung von hochaufgelösten Luftbildaufnahmen in VR ermöglicht. Aufbauend auf den gewonnenen Erkenntnissen wurde im weiteren Verlauf der Prototyp Virtual Reality Image Exploitation Workspace (VIEW) in der Spiel-Engine Unity3D erstellt. Dieser wurde in einer Studie mit 16 Teilnehmern evaluiert. Hierbei lagen die Schwerpunkte auf den Untersuchungen zu der erzielten Immersion, Intuitivität und Gebrauchstauglichkeit. Obwohl einige Aspekte der Implementierung noch verbessert werden sollten, konnte gezeigt werden, dass VIEW für die Bildauswertung eine gebrauchstaugliche, intuitive und weitestgehend immersive Umsetzung ist.

[EN] The subject of this thesis is the conception and development of an assistance system for image exploitation in virtual reality ( VR). The challenges consist of the non-standardized interaction concepts, the design of the immersion, the avoidance of the nausea caused by VR ( VR-sickness), the questionable subjectively perceived image quality of current VR systems and the handling of high-resolution aerial imagery in VR. For this reason, a systematic experiment was carried out to investigate the visual artefacts and to assess the subjectively perceived image quality. Subsequently, interaction concepts of existing VR applications were examined and new interaction concepts were designed. Finally, using the Web Map Service protocol, high-resolution aerial images were brought to VR. Building upon the gained knowledge the prototype Virtual Reality Image Exploitation Workspace (VIEW ) was build in the game engine Unity3D. The prototyp was evaluated in a study with 16 participants. The focus was the investigations of the achieved immersion, intuitiveness and usability. Although some aspects of the implementation should be improved, it has been shown that VIEW is a useful, intuitive and to a great extent immersive tool for image exploitation.

2016

Sebastian Leidig: "Analysis of User Attention for Adaptive Serious Games - Design and Implementation of an Evaluation Framework (Aufmerksamkeitsanalyse für adaptive Lernspiele - Konzeption und Entwicklung eines Evaluations-Frameworks)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]

The Ideal Path Score developed in this work is able to improve adaptivity of serious games by more accurately estimating performance and need for help based on players\' interactions and eye movements. The automatic personalization of adaptive e-learning systems supports effective learning for users with varying levels of knowledge and skills. Particularly in games, indicators informing adaptivity, like attention and performance of the player, should be assessed non-invasively to avoid interrupting the player\'s flow experience. Passive sensors like eye tracking can solve this challenge. This work examines whether correlations between eye tracking data and attention exist and how eye tracking can improve adaptivity decisions, e.g. when and what should be adapted. To achieve this, an Ideal Path Score was developed which assesses performance and attention of players based on eye movements and interactions with the game. This approach was evaluated through a user study with n=20 participants. The developed approach improves adaptivity in the examined game SaFIRa. Pearson\'s correlation coefficient between modeled skill level and the players subjective rating of performance increased from 0.19 to 0.30. 46 % of hints needed by the player were displayed automatically by the improved adaptive system (16 % in the original system). A correlation between Ideal Path Score and self-assessed attention could not be shown.

Christian Biegemeier: "Web-basierte Schnittstelle zur Analyse und Adaption von Serious Games (Web-based Interface for Analysis and Adaption of Serious Games)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]

[DE] In Rahmen dieser Ausarbeitung wurde ein Konzept zur interoperablen Adaption von Serious Games und Simulationen umgesetzt sowie eine systemübergreifende Webschnittstelle für die Analyse von Nutzungsdaten und Adaption von Spielelementen entworfen.
In Lernspielen ergibt sich die Problematik, ein bestmögliches Mittelmaß zwischen einer erhöhten Motivation durch Spielelemente und den Lerninhalten zu finden. Für die effektive und effiziente Aufrechterhaltung der Motivation und das Erreichen der Lernziele, müssen digitale Lernspiele an das Nutzungs- und Lernverhalten angepasst werden. Hierfür wird eine didaktisch ausgeprägte externe Adaptionslogik benötigt, um die Informationen von verschiedenen Anwendungen verstehen, auswerten und darauf reagieren zu können.
Die Problemstellung dieser Arbeit betrifft die grafische Darstellung der internen Adaptionsmechanismen und die mögliche Anpassung eines solchen externen Systems. Weiterhin wird die wissenschaftliche Fragestellung behandelt, welche Daten sich für eine einfache Form der Adaptivität nutzen lassen und wie sich diese auf ein Spiel auswirken können.
Gegenstand dieser Arbeit ist die prototypische Umsetzung eines solchen Systems. Hierfür wurde als externes System die E-Learning Artifical Intelligence (ELAI) Architektur entwickelt. Für eine einheitliche Kommunikation zwischen den zu adaptierenden Spielen und der ELAI, werden xAPI-Statements mit zusätzlichen Metadaten verwendet. Die ELAI bietet zusätzlich eine Web-basierte Nutzungsschnittstelle an. Sie ermöglicht unter anderem die transparente Darstellung der ELAI-Aktionen, die Analyse von Nutzerdaten und die Möglichkeit der Einflussnahme auf ein Spiel. Diese Einflussnahme resultiert durch zyklische Parameterabfragen in einer Adaptivität des Spiels. Als interoperable Parameter wurden prototypisch die Spielschwierigkeit und der Hilfelevel eingesetzt. Zur Evaluation der Gesamtarchitektur wurde weiterhin ein Suche-und-Finde Spiel entwickelt und um einen ELAI-Adapter zur Kommunikation mit der ELAI erweitert. Hierbei wurde ein virtueller Assistent umgesetzt, welcher dem Spieler die Aufgabe textuell erläutert und Hilfestellungen gibt. Diese Hilfestellungen werden durch den Parameter Hilfelevel adaptiert. Der Schwierigkeitslevel beeinflusst direkt die Größe des gesuchten Objektes sowie die Wolkenbildung, die wiederum die Sichtverhältnisse beeinflusst. In einer durchgeführten Studie wurde die Adaptionsfähigkeit der ELAI anhand des entwickelten Suche-und-Finde-Spiels mit n=12 Probanden evaluiert.

[EN] In this master thesis, an architecture for automatic interoperable adaptation and analyzation of serious games and simulations was developed. The problem of learning games is to create a high playing motivation. Therefore, the developer has to keep the entertainment elements balanced to the learning elements. To handle this trade-off, the game needs a didactic adaptation component which influences the game\'s elements respectively the player’s usage and learning behavior. Further, an external didactic adaption logic is needed in order to understand the different information from various applications, to evaluate them and to send a reaction back to application. In order to address these concerns, a prototypical external architecture called E-Learning Artifical Intelligence (ELAI) was implemented. Additionally, the ELAI provides a user interface named ELAI-UI which is authorized to load statements and to present them in different ways. The ELAI-UI can be used to make the ELAI actions transparent, to analyze the user data and to adapt the game. To evaluate the whole concept, a prototypical \'seek and find\' serious game with an integrated ELAI adapter was developed. The ELAI adapter handles the communication between serious game and ELAI. As a part of the serious game implementation, a virtual assistant was implemented showing players the task description and helping information. The ELAI uses the variables difficulty and helping levels to adapt games. The helping variable influences the messages from the virtual assistant. The difficulty variable influences the size of target and also the quantity of clouds which are used to change the viewing conditions during the game. In a study the adaption skills of ELAI were evaluated with n=12 test persons who played the developed \'seek and find\' game and completed a questionnaire about the applied adaptation strategy.

Alexander Gundermann: "A Web-Based Serious Game for Joint Training (Web-basiertes Serious Game für Training im Verbund)", KIT, Fraunhofer IOSB, Master Thesis, 2016 [ PDF ]

As military systems and processes are becoming increasingly complex and thus more difficult to comprehend, large-scale exercises for NATO Joint Intelligence, Surveillance, and Reconnaissance~(JISR) are regularly performed yet are often obstructed by insufficient staff preparedness. To address this concern, this thesis presents the design, prototypal implementation, and evaluation of a modular and web-based serious game called Exercise Trainer (EXTRA). EXTRA is a simulation game for business processes that embeds metaphors on real-world systems into the game to facilitate recognition and to increase initial motivation torwards its use. It is built on top of the Phaser.io game engine and the ReactJS user interface library. As a result of a subjective value benefit analysis, this combination turned out to be most appropriate. In addition, by encapsulating the game world state and user actions in self-contained data structures, EXTRA offers great potential in terms of interoperability with process models, learning platforms, and game authoring tools. A pilot study verified the technical functionality, the learning effects, and the user acceptance of the game. As the participants were able to recall the employed systems and their interrelationships, these research findings suggest the feasibility and effectiveness of EXTRA\'s approach to train exercise participants.

2015

Eva Lehmann: "Entwicklung und Akzeptanzanalyse eines kartenbasierten Lernspiels", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Bachelor Thesis, 2015 [ PDF ]

Spiele eignen sich gut für die Wissensvermittlung. Dies gilt nicht nur für das Lernen im Kindesalter. Verschiedene Formen von Lernspielen, wie beispielsweise die Serious Games können auch in der Schule, im Studium und bei der beruflichen Weiterbildung eingesetzt werden. Im Rahmen dieser Arbeit wird ein kartenbasiertes Lernspiel entwickelt. Die zu implementierenden Funktionen werden mit Hilfe des Technologieakzeptanzmodells herausgearbeitet. Hierzu werden einige externe Variablen des Technologieakzeptanzmodells auf die konkrete Spielidee übertragen, um die Einstellung gegenüber dem Spiel zu begünstigen und die Nutzung desselben seitens der Nutzer zu erhöhen. Zur Realisierung wurden moderne Web-Technologien eingesetzt. Das Spiel basiert auf einer Client-Server-Architektur und verfügt über eine Datenbankanbindung, damit Nutzer- und Spieldaten gespeichert werden können. In einer abschließenden Evaluation wird die Akzeptanz einzelner übertragener Variablen analysiert, die von dem Technologieakzeptanzmodell abgeleitet wurden. Es kann festgestellt werden, dass einige Funktionen sich gut dafür eignen, den Nutzer zum Weiterspielen zu motivieren.

2013

Marcel Finger: "Markerbasiertes Assistenzsystem für 3D-Radarbildsimulation", KIT, Fraunhofer IOSB, Bachelor Thesis, 2013 [ PDF ]

Im Rahmen dieser Bachelorthesis wird ein Assistenzsystem entworfen, das auf Basis eines Tangible User Interface den Aufbau einer Szene und deren Manipulation anhand von markierten Stellvertreterobjekte ermöglicht. Die extrahierten Daten werden im 3D-Simulationsprogramm ViSAR (Visualisierung von geometrischen Radareffekten) dargestellt. Hierzu wird ein Verfahren zur automatischen visuellen Identifikation von vorgegebenen Stellvertreterobjekten, die mit einem QR-Code markiert sind, entwickelt. Zunächst durchläuft das Kamerabild das Good Features to Track Verfahren. Die so berechneten Keypoints weisen eine hohe Dichte im Bereich der QR-Codes auf. Sie werden mit Hilfe des DBSCAN-Verfahren in Cluster eingeteilt um damit die Region des QR-Codes bestimmen zu können. Diese Regionen werden extrahiert und deren Bildbereiche skaliert damit ZXing den QR-Code dekodieren kann. Zusätzlich wird die Position des QR-Codes in der Ebene bestimmt und an ViSAR übertragen. Anhand von Experimenten wird in Erfahrung gebracht, dass die Erkennungsrate eines 2,3 cm groÿen QR-Codes auch unter störenden Einflüssen bei 87% liegt. Zudem wird eine mittlere Laufzeit zwischen 6 und 8 Frames pro Sekunde erreicht. Aus der beschriebenen Erkennungsrate und Laufzeit lässt sich schlieÿen, dass das Assistenzsystem unter den verlangten Bedingungen betrieben werden kann und zu den gewünschten Ergebnissen führt.

2012

Andreas Feuerbach: "Konzeption und Entwicklung eines Szenarioassistenten für ein heterogenes Verbundsystem in der Bildaufklärung", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Bachelor Thesis, 2012 [ PDF ]

Stefan Bürger: "Bildbasierte Objekterkennung mittels mobiler Endgeräte für das Mobile Lernen", KIT, Fraunhofer IOSB, Diplomarbeit, 2012 [ PDF ]

Mobile Endgeräte eignen sich als orts- und zeitunabhängige Informationsträger und Wissensvermittler. Durch die Kamera mobiler Endgeräte kann der Kontext erfasst werden, in dem sich der Benutzer befindet, um kontextabhängige Assistenzinformationen zu Lernzwecken anbieten zu können. Für das Roboterverbundsystem von AMFIS (Aufklärung mit mobilen und ortsfesten Sensoren im Verbund) des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB wurde eine bildbasierte Objekterkennung realisiert. Diese wurde für mobile Endgeräte mit Android Betriebssystem auf Basis von OpenCV entworfen. Im Rahmen dieser Diplomarbeit wurde das Bag of Words Verfahren im Hinblick auf seine Eignung für die Objekterkennung auf mobilen Endgeräten evaluiert. Dabei wird eine Bildrepräsentation in Form eines Histogramms erzeugt. Dieses enthält die Anzahl gefundener visueller Wörter im Bild, welche durch lokale Features repräsentiert werden. Für die Parametrisierung des Bag of Words Verfahrens wurden SIFT und SURF Features, sowie fuzzy und räumliche Histogramme evaluiert. Für die Klassifikation wurde der k-Nearest-Neighbor Klassifikator und die Support Vector Machine betrachtet. Die Evaluation findet bezüglich der Klassifikationsergebnisse und der Laufzeit auf mobilen Endgeräten statt. Auf Basis dieser Ergebnisse wurde eine Parametrisierung gewählt, die in der Lage ist in sehr schneller Zeit (350 ms auf einem ASUS Transformer Prime TF201) eingelernte Objekte auf dem Testdatensatz fast perfekt zu erkennen (Mean Average Precision 98,7). Die Implementierung kann durch das Einlernen neuer Objekte auf andere Anwendungsgebiete übertragen werden.

2011

Sergius Dyck: "Benutzermodellierung beim arbeitsbegleitenden Lernen unter Berücksichtigung des Aufgabenkontextes", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB Master Thesis, 2011 [ PDF ]

Bildauswerter von optischen und radarbasierten Satellitenaufnahmen sind täglich mit neuen Situationen konfrontiert. Sie werden dabei mit dem vom Fraunhofer-IOSB entwickelten SAR-Tutor+ unterstützt. Diese Arbeit beschäftigt sich mit der Entwicklung eines Benutzermodells, das die Anwendung individualisieren soll. Zu Beginn wird erklärt, was Benutzermodelle sind und inwiefern sie zur Individualisierung beitragen können. In diesem Zusammenhang werden unterschiedliche Ansätze aus der Forschung beschrieben. Darüber hinaus werden Benutzermodelle vorgestellt, die in der Wirtschaft eingesetzt werden. Es gibt einige Themengebiete, die in den Bereich der Benutzermodellierung hineinspielen. Diese werden beschrieben und daraufhin untersucht, welche Aspekte davon für diese Arbeit übernommen werden können. Im nächsten Schritt werden Methoden beleuchtet, die zur Gewinnung von Benutzerinformationen herangezogen werden können. Der Entwurf des Modells wird in zwei Phasen durchgeführt. In der ersten Phase wird ein vorläufiges Benutzermodell erstellt, das anschließend auf die projektspezifischen Merkmale reduziert wird. Diese werden mit einem Datentyp versehen und gegebenenfalls durch die Angabe des Wertebereichs eingegrenzt. In der zweiten Phase wird erläutert, wie das Benutzermodell aktualisiert und insbesondere wie die Kompetenz des Benutzers erfasst und aktuell gehalten werden kann. Es wird erläutert wie diese durch die Analyse der Interaktion des Benutzers mit dem System näherungsweise berechnet werden kann. Abschließend wird gezeigt, auf welche Art und Weise sich das Wissen über die Kompetenz auf die Personalisierung des SAR-Tutor+ angewendet werden kann.

Andreas Suchanek: "Konzeption und Entwicklung einer Android-App zur Berechnung von Radarbildern auf Grundlage 3-dimensionaler Objekte", Hochschule Karlsruhe - Technik und Wirtschaft, Fraunhofer IOSB, Master Thesis, 2011 [ PDF ]

Das E-Learning gewann in den vergangenen zwei Jahrzehnten zunehmend an Bedeutung. Vom anfänglichen, auf Computer zentrierten, Lernen, ging die Entwicklung hin zu webbasierten Kursen. Mit der zunehmenden Verbreitung von Smartphones, ist ein neuer Trend zu erkennen: E-Learning für unterwegs – mobile learning. Lektionen und ganze Kurse, sind direkt auf dem Smartphone abrufbar. Das Fraunhofer Institut IOSB entwickelte in der Vergangenheit bereits einen E-Learning Kurs für die Bundeswehr, der über den Browser absolviert werden kann. Im nächsten Schritt soll die Entwicklung und Programmierung einer App erfolgen, die es ermöglicht, einfache 3-D-Objekte auf dem Smartphone in ein Radarbild zu konvertieren. Dies ist der erste Schritt zum mobilen Lernen.

Stefan Bürger: "Gestensteuerung mit Microsoft Kinect", KIT, Fraunhofer IOSB, Studienarbeit, 2011 [ PDF ]

Im Bereich der Mensch-Maschine-Interaktion werden neue Bedienkonzepte erforscht, die dem Menschen eine natürliche und intuitive Interaktion mit Computersystemen ermöglichen. Diese führen im Vergleich zu traditionellen Eingabegeräten, wie Maus, Tastatur und Touchscreen, zu einer dem Menschen eingängigen Bedienung. Für das 3D-Simulationsprogramm ViSAR für die Radar-Bildauswertung, welches am Fraunhofer Institut für Optronik, Systemtechnik und Bildauswertung IOSB entwickelt wird, wurde eine gestenbasierte Interaktion realisiert. Die Gestenerkennung basiert auf dem Kinect for Windows Software Developement Kit (SDK). Im Rahmen dieser Studienarbeit wurden in einem ersten Schritt bekannte Freiform-Gesten im Hinblick auf ihre Eignung zur Steuerung von ViSAR analysiert. Darauf aufbauend wurden Gesten identifiziert, die sich einerseits sinnvoll für ViSAR verwenden lassen und andererseits eine robuste Erkennungsrate bei der Skelettberechnung des Kinect SDK aufweisen. Die wichtigsten Interaktionsmöglichkeiten für ViSAR wurden implementiert. Die Realisierung ermöglicht eine personeninvariante Steuerung von ViSAR mittels Gesten. Die erzielten Ergebnisse und die generisch gehaltene Implementierung lassen sich auf andere Anwendungsgebiete übertragen.