Ein Teil des ADA Lovelace Center-Teams tourt durch Deutschland und informiert über Forschungsfortschritte in KI-gestützter Bildanalyse
Ich freue mich, euch heute einen Gastbeitrag aus dem ADA Lovelace Center-Team im Bereich Digitaler Pathologie vorstellen zu dürfen! Volker Bruns und seine Kolleginnen und Kollegen, die an KI-Anwendungen im Bereich Digitale Pathologie forschen, haben nach langer pandemiebedingter Pause im Juni 2022 endlich wieder die Gelegenheit auf echte Kongresse zu gehen. Sie haben ihre Fortschritte bereits an zwei Stationen ihrer MICAIA® Roadshow gezeigt: Auf der 105. Jahrestagung der Deutschen Gesellschaft für Pathologie in Münster, Westfalen, stand für das Team der Austausch mit Pathologinnen und Pathologen im Zentrum, während der 18th European Congress on Digital Pathology (ECDP22) in Berlin vor allem für den Dialog mit anderen Wissenschaftlern und Wissenschaftlerinnen, Startups und etablierten Unternehmen im Bereich Computational Pathology genutzt wurde. Aber lest selbst, was Volker Spannendes zu berichten hat.
105. Jahrestagung der Deutschen Gesellschaft für Pathologie
Während bei der letzten in Präsenz stattfindenden Pathologie Jahrestagung die KI-gestützte Bildanalyse gescannter histologischer Proben noch eher ein Nischenthema war, gab es nun zum einen eine weitaus höhere Anzahl an aktiven Unternehmen in der Industrieausstellung, die an diesem Thema arbeiten, und zum anderen auch ein gestiegenes Interesse der Anwender. Auch unsere Bildanalyselösung MICAIA®, die sich an forschende Pathologinnen und Pathologen richtet und als Werkzeug zur quantitativen Auswertung histologischer Gewebeschnitte dient, ist auf großes Interesse gestoßen und hat durchweg positives Feedback erhalten.
Zusätzlich haben wir auch im großen Saal kurz nach der Keynote einen Vortrag mit dem Titel »Fast and Robust Deep Tissue Cartography« halten dürfen, in dem wir weniger auf die medizinische Anwendung (Gewebeanalyse bei Darmkrebs), sondern vielmehr auf die folgenden beiden Aspekte eingegangen sind:
- Robustheit: Die Analyse muss robust gegenüber den im Feld vorkommenden Varianzen gestaltet sein, die insbesondere durch die nicht-standardisierten Probenpräparationsprotokolle in den unterschiedlichen Laboren und durch den Einsatz von Scannern verschiedener Hersteller entstehen.
- Schnelligkeit: Die Analyse eines hochaufgelösten Scans darf nicht viel Zeit kosten, damit sie auch mit den immer schneller werdenden Scannern Schritt halten kann. Das Ziel in der klinischen Routine ist, dass die KI Analyse automatisch nach dem Scannen durchgeführt wird, so dass die Ergebnisse bereits vorhanden sind, wenn die Pathologin oder der Pathologe den Fall am Computer öffnet.
Schwerpunkte der Forschung der Digitalen Pathologie im ADA Lovelace Center
Die Themen Robustheit und Schnelligkeit werden auch im ADA Lovelace Center erforscht.
Für die Robustheit setzen wir insbesondere auf starke domänen-spezifische Datenaugmentierung, so dass das Modell schon beim Training lernt, sich nicht auf feinste Farbnuancen verlassen zu können. Eine Alternative wäre es, zu analysierende Proben in einem Vorverarbeitungsschritt zu »normalisieren« – das bedeutet sie zu transformieren, so dass sie wie die Proben aus dem Trainingsset aussehen – aber das würde wieder zu Lasten der Laufzeit gehen und die Gesamtanalyse verlangsamen, weswegen wir diese Variante nicht bevorzugen. Für eine Beschleunigung der Analyse verfolgen wir zwei Ansätze, die wir bei den Events vorgestellt haben.
Vorsegmentierung des Gewebes in Cluster
Histologische Scans sind viel zu riesig (bis zu 100.000 x 100.000 px) um sie auf einmal durch die KI analysieren zu lassen. Standardmäßig werden stattdessen Kacheln extrahiert und diese dann mittels der KI analysiert und einer Gewebeklasse zugeordnet. Wir segmentieren das Gewebe jedoch zunächst in sogenannte Superpixel. Das sind kleine nicht rechteckige Cluster, die sich an die Gewebegrenzen »anschmiegen«. Da das Gewebe innerhalb eines solchen Clusters homogen ist, muss nicht jede Kachel innerhalb des Clusters analysiert werden, sondern es ist ausreichend nur eine zufällige Auswahl zu analysieren und dann das gesamte Cluster entsprechend der Mehrheit der prädizierten Label zu klassifizieren.
Hierdurch verringert sich die insgesamt auszuwertende Anzahl von Kacheln signifikant, so dass es zu einem starken Geschwindigkeitsgewinn kommt (bis zu 40%), der den Zusatzaufwand für das Pre-Clustering mehr als ausgleicht. Als positiver Nebeneffekt steigt gleichzeitig die Genauigkeit, da die prädizierten Gewebegrenzen nun nicht mehr auf einem Schachbrettmuster liegen, sondern sich am Bildinhalt und damit dem echten Gewebe orientieren. Da die Vorsegmentierung unabhängig von der KI ist, fungiert sie als Framework und kann gleichermaßen auch für andere kachelbasierte Klassifikationsaufgaben genutzt werden.
Auswahl eines schnellen KI Modells
Als zweiten Ansatz um eine KI Analyse zu beschleunigen haben wir einen im ADA Lovelace Center durchgeführten Vergleich verschiedenster Netzwerkarchitekturen in Hinblick auf Genauigkeit und Durchsatz durchgeführt. Hierzu haben wir für verschiedenste Modelle die erreichte Genauigkeit gemessen sowie die Dauer die es braucht um eine Kachel zu analysieren. Wie zu erwarten sind der erreichte Durchsatz und die erzielte Genauigkeit entgegengesetzte Anforderungen und es muss ein Trade-Off eingegangen werden. Für den evaluierten Anwendungszweck stellt ein Modell namens EfficientNet den besten Trade-Off dar, da es zum einen sehr schnell ist aber dabei dennoch noch eine vergleichsweise hohe Qualität erreichen konnte.
18th European Congress on Digital Pathology (ECDP22)
Auf dem European Congress on Digital Pathology in Berlin haben wir ebenfalls in der Industrieausstellung unsere MICAIA® Analysesoftware ausgestellt und vielen interessierten Besuchern und Besucherinnen demonstriert. Da auf der ECDP, vor allem die Digitalisierung und Bildanalyse im Fokus steht, waren im Vergleich zur DGP vor allem Teilnehmer zu Gast, die auch selber KI-Modelle im Bereich Digitale Pathologie entwickeln. Unsere Software hat auch bei dieser Zielgruppe positiven Anklang gefunden und die wohl am häufigsten gestellte Frage war, ob es nicht möglich ist auch ihre eigenen Modelle über Docker, eine Python API, o.ä. in MICAIA® zu integrieren – das werden wir versuchen zu ermöglichen.
Few labels learning und ProtoNet
Rosalie Kletzander hat zudem unter dem Titel »Few-Label Adaptation using Multi-ProtoNets – an Experiment on Urothelial Carcinomas« die Ergebnisse eines Experimentes vorgetragen, bei dem wir das sich in Entwicklung befindliche MICAIA »AI Authoring« Add-on Modul auf die Probe gestellt haben. Wir werden oft von medizinischen Partnern gefragt, ob wir nicht für eine bestimmte Fragestellung aus der Pathologie oder angrenzenden Bereichen eine KI entwickeln könnten. Das ist sehr aufwändig und daher haben wir an einem Ansatz geforscht, der es Anwenderinnen und Anwendern ermöglicht anhand nur weniger Annotationen eine KI selber »anzulernen« für ihre aktuelle Forschungsfrage – die ja per Design einzigartig ist.
Bei dem Experiment wurde gemeinsam mit Dr. Markus Eckstein und Kolleginnen und Kollegen des Instituts für Pathologie des Universitätsklinikums Erlangen-Nürnberg anhand nur weniger Annotationen aus gerade einmal vier Scans von Urothelkarzinomen einer KI beigebracht Tumor von gesundem Gewebe in standardgefärbten Gewebeschnitten auseinanderzuhalten. An einem Testset konnten so sehr zufriedenstellende Ergebnisse erzielt werden und auch die Pathologinnen und Pathologen waren qualitativ von der Segmentierung überzeugt. In weiteren vergleichbaren Experimenten werden wir die Technik nun weiter anwenden und die Grenzen ausloten.
Digital pathology up close!
Part of the ADA Lovelace Center team tours Germany and informs about research progress in AI-supported image analysis for digital pathology.
Today I am pleased to present a guest post from the ADA Lovelace Center team in the field of Digital Pathology! Volker Bruns and his colleagues research AI applications in the field of Digital Pathology and they finally have the opportunity to attend in-person conferences again in June 2022 after a long pandemic-related break. They have already shown their progress at two stops on their MICAIA® Roadshow: At the 105th Annual Meeting of the German Society of Pathology in Münster, Westphalia, the team focused on exchanging ideas with pathologists, while the 18th European Congress on Digital Pathology (ECDP22) in Berlin was mainly used for dialogue with other scientists, start-ups and established companies in the field of computational pathology. But read for yourself what Volker has to report!
105th Annual Meeting of the German Society of Pathology
While AI-supported image analysis of scanned histological samples was still rather a niche topic at the last annual pathology conference held in person, there is now a much higher number of active companies at the Industrieausstellung working on this topic, and also an increased interest among users. Our image analysis solution MICAIA®, which is aimed at pathologists conducting research and serves as a tool for the quantitative evaluation of histological tissue sections, also met with great interest and received positive feedback throughout.
In addition, we were also able to give a talk in the main hall shortly after the keynote entitled „Fast and Robust Deep Tissue Cartography“, in which we focused less on the medical application (tissue analysis for colorectal cancer) and more on the following two aspects:
- Robustness: the analysis must be designed to be robust to the variances that occur in the field, especially due to the non-standardized sample preparation protocols in different laboratories and the use of scanners from different manufacturers.
- Speed: the analysis of a high-resolution scan must not take a lot of time, so that it can also keep up with the ever faster scanners. The goal in routine clinical practice is for AI analysis to be performed automatically after scanning, so that the results are already available when the pathologist opens the case on the computer.
Focus of Digital Pathology Research at the ADA Lovelace Center
The topics of robustness and speed are also being researched at the ADA Lovelace Center. For robustness, we rely particularly on strong domain-specific data augmentation, so that the model learns already during training not to rely on the finest color nuances. An alternative would be to „normalize“ samples to be analyzed in a preprocessing step – that is, transform them to look like the samples from the training set – but this would again come at the expense of runtime and slow down the overall analysis, which is why we do not prefer this variant. To speed up the analysis, we follow two approaches that we presented at the events.
Pre-segmentation of the tissue into clusters
Histological scans are far too huge (up to 100,000 x 100,000 px) to let the AI analyze them all at once. By default, tiles are extracted instead and then analyzed by the AI and assigned to a tissue class. However, we first segment the tissue into so-called superpixels. These are small non-rectangular clusters that „nestle“ against the tissue boundaries. Since the tissue within such a cluster is homogeneous, it is not necessary to analyze every tile within the cluster, but it is sufficient to analyze only a random selection and then classify the entire cluster according to the majority of predicted labels.
This significantly reduces the total number of tiles to be analyzed, resulting in a strong gain in speed (up to 40%), which more than compensates for the additional effort required for pre-clustering. As a positive side effect, the accuracy increases at the same time, since the predicted tissue boundaries are now no longer on a checkerboard pattern, but are oriented to the image content and thus the real tissue. Since the pre-segmentation is independent of the AI, it acts as a framework and can equally be used for other tile-based classification tasks.
Selecting a fast AI model
As a second approach to speed up an AI analysis, we conducted a comparison of different network architectures in terms of accuracy and throughput at the ADA Lovelace Center. For this purpose, we measured the achieved accuracy for different models as well as the time it takes to analyze a tile. As expected, the achieved throughput and the achieved accuracy are opposite requirements and a trade-off has to be made. For the evaluated application, a model called EfficientNet represents the best trade-off, as it is very fast but still achieves a comparatively high quality.
18th European Congress on Digital Pathology (ECDP22)
At the European Congress on Digital Pathology in Berlin, we also exhibited our MICAIA® analysis software in the industrial exhibition and demonstrated it to many interested visitors. Since the focus at the ECDP is primarily on digitisation and image analysis, in comparison to the DGP there were mainly participants who also develop AI models themselves in the field of digital pathology. Our software was also well received by this target group and the most frequently asked question was whether it is possible to integrate their own models into MICAIA via Docker, a Python API or similar – we are now trying to make it possible.
Few labels learning and ProtoNet
Rosalie Kletzander also presented „Few-Label Adaptation using Multi-ProtoNets – an Experiment on Urothelial Carcinomas“, the results of an experiment in which we put the MICAIA „AI Authoring“ add-on module under development to the test. We are often asked by medical partners whether we could develop an AI for a specific question from pathology or related fields. This is very time-consuming and therefore we have been researching an approach that enables users to „train“ an AI themselves for their current research question – which is unique by design – using only a few annotations.
In the experiment, together with Dr. Markus Eckstein and colleagues from the Institute of Pathology at the University Hospital Erlangen-Nuremberg, an AI was taught to distinguish tumors from healthy tissue in standard stained tissue sections using only a few annotations from just four scans of urothelial carcinomas. Very satisfactory results could thus be achieved on a test set and the pathologists were also qualitatively convinced by the segmentation. In further comparable experiments, we will now apply the technique further and explore its limits.