Unter dem Motto „Superkräfte durch KI“ präsentieren wir KI-Ansätze, die wir alltäglich in unseren Projekten verwenden. Sie bekommen einen Überblick zu möglichen Methoden und deren Funktionsweise. Dabei können Sie entdecken, welche konkreten Einsatzszenarien und Vorteile für Sie möglich sind.
Im ersten Blogpost der Reihe haben wir unser etabliertes Framework zur Anomalieerkennung erklärt. Im zweiten Teil folgten zwei detailliertere, praxisnahe Beispiele für die Anwendung dieses Frameworks in der diskreten und kontinuierlichen Fertigung. Im dritten und letzten Blogpost zur Anomalieerkennung werden wir verschiedene Anwendungsfälle von Anomalieerkennung in der Verwaltung beleuchten und genauer darauf eingehen, wie unser Framework zur Lösung dieser Herausforderungen beiträgt.
Während Verwaltungen vielfältige Aufgabenbereiche haben können, gruppieren wir für diesen Blogpost die verschiedenen Aufgaben in vier Bereiche:
In jedem dieser Bereiche werden wir auf jeweils zwei mögliche Anwendungsfälle eingehen und die beispielhafte Nutzung unseres Anomalieerkennungs-Frameworks kurz und knackig beschreiben. Ziel ist es, dass Sie ein besseres Gespür dafür bekommen, wo Anomalieerkennung eine Rolle spielt und wie man an solche Prozesse herangehen kann. Vielleicht erkennen Sie eigene Anwendungsfälle wieder, denen Sie bereits begegnet sind oder mit denen Sie aktuell zu kämpfen haben.
Kurz zur Wiederholung. Unser Framework zur Anomalieerkennung besteht aus den folgenden drei Schritten:
Schritt 1 — Modellierung des Normalzustands: Wir sammeln Daten, die typischerweise im beobachteten System entstehen. Diese nutzen wir, um das Normalverhalten des Systems mithilfe eines mathematischen (KI-basierten) Verfahrens zu modellieren, also bestimmte Kennwerte durch die gegebenen Umgebungsdaten zu schätzen.
Schritt 2 — Berechnung der Abweichung des tatsächlichen Werts vom erwarteten Normalzustand: Für eine bestimmte Situation kann dann durch die aktuellen Umgebungsdaten die entsprechende Größe durch das Modell vorhergesagt werden. Anschließend wird der Unterschied zu dem tatsächlichen Wert berechnet.
Schritt 3 — Festlegung der Abweichung, die noch als „normal“ eingestuft wird: Abhängig von der Situation und der gewünschten Sensibilität des Verfahrens, bewertet die Anomalieerkennung stark abweichende Zustände als auffällig. Diese sollten genauer angeschaut werden.
Bei der Anwendung des Frameworks innerhalb von Verwaltungsaufgaben sind die zugrundeliegenden Daten sowie die darin enthaltenen Größen und Umgebungsdaten sehr vielseitig und wandelbar. Wann gilt etwas intuitiv noch als normal? Wie hängen Werte von anderen messbaren Größen ab?
Personal- und Organisationsmanagement
Fall 1: Überprüfung von Reisekostenabrechnungen
Situation: Nach einer Dienstreise wird bei der Verwaltung eine Reisekostenabrechnung eingereicht, die überprüft werden muss, bevor eine Auszahlung der Spesen und Erstattung der Kosten erfolgt. Um die verantwortlichen Mitarbeitenden zu entlasten, sollen nicht mehr alle Reisekostenabrechnungen überprüft werden. Dabei sollen auffällige Abrechnungen automatisch erkannt und zur manuellen Überprüfung gekennzeichnet werden, um Betrugsmöglichkeiten einzugrenzen.
Die Anwendung unseres Frameworks könnte wie folgt aussehen:
Schritt 1: Wir verwenden die digitalisierten Informationen aller ausgezahlten Reisekostenabrechnungen aus der Vergangenheit. Diese gelten als normal. Ein Modell lernt aus diesen Daten, wie viel beispielsweise ein Hotel üblicherweise in der bereisten Region pro Nacht kostet, ob ein Mittagessen beim besuchten Veranstaltungstyp typischerweise gestellt wird, und so weiter.
Schritt 2: Der angegebene Hotelpreis wird mit den modellierten Kosten abgeglichen, die Angabe einer Mittagessenspauschale mit der modellierten Wahrscheinlichkeit, dass dieses gestellt wurde, und so weiter.
Schritt 3: Aus diesen Unterschieden werden ungefähre Kostenunterschiede berechnet. Beispielsweise kostete das Hotel 100€ mehr als erwartet und bei Konferenzen über mehrere Tage wird normalerweise das Mittagessen gestellt, was einen Spesenunterschied von 25€ ausmacht. Diese Kostenunterschiede werden nach ihrer Größe sortiert und dem prüfenden Mitarbeitenden präsentiert. Abhängig vom verfügbaren Zeitbudget, kann die Person sich auf die auffälligsten Fälle konzentrieren. Ebenso könnte ein Grenzwert definiert werden, ab dem eine Reisekostenabrechnung auf jeden Fall geprüft werden muss, sowie ein Grenzwert, unter dem Reisekostenabrechnungen automatisch bewilligt werden.
Fall 2: Überprüfung von Sicherheitsvorschriften
Situation: Eine Berufsgenossenschaft zahlt bei Unfällen von Mitarbeitenden versicherter Betriebe. Gleichzeitig betreibt die Versicherung eine Präventionsabteilung, die versicherte Betriebe besucht und die Einhaltung der geltenden Sicherheitsstandards überprüft. Um möglichst vielversprechende Betriebe auszusuchen, soll ein Anomalieerkennungsansatz die Betriebe mit vergleichsweise hohen Unfallzahlen identifizieren. Dabei müssen zusätzliche Informationen berücksichtigt werden, da z.B. Mitarbeitende in verschiedenen Branchen unterschiedlich anfällig für Unfälle sind.
Der Anomalieerkennungsansatz könnte dann so umgesetzt werden:
Schritt 1: Wir sammeln Merkmale über alle Betriebe, z.B. Branche, Mitarbeitendenanzahl und Außendiensteinsätze. Aus den gegebenen Kennzahlen eines Betriebs versuchen wir mit einem Modell die Anzahl der Unfälle des letzten Jahres vorherzusagen. Zwei etwa gleichgroße Unternehmen aus der gleichen Branche sollten ähnlich viele Unfälle haben, wenn sie die gleichen Sicherheitsmaßnahmen einhalten.
Schritt 2: Kommen neue Betriebe hinzu oder ist es Zeit für eine Prüfung, werden die tatsächlichen Unfallzahlen mit den modellierten Zahlen abgeglichen.
Schritt 3: Die Abweichungen der tatsächlichen Unfallzahlen von den geschätzten werden als Sortierkriterium genutzt. Hat ein Betrieb erheblich mehr Unfälle als geschätzt, sollte die Präventionsabteilung diesen Betrieb genauer prüfen. Hat ein Betrieb erheblich weniger Unfälle, könnte die Präventionsabteilung sich dort inspirieren lassen, welche Sicherheitsmaßnahmen dort wie umgesetzt werden.
Finanz- und Ressourcenmanagement
Fall 3: Überprüfung von Kostenabrechnungen von Ärzten oder Krankenhäusern
Situation: Eine Versicherung möchte Betrug bei Abrechnungen von Ärzten oder Krankenhäusern erkennen. Da verschiedene klinische Behandlungen bei unterschiedlichen Krankheiten und Verletzungen stark bei den Kosten schwanken können, soll die Überprüfung mithilfe von Daten aus der Vergangenheit gelernt werden.
Unser Ansatz sähe hier wie folgt aus:
Schritt 1: Wir sammeln die Kosten von händisch geprüften Abrechnungen, die nicht beanstandet wurden. Ein statistisches Modell sagt die erwarteten Kosten vorher, gegeben der Merkmale wie der durchgeführten Behandlung, Behandlungsdauer, gestellten Diagnosen und dem Alter des Patienten. Außerdem gibt das Modell Kostenkorridore aus, die in den Daten für gleichgeartete Fälle zu erwarten sind. Beispielsweise können die Kosten für eine Krebsbehandlung erheblich stärker auseinander gehen als für die Behandlung einer Schnittwunde. Das Modell könnte eine Ober- und Untergrenze für die Kosten prognostizieren, zwischen denen sich 95% aller Fälle mit den betrachteten Merkmalen befinden sollten.
Schritt 2: Die abgerechneten Kosten eines neuen Falls werden mit den prognostizierten Kosten und deren Korridor verglichen.
Schritt 3: Liegen die abgerechneten Kosten außerhalb des erwarteten Korridors, so ist dieser Fall vergleichsweise ungewöhnlich und sollte geprüft werden. Hier kann eine zusätzliche Priorisierung über die Gesamtkosten oder die Höhe des Kostenunterschieds helfen, auf die vielversprechendsten Fälle einzuschränken.
Hinweis: Im Fall von Krankenhäusern gibt es seit 2010 das sogenannte DRG-System (Diagnosis Related Groups), welches Fallpauschalen gegeben der Diagnose- und Personenmerkmale vorschreibt. Das Krankenhaus bekommt für eine Patientenbehandlung also lediglich eine Pauschale, egal, wie lange die Behandlung gedauert hat. Dieses System steht in der Kritik, da es Krankenhäuser dazu verleitet, Patienten möglichst kurz zu behandeln. Ein KI-basierter Ansatz, der mögliche Spannweiten von Kosten mitberücksichtigt, wäre hier ggf. hilfreich.
Fall 4: Überwachung des Ressourcenverbrauchs
Situation: Eine Verwaltung möchte den Verbrauch von Ressourcen in den eigenen Büros überwachen, z.B. die Strom-/Wasser-/Gasmengen oder auch Verbrauch von Kopier- und Klopapier. Auffällige Abweichungen könnten auf Missbrauch, wie übermäßigen privaten Gebrauch, Diebstahl oder technische Probleme wie defekte Geräte hinweisen. Bei frühzeitiger Erkennung von auffälligen Zuständen können nicht nur Kosten vermieden, sondern auch die nachhaltige und effiziente Nutzung von Ressourcen sichergestellt werden.
Unser Framework kann in diesem Fall wie folgt angewendet werden:
Schritt 1: Zeitspannen mit typischen Verbräuchen werden gesammelt und anhand von Merkmalen wie der Anzahl der anwesenden Personen, der aktuell laufenden Projekte, der Wetterbedingungen, der Jahreszeit, etc. ein statistisches Modell berechnet, welches die erwarteten Verbrauchsmengen sowie ihre Korridore schätzt.
Schritt 2: Die tatsächlichen Verbräuche aus Verbrauchsübersichten und Inventurergebnissen werden mit den berechneten abgeglichen.
Schritt 3: Liegen die Verbräuche außerhalb des erwarteten Korridors, werden die zuständigen Personen benachrichtigt, um die Situation zu prüfen und entsprechende Maßnahmen durchzuführen.
Prozess- und Compliance-Management
Fall 5: Plausibilitätsprüfung von Steuererklärungen
Situation: Das Finanzamt prüft Steuererklärungen und genehmigt die Auszahlung der zu erstattenden Steuern. Durch die große Anzahl an Steuererklärungen und generell sinkende Anzahl an Fachkräften, müssen diese möglichst effizient arbeiten können. Hierzu soll ein automatisches System die Plausibilität aller Steuererklärungen prüfen und nur noch solche für die manuelle Prüfung markieren, die besonders auffällig sind.
Die Anwendung unseres Frameworks sieht dabei so aus:
Schritt 1: Die große Anzahl der bereits bearbeiteten Steuererklärungen bilden die Grundlage, um Zusammenhänge zwischen den einzelnen Eingaben einer Steuererklärung zu lernen. Beispielsweise könnte es Zusammenhänge zwischen dem jährlichen Einkommen einer Person, deren Familien- und Wohnsituation und ihren angegebenen Werbungskosten geben.
Schritt 2: Die erwarteten Werte werden mit den in der Steuererklärung angegebenen verglichen. Zudem wird die Differenz zwischen den Rückerstattungen (vom Modell erwartet vs. durch die Angaben errechnet) berechnet.
Schritt 3: Die Steuererklärungen mit auffälligen Abweichungen im Erstattungsbetrag werden manuell geprüft. Dabei können die Einzelabweichungen genutzt werden, um die Angaben in der Steuererklärung zu finden, die unerwartet sind. Gleichzeitig lohnt es sich, sogenannte Sicherheitsnetze zu definieren, also Merkmale, bei denen eine manuelle Prüfung verpflichtend wird (z.B. zu versteuerndes Einkommen über 1 Mio. €).
Fall 6: Erkennung von temporären Verarbeitungsengpässen
Situation: Eine Verwaltung möchte die Verarbeitungszeiten von Anträgen überwachen, um mögliche plötzlich auftretende Engpässe zu identifizieren und schnellstmöglich anzugehen.
Hier kann unser Framework wie folgt angewendet werden:
Schritt 1: Für jeden Antrag werden die Zeiten dokumentiert, wie lange sich der Antrag in einer Abteilung bzw. bei einem Bearbeitungsschritt befindet (bspw. durch digitale Zeitstempel beim Abschließen von Bearbeitungsschritten). Diese Verarbeitungszeiten werden mit einem Modell aus Merkmalen wie den Personalkapazitäten in jeder Abteilung, der verarbeiteten Antragsart und weiteren Kenngrößen geschätzt. Daraus berechnen sich erwartete Verarbeitungszeiten pro Arbeitsschritt.
Schritt 2: Die Verarbeitungszeiten aktueller Anträge werden mit den geschätzten Zeiten verglichen.
Schritt 3: Die Abteilungen oder Verarbeitungsabschnitte, in denen die tatsächliche Bearbeitungszeit relativ zur Prognose am größten ist, benötigen aktuell den größten Fokus des Managements. Auch Verarbeitungsschritte, die kürzer dauern als üblich, können gefunden und überprüft werden.
Kommunikation und Service
Fall 7: Erkennung von auffällig häufig vorkommenden Supportanfragen
Situation: Eine Verwaltung möchte ihr Supportanfrage-Aufkommen überwachen. Eine plötzliche Häufung von Problemmeldungen zu einem Thema könnte Hinweise auf Optimierungspotenzial oder technische Probleme geben. Ein auf das Problem zugeschnittener neuer Themenabschnitt auf der FAQ-Webseite wäre außerdem eine Möglichkeit, das Supportanfrage-Aufkommen ggf. zu reduzieren.
Um die Überwachung zu automatisieren, kann unser Framework genutzt werden:
Schritt 1: Die Themen, die in den Anfragen im Support auftauchen, werden protokolliert. Hier besteht auch die Möglichkeit, Mails und Telefonate automatisch zu analysieren und Themen durch KI-Methoden zu extrahieren. Die Häufigkeiten einzelner Themen werden anhand der äußeren Umstände modelliert. Hierbei könnten bestimmte Anfragen systematisch zeitlich häufiger vorkommen, z.B. Fragen zu einem Informationsschreiben, das zu einem bestimmten Zeitpunkt breitflächig verschickt wurde.
Schritt 2: Die aktuell häufig vorkommenden Themen werden mit ihren geschätzten Häufigkeiten abgeglichen.
Schritt 3: Themen, die vergleichsweise oft vorkommen, dienen als Grundlage für mögliche Entscheidungen wie der Fortbildung von Supportmitarbeitenden. Aber auch Themen, die seltener vorkommen als erwartet, könnten auf erfolgreiche Entscheidungen hindeuten. Z.B. werden seit einer Änderung in der Benutzeroberfläche des Webportals weniger Fragen diesbezüglich gestellt und die Supportmitarbeitenden dadurch effektiv entlastet.
Fall 8: Moderation von Kommentaren in Social Media
Situation: Eine öffentliche Verwaltung nutzt Social Media, um sich online zu präsentieren und Bürgerinnen und Bürger zu informieren. Dabei müssen potenzielle Hasskommentare unter den Posts aussortiert werden. Bei einem hohen Aufkommen von Kommentaren ist hier die Verwendung eines automatisierten Systems ratsam. Typische Ansätze dafür trainieren KI-Modelle auf Beispielen von Hasskommentaren, sodass diese erkannt werden. Ein Anomalieerkennungsansatz geht hier anders vor und erkennt grundsätzlich auffälligeKommentare. Dies können einerseits zu moderierende Kommentare (z.B. Hass oder Spam) sein, aber auch allgemeines Lob oder durchdachte längere Texte, mit denen es sich lohnt zu interagieren.
So sähe eine mögliche Anwendung unseres Frameworks auf diesem Use Case aus:
Schritt 1: Die bisherigen Postings und Ihre moderierten Kommentare dienen als Grundlage für das Training eines Large Language Models (LLM). Dieses lernt, für einen Post typische Kommentararten zu generieren, wofür die bisherigen Kommentare genutzt werden. Dabei lernt das Modell, welcher Stil und welche Themen in den Kommentaren typisch für einen Post sind.
Schritt 2: LLMs sagen die Wahrscheinlichkeit für das nächste Wort in einem Text vorher und können so Wort für Wort den Text fortführen. Anstatt nun Texte zu generieren, berechnen wir mithilfe dieser Wahrscheinlichkeiten für einen neuen Post und einen neuen Kommentar, wie wahrscheinlich es für das Modell wäre, diesen Kommentar selbst zu generieren. Dabei sprechen wir von der „Perplexity“ des LLMs, also der „Überraschtheit“.
Schritt 3: Ist die Überraschtheit des Modells über den Kommentar hoch, scheint der Kommentar nicht den üblichen Stilen und Inhalten der anderen Kommentare zu folgen. Diese Kommentare heben sich von den übrigen ab und sollten ggf. manuell überprüft werden.
Fazit
Unser etabliertes Framework zur Anomalieerkennung lässt sich in vielen Bereichen gewinnbringend anwenden. Und das ist nur ein Tool im Werkzeugkasten unserer Data Scientisten, mit denen wir Ihrem Unternehmen „Superkräfte durch KI“ verleihen. Haben wir Ihr Interesse geweckt? Wo kann Anomalieerkennung bei Ihnen eingesetzt werden? Haben Sie andere Anwendungsfälle in Ihrer Verwaltung, die Sie mit uns angehen möchten? Erfahren Sie hier mehr darüber, wie wir Ihre KI-Transformation konkret gelingen lassen können.
Zu welchem KI-Ansatz oder Use Case möchten Sie in Zukunft mehr erfahren? Haben Sie Fragen oder Anregungen? Kontaktieren Sie uns gern und folgen Sie uns bei LinkedIn, um unsere Blogposts in Zukunft nicht zu verpassen.
