7.1 Einleitung
7.2 Fallbeispiele
7.3 Arten der Zusammenarbeit
7.4 Automation
-
bei hoher Computerkontrolle und geringer menschlicher Kontrolle die Optische Zeichenerkennung (OCR),
-
bei hoher menschlicher Kontrolle und geringer Computerkontrolle Policy-Entscheidungen, die mit anderen Stakeholdern ausdiskutiert werden müssen und erst in diesem menschlichen Zusammenspiel entwickelt werden, sowie bei
-
„verlässliche, sichere und vertrauenswürdige KI“ (beide Dimensionen hoch ausgeprägt), Assistenzsysteme, welche die Nutzer im richtigen Zeitpunkt im richtigen Ausmaß unterstützen.
7.5 Kriterien guter Zusammenarbeit in Mensch-KI-Systemen
7.5.1 Vorbedingung: Verwendung von KI offen legen
7.5.2 Autonomie und Kontrolle
7.5.3 Transparenz/Nachvollziehbarkeit
7.5.4 Verlässlichkeit
7.5.5 Robustheit
7.5.6 Sicherheit
7.5.7 Weitere Rahmenmodelle
7.6 Gestaltung der Zusammenarbeit in Mensch-KI-Systemen
-
Zu Beginn deutlich machen, was das System kann und wie gut das System dies machen kann.
-
Während der Interaktion den Kontext (Aufgabe, Umgebung) berücksichtigen, kontextrelevante Informationen zeigen, relevante soziale Normen berücksichtigen und soziale Voreingenommenheiten abmindern (siehe dazu auch Kap. 11: KI & Ethik).
-
Bei Fehlern, und hier wird realistischerweise davon ausgegangen, dass Fehler passieren und der Nutzer gut damit umgehen sollte, den effizienten Aufruf und das effiziente Beenden des KI-Systems unterstützen, effiziente Korrektur unterstützen, im Zweifel den Handlungsspielraum des Dienstes verändern (z. B. das System registriert eine hohe Unsicherheit bei einer Entscheidung und gibt eine Bitte um eine Nutzerentscheidung anstatt die Entscheidung selbst durchzuführen), und deutlich machen, warum das System das gemacht hat, was es gemacht hat.
-
Über die Zeit sollte das System sich an den Nutzer anpassen, indem es die letzten Interaktionen erinnert, vom Nutzungsverhalten lernt, Updates und Anpassungen behutsam vornimmt, den Nutzer zu Feedback anregt, die Konsequenzen des Nutzerverhaltens verdeutlicht, eine globale Kontrolle erlaubt, sowie den Nutzer über Veränderungen informiert.
7.7 Fragen an KI-Anwendungen in der öffentlichen Verwaltung
-
Macht die KI-Anwendung deutlich, was sie kann?
-
Macht die KI-Anwendung deutlich, wie gut sie es machen kann?
-
Erlaubt die KI-Anwendung (v. a. deren Benutzeroberfläche) es Ihnen zu überlegen, was Sie erreichen möchten, die Absichten auch umzusetzen und ggfs. auch rückgängig zu machen?
-
Berücksichtigt die KI-Anwendung den Kontext (Aufgabe/Umgebung)?
-
Zeigt die KI-Anwendung kontextrelevante Informationen?
-
Sind die für Sie relevanten Informationen und Handlungen der KI-Anwendung kontinuierlich für Sie sichtbar?
-
Erhalten Sie informatives Feedback, wenn Sie die Anwendung bedienen (Eingaben und andere Aktionen durchführen)?
-
Wird Ihnen der Fortschritt der KI-Anwendung angezeigt?
-
Erhalten Sie einen Bericht über abgeschlossene Handlungen?
-
Berücksichtigt die KI-Anwendung relevante soziale Normen?
-
Mindert die KI-Anwendung soziale Voreingenommenheiten?
-
Werden Fehler durch die Anwendung soweit wie möglich verhindert (z. B. indem keine ungültigen Eingaben möglich sind)?
-
Können Sie die KI-Anwendung mit wenig Aufwand aufrufen (schnelle, inkrementelle und reversible Aktionen)?
-
Können Sie die KI-Anwendung mit wenig Aufwand beenden?
-
Können Sie Korrekturen mit wenig Aufwand durchführen?
-
Reduziert die KI-Anwendung bei Unsicherheit ihren Handlungsspielraum (z. B. Hinweis auf Auffälligkeit statt Autokorrektur)?
-
Macht die KI-Anwendung deutlich, warum sie gemacht hat, was sie gemacht hat?
-
Erinnert sich die KI-Anwendung an die letzten Interaktionen?
-
Lernt die KI-Anwendung von Ihrem Verhalten?
-
Werden Updates und Anpassungen behutsam durchgeführt (Updates führen nicht zu gravierenden Veränderungen)?
-
Werden Sie zum Feedback angeregt?
-
Werden Ihnen die Konsequenzen Ihres Nutzerverhaltens verdeutlicht?
-
Können Sie die KI-Anwendung global kontrollieren (Einstellungen an einer Stelle, die sich auf das gesamte Verhalten des Systems auswirken)?
-
Werden Sie von der KI-Anwendung über Veränderungen informiert (bei Updates z. B. bezüglich neuer/veränderter Fähigkeiten der KI-Anwendung)?
-
Ist die Anwendung fair – nach welcher Definition von Fairness?
-
Werden unverzerrte, faire, Entscheidungen getroffen? (siehe dazu Abschn. 11.7)
-
Erlaubt das KI-System Ihnen einen angemessenen Grad von Autonomie und Kontrolle?
-
Hat menschliches Handeln weiterhin Vorrang (informiert, bewusste Abgabe an KI)?
-
Haben Sie ausreichend Handlungsspielraum?
-
Gibt es einen Ermessensspielraum, der berücksichtigt sein muss – wird dieser auch berücksichtigt?
-
Können Sie das Vorgehen der KI-Anwendung kontrollieren?
-
Können Sie die Ergebnisse der KI-Anwendung überprüfen?
-
Sind Sie weiterhin informiert (vollständige, sichtbare und zugängliche Informationen) und fähig (Qualifikation), die Tätigkeit notfalls selbst durchzuführen?
-
Können Sie die KI-Anwendung notfalls ausschalten?
-
Ist das Verhalten der Anwendung transparent?
-
Erklärbarkeit: Ist für Sie nachvollziehbar, wie eine Vorhersage zustande gekommen ist?
-
Interpretierbarkeit (des Modells bei maschinellem Lernen): Ist das Lernverfahren als Ganzes für Sie transparent?
-
Nachverfolgbarkeit und Reproduzierbarkeit: Ist sichergestellt, dass das Vorgehen und die Entscheidungen der KI-Anwendung dokumentiert werden?
-
Verlässlichkeit: Können Sie sich auf die KI-Anwendung verlassen?
-
Korrektheit: Sind die Ausgaben der KI-Anwendung korrekt?
-
Modellunsicherheit: Gibt Ihnen die KI-Anwendung Rückmeldung, mit welcher Wahrscheinlichkeit die Ausgaben korrekt sind?
-
Robustheit: Fängt die KI-Anwendung gestörte oder manipulierte Eingaben ab? Reagiert sie bei unerwarteten Situationen bzw. an den Grenzen des ML-Modells noch korrekt? Fängt sie mögliche Fehler ab (z. B. über „Sanity Checks“)?
-
Ist die Anwendung sicher?
-
Funktionale Sicherheit („Safety“): Ist sichergestellt, dass die KI-Anwendung die Außenwelt nicht in Gefahr bringt oder schädigt?
-
IT-Sicherheit („ Security“ )
-
Integrität: Ist die KI-Anwendung vor ihrer Umgebung (inkl. gezielte Manipulationen) geschützt?
-
Verfügbarkeit: Ist die Verfügbarkeit der KI-Anwendung gewährleistet?
-
-
Wird der Datenschutz gewahrt?
-
Werden die Datenschutz-Grundverordnung (DSGVO) und das Bundesdatenschutzgesetz (BDSG) eingehalten?
-
Wurden die folgenden Punkte eingehalten: Einwilligung der Betroffenen, Weiterverarbeitung nur mit Zustimmung, keine unberechtigten Zugriffsmöglichkeiten, weitreichendes und jederzeitiges Widerspruchsrecht, Information über Zweck und Einsatz der personenbezogenen bzw. daraus abgeleiteten Daten, Datensparsamkeit sowie zweckgebundenen Verwendung?
7.8 Übungsfragen: Mensch-KI-System
7.9 Aufgaben zum eigenen Anwendungsfall
-
Berücksichtigen Sie hier auch das Kriterium „Sicherheit“ (KI-Anforderungen). Bewerten Sie die Anwendung. Falls hier Defizite vorliegen – welche Ideen haben Sie, wie man die Anwendung bezüglich funktionaler und IT-Sicherheit (letzteres sowohl was Integrität und Verfügbarkeit betrifft) verbessern könnte?
-
Modifizieren Sie ggfs. Ihre Anwendung, sodass die Mensch-KI-Interaktion besser funktionieren kann.