Entwicklung und Validierung einer computerbasierten Aufgabe zur Induktion eines psychischen Beanspruchungsspektrums

Die Quantifizierung psychischer Beanspruchung erfolgt in drei Kategorien: subjektiv erlebt, physiologisch gemessen und leistungsbasiert. Die Erhebung subjektiv erlebter psychischer Beanspruchung geschieht mit Hilfe von Ratingskalen, Fragebögen, Checklisten oder Interviews. Dem liegt die Annahme zugrunde, dass das Beanspruchungsempfinden von Individuen auf eine tatsächliche äußere Belastung zurückzuführen ist und diese von den Versuchspersonen differenziert wiedergegeben werden kann (Schlick et al. 2018). Psychophysiologische Messungen (z. B. Herzschlagfrequenz und Augenbewegungen) gelten – im Gegensatz zur subjektiven Befragung – als objektiv, da die Versuchspersonen diese für gewöhnlich nicht bewusst beeinflussen können. Ein weiterer Vorteil physiologischer Messungen ist die kontinuierliche Datenerfassung, wobei die Arbeitstätigkeit nicht durch Befragungen unterbrochen werden muss (Schlick et al. 2018; Jeschke et al. 2016).

De Waard (1996) identifizierte einen n-förmigen Zusammenhang zwischen Leistung und psychischer Beanspruchung. Demnach führen sowohl eine sehr geringe Beanspruchung (Monotonie) als auch eine sehr große Beanspruchung (Überforderung) zu einem Leistungsabfall. Die Leistung einer Person hängt dabei nicht nur von ihrer individuellen Kapazität, sondern auch von ihrem Willen ab, die Aufgabe zu lösen. Diese Bereitschaft, eine Aufgabe zu lösen, kann sich während einer Tätigkeit mehrfach ändern. So kann eine Versuchsperson Ermüdung und steigende Aufgabenschwierigkeit zu einem gewissen Grad durch Willenskraft kompensieren. Die psychische Beanspruchung kann also variieren, während die gemessene Leistung gleichbleibt.

Die Erforschung psychischer Beanspruchung und deren diagnostisches Potenzial für adaptive Mensch-Maschine-Interaktion sind nicht neu. Rouse (1988) beispielsweise entwickelte das Konzept des Adaptive Aiding für den Bereich der Flugzeugführung. Dabei sollten der Pilot oder die Pilotin nur dann durch Automation unterstützt werden, wenn diese Unterstützung auch tatsächlich zur Aufgabenerfüllung notwendig war. Als Indikatoren für Unterstützungsbedarf wurden Leistungsparameter (z. B. Änderung der Reaktionszeit) verwendet. De Waards (1996) Ergebnisse legen jedoch nahe, dass die Messung psychischer Beanspruchung nicht allein auf Leistungsparametern beruhen kann, sondern durch physiologische Maße ergänzt werden sollte. Diese Erkenntnis wurde in spätere Forschungsarbeiten einbezogen, woraufhin die Leistungsmessung um physiologische Indikatoren ergänzt wurde. Weitere Arbeiten zur Entwicklung adaptiver Schnittstellen sind u. a. Morrison et al. (2006), Stanney et al. (2009), Schneider (2019), Schwarz (2019), Luong et al. (2020), Planke et al. (2021) und Hillege et al. (2020). Eine Übersicht weit verbreiteter physiologischer Messverfahren findet sich beispielsweise bei Hancock et al. (2021).

Wickens (1984, 2002, 2008) Multiple Resource Theory untersucht unterschiedliche Ressourcendimensionen mit Bezug zu psychischer Beanspruchung und stellt diese grafisch in einem Würfelmodell dar (vgl. Abb. 1). Die kognitive Informationsverarbeitung wird in die drei Stufen Perzeption (Gesamtheit der Wahrnehmung), Kognition (Verarbeitung der wahrgenommenen Informationen) und Ausführung (Reaktion auf wahrgenommene Information) eingeteilt. Wickens (2002) konnte durch Untersuchungen an Dual-Task-Situationen zeigen, dass perzeptive und kognitive Prozesse dieselbe Ressource beanspruchen, während die Ausführung einer Handlung auf andere Ressourcen zurückgreift. Die parallele Ausführung einer perzeptiven und kognitiven Aufgabe, z. B. eine visuelle Überwachungsaufgabe (Perzeption) gekoppelt mit einer mentalen Rotation (Kognition), führt also zu Interferenzen und damit zu hoher psychischer Beanspruchung und gegebenenfalls zu Leistungseinbußen.

Neben den Verarbeitungsstufen unterscheidet Wickens (1984, 2002, 2008) die räumliche und verbale Kodierung von Informationen sowie die Wahrnehmungsmodalitäten visuell und auditiv. Intramodale Dual-Task-Situationen wie das Lesen eines Textes (visuell) während des Autofahrens (hohe visuelle Anforderungen) führen zu Interferenz und damit zu höherer psychischer Beanspruchung als übermodale Situationen wie das Hören eines Textes (auditiv) während des Autofahrens. Analog beeinflusst die Kodierung einer Information die erlebte psychische Beanspruchung: übermodale Informationsverarbeitung führt zu Interferenz, falls die Information in beiden Fällen gleich kodiert ist. So fällt es schwer, Nachrichten zu hören (verbal, auditiv) und gleichzeitig einen Text zu lesen (verbal, visuell).

Zusammenfassend bedeutet dies für die Gestaltung der Experimentalaufgabe, dass die empfundene psychische Beanspruchung einer (Haupt‑) Aufgabe durch Hinzufügen einer oder mehrerer paralleler (Neben‑) Aufgaben gesteigert werden kann. Der Grad der gesteigerten Beanspruchung richtet sich dabei danach, ob die angesprochenen Ressourcendimensionen bei der Kombination miteinander interferieren oder, wie im Falle einer übermodalen Situation mit unterschiedlicher Kodierung, unterschiedliche Ressourcen beanspruchen.

Das Probandenkollektiv umfasste 17 Personen (11 Frauen, 6 Männer) im Alter von 22 bis 42 Jahren (M = 26,5, SD = 4,55) in Studie 1, 8 Personen (3 Frauen, 5 Männer) im Alter von 23 bis 29 Jahren (M = 26,71, SD = 2,85) für Studie 2 und 21 Personen (9 Frauen, 12 Männer) im Alter von 20 bis 30 Jahren (M = 23,6, SD = 2,89) in Studie 3. Alle Stichproben wurden aus freiwilligen Studierenden und Mitarbeitenden des KIT rekrutiert. Die Studien wurden durch die Ethikkommission des KIT genehmigt. Alle Versuchspersonen wurden vorab über den Untersuchungsablauf, ihre Rechte und die Anonymität der Daten informiert. Einverständniserklärungen liegen vor. Es wurde darauf geachtet, dass keine Einschränkungen des Sehvermögens vorlagen bzw. dass geeignete Sehhilfen für die Experimente benutzt wurden.

Die Studien begannen mit der Instruktion der Versuchspersonen. Die Probanden und Probandinnen wurden gebeten, eine Versuchsbeschreibung, eine Datenschutzerklärung und eine Einverständniserklärung zu lesen und zu unterschreiben. Nach Erhebung der versuchsrelevanten demografischen Daten (Geschlecht, Alter, Sehhilfen) und der Beantwortung von Fragen nahmen die Versuchspersonen vor einem Bildschirm Platz, um das Experiment durch Drücken der Leertaste selbständig zu beginnen (vgl. Abb. 3). Bei allen drei Studien wurden die Teilnehmenden angewiesen, eine korrekte Antwort einer möglichst schnellen Antwort vorzuziehen.

Die Erhebung von Studie 1 fand zwischen Juli und August 2020 statt und galt der Evaluierung der Hauptaufgabe ohne Nebenaufgaben (vgl. Abschn. 2). Jede Frequenzstufe wurde zwei Minuten lang anzeigt, gefolgt von 15 s Pause ohne Anzeige weiterer Buchstaben. In diesem Zeitfenster bewerteten die Versuchspersonen ihre subjektiv empfundene psychische Beanspruchung auf einer Skala von 0 bis 150 (RMSE). Das Experiment begann und endete mit einer 60-sekündigen Baseline, während der das Video weiterlief, aber keine Buchstaben angezeigt wurden. Jeder Proband und jede Probandin absolvierte zwei Durchläufe, unterbrochen durch eine kurze Pause. Der erste Durchgang wurde als Übungsphase gewertet. Die gesamte Versuchsdurchführung dauerte 29 min exklusive Anleitung.

Studie 2 lief im September 2020 in Vorbereitung zu Studie 3. Studie 2 erweiterte Studie 1 bei identischer Hauptaufgabe um die Einblendung einer visuellen Nebenaufgabe in Form einer mentalen Rotation im unteren rechten Bildschirm-Quadranten.

Studie 3 fand zwischen Februar und April 2021 statt. In dieser Studie wurde die Versuchsdurchführung um eine Übungsphase ergänzt, in der drei Aufgabenkombinationen separat bearbeitet werden. Die Übungszeit für die Hauptaufgabe und für die visuelle Nebenaufgabe betrug jeweils zwei Minuten. Die Übung zur auditiven Nebenaufgabe bestand aus drei Fragen, die über Kopfhörer präsentiert wurden. Nach der Übungsphase wurden in randomisierter Reihenfolge drei Aufgabenkombinationen präsentiert: HA + visuelle NA, HA + auditive NA, HA + auditive NA + visuelle NA.

Analog den zu Studien 1 und 2 wurde auch jede Stufe der Studie 3 zwei Minuten lang bearbeitet. Nach jeder Stufe hatten die Versuchspersonen 15 s Zeit zur Abgabe ihrer RSME-Bewertung. Zwischen den Aufgabenkombinationen gab es eine kurze Pause, und jede Kombination begann und endete mit einer 60-sekündigen Baseline, während der das Video ohne Anzeige von Haupt- oder Nebenaufgaben weiterlief. Ein Versuch dauerte 46 min exklusive Anleitung.

Um Reihenfolgeeffekte (vgl. z. B. Döring und Bortz 2016) bei der Präsentation der Stufen und der Aufgabenkombinationen zu vermeiden, wurden sowohl die Stufen der Hauptaufgabe (Studie 1, 2 und 3) innerhalb der Aufgabenkombinationen, als auch die Reihenfolge der Kombinationen (Studie 3) randomisiert. Nach der Instruktion der Versuchspersonen sowie der Beantwortung von Fragen, verließ die Versuchsleitung den Raum und verfolgte den Ablauf auf duplizierten Monitoren in einem angrenzenden Laborraum. Damit sollten zum einen das Übertragungsrisiko von Covid-19 Infektionen und zum anderen potenzielle Versuchsleiter-Effekte (z. B. Erwartungs- oder Pygmalion-Effekt, vgl. Städtler 1998) verringert werden.

Die aufgenommenen Daten wurden mit der Software IBM Statistics 26 (IBM 2021) und Matlab 2021a (Mathworks 2021) ausgewertet. Die Studien 1 und 3 erfüllen, falls nicht anders beschrieben, die Anforderungen an parametrische Auswerteverfahren (Field 2013): Intervallskalierung und Normalverteilung der abhängigen Variable. Für messwiederholte (ein- oder zweifaktorielle) ANOVAs wurde zusätzlich auf Sphärizität (vgl. Mauchly 1940) und bei konventionellen ANOVAs auf Varianzhomogenität (Levene’s Test; vgl. Field 2013) geprüft. Sollte die Annahme der Sphärizität verletzt sein, wird eine Greenhouse-Geisser Korrektur angewandt.

Aufgrund von Varianzheterogenität wurde bei der der Analyse der Fehler der Hauptaufgabe (Abschn. 4.2.4) eine Welch-ANOVA anstatt einer konventionellen ANOVA berechnet (Welch 1947).

Bei der Analyse der Fehler der auditiven Nebenaufgabe (Abschn. 4.2.6) wird trotz einer Verletzung der Annahme der Normalverteilung eine messwiederholte ANOVA berechnet. Schminder et al. (2010) untersuchten den Einfluss der Verletzung der Normalverteilungsannahme auf die konventionelle ANOVA und Oberfeld und Franke (2013) auf die messwiederholte ANOVA. Beide Berichte kommen zu dem Schluss, dass die ANOVA robust gegenüber einer Verletzung der Normalverteilungsannahme ist.

Post-Hoc paarweise Vergleiche wurden mit der konservativen Bonferroni-Korrektur durchgeführt. Die Berechnung der Effektstärke erfolgte über das partielle Eta-Quadrat, und einer Bewertung nach Cohen (1988) mit geringen (0,1–0,3), mittleren (0,3–0,5) und stärkeren (>0,5) Effekten. Die Ergebnisse aus Studie 2 wurden auf Grund der geringen Stichprobengröße und ihrer Einstufung als Vorstudie nicht statistisch analysiert.

Tab. 1 zeigt einen Überblick der gemittelten subjektiven Beanspruchung der Studien 1, 2 und 3. Die deskriptiven Daten lassen bereits einen Trend im Hinblick auf die zu überprüfenden Hypothesen (vgl. Abschn. 2) erkennen: Die Erhöhung der Buchstabenfrequenz (Hypothese 1), das Hinzufügen von Nebenaufgaben (Hypothese 2) und deren Kombinationen (Hypothese 3) führen zu einem quasi-monoton steigenden Verlauf der psychischen Beanspruchung (vgl. Abb. 4).

Eine einfaktorielle Varianzanalyse (ANOVA) mit Messwiederholung und Greenhouse-Geisser Korrektur ergab, dass sich die RSME-Bewertung der fünf Stufen in Studie 1 statistisch signifikant mit geringer Effektstärke unterscheiden (F (1,96, 31,35) = 6,092, p = 0,006, partielles η² = 0,276). Mit einem Bonferroni Post-Hoc-Test waren keine signifikanten Unterschiede zwischen den einzelnen Stufen festzustellen.

Eine zweifaktorielle ANOVA mit Messwiederholung mit den Ergebnissen aus Studie 3 zeigte, dass sich die RSME-Bewertung sowohl für die Aufgabenkombinationen mit starkem Effekt (F (2,40) = 54,834, p < 0,001, partielles η² = 0,733), als auch für die Frequenzstufen mit mittlerem Effekt (F (4,80) = 18,265, p < 0,001, partielles η² = 0,477) signifikant unterscheiden. Zwischen den Kombinationen und den Frequenzstufen bestehen geringe Interaktionseffekte (F (8,160) = 2,754, p = 0,007, partielles η² = 0,121).

Die Untersuchung der Interaktionseffekte durch Sichtung der Profildiagramme ergab eine hybride Interaktion. Die Randmittel des Faktors „Aufgabenkombination“ verlaufen mit ähnlichem Trend, ohne Überschneidungen. Die Linienzüge des Faktors „Stufen“ überschneiden sich für die Stufen 4 & 3 und 1 & 2. Daraus folgt, dass der Haupteffekt der Aufgabenkombination uneingeschränkt und der Haupteffekt der Stufen nur unter Vorbehalt interpretiert werden können (vgl. Field 2013). Tab. 2 stellt die Ergebnisse eines Bonferroni-Post-Hoc-Tests der Aufgabenkombinationen dar. Tab. 3 enthält alle signifikanten Ergebnisse der Stufen über die Kombinationen hinweg.

Die Hypothese 1 einer ansteigenden psychischen Belastung bei steigender Aufgabenfrequenz kann teilweise bestätigt werden. Studie 1 ergab keine signifikanten Unterschiede der subjektiven Bewertung über die fünf Frequenzstufen. In Studie 3 konnte ein Unterschied nur dann nachgewiesen werden, wenn mindestens eine Stufe zwischen den Paaren liegt, mit Ausnahme zwischen Stufe 4 und 5. Sowohl in Studie 1 als auch in Studie 3 unterscheiden sich die Reaktionszeiten der Stufen signifikant voneinander. Dabei fällt die Reaktionszeit mit sinkender Buchstabenfrequenz. Dieser Effekt kann teilweise anhand De Waards (1996) n-Förmigen Beanspruchungs-Leistungsverlauf erklärt werden: Zu geringe Beanspruchung einer Versuchsperson (Unterforderung) kann zu Monotonie, Konzentrationsverlust und damit zu Leistungseinbußen führen. Eine höhere Buchstabenfrequenz fördert die Konzentration, erleichtert das Erkennen von Zeit-Mustern (die Buchstaben erscheinen weniger „überraschend“) und führt zur Leistungssteigerung. Die Fehlerrate lässt keine Schlüsse auf Unterschiede zwischen den Stufen zu (vgl. Abschn. 4.2.4). Zusammenfassend lässt sich sagen, dass es Unterschiede zwischen den Stufen gibt, die induzierte psychische Beanspruchung von Stufe 1 bis 5 ansteigt, jedoch keine Unterschiede in aneinander angrenzenden Stufen nachgewiesen werden konnten.

Hypothese 2 einer ansteigenden psychischen Belastung bei hinzukommenden Nebenaufgaben kann durch einen signifikanten Haupteffekt bei dem Vergleich der RSME-Bewertungen aus Studie 3 in Abschn. 4.1 als erfüllt betrachtet werden. Die Analyse der Fehlerraten bestärkt diese Erkenntnis: Wird eine Nebenaufgabe hinzugefügt, steigt die Fehlerrate in der Hauptaufgabe signifikant an (vgl. Abschn. 4.2.4).

Hypothese 3 vermutete die geringste Steigerung der psychischen Belastung durch die auditive Nebenaufgabe, eine höhere durch die visuelle Nebenaufgabe und eine sehr große durch die Kombination von visueller und auditiver Nebenaufgabe. Die Ergebnisse der subjektiven Beanspruchungsbewertung aus Studie 3 zeigen, dass sich die Kombinationen signifikant voneinander unterscheiden. Obwohl in einem Post-Hoc-Test kein signifikanter Unterschied zwischen den Kombinationen HA + visuelle NA und HA + auditive NA festgestellt werden konnte, unterstützen die Mittelwertdifferenzen die erwartete Reihenfolge aus Hypothese 3. Für die Hauptaufgabe erhöht sich die durchschnittliche Reaktionszeit je Kombination erwartungsgemäß in der Reihenfolge HA + auditive NA, HA + visuelle NA bis HA + auditive NA + visuelle NA. Analog steigt die Reaktionszeit der auditiven Nebenaufgabe, wenn zeitgleich die Hauptaufgabe und die visuelle Nebenaufgabe präsentiert werden. Die Analyse der Fehlerraten und Reaktionszeiten konsolidiert diese Einschätzung: mit Ausnahme von Stufe 1 steigen die Fehleranzahl in der Hauptaufgabe und die Reaktionszeit der auditiven Nebenaufgabe wie erwartet an. Die Kombination beider Nebenaufgaben führt dabei zu den meisten Fehlern und zur längsten Reaktionszeit. Zusammenfassend kann Hypothese 3 angenommen werden.

Eine Experimentalaufgabe, die ein breites Beanspruchungsspektrum in Versuchspersonen zuverlässig und reproduzierbar induzieren kann, muss so entwickelt werden, dass sich aufeinanderfolgende Teilaufgaben in der induzierten Beanspruchung signifikant unterscheiden. Ansonsten kann ein physiologisches Messsystem keinen Unterschied detektieren. Aus den Ergebnissen der drei Studien und den Anforderungen, die Belastung gezielt zu variieren und Wiedererkennungseffekte zu minimieren (vgl. Städtler 1998), lassen sich die folgenden drei Bedingungen an die Reihenfolge der Aufgabenkombinationen ableiten:

Daraus ergibt sich die in Abb. 10 dargestellte Teilaufgabenreihenfolge, die schließlich als eine zusammenhängende Experimentalaufgabe mit Übungsdurchgängen für die Haupt- und Nebenaufgaben und mit Zeitfenstern für Baseline-Messungen (relevant für z. B. Herzfrequenzanalysen) in Python (2021) implementiert wurde.

Im Programmablauf erscheint auf dem Computermonitor nach jeder Teilaufgabe (vgl. Abb. 10) ein Fenster, in dem die Versuchspersonen ihre subjektiv empfundene Beanspruchung anhand der RSME bewerten können. Diese Daten lassen sich in Kombination mit physiologischen Prädiktoren als Antwortvariablen für die Modellbildung verwenden (vgl. Abschn. 2). Durch eine solche Datenerhebung werden individuelle Unterschiede zwischen den Personen berücksichtigt. So ist es etwa denkbar, dass eine Person, die Deutsch als Fremdsprache spricht, die auditive Nebenaufgabe aufgrund der höheren kognitiven Beanspruchung durch die Fremdsprache (vgl. z. B. Costa 2020) beanspruchender empfindet als die visuelle Nebenaufgabe. Die entsprechend höhere Bewertung und die korrespondierenden physiologischen Reaktionen werden trotz der Abweichung zum erwarteten Beanspruchungszustand korrekt zugeordnet.

Einschränkungen bei der Interpretation der Ergebnisse sind die geringen Stichprobengrößen (N1 = 17, N2 = 8, N3 = 21) und die Vergleichbarkeit der Studien 1, 2 und 3 untereinander.

Oberfeld und Franke (2013) untersuchten in ihrem Artikel den Einfluss verschiedener Stichprobengrößen (N = 3 bis 100), Faktorstufen (K = 4, 8, 16) und Verteilungsformen (normal, nicht normal) auf den Alpha-Fehler univarianter und multivarianter Testverfahren, unter anderem auch für die hier verwendete messwiederholte ANOVA mit Greenhouse-Geisser Korrektur. Die Autoren zeigten, dass sich der Alpha-Fehler, unter Annahme einer Normalverteilung, ab einer Stichprobengröße von N = 8 bei K = 4 und N = 16 bei K = 16 in dem von Bradley (1978) definierten Intervall für akzeptable Alpha-Fehler-Abweichungen bewegt.

Stiger et al. (1998) untersuchten in ihrem Artikel nicht nur den Einfluss kleinerer Stichproben (N = 20), sondern auch den Effekt einer ordinalskalierten abhängigen Variable auf u. a. messwiederholte ANOVA mit und ohne Greenhouse-Geisser Korrektur. Unter Annahme einer Normalverteilung kommen die Autoren auch hier zu dem Schluss, dass eine messwiederholte ANOVA mit kleineren Stichproben keine übermäßige Abweichung zum erwarteten Alpha-Fehler aufweist.

Aufgrund limitierender Maßnahmen zur Kontaktbeschränkung und längerer Schließungen der Laborräume durch die Corona-Pandemie konnten weniger Versuchspersonen rekrutiert und getestet werden als üblich. Mit N = 17, N = 21 und maximal 2 Faktoren (5 Stufen und 3 Aufgabenkombinationen) wird nach Oberfeld und Franke (2013) und Stiger et al. (1998) keine relevante Beeinträchtigung der ANOVA durch die Stichprobengröße in dieser Arbeit erwartet.

Die Studien 1, 2 und 3 unterscheiden sich nicht im Aufbau der Hauptaufgabe (Frequenzen, Bearbeitungszeit der Kombinationen und Evaluation), fanden jedoch in unterschiedlichen Zeiträumen und mit leicht abweichenden Randbedingungen statt, wie z. B. einer gegenüber den Studien 1 und 2 modifizierten Übungsphase der Studie 3. Aus unserer Sicht ist eine Vergleichbarkeit der 3 Studien grundsätzlich gegeben. Im Zuge der Anwendung der hier entwickelten Experimentalaufgabe in bevorstehenden Experimenten wird die Validität der Ergebnisse fortlaufend weiter überprüft werden.

Trotz der beschriebenen Einschränkungen können die Hypothesen 1 und 3 mit Vorbehalt und die Hypothese 2 vollständig angenommen werden. Durch die strategische Kombination von Frequenzstufen mit Nebenaufgaben unter zusätzlicher Variation ihrer Reihenfolge konnte eine Experimentalaufgabe entwickelt werden, die 20 erhebliche Belastungswechsel mit einem Spektrum von geringer bis sehr hoher Beanspruchung (vgl. Abb. 7) in Versuchspersonen induziert. Aufbauend auf diesen Ergebnissen soll in zukünftigen Studien ein System zur Messung psychischer Beanspruchung durch physiologische Indikatoren entworfen und erprobt werden.