Kognitive Verzerrungen gefährden die IT-Sicherheit – Teil 1 Wir alle sind manipulierbar!

Anbieter zum Thema

Arvato Systems

Fujitsu Technology Solutions GmbH

OutSystems

adesso AG

Kognitive Verzerrungen (cognitive biases) hat jeder Mensch, niemand kann sich davon freisprechen. Das liegt vor allem daran, dass unser Gehirn darauf ausgelegt ist, effizient zu denken und Entscheidungen zu treffen.

Und in der Welt der IT-Sicherheit müssen viele Entscheidungen getroffen werden: Als Mensch, in der Zusammenarbeit, in der Implementierung von Software und insbesondere KI-Lösungen.

Der Kopf denkt mit zwei verschiedenen Systemen. System 1 ist das schnelle System. Durch dieses System können intuitiv schnelle, automatisierte Entscheidungen getroffen werden. Im System 2, das langsame Denksystem, muss intensiver über eine Entscheidung nachgedacht werden und viele Informationen und Faktoren werden wahrgenommen.

System 1 ist schneller und effektiver als System 2. Wie sähe eine Welt aus, in der man jeden Morgen über die Vor- und Nachteile eines morgendlichen Kaffees nachdenken würde. Man wäre ineffizient und langsam. Dabei ist einem nicht bewusst mit welchem System gerade Entscheidungen getroffen werden. Eventuell werden Entscheidungen mit System 1 getroffen, „weil man das schon immer so getan hat“, wegen dem vertrauten Bauchgefühl oder der Intuition. Durch die Schnelligkeit des System 1 wird die Entscheidung nicht hinterfragt und verursacht kognitive Verzerrungen.

Beispiele kognitiver Verzerrungen

Ankereffekt (Anchorring Effect)
Dieser Effekt tritt ein, wenn sich eine Person früh auf eine erste (Anker-) Information in einem Entscheidungsprozess festlegt. Bei Verhandlungen kann dies beispielsweise der Anfangspreis sein.

Attributionsfehler (Correspondence Bias)
Dieser Fehler beschreibt die Zuschreibung bestimmter Charaktereigenschaften, nicht aber situationsbedingten Ursachen für das Handeln von Menschen. Wenn beispielsweise ein 86-jähriger Mensch in einen Autounfall verwickelt ist, kann das Alter als Ursache für den Unfall vermutet werden, unabhängig von anderen äußeren Umständen.

Bestätigungsfehler (Confirmation Bias)
Dieser Bias beschreibt die Neigung, Informationen nach subjektiven Maßstäben zu filtern und zu interpretieren, sodass sie die eigenen Erwartungen, Meinungen und Überzeugungen bestätigen. Informationen, die diesem Standpunkt widersprechen, werden hingegen ausgeblendet.

Straußeneffekt (Ostrich Effekt)
Dieser Effekt beschreibt die Tendenz Situationen zu vermeiden, die als negativ wahrgenommen werden. Die Voreingenommenheit ist nach dem Mythos benannt, dass Strauße ihren Kopf in den Sand stecken, wenn sie Gefahr wittern.

Dunning-Kruger-Effekt (Overconfidence Bias)
Dieser Bias ist eine Form der Selbstüberschätzung. Dabei beschreibt er die Tendenz von wenig kompetenten Menschen, das eigene Können zu überschätzen und die Kompetenz anderer zu unterschätzen. Gleichzeitig unterschätzen kompetente Menschen ihre Fähigkeiten. Beispielsweise glauben die meisten Menschen besser im Auto fahren zu sein als andere.

Verfügbarkeitsheuristik
Nach dieser Heuristik schätzen Menschen die Eintrittswahrscheinlichkeit eines Ereignisses danach, wie oft sie in naher Vergangenheit ähnliche Ereignisse wahrgenommen haben. Je häufiger man auf bestimmte Informationen trifft, desto eher bleiben diese im Gedächtnis.

Framing-Effekt
Dieser Effekt bewirkt, dass unterschiedliche Formulierungen einer gleichen Information das Verhalten unterschiedlich beeinflussen kann. Das Glas kann halb voll oder halb leer sein, die Formulierung begünstigt jedoch eine positive oder negative Sichtweise.

Verzerrungsblindheit (Bias blind spot)
Bei diesem Bias glaubt man, dass Verzerrungen zwar existieren, man selbst aber eine Ausnahme darstellt und objektiv urteilt, gleichzeitig werden bei anderen solche Verhaltenseffekte erkannt.

Wir alle sind manipulierbar

Kognitive Verzerrungen können insbesondere durch Social Engineers ausgenutzt werden. Social Engineering beschreibt eine Technik zum systematischen Manipulieren menschlicher Eigenschaften (kognitiver Verzerrungen), sodass man bereitwillig Aktionen ausführt, die man normalerweise nicht durchführen würde oder dürfte. Dabei kann es sich um die Herausgabe von Informationen, die Installation von Schadsoftware oder das Tür aufhalten in das Firmengebäude handeln.

Ein Werkzeug eines Social Engineers sind Spear-Phishing-E-Mails. Ein Angreifer verschickt eine in den Kontext des Zielobjekts passende E-Mail und hofft, dass die Person die angehängte Datei herunterlädt oder auf den Link in der E-Mail klickt. Bei solchen Phishing-E-Mails kann der Confirmation Bias wirken. Man erwartet eventuell eine ähnliche E-Mail und klickt schnell auf den Link oder die Datei und denkt gar nicht lange nach, ob es eine Phishing-E-Mail hätte sein können oder nicht. Oftmals wird das Verhalten diesbezüglich nicht hinterfragt, weil man denkt, dass man auf eine Phishing-E-Mail niemals hereinfallen würde (Overconfidence Bias), oder auch weil es in der Vergangenheit noch nicht passiert ist (Verfügbarkeitsheuristik) und die Wahrscheinlichkeit dementsprechend unterschätzt wird.

Ein weiteres Beispiel sind DeepFakes. Die Bezeichnung DeepFake ist aus der Verschmelzung der Begriffe Deep Learning und Fake entstanden und bezeichnet mediale Inhalte (Video, Audio, Fotos), die authentisch wirken, aber mit Hilfe von Künstlicher Intelligenz (KI), beziehungsweise Deep Learning, verändert wurden. Ein berühmtes Beispiel dafür ist das DeepFake-Video von Barack Obama, in dem er Trump als Idioten bezeichnet. Der Confirmation Bias könnte bewirken, dass man glaubt Obama hätte diese Aussage getätigt. Wenn nun gezielt Fake News mithilfe solcher Videos verbreitet und nicht hinterfragt werden, können diese Fake News unsere Meinung beeinflussen. Dies kann so weit führen, dass Meinungen radikalisiert werden können.

Jedoch braucht es dafür nicht nur DeepFakes, Fake News oder Social Engineering. Auch heutzutage können unsere Daten verwendet werden, um uns gezielt durch Confirmation Bias und Framing in eine gewollte Richtung zu drängen. Dies geschah bereits durch Cambridge Analytica bei der US-Präsidentschaftswahl 2016, um ein bestimmtes Wahlverhalten zu fördern und bescherte Facebook seinen größten Skandal bis dato.

Doch noch einmal zurück zu den Social Engineers und ihren neuen Möglichkeiten durch den Einsatz von KI. Wenn DeepFakes immer besser werden und in Echtzeit erstellt und verwendet werden können, können sie auch in Online-Meetings-Tools eingesetzt werden. So könnte es sein, dass der Vorstand durchklingelt und schnelle Informationen verlangt. Wieder muss der betroffene Mensch schnell reagieren und eine Entscheidung treffen. Und je glaubhafter die Situation, umso eher besteht die Gefahr, auf den Social Engineer hereinzufallen und seinen Forderungen nachzugehen. Dies kann somit auf die IT-Sicherheit verschiedenster Unternehmen treffen, daher stuft der Lagebericht des BSI und die BaFin Cybercrime Perspektive DeepFakes als ein großes Sicherheitsrisiko für die Zukunft ein.

Im zweiten Teil dieses Artikels wird vermehrt auf die Auswirkung solcher Verzerrungen in der Zusammenarbeit und Implementierung in der Softwareentwicklung eingegangen. Außerdem wird aufgezeigt, was getan werden kann, damit die Wahrnehmungen des Menschen nicht zur Sicherheitslücke werden.

* Der Autor Vivien Schiller ist als Senior Software Engineer bei Adesso tätig. Sie unterstützt Projektteams in der Sicherheit von Webanwendungen und hält Schulungen im Bereich Kryptographie und Security Awareness. Für den Menschen nutzbare IT-Sicherheitslösungen stehen für sie im Fokus, dafür braucht es innovative und kreative Ideen, daher setzt sie sich für mehr Diversität in der Softwareentwicklung ein.

(ID:47850981)