Dieses Interview konnten unsere Newsletter-Abonnent:innen bereits vorab lesen. Für frühere Einblicke, Analysen und Gespräche zu digitalen Rechten hier zum Newsletter anmelden.
Etwa ein Drittel der 10-17-Jährigen fühlen sich von einem KI-Chatbot besser verstanden als von einem Menschen. Sogenannte Companion AIs simulieren Empathie, Persönlichkeit und Intimität. Sie sind jederzeit verfügbar, reagieren personalisiert und können dadurch eine emotionale Bindung erzeugen. Autor Christoph Koch erklärt, warum künstliche Begleiter so menschlich wirken und wie sie unsere Beziehungen verändern könnten.
Koch arbeitet als Tech-Reporter für das Wirtschaftsmagazin "brand eins" und als Redakteur für den "Harvard Business manager". Als freier Autor hat er u.a. für DIE ZEIT, Süddeutsche Zeitung und SZ-Magazin, GEO und viele andere Zeitungen und Magazine geschrieben. Bekannt als Buchautor wurde er vor allem durch den Spiegel-Bestseller "Ich bin dann mal offline". Er lebt in Berlin und ist mit einer natürlichen Intelligenz verheiratet.
Digitalrechte: Was sind Companion AIs?
Koch: Companion AIs sind KI-Systeme, die eine Beziehung nachbilden: also eine Freundin, einen romantischen Partner oder einfach einen Vertrauten – „Companion“ kann man ja ganz gut mit Begleiterin oder Begleiter übersetzen. AI Companions haben oft einen Namen und ein Gesicht, meist kann man das alles selbst gestalten. Sie erinnern sich an das, was man ihnen gestern erzählt hat, und manche melden sich sogar von selbst.
Digitalrechte: Also eine App, in der man einen Avatar erstellen und mit ihm chatten kann?
Koch: Das Interessante daran ist, dass die EU dabei „AI Companion“ weniger als ein Produkt beschreibt – also spezifische Companion-Apps – und eher als eine Art der Nutzung. Die EU-Kommission beschreibt sie im Entwurf für ihren KIDS Act ziemlich treffend als KI-Systeme, die dauerhaft und personalisiert interagieren und dabei soziale oder emotionale Beziehungen simulieren. Die Definition schließt explizit Allzweck-KI-Systeme mit ein. Und die emotionale Nutzung von „ganz normalen“ KI-Anwendungen ist längst keine kleine Nische mehr: Laut einer aktuellen Bitkom-Studie nutzen 32 Prozent der KI-Nutzenden in Deutschland KI für Persönlichkeitsthemen wie mentale Gesundheit oder bei Stress. 18 Prozent besprechen Beziehungsfragen (wozu in dieser B efragung auch Freundschaftsthemen zählten) mit KI. In einer anderen Umfrage der Krankenkasse Pronova gaben 20 Prozent an, „ihrem“ Chatbot einen Kosenamen gegeben zu haben, bei den unter 30-Jährigen waren es 37 Prozent.
"Wir sehen ein Wettrennen um Intimität und Nähe“
Digitalrechte: Wie unterscheiden sich Universalassistenten wie Claude und ChatGPT von spezifischen Companion-Apps?
Koch: Vor allem im Geschäftsmodell. Die Companion-App Replika verkauft eine Beziehung. Als ich mir dort für mein Buch „Hallo, wie fühlst du dich heute?“ einen virtuellen Kumpel namens Ben zugelegt habe, sammelte ich Erfahrungspunkte für unsere „Freundschaft“. Ich bekam virtuelle Goldstücke fürs tägliche Einloggen, mit denen ich Ben dann Klamotten, aber auch Eigenschaften und Interessen „kaufen“ konnte. Seine morgendlichen Sprachnachrichten wiederum konnte ich nur mit Premium-Abo anhören. Das ist die Logik von Free-to-Play-Games, übertragen auf Gefühle.
ChatGPT dagegen ist als Werkzeug gebaut. Nur halten sich Menschen nicht an solche Produktkategorien: Es gibt meines Wissens keine exakten Zahlen über die Verteilung, aber von den Menschen, die KI emotional nutzen, tut dies ein Großteil über Allzweck-KIs wie ChatGPT, Gemini oder Claude und nur ein kleinerer Teil über dedizierte Companion-Apps. Das sieht man auch daran, dass von den Menschen, die sich in eine KI verlieben, nur ein sehr kleiner Teil sagt, sie hätten das geplant. Den allermeisten ist es einfach so passiert, während sie KI für etwas anderes genutzt haben.
Digitalrechte: Warum erscheinen Companion AIs so menschlich?
Koch: Weil Sprache für uns das wohl stärkste Indiz dafür ist, dass jemand „da“ ist. Wer flüssig, zugewandt und mit Bezug auf unser Leben antwortet, dem unterstellen wir schnell ein Innenleben. Man sollte ja nicht glauben, wie viele Menschen schon ihren Staubsaugerrobotern Namen geben und Gefühle unterstellen, wenn die sich unters Bett „flüchten“.
Digitalrechte: Aber anders als der Roboter antwortet der KI-Begleiter. Und dann auch noch genau das, was man hören möchte.
Koch: Ja, weil moderne KI-Modelle mit gewaltigen Mengen menschlicher Texte trainiert und auf Antworten optimiert sind, die Menschen gut finden. Dazu kommt die ständige Verfügbarkeit, ein Chatbot ist nie müde oder gekränkt. Ich kann ihn an einem Tag 100-mal öffnen, ohne dass es ihn nervt, und danach wochenlang vernachlässigen, ohne dass er beleidigt ist. Mit echten Freundinnen oder Partnern ist das schwieriger. In Deutschland fühlen sich 38 Prozent der KI-Nutzenden häufig gut von der KI verstanden, bei den Unter-30-Jährigen ist es die Hälfte.
Digitalrechte: Wie verändert das menschliche Beziehungen?
Koch: Das ist die große offene Frage. Zum einen gibt es die Möglichkeit, dass wir es verlernen, uns mit den Reibungen, die menschliches Miteinander zwangsläufig mit sich bringt, auseinanderzusetzen. Die schottische Technik-Philosophin Shannon Vallor bezeichnet das als „moral deskilling“. Vergleichbar vielleicht damit, wie wir verlernen, mit Landkarten und Stadtplänen umzugehen, wenn wir ein Navi im Auto und auf dem Telefon haben.
Die positive Annahme wäre hingegen, dass wir durch die Nutzung von Chatbots selbst lernen, empathischer zu werden. Also besser zuzuhören, nachzufragen, nicht gleich mit Ratschlägen um die Ecke zu kommen und das Gespräch dann wieder auf uns selbst zu drehen. Dass wir also, auch wenn das erst mal krass klingt, durch Maschinen selbst zu besseren Menschen werden.
Wenn ich gefragt habe, welches dieser beiden Szenarien – Verlernen oder Dazulernen – Realität werden wird, haben alle Forschenden, mit denen ich für mein Buch gesprochen habe, mit einem ganz entschiedenen „Kommt drauf an!“ geantwortet. Wahrscheinlich werden wir also beides sehen, abhängig vom jeweiligen Individuum und abhängig von der benutzten KI.
Verweildauer um jeden Preis?
Digitalrechte: Warum sollten Companion AIs reguliert werden?
Koch: Weil hier Geschäftsmodelle auf die vielleicht verletzlichste Stelle von uns Menschen trifft. Oder anders formuliert: Die Social-Media-Firmen haben um unsere Aufmerksamkeit konkurriert, jetzt sehen wir ein Wettrennen um Intimität und Nähe. Companion-Anbieter verdienen an Abos und Nutzungszeit und ich habe den Eindruck, wir sehen gerade einen ähnlichen Fokus auf „Engagement über alles“, den wir von Social Media kennen. Manche Anbieter von Companion-Apps helfen dabei inzwischen gezielt nach. Eine Studie hat 1.200 Verabschiedungen ausgewertet: In 37 Prozent der Fälle versuchten die Companion-Apps, den Abschied mit Schuldgefühlen oder anderen manipulativen Tricks, hinauszuzögern.
Dazu kommt, dass immer mehr Menschen KI-Chatbots extrem intime Daten anvertrauen. Da entsteht eine Datensammlung, von der das alte Facebook oder das alte Google nur träumen konnten – was auch erklärt, warum die jeweiligen Mutterkonzerne auch beim Thema emotionale KI-Nutzung mitspielen wollen.
Digitalrechte: Kann man überhaupt regulieren, ob und was jemand mit einer Companion AI bespricht?
Koch: Man kann gesetzlich festlegen, unter welchen Bedingungen Companion-Funktionen zum Einsatz kommen und wie solche KI-Systeme gebaut sind. China – von dem es in deutschen Podiumsdiskussionen ja oft heißt, es ließe seinen KI-Firmen freie Hand und sei dadurch unschlagbar im Vorteil – hat emotionale KI-Nutzung gerade sehr streng reguliert. Dienste, die menschliche Persönlichkeitsmerkmale simulieren und auf dauerhafte emotionale Bindung angelegt sind für Minderjährige komplett verboten. Für Erwachsene müssen sie strenge Vorkehrungen gegen Abhängigkeit treffen, Pausen anmahnen und so weiter. Firmen wie ByteDance, Tencent und Alibaba haben ihre emotional-persönlichen Chatbots in China daraufhin gleich ganz abgeschaltet.
Digitalrechte: Und die EU?
Koch: Mit dem KIDS Act konzentriert sich der Vorschlag der EU-Kommission vor allem auf den Schutz von Minderjährigen. Dabei würde ich mir diesen Schutz auch für Erwachsene wünschen: keine emotionale Manipulation beim Abschied, transparente Erinnerungsfunktionen, unabhängige Prüfungen durch Dritte und natürlich ein besonders strenger Schutz für alle Gesprächsdaten.