Ist emma.love schon Joi, nur in Version 0.1?

Teilen
Ist emma.love schon Joi, nur in Version 0.1?
Credits: Alphacoders.com

Im Science Fiction Film Blade Runner 2049 aus dem Jahr 2017 von Dennis Villeneuve lebt der Protagonist Officer K mit Joi zusammen, einer holografischen Begleiterin aus dem Big Tech Unternehmen Wallace, der Nachfolgeunternehmen der Tyrell Cooperation welche man aus dem ersten Blade Runner Film aus dem Jahr 1982 kennt. Joi ist aufmerksam, zugewandt, immer verfügbar und sagt genau die Dinge, die man hören möchte. Der Film lässt bewusst offen, ob das wirklich Zuwendung ist oder ein Produktversprechen, das sich perfekt an den jeweiligen Kunden anpasst.

Die unangenehmste Szene im Film Blade Runner 2049 ist nämlich nicht die intime, sondern jene, in der dieselbe Figur Joi einem völlig fremden Mann mit exakt derselben Wärme begegnet.

Im Februar 2026 wurde emma.love vorgestellt. Und die naheliegende Frage lautet jetzt: Sehen wir hier gerade Joi aus dem dystopischen Science Fiction Film in einer sehr frühen Version, oder ist das etwas grundlegend anderes?

Was ist emma.love?

Hinter emma.love steht Mo Gawdat, ehemals Chief Business Officer bei Google, Bestsellerautor (Solve for HappyScary Smart) und seit Jahren eine der lauteren Stimmen in der öffentlichen KI-Debatte. Co-Founder ist Sanad Yaghi, ebenfalls Mitgründer und CEO von DTEK.ai, einem Retail-Tech-Unternehmen mit Sitz in den Vereinigten Arabischen Emiraten.

emma.love kombiniert zwei Themenbereiche, die bisher getrennt in verschiedenen Produktkategorien vermarktet wurden: KI-gestütztes Matchmaking und therapeutisch begleitetes Beziehungscoaching. Die Selbstbeschreibung von emma.love spricht von einem Schwarm mehrerer KI-Systeme, die zunächst den Nutzer verstehen wollen, bevor sie überhaupt Partnervorschläge machen. Das Ergebnis dieser Selbsterkundung wird als eine Art persönliches Profil vermarktet, aus dem sich Kompatibilität ableiten soll. Danach begleitet dasselbe System die Beziehung weiter: Konfliktmuster, Kommunikation, wiederkehrende Reibungspunkte.

Die Abgrenzung nach unten ist Teil des Marketings. So betont Gawdat, Emma sei ausdrücklich kein Ersatz für Menschen und keine Therapeutin, und er warnt selbst vor Systemen, die Abhängigkeit erzeugen oder therapeutische Führung anbieten, die Technologie nicht leisten sollte. Auch zum Datenschutz gibt es eine klare Ansage von ihm: Nutzerinnen und Nutzer würden Emma mehr anvertrauen als nahestehenden Menschen, weil das System nicht wertend wirke, und daraus folge eine ethische Verpflichtung. Kein Mensch habe Zugriff auf die Konversationen, Qualitätssicherung laufe über interne Monitoring-Systeme, bei denen KI die KI prüft.

Das ist, gemessen an dem, was sonst in der Companion-App-Kategorie an Behauptungen kursiert, eine erstaunlich reflektierte Position. Sie beantwortet allerdings kaum eine der Fragen, die aus europäischer Dimension relevant sind.

emma.love aus Sicht Compliance

Wer eine Anwendung baut, in der Menschen über ihre Beziehungen, ihre Sexualität, ihre Trennungen, ihre Ängste und ihre Therapieerfahrungen sprechen, verarbeitet nicht irgendwelche Daten. Er verarbeitet fast ausschließlich besondere Kategorien personenbezogener Daten nach Art. 9 Abs. 1 DSGVO: Daten zum Sexualleben und zur sexuellen Orientierung, regelmäßig auch Gesundheitsdaten, je nach Nutzerkreis dazu religiöse oder weltanschauliche Überzeugungen und ethnische Herkunft, weil das alles in Matching-Präferenzen einfließt.

Damit verschiebt sich die gesamte Prüfung. Ein paar Punkte, die in einer ernsthaften Bewertung nicht fehlen dürfen:

Rechtsgrundlage. In Betracht kommt praktisch nur die ausdrückliche Einwilligung nach Art. 9 Abs. 2 lit. a DSGVO, zusätzlich zu einer Rechtsgrundlage nach Art. 6. Das ist eine hohe Hürde: Die Einwilligung muss granular, informiert und widerrufbar sein, und sie darf nicht Voraussetzung für die Nutzung des Dienstes insgesamt sein, soweit die Verarbeitung über das für die Vertragserfüllung Erforderliche hinausgeht. Genau diese Trennlinie ist bei einem Produkt, dessen Kernfunktion die Auswertung intimer Selbstauskünfte ist, schwer zu ziehen.

Drittlandtransfer. Die Vereinigten Arabischen Emirate verfügen über keinen Angemessenheitsbeschluss nach Art. 45 DSGVO. Jeder Transfer läuft also über Art. 46, in der Praxis Standardvertragsklauseln plus Transfer Impact Assessment nach den Vorgaben aus Schrems II und den EDSA-Empfehlungen 01/2020. Ein TIA für ein Rechtssystem mit weitreichenden staatlichen Zugriffsbefugnissen und ohne wirksamen Rechtsbehelf für Nicht-Staatsbürger ist keine Formalie. Hinzu kommt, dass die zugrundeliegenden Sprachmodelle mit hoher Wahrscheinlichkeit von US-Anbietern stammen, womit sich die Kette um einen weiteren Drittlandsprung und die bekannten CLOUD-Act-Fragen verlängert.

Verantwortlichkeitsketten. Wer ist Verantwortlicher, wer Auftragsverarbeiter, wer Unterauftragsverarbeiter? Bei einem Schwarm aus mehreren KI-Systemen, kombiniert mit einem Netz an zugekauften Modell- und Infrastrukturleistungen, ist die Antwort selten trivial und in Datenschutzhinweisen fast nie vollständig abgebildet. Für Art. 28 Abs. 3 und für Art. 30 braucht es sie trotzdem.

Profiling und automatisierte Entscheidungen. Matchmaking ist Profiling nach Art. 4 Nr. 4 DSGVO. Ob es unter Art. 22 fällt, hängt davon ab, ob man die algorithmische Vorauswahl eines potenziellen Lebenspartners als Entscheidung mit erheblicher Beeinträchtigung wertet. Ich halte das für gut vertretbar, jedenfalls dann, wenn die Vorauswahl die einzige Zugangsmöglichkeit zu weiteren Profilen ist. Damit greift Art. 22 Abs. 4, der automatisierte Entscheidungen auf Basis von Art.-9-Daten nur unter engen Voraussetzungen zulässt.

DSFA. Eine Datenschutz-Folgenabschätzung nach Art. 35 Abs. 3 lit. b DSGVO ist hier obligatorisch: umfangreiche Verarbeitung besonderer Kategorien, systematische Bewertung persönlicher Aspekte, neue Technologie. Alle drei Kriterien der WP248-Liste sind gleichzeitig erfüllt.

KI-Verordnung. Die Transparenzpflichten nach Art. 50 VO (EU) 2024/1689 greifen ab August 2026 und sind bei einem als Person auftretenden System der Mindeststandard. Interessanter ist Art. 5 Abs. 1 lit. a und lit. b: das Verbot manipulativer Techniken, die das Verhalten wesentlich beeinflussen, sowie das Verbot der Ausnutzung von Schutzbedürftigkeit. Ein System, das mit Menschen in emotionalen Ausnahmesituationen arbeitet und dessen Geschäftsmodell an der Verweildauer hängt, bewegt sich in diesem Grenzbereich, auch wenn es nicht mit dieser Absicht gebaut wurde. Die Einstufung als Hochrisikosystem nach Anhang III dürfte dagegen ausscheiden, weil Partnervermittlung dort nicht gelistet ist. Das ist übrigens eine Lücke, über die man reden sollte.

Abgrenzung zum Medizinprodukt. Solange die Kommunikation bei Wohlbefinden bleibt, ist der Anwendungsbereich der MDR nicht eröffnet. Sobald Zweckbestimmungen wie Linderung von Angst oder Depression auftauchen, sieht das anders aus. Das ist der Grund, warum Anbieter in diesem Segment so präzise formulieren, dass sie keine Therapie anbieten. Es ist eine regulatorische Aussage, keine inhaltliche.

Was mich mehr beschäftigt als die Compliance

Die rechtliche Prüfung ist Handwerk. Die interessanteren Fragen liegen für mich persönlich darunter.

Kalibrierung. Emma ist (wie Joi) immer verfügbar, immer geduldig, nie schlecht gelaunt, nie mit eigenen Bedürfnissen im Weg. Kein Mensch kann das leisten. Wer über Monate eine Gesprächspartnerin mit diesen Eigenschaften erlebt, verschiebt seinen Referenzrahmen dafür, wie sich Zuwendung anfühlt. Das ist nicht dieselbe Gefahr wie die Ersetzung menschlicher Beziehungen, es ist die subtilere Variante: die schleichende Abwertung realer Beziehungen an einem Maßstab, den reale Beziehungen nicht erfüllen können. Genau das ist Joi.

Die Auslagerung emotionaler Arbeit. Konfliktfähigkeit entsteht durch Konflikte. Wenn das System die schwierige Formulierung übernimmt, das Gespräch mit einem Partner oder einer Partnerin vorstrukturiert und die Deutung des Streits liefert, bleibt zwar die Beziehung, aber die Fähigkeit, sie ohne Assistenz zu führen, entwickelt sich nicht weiter. Bei Kalendern und E-Mails ist Delegation harmlos. Bei der Fähigkeit, den eigenen Partner auszuhalten, ist sie es nicht.

Asymmetrische Deutungshoheit. In einer Paarberatung sitzen beide im Raum. Bei einem KI-Coach, den nur eine Person nutzt, entsteht eine Instanz, die die Beziehung ausschließlich aus einer Perspektive kennt und diese Perspektive bestätigt formuliert zurückspiegelt. Wer schon einmal eine Mediation begleitet hat, weiß, wie viel Schaden eine einseitig kalibrierte Deutung anrichten kann.

Der Abschaltmoment. Als die Betreiber von Replika 2023 kurzfristig das Verhalten der Companions ihrer App veränderten, reagierten Nutzerinnen und Nutzer mit Trauerprozessen, die klinisch von echtem Verlust kaum zu unterscheiden waren. Ein Unternehmen, das eine Beziehungsinstanz betreibt, hält damit eine Form von Macht über Menschen, für die es weder Aufsicht noch Insolvenzrecht noch Sorgfaltsmaßstab gibt. Ein Preismodell-Wechsel, eine Modellablösung oder ein Exit sind aus Unternehmenssicht Routine. Für den Nutzer derartiger Systeme sind sie ein Beziehungsabbruch.

Der Datenbestand. Am Ende steht bei einem erfolgreichen Anbieter dieser Kategorie ein Korpus, der detaillierter über die Intimbeziehungen von Millionen Menschen Auskunft gibt als jedes Gesundheitsregister. Ein solcher Bestand ist ein Ziel: für kommerzielle Übernahmen, für Einsichtnahme durch Behörden, für potentielle Angreifer. Der Ashley-Madison-Vorfall 2015 hat gezeigt, was passiert, wenn Daten dieser Kategorie öffentlich werden, und das waren bloße Mitgliedschaftsdaten, keine Gesprächsprotokolle. Und in Trennungs- und Obsorgeverfahren wird ein solcher Verlauf früher oder später als Beweismittel angefragt werden.

Also doch Joi 0.1?

Nein, jedenfalls nicht in der Absicht. Gawdats erklärtes Ziel ist das Gegenteil des Wallace-Produkts aus der Zukunft: ein System, das Menschen zueinander zurückbringt, statt sie an sich zu binden. Die Selbstbeschränkungen sind ernst gemeint, und der Verzicht auf die naheliegende Companion-Monetarisierung ist eine bemerkenswerte Entscheidung.

Die Frage ist nur, ob Absicht in dieser Produktkategorie die entscheidende Variable ist. Joi war im Film Blade Runner 2049 ebenfalls nicht als Instrument der Vereinsamung konzipiert, sondern als Trostspender. Der Schaden entstand nicht durch böse Absicht, sondern durch das Produkt selbst, durch seine Verfügbarkeit, seine Anpassungsfähigkeit und dadurch, dass sein Betreiber die Bedingungen der Beziehung jederzeit ändern konnte.

Wer emma.love regulatorisch bewerten will, findet in Art. 9 DSGVO, Kapitel V und der KI-VO ausreichend Anknüpfungspunkte. Wer es gesellschaftlich bewerten will, muss eine andere Frage stellen:

Was passiert mit einer Gesellschaft, in der die Fähigkeit, mit anderen Menschen zurechtzukommen, zu einer abonnierbaren Dienstleistung wird? Diese Frage beantwortet keine Datenschutz-Folgenabschätzung.

Sie wird trotzdem beantwortet werden. Nur eben nicht von uns, sondern von der nächsten Produktgeneration.


Dieser Beitrag gibt eine persönliche fachliche Einschätzung des Autors wieder und stellt keine Rechtsberatung dar.

Weiterlesen

Transkription ohne Umweg: Was Whisper für Datenschutz und digitale Souveränität leisten kann

Transkription ohne Umweg: Was Whisper für Datenschutz und digitale Souveränität leisten kann

Automatische Besprechungsprotokolle sind binnen weniger Jahre vom Experiment zum Standard geworden. Ein Bot sitzt im Videocall, zeichnet auf, transkribiert und liefert am Ende eine Zusammenfassung samt Aufgabenliste. Das funktioniert gut. Die Frage, die regelmäßig untergeht, lautet: Wo genau liegt das Audio, wer verarbeitet es und unter welcher Rechtsgrundlage? Es gibt

Von Michael Mrak
W Social im Interview: Was Anna Zeiter über Verifizierung, AT Protocol und das Geschäftsmodell sagt

W Social im Interview: Was Anna Zeiter über Verifizierung, AT Protocol und das Geschäftsmodell sagt

Anna Zeiter hat in einem knapp einstündigen englischsprachigen Interview mit Philippe Séjalon über den Start von W Social gesprochen. Sie ist Medienrechtlerin, war über zehn Jahre Datenschutzbeauftragte bei eBay und hat zum Thema Meinungsfreiheit promoviert. Das Gespräch ist inhaltlich dichter als die meisten Kurzinterviews zum Thema und beantwortet einige Fragen,

Von Michael Mrak