X verbieten oder Grok untersagen

Die politischen und rechtlichen Fragen rund um die rechtswidrigen Bikini-Bilder, die Nutzer mithilfe des KI-Sprachmodells Grok auf der Plattform X verbreiten, haben wir am Mittwoch bereits umfangreich analysiert.

In sozialen Netzwerken taucht nun immer öfter die Forderung auf, man solle X in der EU sperren oder die Implementierung von Grok auf X untersagen. Um die Debatte zu versachlichen, fassen wir die rechtlichen Rahmenbedingungen des Digital Services Act (DSA) hier nochmal kompakt zusammen.

Wir erläutern zunächst, wann eine Plattform unter dem DSA gesperrt werden kann (1.). Danach zeigen wir auf, welche Befugnisse die EU-Kommission für einstweilige Maßnahmen hat – etwa um den Dienst Grok einzustellen oder zu verändern (2.). Es folgt ein Blick auf die X-Sperre in Brasilien und das Verbot von Russia Today in der EU (3.). Abschließend ordnen wir die Gesamtsituation nochmal politisch ein (4.).

Der Digital Services Act erlaubt es nur unter bestimmten Voraussetzungen, den Zugang zu einem Dienst als Reaktion auf einen Rechtsverstoß für Nutzer „vorübergehend einzuschränken“. In der digitalpolitischen Debatte spricht man von „Netzsperren“ – die EU-Kommission nennt es auf ihrer Webseite „vorübergehende Aussetzung“.

Einen Dienst vorübergehend einzuschränken, erlaubt Artikel 53 Absatz 3 Buchstabe b) der EU-Verordnung für Digitale Dienste (Digital Services Act). Im Wortlaut:

„ist der Koordinator für digitale Dienste der Auffassung, dass ein Anbieter von Vermittlungsdiensten die in Buchstabe a genannten Anforderungen nicht ausreichend erfüllt hat, dass die Zuwiderhandlung nicht behoben wurde oder anhält und einen schwerwiegenden Schaden verursacht und dass die Zuwiderhandlung eine Straftat darstellt, die das Leben oder die Sicherheit von Personen bedroht, so fordert er die zuständige Justizbehörde seines Mitgliedstaats auf, anzuordnen, dass der Zugang der Nutzer zu dem von der Zuwiderhandlung betroffenen Dienst oder - nur wenn dies technisch nicht möglich ist - zur Online-Schnittstelle des Anbieters von Vermittlungsdiensten, auf der die Zuwiderhandlung erfolgt, vorübergehend eingeschränkt wird.“

Die Vorschrift ist direkt auf die nationalen Aufsichtsbehörden zugeschnitten, die sog. Digital Services Coordinator. In Deutschland ist die Bundesnetzagentur zuständig. Sie kann aber nur gegen kleinere Dienstanbieter mit Sitz in Deutschland vorgehen.

Unsere Arbeit wird über Spenden finanziert. Mit Ihrer Unterstützung können wir noch viel mehr aufklären und einordnen.

Für „sehr große Online-Plattformen“ mit über 45 Millionen monatlich aktiven Nutzern wie X ist allein die EU-Kommission zuständig. Eine Netzsperre gegen Elon Musks Plattform kann deshalb auch nur die EU-Kommission initiieren. Das stellt Art. 82 Abs. 1 DSA klar.

"(1) Wurden alle Befugnisse nach diesem Abschnitt zur Einstellung einer Zuwiderhandlung gegen diese Verordnung ausgeschöpft, aber die Zuwiderhandlung hält an und verursacht einen schwerwiegenden Schaden, der durch die Ausübung anderer Befugnisse nach Unionsrecht oder nationalem Recht nicht vermieden werden kann, kann die Kommission den Koordinator für digitale Dienste am Niederlassungsort des betreffenden Anbieters einer sehr großen Online-Plattform oder einer sehr großen Online-Suchmaschine auffordern, gemäß Artikel 51 Absatz 3 tätig zu werden.
Bevor die Kommission eine solche Aufforderung an den Koordinator für digitale Dienste richtet, gibt sie Beteiligten Gelegenheit, innerhalb einer Frist von mindestens 14 Arbeitstagen schriftlich dazu Stellung zu nehmen, wobei sie die beabsichtigten Maßnahmen beschreibt und den bzw. die Adressaten der Aufforderung nennt."

Für eine Netzsperre als Reaktion auf Verstöße gegen den DSA sieht das Gesetz strenge Voraussetzungen vor. Denkbar ist eine Netzsperre gegen X erst, nachdem die EU-Kommission ein umfangreiches Verfahren vollständig durchlaufen hat („alle Befugnisse zur Einstellung einer Zuwiderhandlung (…) ausgeschöpft“). Ein Gericht wird erst dann eine temporäre Sperre verhängen, wenn der Rechtsverstoß „einen schwerwiegenden Schaden verursacht“ und „eine Straftat darstellt, die das Leben oder die Sicherheit von Personen bedroht“.

Bevor eine Netzsperre überhaupt in Betracht kommt, muss die EU-Kommission typischerweise:

• Informationen anfordern,

• eine formale Untersuchung einleiten,

• einen Verstoß gegen den DSA offiziell feststellen,

• einen Aktionsplan verlangen, um den Verstoß abzustellen,

• Bußgelder verhängen.

Das kann Wochen, Monate oder Jahre dauern. Die Unternehmen werden alle rechtlichen Mittel ausschöpfen, die ihnen zustehen. Falls X dann immer noch nicht einlenkt, könnte die EU-Kommission zusätzlich hohe Zwangsgelder verhängen, um das Unternehmen zu zwingen, die Maßnahmen umzusetzen. Die EU-Kommission muss eine Entscheidung des EuGH über Bußgelder zwar nicht abwarten, bevor sie zu Zwangsgeldern greift – aber sie begibt sich mit jedem Schritt mehr in das Risiko, dass das oberste Gericht sie am Ende zurückpfeift.

Erst nachdem die EU-Kommission all diese Schritte durchlaufen hat, kommt eine (zunächst)  vierwöchige Sperre der Plattform in Betracht.

Die EU-Kommission ist dafür zuständig, die Vorschriften des DSA gegenüber X durchzusetzen. Die „ultima ratio“ einer Netzsperre könnte sie aber nicht selbst anordnen. Sie muss die irische Aufsichtsbehörde auffordern, ein Gericht in Dublin hinzuziehen. Denn X hat seinen Hauptsitz in Dublin. Dass alles über Irland laufen muss ist - im Vergleich zur DS-GVO – eher die Ausnahme. Unter dem DSA können die Nutzenden oft an ihrem Wohnort klagen. Aber Art. 82 DSA zur Netzsperre durch Kommission spricht eindeutig von dem „Koordinator für digitale Dienste am Niederlassungsort“ – was nach Art. 3 Buchstabe n DSA die Behörde am EU-Hauptsitz ist.

Konkret heißt das: Sollte X sich trotz Buß- und Zwangsgeldern weiterhin weigern, europäisches Recht einzuhalten, würde die endgültige Entscheidung, X für (zunächst) vier Wochen zu sperren, ein Gericht in Dublin treffen. Sollte das Gericht die hohen Voraussetzungen nicht als erfüllt ansehen, stünde vermutlich der Rechtsweg bis zum Europäischen Gerichtshof offen. Die Details sind selbst in der juristischen Fachliteratur bislang nicht vollständig durchdekliniert.

Nach unserer vorläufigen Analyse wäre es denkbar, dass das Gericht in Dublin eine Netzsperre trotz Aufforderung durch die EU-Kommission verweigert. Denn die Entscheidung, ob der Verstoß „einen schwerwiegenden Schaden verursacht“ und „eine Straftat darstellt, die das Leben oder die Sicherheit von Personen bedroht“ hat der Gesetzgeber bewusst in die Hand eines Gerichts gelegt. Weil Gerichte in der EU unabhängig agieren und keinen politischen Maximen folgen, ließe sich der Ausgang im Fall der Bikini-Bilder generierenden KI Grok auch am Ende eines langen Durchsetzungsverfahrens nicht sicher vorhersagen. 

Dass die EU-Kommission keine eigene Befugnis hat, einem digitalen Dienst vollständig die Geschäftsgrundlage zu entziehen, hängt mit der Kompetenzverteilung in der EU zusammen. Solch starke Eingriffe können nur die Mitgliedstaaten und ihre Justiz vornehmen – die EU hat keine eigene Staatsgewalt in den Mitgliedstaaten. Im Einklang mit dem Gebot eines effektiven Rechtsschutzes sind betroffene Unternehmen in allen Verfahrensstadien anzuhören. Bei Widerstand gegen gerichtliche Entscheidungen steht der Weg zum Europäischen Gerichtshof offen.

Unterm Strich zeigt sich: Das „normale“ Verfahren bei DSA-Verstößen ist langwierig und kompliziert – selbst wenn die EU-Kommission mit hoher Entschlossenheit vorgeht.

Neben dem normalen Verfahren bei DSA-Verstößen (siehe 1.) kann die EU-Kommission in dringenden Fällen auch ein Eilverfahren beschreiten. Damit könnte sie einzelne Bestandteile eines digitalen Dienstes im Eilverfahren untersagen – etwa die Grok-Integration in die Plattform X.

Genau das fordert etwa die Geschäftsführerin der NGO HateAid, Josephine Ballon. Als Präzedenzfall verweist sie auf die „TikTok Lite Rewards“. Mit dem Mittel der sog. einstweiligen Maßnahme untersagte die EU-Kommission TikTok, eine neue Funktion weiter zu betreiben.

Die Details zu einstweiligen Maßnahmen finden sich in Art. 70 DSA.

"(1) Im Rahmen eines Verfahrens, das zum Erlass eines Beschlusses wegen Nichteinhaltung gemäß Artikel 73 Absatz 1 führen kann, kann die Kommission bei Dringlichkeit aufgrund der Gefahr einer schwerwiegenden Schädigung der Nutzer auf der Grundlage einer prima facie festgestellten Zuwiderhandlung im Wege eines Beschlusses einstweilige Maßnahmen gegen den betreffenden Anbieter einer sehr großen Online-Plattform oder einer sehr großen Online-Suchmaschine anordnen."

Da Grok es erlaubt, Persönlichkeitsrechte einzelner Menschen zu verletzen und geschlechtsspezifische Gewalt zu befördern, wäre es durchaus denkbar, die „Gefahr einer schwerwiegenden Schädigung“ anzunehmen und darin auch auf den ersten Blick einen Verstoß zu sehen – nämlich dagegen, die Risiken der Grok-Implementierung mit mit Blick auf die Grundrechte der Nutzerinnen nicht eingedämmt zu haben“.

Im Fall von TikTok lag es auf der Hand, dass die „sehr große Online-Plattform“ gegen den DSA verstoßen hatte: Sie hatte die „Lite“-Funktion auf den Markt gebracht, ohne überhaupt eine sog. ad-hoc-Risikobewertung angefertigt zu haben – was Art. 34 und 35 DSA zwingend vorschreiben. Eine solche neue Risikobewertung verlangt der DSA, bevor ein Anbieter eine signifikante Neuerung in seine Plattform integriert.

Da die Anreizstruktur der „Rewards“ gerade für Kinder und Jugendliche starke Suchtanreize gefördert hätte, konnte die Kommission die neue Funktion stoppen. Später lenkte TikTok ein und verpflichtete sich, die „TikTok Lite Rewards“ dauerhaft nicht einzuführen.

Wissen, was passiert: Unser Newsletter ordnet einmal die Woche die wichtigsten Themen und Ereignisse ein. Hier geht es zur Anmeldung.

Bislang ist unklar, ob X eine solche ad-hoc-Risikobewertung durchgeführt hat, bevor Grok als KI-Feature in die Plattform eingebaut wurde. Sollte dies nicht der Fall sein, stünde der Kommission relativ klar der Weg offen, einstweilige Maßnahmen anzuordnen.

Eine Sperrung von X wäre dadurch allerdings nicht möglich. Dafür müssten die Voraussetzungen von Art. 82 und Art. 51 Abs. 3 DSA vorliegen. Auch wenn das in der Fachliteratur noch nicht abschließend geklärt ist: Es spricht viel dafür, dass einstweilige Maßnahmen keine temporäre Gesamtsperre umfassen, sondern nur mildere Eingriffe. 

Der DSA legt nicht fest, welche einstweiligen Maßnahmen genau in Betracht kommen. Er bindet die Kommission aber an verhältnismäßiges und zielgerichtetes Handeln. Sie muss also das mildeste Mittel wählen, um den Rechtsverstoß zu unterbinden. Grok komplett von X zu verbannen, könnte ggf. zu weit gehen.

Milder könnte es sein, wenn die Kommission X anweist, dass Grok keine Bilder in sexualisierten Kontexten mehr auf der Plattform generieren und verbreiten darf. Sollte X einer solchen Anweisung widersprechen, kann die EU-Kommission erneut mit Strafzahlungen reagieren.

Mit den einstweiligen Maßnahmen hat die EU-Kommission ein Ass im Ärmel. Wenn X sich sträubt, zu kooperieren oder notwendige Informationen zu übermitteln, kann sie die Karte der einstweiligen Maßnahme ziehen. Wenn X keine Informationen bereitstellt, könnte sie zudem ein Bußgeld von bis zu 1 % des weltweiten Jahresumsatzes verhängen.

Da es zum DSA noch wenig Rechtsprechung gibt und die gesetzlichen Vorgaben sehr abstrakt gehalten sind, lässt sich aber schwer prognostizieren, ob einstweilige Maßnahmen gegen X im Ergebnis rechtlich Erfolg hätten.

Vom 30. August bis 8. Oktober 2024 war X in Brasilien gesperrt. Die Plattform hatte mehrere gerichtliche Anordnungen nicht eingehalten. Es ging darum, bestimmte Konten zu blocken, die mit Desinformationskampagnen, Bedrohungen gegen Sicherheitskräfte und dem Putschversuch vom 8. Januar 2023 in Verbindung standen. Elon Musk kritisierte die Sperre durch Richter Alexandre de Moraes als „Zensur“.

Die Firma Starlink, mit der Musk Internet über Satelliten anbietet, weigerte sich zunächst, die X-Sperre in Brasilien umzusetzen. Dann erweiterte das Gericht seinen Druck: Es ließ Starlink-Anteile einfrieren und verhängte eine tägliche Strafe gegen Musk. Am Ende lenkte X ein und beendete seinen Konfrontationskurs, bei dem er u. a. auch zur Nutzung von VPN aufgerufen hatte. Es kam zu einer Einigung und die Sperre wurde aufgehoben.

Nach Beginn der russischen Invasion der Ukraine wurde in Europa die Ausstrahlung und Verbreitung des russischen Staatssenders „Russia Today“ (RT) eingeschränkt. Zunächst wurde die deutsche Medienaufsicht aktiv. Das Verbot ab dem 1. Februar 2022 begründete die Medienaufsicht damit, dass RT über keine gültige deutsche Sendelizenz nach § 52 Medienstaatsvertrag verfüge; RT berief sich auf eine gültige serbische Lizenz, die Deutschland anerkennen müsse. Anders als bei RT ist X aber kein Rundfunkprogramm und braucht keine Lizenz. Als digitaler Dienst unterliegt X in erster Linie dem DSA.

Ab 1. März gab es dann eine Rechtsgrundlage auf EU-Ebene. Durch eine neue Sanktionsverordnung untersagte die EU, Inhalte von Russia Today und Sputnik über alle Kanäle (Satellit, Kabel, Internet, Apps, Plattformen) zu verbreiten. Die deutsche Bundesnetzagentur blockte entsprechende Internetdomains, setzte alle Lizenzen zur Übertragung aus und verbot die Unterstützung von RT-Aktivitäten in Deutschland. RT wehrt sich dagegen vor Gerichten – bislang erfolglos.

Auch wenn einige Stimmen im Netz das fordern: Elon Musk steht auf keiner Sanktionsliste der EU und das Sanktionsrecht betrifft seine Dienste nicht.

Der DSA stammt aus einer Zeit, in der man in der EU noch davon ausging, dass gerade die großen Plattformen grundsätzlich ein intrinsisches Interesse haben, sich weitgehend an Regeln zu halten. Man setzte darauf, dass öffentlicher Druck wirkt: Wer Recht und Gesetz ignoriert, riskiert Imageschäden – und die würden sich am Ende auch geschäftlich rächen.

Der DSA sieht daher ein abgestuftes Verfahren vor, um Verstöße von Plattformen zu ahnden. Erst ganz am Ende einer langen Kette von Verfahrensschritten kommt als allerletztes Mittel in Betracht, eine Plattform vorübergehend in der Europäischen Union zu sperren. Im Fall von Groks Bikini-Bildern steht die EU-Kommission noch ganz am Anfang des langwierigen Verfahrens. Als einstweilige Maßnahmen könnte Brüssel X jedoch vorgeben, bestimmte Funktionen einzustellen oder zu modifizeren.

Auf den Fall, dass ein durchgeknallter Tech-Milliardär mit Allmachtsphantasien und Rückendeckung der US-Regierung die Legitimität rechtsstaatlicher Verfahren in Frage stellt und mit seiner Online-Plattform aktiv herausfordert, war die EU bislang nicht vorbereitet. Das Instrumentarium des DSA gibt es aber her, mit einstweiligen Maßnahmen und Strafzahlungen früh Druck aufzubauen.

Dass die Durchsetzung von EU-Gesetzen oft Jahre dauert und dann zu Bußgeldern führt, die Big Tech aus der Portokasse zahlt, ist nicht in Stein gemeißelt. Jetzt gilt es zu beweisen, dass die EU ihre Digitalgesetze schnell und konsequent durchsetzen – trotz Druck aus den USA.

Statt sich auf ein Katz-und-Maus-Spiel einzulassen, sollte die EU ihre Möglichkeiten konsequent ausspielen. Wenn es Elon Musk auf die Spitze treibt, kann die EU-Kommission ihr Blatt bis hin zu einer Verbannung vom europäischen Markt ausspielen. In Brasilien ist X am Ende auch eingeknickt. Und die EU ist nicht allein darin, Grok in seine Schranken zu weisen.

All das gibt Hoffnung, dass der Rechtsstaat auch in Ausnahmesituationen am längeren Hebel sitzt.