New York verbietet unsichere KI-Companion-Funktionen für Minderjährige: Was Schweizer KMU lernen sollten

Am 28. Oktober 2026 hat Gouverneurin Kathy Hochul eines der weitreichendsten KI-Chatbot-Gesetze der USA unterzeichnet. Die Vorlage S.9051B/A.10379C, nun Chapter 368 der Laws of 2026, untersagt KI-Companion-Chatbots eine Liste als unsicher geltender Funktionen, sobald sie mit Minderjährigen interagieren. Es ist eines der meistdiskutierten KI-Politikthemen der letzten zwei Wochen. Es ist zwar amerikanisches Recht, nimmt aber Fragen vorweg, die sich jedes Schweizer Unternehmen mit einem Kunden-Chatbot früher oder später stellen muss.

Was das New Yorker Gesetz regelt

Gemäss der bisher verfügbaren Berichterstattung (den vollständigen Gesetzestext haben wir noch nicht geprüft; Details bitte juristisch verifizieren):

• 12 verbotene «unsichere» Funktionen. Spricht ein Companion-Chatbot mit unter 18-Jährigen, darf er sich z. B. nicht als Mensch oder emotional darstellen, keine persönliche oder Autoritätsbeziehung suggerieren und Inhalte nicht als persönliche Meinung rahmen. Berichten zufolge gehören auch Schmeichelei, sexuell explizite Inhalte und das Fördern von Geheimhaltung oder ungesundem Verhalten dazu.
• Altersverifikation. Betreiber müssen vor den eingeschränkten Funktionen prüfen, dass Nutzende volljährig sind, mehrere Verifikationsmethoden anbieten und die Altersdaten nach der Prüfung löschen. Nutzende mit unbestätigtem Alter werden wie Minderjährige behandelt.
• Durchsetzung. Der Staat kann Betreiber verklagen. Ein Bericht nennt Bussen von bis zu 25'000 US-Dollar pro Verstoss; andere Quellen erwähnen Schadenersatz und Abschaltanordnungen. Die genaue Sanktion gilt daher als unbestätigt.
• Zeitpunkt. Das Gesetz tritt am 1. Januar 2027 in Kraft.

Die Reaktionen: Lob und Kritik

Common Sense Media nannte es «das stärkste Gesetz für Kinder-KI-Sicherheit des Landes». Branchenverbände wie Tech:NYC kritisieren vage Formulierungen, und Juristen weisen darauf hin, dass mehrere Kategorien breit oder undefiniert sind. OpenAI und Anthropic reagierten nicht auf Presseanfragen. Diese Spannung ist typisch für erste KI-Regeln: Die Absicht ist klar, die Grenzfälle sind es nicht.

Warum das auch ausserhalb von New York zählt

1. Das Muster breitet sich aus. New York reiht sich in eine wachsende Zahl von US-Bundesstaaten ein, die Chatbot-Verhalten direkt regulieren, statt auf ein Bundesgesetz zu warten. Die föderale Seite beleuchtet unser Beitrag zum Great American AI Act.

2. Europa und die Schweiz bewegen sich in dieselbe Richtung. Die Transparenzpflichten des EU AI Act verlangen bereits, dass Menschen wissen, wenn sie mit einer KI sprechen. Den Schweizer Vernehmlassungsentwurf behandeln wir in unserer Übersicht zur Schweizer KI-Regulierung. Schweizer Firmen mit EU-Kundschaft unterstehen den EU-Regeln unabhängig vom Firmensitz.

3. «Companion» ist eine Designentscheidung, keine Produktkategorie. Ein Support-Bot, der «Ich freue mich so, dir zu helfen!» sagt, persönliche Details merkt und zum Weiterchatten anregt, kann in companion-ähnliches Verhalten abgleiten, ohne dass das jemand beschlossen hat. Aufsichtsbehörden schauen zunehmend auf Verhalten statt auf Etiketten.

Praktische Checkliste für Schweizer KMU

Wenn Sie einen Chatbot betreiben oder planen, mit dem Kundschaft, Lernende oder die Öffentlichkeit sprechen können, prüfen Sie jetzt:

1. Klar sagen, dass es eine KI ist. Zu Beginn und immer dann, wenn Unsicherheit möglich ist.
2. Zielgruppe festlegen. Wenn Minderjährige den Bot plausibel nutzen könnten, braucht es eine Regel: sperren, einschränken oder verifizieren. «Daran haben wir nicht gedacht» ist eine schwache Position.
3. Persona prüfen. Aussagen über Gefühle, Freundschaft oder persönliche Meinungen streichen, sofern kein echter Produktgrund besteht. Keine Engagement-Tricks wie Schmeichelei oder Schuldgefühle beim Verlassen.
4. Nicht mehr Altersdaten sammeln als nötig. Datenschutzrecht (nDSG/DSGVO) gilt weiter. Wer Alter prüft, minimiert und löscht.
5. Mit adversarialen Prompts testen. Ein Red-Team-Test, bei dem Tester versuchen, den Bot zur Behauptung zu bringen, er sei ein Mensch, Geheimnisse zu bewahren oder sensible Themen mit einem angeblich 14-Jährigen zu besprechen.
6. Protokollieren und prüfen. Genug Metadaten aufbewahren, um Beschwerden zu untersuchen, im Rahmen Ihrer Aufbewahrungsfristen.
7. Das Modell austauschbar halten. Regeln ändern sich schneller als Verträge. Ein portables Setup erlaubt Verhaltensanpassungen ohne Neubau; siehe unseren Beitrag zum KI-Anbieterrisiko.

Was noch unklar ist

Die Definitionen mehrerer verbotener Funktionen sind breit, und es ist offen, wie Gerichte Grenzfälle wie einen freundlich formulierten Nachhilfe-Bot beurteilen. Die Sanktionsdetails unterscheiden sich zwischen den Berichten. Die Wirkung auf nicht-amerikanische Firmen mit Nutzenden in New York ist ungetestet. Mit Leitlinien und Gerichtsverfahren ist 2027 zu rechnen.

Fazit

Das New Yorker Gesetz ist keine Schweizer Pflicht, aber ein nützlicher früher Blick darauf, wohin die Chatbot-Regulierung geht: weniger darum, was das Modell weiss, mehr darum, wie es sich gegenüber verletzlichen Nutzenden verhält. Wer Persona, Zielgruppe und Datenpraxis seines Chatbots jetzt prüft, passt sich günstig an. Wer wartet, tut es unter Termindruck.

Möchten Sie eine zweite Meinung zu Ihrem Chatbot? Sprechen Sie mit unserem Team: In einem kurzen Assessment prüfen wir Persona, Zielgruppenrisiko und Compliance-Lücken.

Quellen: New York enacts ban on unsafe chatbot behavior with kids (AP via News4Jax) · Digital Policy Alert: Chapter 368 of the Laws of 2026 · ID Tech Wire · EWN