OpenAIs Klassifikator trägt Warnweste, keine Richterrobe. Er kann sensible Inhalte für eine Prüfung priorisieren. Doch sein Ergebnis ist weder ein Beweis noch eine automatische Entscheidung über Rechtswidrigkeit oder Meldepflicht.

Der Fall zeigt eine grundlegende Anforderung an KI-Prozesse: Ein Modellscore ist ein Arbeitsauftrag, kein Urteil.

Zwei Signale statt eines fertigen Befunds

OpenAI veröffentlichte den CSAM Image Classifier am 16. November 2026. Zugelassene beziehungsweise überprüfte Organisationen können ihn nach Genehmigung kostenlos über die OpenAI API nutzen.

Das System stellt mindestens zwei getrennte Risikosignale bereit:

• ein Signal für mögliches CSAM,

• ein Signal für mögliches KI-generiertes CSAM.

Diese Signale schließen einander nicht aus. Ein Bild kann bei beiden hohe Werte erreichen. Trotzdem entsteht daraus noch kein abschließender Befund.

Laut OpenAIs Model Card beweist ein Klassifikator-Score nicht, dass ein Bild tatsächlich CSAM ist. Er liefert auch keine abschließende rechtliche Einordnung und entscheidet nicht automatisch darüber, ob eine Meldung erforderlich ist. Dafür bleibt eine geschulte und entsprechend autorisierte menschliche Prüfung notwendig.

Das Modell sortiert vor, Menschen entscheiden

OpenAI positioniert den Klassifikator als Bestandteil eines mehrschichtigen Systems. Bekannte Inhalte sollen unter anderem über Hash-Matching erkannt werden. Neue, veränderte oder potenziell KI-generierte Inhalte können durch Klassifikatoren priorisiert werden. Hinzu kommen Kontext- und Verhaltenssignale sowie die menschliche Prüfung.

Die entscheidende Funktion des Scores ist damit die Triage: Er hebt die Hand, aber nicht den Hammer. Er zeigt an, wo genauer hingesehen werden sollte, ohne das Ergebnis dieser Prüfung vorwegzunehmen.

Was Unternehmen daraus ableiten können

Die Lektion reicht über die konkrete Missbrauchserkennung hinaus. Auch in Compliance-, Betrugs-, Sicherheits- oder Versicherungsprüfungen kann ein Modell relevante Hinweise liefern, ohne daraus allein eine eindeutige Entscheidung ableiten zu können.

Für solche Prozesse sollten Unternehmen vorab festlegen:

1. Welche Signale welchen Prüfschritt auslösen. Unterschiedliche Scores sind unterschiedliche Hinweise, kein fertiges Urteil.

2. Wer prüfen darf. Prüfende Personen sollten geschult, autorisiert und organisatorisch klar benannt sein.

3. Welche Entscheidungen menschlich freigegeben werden müssen. Sperrungen, Kontomaßnahmen, interne Eskalationen und rechtliche Meldungen sollten nicht allein aus einem Modellwert folgen.

4. Wie Unsicherheit dokumentiert wird. Ein prüfbarer Vorgang umfasst Input, Modellversion, Signale, Schwellenwerte, menschliche Bewertung, Entscheidung und Begründung.

5. Wie Eskalationen funktionieren. Für widersprüchliche Signale, Grenzfälle oder hohe Risiken braucht es klar definierte Zuständigkeiten und eine zweite Prüfinstanz.

6. Wie das System überwacht wird. Fehlalarme und übersehene Fälle müssen getrennt gemessen werden. Ein höherer Anteil markierter Fälle kann zudem zusätzliche Prüfvolumina erzeugen.

Verantwortung bleibt Handarbeit

OpenAI weist auf verbleibende Risiken hin: Fehlalarme, übersehene Inhalte, begrenzte Evaluationsdaten und die Notwendigkeit repräsentativer Tests für den jeweiligen Einsatzkontext.

Die veröffentlichten Angaben belegen deshalb nicht, dass der Klassifikator bei jedem konkreten Unternehmensdatensatz gleich gut funktioniert. Vor einem produktiven Einsatz wären kontextbezogene Tests, eine rechtliche Prüfung, Zugriffskontrollen und ein dokumentierter Human-in-the-loop-Prozess erforderlich.

Die zentrale Frage für Unternehmen lautet daher nicht nur, wie zuverlässig ein Score ist. Ebenso wichtig ist, was danach geschieht:

Welche irreversiblen Entscheidungen löst ein Modellscore heute aus, bevor ein autorisierter Mensch geprüft hat?