EU-KI-Verordnung

Menschliche Aufsicht nach EU-KI-Verordnung, direkt in Ihrem Agenten

Die KI-Verordnung verlangt, dass eine Person ein Hochrisikosystem wirksam beaufsichtigen kann und dass festgehalten wird, was passiert ist. Das meiste davon ist eine Produktfrage: Wie erreichen Sie die richtige Person, und wie bewahren Sie den Nachweis auf? Diese Seite trennt, was Sie bauen können, von dem, wofür Sie Rechtsberatung brauchen.

Was verlangt die EU-KI-Verordnung zur menschlichen Aufsicht?

Artikel 14 der Verordnung (EU) 2024/1689 verlangt, dass Hochrisiko-KI-Systeme so gestaltet sind, dass natürliche Personen sie wirksam beaufsichtigen und eingreifen oder den Betrieb unterbrechen können. Artikel 12 verlangt die automatische Aufzeichnung von Ereignissen über die Lebensdauer des Systems. Pushary übernimmt den praktischen Teil. Es erreicht eine benannte Person, und Ihr Agent wartet auf deren Entscheidung. Kommt keine Antwort, wird die Aktion nicht ausgeführt. Jede Entscheidung wird gespeichert.

Die Verordnung im Original: Verordnung (EU) 2024/1689 auf EUR-Lex sowie die Änderung, die die Fristen verschoben hat: Verordnung (EU) 2026/1744.

Artikel für Artikel

Was der Text verlangt und welcher Teil sich bauen lässt

Artikel 14

Menschliche Aufsicht

Hochrisikosysteme müssen so entwickelt werden, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Dazu gehört, die Fähigkeiten und Grenzen des Systems zu verstehen und den Automatisierungsbias im Blick zu behalten. Dazu gehört auch, die Ausgabe richtig zu deuten und entscheiden zu können, die Ausgabe nicht zu verwenden oder den Betrieb zu unterbrechen.

Unterbrechen wird zu einem Aufruf, auf den Ihr Agent wartet. Pushary hält den Lauf an und schickt einer benannten Person eine kurze, klare Frage auf das Gerät, das sie bei sich trägt. Dann gibt Pushary ihre Wahl zurück. Übersteuern ist eine der Antworten, die sie wählen kann, genau wie Annehmen.

Artikel 12

Aufzeichnungspflichten

Hochrisikosysteme müssen die automatische Aufzeichnung von Ereignissen über ihre Lebensdauer technisch ermöglichen, in einem Umfang, der dem Zweck des Systems angemessen ist.

Pushary speichert jede Entscheidung: die Frage so, wie die Person sie gesehen hat, die gewählte Option, wer geantwortet hat und den Zeitpunkt. Pushary bewahrt jede Entscheidung für das Verlaufsfenster Ihres Tarifs auf (90 Tage bei Partner Launch, 365 bei Partner Growth). Sie können sie abfragen und exportieren. Mit einer Callback-URL geht jede Antwort außerdem als signierter Webhook an Ihren eigenen Server, damit Sie eine eigene Kopie haben.

Artikel 26

Pflichten der Betreiber

Betreiber von Hochrisikosystemen müssen die menschliche Aufsicht natürlichen Personen übertragen, die die erforderliche Kompetenz, Schulung und Befugnis haben, und dafür sorgen, dass diese Personen die nötige Unterstützung erhalten.

Jede Frage geht über die ID, die Sie ohnehin für diese Person führen, an einen bestimmten Menschen und nicht an einen gemeinsamen Kanal. Sollen zwei Personen dieselbe Aktion freigeben, sind das zwei getrennte Aufrufe und zwei gespeicherte Entscheidungen, jede ihrer eigenen Person zugeordnet.

Artikel 50

Transparenz

Anbieter müssen dafür sorgen, dass Menschen erfahren, wenn sie mit einem KI-System interagieren, sofern das nicht ohnehin offensichtlich ist. Sie müssen außerdem dafür sorgen, dass synthetische Audio-, Bild-, Video- und Textausgaben maschinenlesbar gekennzeichnet werden. Betreiber müssen Deepfakes offenlegen. Sie müssen auch KI-erzeugten Text offenlegen, der zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlicht wird, sofern nicht eine Person die redaktionelle Verantwortung dafür trägt. Diese Pflichten gelten seit August 2026 und gelten unabhängig von den Hochrisiko-Pflichten.

Das löst Pushary nicht, und das sagen wir lieber offen. Die Kennzeichnung Ihrer eigenen Modellausgaben gehört zu dem System, das sie erzeugt. Pushary setzt beim Freigabeschritt an, und das ist eine andere Pflicht. Der Unterschied ist wichtig: Die Transparenzpflichten gelten bereits, ein großer Teil des Hochrisiko-Zeitplans noch nicht.

Anhang III

Hochrisiko-Anwendungsfälle

Der Anhang listet die als hochriskant eingestuften Anwendungsfälle auf. Dazu gehören Beschäftigung, wesentliche private und öffentliche Dienstleistungen, Kreditwürdigkeit sowie Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung.

Ob Ihr Produkt in den Anwendungsbereich fällt, ist eine rechtliche Frage zu Ihrem Anwendungsfall und keine technische. Klären Sie sie, bevor irgendetwas anderes auf dieser Seite für Sie wichtig wird.

Was diese Seite nicht ist

  • Das ist keine Rechtsberatung, und Pushary macht niemanden konform. Menschliche Aufsicht entsteht dadurch, wie Sie Ihr System gestalten und betreiben. Ein Werkzeug kann einen Teil des Mechanismus liefern. Die Pflicht bleibt bei Ihnen.
  • Der Zeitplan hat sich verschoben. Die Verordnung (EU) 2026/1744, der Digital-Omnibus zur KI, gilt seit dem 27. Juli 2026. Sie verschiebt die Pflichten für eigenständige Hochrisikosysteme nach Anhang III auf den 2. Dezember 2027 und die für KI in regulierten Produkten auf den 2. August 2028. Die Transparenzpflichten nach Artikel 50 wurden wie ursprünglich geplant im August 2026 wirksam. Fristen haben sich einmal verschoben und können sich wieder verschieben. Prüfen Sie den aktuellen Stand daher auf EUR-Lex oder mit Ihrer Rechtsberatung und nicht anhand eines Datums auf einer Anbieterseite.
  • Pushary ist DSGVO-orientiert und selbst bewertet. Es gibt keine ISO-Zertifizierung, keinen SOC-2-Bericht und keine Konformitätsbewertung nach KI-Verordnung, und wir behaupten das auch nicht.

Der Aufsichtsschritt im Code

Übersteuern ist eine normale Antwort, die die Person wählen kann. Reagiert niemand, ist das Ergebnis ein Nein, und nichts wird stillschweigend ausgeführt.

server.ts
import { createPusharyServer } from "@pushary/server"

const px = createPusharyServer({ apiKey: process.env.PUSHARY_API_KEY! })

// Der Aufsichtsschritt: eine benannte natürliche Person, keine Rolle, keine Warteschlange.
const decision = await px.decisions.ask({
  externalId: reviewer.id,
  type: "select",
  question: `Fall ${caseRef}: System schlägt ${proposal} vor. ${topReason}`,
  options: ["Annehmen", "Übersteuern", "Weitergeben"],
})

// Keine Antwort in der Frist ergibt approved: false. Dann läuft nichts weiter.
if (!decision.approved) return holdForReview(caseRef)
if (decision.value === "Übersteuern") return recordOverride(caseRef, decision)
if (decision.value !== "Annehmen") return referUpward(caseRef, decision)

// Die gespeicherte Entscheidung ist der Nachweis: wer hat was gesehen, was gewählt, wann.
return applyProposal(caseRef, proposal)

Häufige Fragen

Welche Teile der KI-Verordnung gelten aktuell?
Die meisten Verbote nach Artikel 5 und die Pflicht zur KI-Kompetenz nach Artikel 4 gelten seit Februar 2025, die Transparenzpflichten nach Artikel 50 seit August 2026. Die Verordnung (EU) 2026/1744 hat die Pflichten für eigenständige Hochrisikosysteme nach Anhang III auf den 2. Dezember 2027 verschoben, die für KI in regulierten Produkten auf den 2. August 2028. Für die meisten Anhang-III-Systeme sind die Pflichten zu Aufsicht und Protokollierung auf dieser Seite also noch nicht anwendbar. Das spricht dafür, den Mechanismus zu bauen, bevor er verlangt wird. Ein Grund zur Eile ist es nicht.
Sind wir mit Pushary konform?
Nein. Wer Ihnen das verspricht, verkauft Ihnen etwas. Konformität hängt von Ihrer Einstufung, Ihrem Risikomanagement, Ihrer Dokumentation, Ihrer Konformitätsbewertung und dem tatsächlichen Betrieb des Systems ab. Pushary liefert einen Mechanismus für das Eingreifen und den Ereignisnachweis. Die Pflicht bleibt bei Ihnen.
Reicht eine Nachricht in Slack als Aufsichtsschritt?
Das ist eine Frage für Ihre Rechtsberatung. Das praktische Problem lässt sich leichter beschreiben. Eine Chat-Nachricht wird zugestellt, ob die richtige Person sie liest oder nicht. Das System hat keine Antwort, auf die es warten kann, und wenn niemand antwortet, wird nichts gestoppt. Wenn der Sinn der Aufsicht darin besteht, dass eine Person wirksam eingreifen kann, ist ein Aufsichtsschritt, den niemand erhalten hat, im Nachhinein schwer nachzuweisen.
Was wird gespeichert, und wo?
Standardmäßig speichert Pushary die Entscheidung und das zugehörige Regel-Ereignis: den Fragetext, den Sie geschrieben haben, die Antwort, die Person und den Zeitpunkt. Pushary speichert kein Protokoll der internen Abläufe Ihres Systems und keine Kopie Ihrer Daten. Halten Sie sensible Inhalte in Ihrer eigenen Umgebung, und übergeben Sie in der Frage eine Referenz und eine kurze Zusammenfassung.
Kann die freigebende Person das System übersteuern?
Ja, und für einen Aufsichtsschritt ist das meist die nützlichere Form. Verwenden Sie den Typ select mit einer Option zum Übersteuern. Die gewählte Option wird als Antwort gespeichert, sodass der Eintrag Übersteuern lautet und nicht Ablehnung. Artikel 14 spricht davon, die Ausgabe nicht zu verwenden, und genau das ist dieser Unterschied.
Funktioniert das auch für ein Produkt, das von außerhalb der EU verkauft wird?
Der Mechanismus schon. Er findet die Person über Ihre eigene Nutzer-ID und erreicht das Gerät, das sie bei sich trägt. Ob die Verordnung auf Sie als Anbieter oder Betreiber anwendbar ist, der ein System auf dem EU-Markt bereitstellt, ist eine rechtliche Frage. Klären Sie sie früh und nicht spät.

Den Aufsichtsschritt bauen, den Nachweis behalten.

Ein Aufruf erreicht eine benannte Person und wartet auf sie. Ohne Antwort passiert nichts, und jede Entscheidung wird gespeichert. Was das für Ihre Pflichten bedeutet, klären Sie mit Ihrer Rechtsberatung. Das hier ist der Teil, den Sie ausliefern können.

Kostenlos starten