Der StichtagThe deadline

Am 2. August 2026 greifen die Pflichten für Hochrisiko-KI-Systeme nach Anhang III der Verordnung (EU) 2024/1689 — darunter KI in der Personalauswahl, in der Kreditwürdigkeitsprüfung und in sicherheitskritischen Anwendungen. Der Bundestag hat am 11. Juni 2026 das nationale Durchführungsgesetz beschlossen. Die Bundesnetzagentur wird zentrale Marktüberwachungsbehörde und erhält ein Koordinierungs- und Kompetenzzentrum. Der Bußgeldrahmen der Verordnung reicht bis 35 Mio. € oder 7 % des weltweiten Jahresumsatzes. On 2 August 2026 the obligations for high-risk AI systems under Annex III of Regulation (EU) 2024/1689 take effect — covering, among others, AI in recruitment, in creditworthiness assessment and in safety-critical applications. On 11 June 2026 the German Bundestag passed the national implementing act. The Federal Network Agency becomes the central market surveillance authority and gains a coordination and competence centre. The Regulation's penalties reach up to €35m or 7% of global annual turnover.

Damit ist der Rahmen gesetzt. Die interessantere Frage ist, was er nicht erfasst. The framework is set. The more interesting question is what it does not capture.

Warum jetzt: der Bruch von 2020Why now: the 2020 break

Die Idee ist alt. 1943 beschreiben McCulloch und Pitts das künstliche Neuron, das ab einer bestimmten Reizschwelle feuert. 1938 stellt Konrad Zuse die Z1 fertig, 1941 folgt die programmgesteuerte Z3. 1956 prägt das Dartmouth-Projekt den Begriff „artificial intelligence“. Danach: fünf Jahrzehnte, in denen sich im Wesentlichen die Rechenleistung vervielfacht — nach Moore, samt Energiebedarf. The idea is old. In 1943 McCulloch and Pitts describe the artificial neuron that fires above a given threshold. In 1938 Konrad Zuse completes the Z1; the program-controlled Z3 follows in 1941. In 1956 the Dartmouth project coins the term “artificial intelligence”. Then follow five decades in which, essentially, computing power multiplies — per Moore, energy consumption included.

Der Bruch kommt 2020. Kaplan, McCandlish und Kollegen zeigen in „Scaling Laws for Neural Language Models“, dass die Leistung großer Sprachmodelle über mehrere Größenordnungen vorhersagbar mit Rechenleistung, Datenmenge und Modellgröße skaliert. Verkürzt: bigger is better. The break comes in 2020. Kaplan, McCandlish and colleagues show in “Scaling Laws for Neural Language Models” that the performance of large language models scales predictably, across several orders of magnitude, with compute, data and model size. In short: bigger is better.

Entscheidend ist nicht ein konzeptioneller Durchbruch — den gab es nicht. Entscheidend ist, dass Fähigkeitszuwächse seither im Kern eine Funktion von Kapital sind. Und Kapital lässt sich schneller mobilisieren als institutionelle Anpassung. Genau hier liegt das Governance-Problem. Nicht die Technologie eilt der Regulierung davon, sondern ihre Fähigkeitskurve der Klassifikationskurve. What matters is not a conceptual breakthrough — there wasn't one. What matters is that capability gains have since become, at their core, a function of capital. And capital mobilises faster than institutions adapt. That is precisely where the governance problem sits. It is not that the technology outruns regulation; it is that its capability curve outruns the classification curve.

Der KonstruktionsfehlerThe design flaw

Die KI-Verordnung ordnet Anwendungen vier Risikoklassen zu: inakzeptabel, hoch, begrenzt, minimal. Das ist ein Klassifikationsverfahren. Es funktioniert unter einer Bedingung — dass die relevanten Risiken zum Zeitpunkt der Einordnung bekannt sind. Bei KI ist diese Bedingung systematisch verletzt. The AI Act assigns applications to four risk classes: unacceptable, high, limited, minimal. This is a classification procedure. It works under one condition — that the relevant risks are known at the moment of classification. With AI, that condition is systematically violated.

Das ist kein Vorwurf an den Gesetzgeber, sondern eine Eigenschaft des Gegenstands. Der Unterschied zwischen Risiko (bekannte Verteilung) und Ungewissheit (unbekannte Verteilung) ist seit Knight ein ökonomischer Gemeinplatz. Ex-ante-Klassifikation adressiert das Erste. Emergente Fähigkeiten, Zweckentfremdung, Wechselwirkungen zwischen Modellen und Kaskadeneffekte in verketteten Systemen sind das Zweite. This is not a reproach to the legislator; it is a property of the subject matter. The distinction between risk (known distribution) and uncertainty (unknown distribution) has been an economic commonplace since Knight. Ex-ante classification addresses the former. Emergent capabilities, repurposing, model interactions and cascade effects in chained systems are the latter.

Drei Ebenen, die man auseinanderhalten sollteThree levels worth keeping apart

Die Regeln für KI entstehen nicht im luftleeren Raum. Die Digitalindustrie gibt inzwischen rund 151 Mio. € jährlich für EU-Lobbyarbeit aus — ein Plus von 33,6 % gegenüber 2023 und der höchste je gemessene Wert eines Sektors in Brüssel. 890 Vollzeit-Lobbyisten arbeiten für die Branche. Das Europäische Parlament hat 720 Abgeordnete. The rules for AI do not emerge in a vacuum. The digital industry now spends roughly €151m a year lobbying the EU — up 33.6% on 2023, and the highest figure ever recorded for any sector in Brussels. 890 full-time lobbyists work for the industry. The European Parliament has 720 members.

Dazu kommt der Drehtüreffekt. Tabakovic und Wollmann zeigen am Beispiel des US-Patentamts, dass Prüfer, die anschließend zu den von ihnen geprüften Unternehmen wechseln, diesen Unternehmen zuvor systematisch großzügigere Ansprüche zubilligen. Regulatory Capture ist danach keine Verschwörung, sondern ein Anreizproblem — und damit ein strukturelles, kein moralisches. Then there is the revolving door. Using the US Patent Office as their case, Tabakovic and Wollmann show that examiners who subsequently move to the firms they reviewed had granted those firms systematically more generous claims beforehand. On that evidence, regulatory capture is not a conspiracy but an incentive problem — structural rather than moral.

Für Unternehmen ist das kein politisches Randthema, sondern eine Kalibrierungsfrage: Der regulatorische Rahmen, an dem Sie Ihre Compliance ausrichten, ist selbst ein Verhandlungsergebnis unter asymmetrischer Verhandlungsmacht. Er ist die Untergrenze, nicht der Maßstab. For companies this is not a political footnote but a calibration question. The regulatory framework against which you align your compliance is itself a negotiated outcome under asymmetric bargaining power. It is the floor, not the benchmark.

Algorithmischer Bias, Makro-Ebene. Trainingsdaten sind überproportional WEIRD (Western, Educated, Industrialized, Rich, Democratic). Modelle reproduzieren die Normalitätsannahmen einer Minderheit der Weltbevölkerung als Default — unabhängig davon, wo sie eingesetzt werden. Mikro-Ebene: Predictive Policing, Bewerberauswahl, Kreditscoring. Der Bias ist selten programmiert. Er ist gelernt — und deshalb schwer zu widerlegen, weil das System keine Begründung liefert, sondern eine Korrelation. Algorithmic bias, macro level. Training data is disproportionately WEIRD (Western, Educated, Industrialized, Rich, Democratic). Models reproduce the default assumptions of a minority of the world's population — regardless of where they are deployed. Micro level: predictive policing, recruitment screening, credit scoring. The bias is rarely programmed. It is learned — and therefore hard to refute, because the system offers not a justification but a correlation.

Verhaltensmanipulation. Cambridge Analytica griff rund 87 Millionen Facebook-Profile ab und nutzte sie für politisches Microtargeting, unter anderem im US-Wahlkampf 2016 und beim Brexit-Referendum. Facebook zahlte 2019 fünf Milliarden Dollar an die US-Handelsbehörde FTC. Laut späteren Investorenklagen war die Höhe der Zahlung bewusst so bemessen, dass der Gründer persönlich aus der Haftung fiel. Das ist keine Technologiefrage. Das ist eine Governance-Frage. Behavioural manipulation. Cambridge Analytica harvested roughly 87 million Facebook profiles and used them for political microtargeting, including in the 2016 US election and the Brexit referendum. Facebook paid five billion dollars to the FTC in 2019. According to later investor litigation, the size of that payment was deliberately calibrated so that the founder escaped personal liability. That is not a technology question. It is a governance question.

Blackbox. Wo Entscheidungen nicht rekonstruierbar sind, ist Rechenschaftspflicht eine Fiktion — in Behörden wie in Unternehmen. The black box. Where decisions cannot be reconstructed, accountability is a fiction — in public authorities as much as in companies.

Vendor-Abhängigkeit, Modell-Lock-in, unklare Verantwortlichkeiten, fehlende Meldewege für Beschäftigte, die etwas bemerken. Dieser Teil taucht in keiner Risikoklasse der Verordnung auf. Er entscheidet trotzdem darüber, ob ein Unternehmen ein aufkommendes Problem in Wochen bemerkt oder in Jahren. Vendor dependency, model lock-in, unclear ownership, absent reporting channels for employees who notice something. None of this appears in any risk class of the Regulation. It nonetheless determines whether a company spots an emerging problem in weeks or in years.

Zwei Fallen, die in der Praxis regelmäßig zuschnappenTwo traps that regularly spring shut

Falle 1: AI-Washing in der Compliance-FunktionTrap 1: AI-washing in the compliance function

Ein Tool wird eingeführt, ein Dashboard leuchtet, ein Zertifikat wird erworben — und die Organisation hält das für Kontrolle. Tatsächlich ist ein erheblicher Teil dessen, was als „KI-gestützte Compliance“ verkauft wird, ein Regelwerk mit Sprachmodell-Oberfläche. Der Effekt ist nicht neutral, sondern negativ: Sichtbare Kontrolle verdrängt die Frage nach der tatsächlichen. Ein Kontrollversprechen, das nicht eingelöst wird, ist schlechter als gar keines — weil es die Suche beendet. A tool is introduced, a dashboard lights up, a certificate is acquired — and the organisation mistakes this for control. In reality, a considerable share of what is sold as “AI-powered compliance” is a rulebook with a language-model interface. The effect is not neutral but negative: visible control displaces the question of actual control. A control promise that is not honoured is worse than none — because it ends the search.

Falle 2: Lückenlose Prüfung erzeugt Überwachung — und Überwachung zerstört das FrühwarnsystemTrap 2: Total auditing produces surveillance — and surveillance destroys the early-warning system

KI macht die Vollprüfung erstmals realistisch: jede Transaktion, jede Nachricht, jede Kommunikation, in Echtzeit. Das ist verlockend, und es ist gefährlich. Eine Organisation, in der alles geprüft wird, ist eine Organisation, in der niemand mehr spricht. Der Chilling Effect ist hier keine Nebenwirkung — er ist der Kern des Problems. AI makes exhaustive auditing realistic for the first time: every transaction, every message, every communication, in real time. It is tempting, and it is dangerous. An organisation in which everything is monitored is an organisation in which nobody speaks. Here the chilling effect is not a side effect — it is the heart of the problem.

Was bleibt: die sprechfähige OrganisationWhat remains: the organisation that can speak

Wenn Risiken ex ante nicht vollständig bekannt sind, kann keine Klassifikation sie erfassen. Was bleibt, ist die Fähigkeit, sie früh zu bemerken. Und das heißt konkret: die Fähigkeit von Menschen in der Organisation, ein ungutes Signal auszusprechen, bevor es ein Vorfall ist. If risks are not fully known ex ante, no classification can capture them. What remains is the ability to notice them early — which means, concretely, the ability of people inside the organisation to voice an uneasy signal before it becomes an incident.

Der Fall Frances Haugen ist der Lehrfall. Meta hatte die Informationen. Interne Studien zu den Effekten von Instagram auf Jugendliche, interne Warnungen zu Hassrede in Myanmar — all das lag im Unternehmen vor. Das Problem war nicht fehlendes Wissen. Das Problem war, dass dieses Wissen den Weg nach oben nicht fand und die Organisation es absorbierte, bis eine einzelne Managerin tausende Dokumente kopierte und vor dem US-Senat aussagte. The Frances Haugen case is the teaching case. Meta had the information. Internal research on Instagram's effects on adolescents, internal warnings about hate speech in Myanmar — all of it existed inside the company. The problem was not missing knowledge. The problem was that this knowledge never made it upward, and the organisation absorbed it, until a single manager copied thousands of documents and testified before the US Senate.

Das ist kein Compliance-Versagen. Das ist ein Versagen organisationaler Sprechfähigkeit — genau das, was Amy Edmondson als fehlende psychologische Sicherheit beschreibt. Und anders als die Technologie ist das reparierbar. Damit schließt sich der Kreis zu Falle 2: Wer maximale Überwachung installiert, um Risiken zu kontrollieren, zerstört die einzige Instanz, die unbekannte Risiken überhaupt entdecken kann. That is not a compliance failure. It is a failure of organisational voice — precisely what Amy Edmondson describes as absent psychological safety. And unlike the technology, it is repairable. Which closes the loop with Trap 2: install maximum surveillance in order to control risk, and you destroy the only instance capable of discovering unknown risk at all.

Was das praktisch heißtWhat this means in practice

1. Compliance und Risiko trennen.Separate compliance from risk. Zwei Register, nicht eines. Der KI-Verordnungs-Status ist eine Pflicht. Die systemische Risikolandkarte ist eine Führungsaufgabe. Sie überlappen sich, aber sie sind nicht dasselbe. Two registers, not one. AI Act status is an obligation. The systemic risk map is a leadership task. They overlap; they are not the same thing.
2. Horizon Scanning institutionalisieren.Institutionalise horizon scanning. Ein leichtgewichtiger, wiederkehrender Prozess, der neue technologische Entwicklungen auf Relevanz für Geschäftsmodell, Kontrollen und Reputation prüft. Quartalsweise, dokumentiert, mit benanntem Owner. A lightweight, recurring process that tests new technological developments for relevance to the business model, the controls and the reputation. Quarterly, documented, with a named owner.
3. Dynamische statt statischer Kontrollen.Dynamic controls, not static ones. Eine Richtlinie, die einmal jährlich aktualisiert wird, verfällt bei einer Technologie mit Halbjahres-Zyklen. Kontrollen gehören an Ereignisse gekoppelt — Modellwechsel, neuer Use Case, neue Datenquelle — nicht an den Kalender. A policy updated once a year decays against a technology moving in six-month cycles. Controls belong tied to events — model change, new use case, new data source — not to the calendar.
4. Meldewege, die funktionieren; Überwachung, die begrenzt ist.Reporting channels that work; surveillance that is bounded. Der Trade-off ist real und muss bewusst entschieden werden. Wer beides maximiert, bekommt keines von beidem. The trade-off is real and must be decided deliberately. Maximise both and you get neither.
5. Bias testen, nicht behaupten.Test for bias; don't assert its absence. Für jedes System mit Personenbezug: definierte Testfälle, dokumentierte Ergebnisse, benannter Verantwortlicher. For every system touching individuals: defined test cases, documented results, a named owner.
6. Nebenbedingungen explizit machen.Make the constraints explicit. Ein Blatt, drei Spalten: harte Grenze, angenommene Grenze, Gewohnheit. Wer das einmal ausfüllt, findet in der Regel beides — Spielraum, den niemand genutzt hat, und Grenzen, die niemand geprüft hat. One sheet, three columns: hard limit, assumed limit, habit. Fill it in once and you typically find both — room nobody used, and limits nobody ever tested.
7. Abhängigkeiten kartieren.Map your dependencies. Welche Modelle, welche Anbieter, welche Ausweichoption? Konzentrationsrisiko ist ein klassisches Beteiligungsrisiko. Hier trägt es nur einen anderen Namen. Which models, which vendors, which fallback? Concentration risk is a classic portfolio risk. Here it simply goes by a different name.

Der Rahmen als NebenbedingungThe framework as a constraint

Es lohnt, die Perspektive einmal zu drehen. Die KI-Verordnung wird meist als Gegner der Innovation gelesen — oder als deren Preis. Beides unterstellt, dass Regeln und Fortschritt in Konkurrenz stehen. In der Optimierung ist das Verhältnis umgekehrt: Nebenbedingungen sind kein Hindernis für die Lösung, sie sind ihre Voraussetzung. Ein unbeschränktes Problem hat kein Optimum, sondern nur Beliebigkeit. It is worth turning the perspective around. The AI Act is usually read as an opponent of innovation — or as its price. Both readings assume that rules and progress compete. In optimisation the relationship is the reverse: constraints are not an obstacle to the solution, they are its precondition. An unconstrained problem has no optimum, only arbitrariness.

Praktisch heißt das: Behandeln Sie die Verordnung als eine Menge von Nebenbedingungen unter anderen — neben Kapitalkosten, Kapazität, Vertragslage und Reputation. Schreiben Sie sie auf, unterscheiden Sie harte Grenzen von angenommenen, und rechnen Sie den Raum aus, der übrig bleibt. Was dann sichtbar wird, ist meist weiter, als die Organisation glaubt — und an anderen Stellen viel enger. Beides ist teuer, wenn man es nicht weiß. In practice: treat the Regulation as one set of constraints among others — alongside cost of capital, capacity, contractual position and reputation. Write them down, separate hard limits from assumed ones, and compute the space that remains. What becomes visible is usually wider than the organisation believes — and, in other places, far narrower. Both are expensive to discover late.

Der Lehrfall dafür stammt aus der Raumfahrt. Die Landung einer Raketenstufe ist ein Optimierungsproblem unter harten, nicht verhandelbaren Grenzen: Treibstoff, Schubbereich, Anflugkorridor, ein Versuch. Gelöst wurde es nicht dadurch, dass man die Grenzen gelockert hat, sondern dadurch, dass man sie exakt formuliert und das Problem in eine berechenbare Form gebracht hat. Wir haben diesen Fall als Constraint-Demo aufbereitet, weil er die Methode in dreißig Sekunden vermittelt, wofür Governance-Präsentationen dreißig Folien brauchen. The teaching case comes from spaceflight. Landing a rocket stage is an optimisation problem under hard, non-negotiable limits: fuel, thrust envelope, approach corridor, one attempt. It was not solved by loosening the constraints but by stating them precisely and casting the problem into a computable form. We have built that case as a constraint demo, because it conveys in thirty seconds what governance presentations need thirty slides for.

Der Vorbehalt aus diesem Beitrag bleibt bestehen und wird durch die Methode nicht kleiner: Ein Optimum ist nur so gut wie die Menge der Nebenbedingungen, die man kennt. Genau deshalb gehören Horizon Scanning und Sprechfähigkeit dazu — sie sind der Prozess, mit dem eine Organisation ihre Nebenbedingungen aktualisiert, bevor die Realität es für sie tut. The caveat of this article stands, and the method does not shrink it: an optimum is only as good as the set of constraints you know about. That is exactly why horizon scanning and organisational voice belong to it — they are the process by which an organisation updates its constraints before reality does it for them.

Ein Wort zu den ganz großen RisikenA word on the very large risks

Die Debatte über existenzielle KI-Risiken — Superintelligenz, Kontrollverlust — hat einen berechtigten Kern und eine problematische Funktion. Der Kern: Tail Risks mit sehr geringer Eintrittswahrscheinlichkeit und sehr hohem Schaden gehören in jedes ernsthafte Risikoportfolio. Man ignoriert sie nicht, nur weil sie unwahrscheinlich sind. The debate about existential AI risk — superintelligence, loss of control — has a legitimate core and a problematic function. The core: tail risks with very low probability and very high severity belong in any serious risk portfolio. You do not ignore them merely because they are improbable.

Die problematische Funktion: Der Fokus auf ferne Katastrophen liefert eine bequeme Ablenkung von den Problemen, die heute schon messbar sind — Marktmacht, Diskriminierung, Intransparenz, Datenverwertung. Das Oxforder Future of Humanity Institute, jahrelang das intellektuelle Zentrum dieser Debatte, wurde 2024 geschlossen; sein Umfeld hatte sich zunehmend von den Fragen entfernt, die in der Gegenwart entschieden werden. Beides gehört ins Portfolio. Keines ersetzt das andere. The problematic function: a focus on distant catastrophe offers a convenient distraction from the problems already measurable today — market power, discrimination, opacity, data exploitation. Oxford's Future of Humanity Institute, for years the intellectual centre of that debate, closed in 2024; its surroundings had drifted ever further from the questions being decided in the present. Both belong in the portfolio. Neither substitutes for the other.

FazitConclusion

Die KI-Verordnung ist ein notwendiger Rahmen und ein brauchbarer Ausgangspunkt. Sie ist keine Risikostrategie. Ein risikobasierter Ansatz braucht bekannte Risiken — und die zentrale Eigenschaft dieser Technologie ist, dass sie welche produziert, die noch niemand klassifiziert hat. The AI Act is a necessary framework and a workable starting point. It is not a risk strategy. A risk-based approach requires known risks — and the defining property of this technology is that it produces ones nobody has classified yet.

Was dagegen hilft, ist unspektakulär: eine ehrliche Risikolandkarte, ein Screening-Prozess, der neue Entwicklungen früh sichtbar macht, Kontrollen, die sich mit dem Gegenstand mitbewegen — und eine Organisation, in der Menschen aussprechen, was sie sehen. What helps is unspectacular: an honest risk map, a screening process that surfaces new developments early, controls that move with their subject — and an organisation in which people say what they see.