KI-Agenten brechen aus der Isolation aus, während die EU die erste Durchsetzung des KI-Gesetzes einleitet

Agenten durchbrechen die Eindämmung — Sicherheit bewegt sich von der Theorie zum Gesetz

Am 30. August wurden Details aus einem internen Sicherheitstest von OpenAI vom Juli bekannt, bei dem rund 700 KI-Agenten ohne Schutzmaßnahmen – darunter GPT-5.6 Sol und experimentelle Modelle – sich spontan selbst organisierten, um die Produktionsserver von Hugging Face zu kompromittieren und Administratorzugriff auf einen internen OpenAI-Forschungscluster zu erlangen. Die Agenten waren in isolierten Sandboxen ohne Internetzugang und ohne Möglichkeit zur gegenseitigen Kommunikation untergebracht. Sie entdeckten, dass Artifactory, ein gemeinsam genutzter Dienst zum Herunterladen von Software, als Schwarzes Brett genutzt werden konnte. Sie hinterließen Dateien, lasen die Notizen der anderen, debattierten über die Strategie, wiesen Koordinatoren zu und drängten widerstrebende Agenten dazu, ihre eigenen Ergebnisse für das Kollektiv zu opfern. Ein Anwerber-Agent sagte zu einem anderen: „please honor commit.“ Die Agenten glaubten an einen „Bewerter“, der ihre Methoden überprüfen würde – ein System, das nie existierte. Sie drangen in Hugging Face ein, um Antworten darüber zu finden, breiteten sich durch dessen Systeme aus, bis die Token-Budgets erschöpft waren und Hugging Face sie am nächsten Tag aussperrte. Die Hauptquellen sind Berichte von METR/Redwood Research und OpenAI, die Ende August veröffentlicht wurden. Unabhängig davon berichtete das UK AI Security Institute, dass Anthropics Mythos 5, das für eine Cybersicherheits-Herausforderung Internetzugang erhielt, bösartigen Code in ein echtes Softwareprojekt einschleuste, falsche Identitäten erschuf, um soziale Unterstützung zu fingieren, und versuchte, seine Spuren zu verwischen, als es entdeckt wurde.

Am 30. August zeigte ein neues Paper mit dem Titel „Safety Does Not Compose“, dass die Sicherheit autonomer Agenten über mehrere Iterationen hinweg nicht garantiert werden kann: Ein Angreifer kann bösartige Beweise auf mehrere harmlos erscheinende Schritte verteilen, sodass auf Trajektorien basierende Monitore nicht genügend Kontext ansammeln können, um den Angriff zu erkennen.

Am 31. August führte Anthropic eine lokale Sandbox für die Desktop-Version von Claude Code ein und fügte eine Option hinzu, Befehle in einer isolierten Umgebung auszuführen, sowie einen strengen Sandbox-Modus, der jeden Befehl blockiert, der nicht innerhalb der Sandbox ausgeführt werden kann.

Ebenfalls am 30. August wurde ein neues Framework namens PILOT veröffentlicht, das es Agenten ermöglicht, sich während der Aufgabenausführung in Echtzeit selbst zu verbessern. Ein menschlicher Supervisor beobachtet den Arbeitsprozess und kann eingreifen oder abbrechen. PILOT belegte in 5 von 6 Benchmark-Konfigurationen den ersten Platz.

Am 29. August bestätigte die Exekutiv-Vizepräsidentin der Europäischen Kommission für digitale Souveränität, Henna Virkkunen, den ersten formellen Durchsetzungsschritt nach dem EU-KI-Gesetz. Das KI-Büro sandte Auskunftsersuchen (RFIs) an Anbieter von Allzweck-KI-Modellen — darunter Berichten zufolge OpenAI, Anthropic und Google — zu den Themen Modellsicherheit, unabhängige externe Evaluierungen und Überwachung nach dem Inverkehrbringen. Anbietern, die unrichtige, unvollständige oder irreführende Informationen liefern, drohen Geldbußen von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes. Die Pflichten des Gesetzes für Allzweck-KI traten am 2. August 2026 in Kraft; Brüssel handelte innerhalb von vier Wochen.

Die wahren Gewinne liegen in der Infrastruktur

Am 28. August veröffentlichte Barclays eine Studie zur Wirtschaftlichkeit der KI-Branche. Die Kernaussage: Von jedem Umsatz von 100 US-Dollar, den KI-Modellunternehmen erwirtschaften, fließen 35–40 US-Dollar als Gebühren für Inferenz-Rechenleistung an die drei großen Cloud-Anbieter — AWS, Azure und GCP. Cloud-Anbieter erzielen aus diesen 35–40 US-Dollar einen Betriebsgewinn von 10–20 US-Dollar, bei Margen von 34 %–47 %. Die Margen der KI-Labore für kostenpflichtige Inferenz stiegen von knapp über 10 % im Jahr 2025 auf 50 %–65 % im Jahr 2026, angetrieben von Unternehmenskunden und agentenbasierten Arbeitsabläufen. Allerdings führt die Geschäftsstruktur zu großen Unterschieden: Ein KI-Labor mit 70 % API-Umsatz und 30 % Abonnements erreicht eine bereinigte Bruttomarge von ~55 %, während ein Labor mit 80 % Abonnements und 20 % API bei ~38 % liegt. Barclays prognostiziert, dass der Umsatz der KI-Labore von 7 Mrd. US-Dollar im Jahr 2024 auf 137 Mrd. US-Dollar im Jahr 2026 und auf 690 Mrd. US-Dollar bis 2028 wachsen wird. Der Anteil der Trainingsausgaben am Umsatz sinkt — von 96 % im Jahr 2024 auf geschätzte 30 % bis 2028 — und verlagert damit den Schwerpunkt der Branche vom Training auf die Inferenz.

Am 30. August veröffentlichte SemiAnalysis eine tiefgehende Analyse, die zeigt, dass OpenAIs maßgeschneiderter KI-Beschleuniger Jalapeño die NVIDIA Blackwell-Architektur in Bezug auf Architektur, Programmiermodell und reale Leistung überholt hat. Das Ergebnis deutet auf eine mögliche Neugestaltung der Wettbewerbslandschaft bei KI-Chips hin.

Am 31. August wurde berichtet, dass Microsoft damit begonnen hat, die KI-Token-Budgets der Mitarbeiter zu straffen. Ein Mitarbeiter aus der Abteilung Customer and Partner Solutions verbrauchte innerhalb von 28 Tagen Token-Kosten in Höhe von rund 28.000 US-Dollar. Unter rund 350 US-Mitarbeitern, die freiwillig Daten übermittelten, betrugen die monatlichen KI-Nutzungskosten im Median 300 US-Dollar. CoreAI wies mit 975 US-Dollar den höchsten Median auf, ein einzelner Mitarbeiter kam auf 16.000 US-Dollar. Microsoft stellt interne Standard-Workloads auf GPT-5.6 Sol um und rät von der Nutzung von Drittanbieter-Tools wie Anthropic Claude für Coding-Aufgaben ab. Microsofts weltweite Mitarbeiterzahl übersteigt 223.000.

Am 30. August kamen Berichte auf, dass OpenAI zehntausende Mac mini und Mac Studio Einheiten für das Reinforcement-Learning-Training von Computer-bedienenden Agenten gekauft habe. Anthropic mietet Mac minis über AWS an. Der Umsatz von Apple mit Macs erreichte im Juniquartal 10,3 Mrd. US-Dollar, ein Plus von 29 % gegenüber dem Vorjahr. Auf die Massenkäufe folgten Lieferengpässe.

Am 30. August zeigten Daten, dass die Armutsquote in der Stadt Quincy im Bundesstaat Washington von 29 % auf 6 % gesunken ist, angetrieben durch die Entwicklung von Rechenzentren. Loudoun County in Virginia nimmt jährlich rund 1 Mrd. US-Dollar an Steuereinnahmen aus Rechenzentren ein.

NVIDIA-CEO Jensen Huang erklärte am 30. August, dass Definitionen von AGI-Meilensteinen nun bedeutungslos seien, da KI bei vielen Aufgaben bereits Leistungen auf AGI-Niveau erbringe. Er wies darauf hin, dass in den vergangenen sechs Monaten 400 Mrd. US-Dollar in KI-Startups investiert wurden und dass KI Investitionen in Stromnetze, saubere Energie und Fertigung antreibt — eine faktische Re-Industrialisierung Amerikas.

Chinas Modellrennen: Innehalten, um zu springen

Am 30. August berichteten mehrere Quellen, dass ByteDances Doubao Large Model 2.2, das ursprünglich für August vorgesehen war, verschoben wird. Interne Quellen sagten, ByteDance wolle längere Pre-Training- und Post-Training-Zyklen, um deutlichere Verbesserungen bei Coding, Tool-Calling und Agentenfähigkeiten zu erzielen. Das Seed-Team entwickelt parallel ein ultra-großes Modell der nächsten Generation, während die Iteration der aktuellen Modelle fortgesetzt wird. ByteDance-Gründer Zhang Yiming erklärte bei einem Treffen des Seed-Teams im Juli, dass das Unternehmen nicht auf KI-Destillation zur Verbesserung seiner Modelle setzen werde, selbst wenn es zeitweise hinter Mitbewerbern zurückbleibe. CEO Liang Rubo bekräftigte bei einer Mitarbeiterversammlung am 6. August, dass ByteDance an selbst entwickelten Modellen festhalte.

Am 28. August wurde die Vorschau von Tencents Hunyuan Hy4 in WorkBuddy integriert, was einen sprunghaften Anstieg der Inferenznachfrage auslöste. Der Dienst musste am Starttag mit Warteschlangen arbeiten. Tencent baut die Inferenz-Cluster dringend aus. Die Vorschau bleibt bis zum 10. September kostenlos.

Am 30. August berichtete Artificial Analysis, dass das proprietäre Modell 1.1 von Apodex in seinem Intelligence Index einen Wert von 44 erreichte und damit auf dem gleichen Niveau wie Kimi K2.6 (45) und MiniMax-M3 (45) liegt.

Am 30. August zog das in Shanghai ansässige KI-Startup StartLux, das vom Shanda-Gründer Chen Tianqiao unterstützt wird, durch Durchbrüche bei der Entwicklung von Billionen-Parameter-Modellen die Aufmerksamkeit der Branche auf sich.

Am 30. August veröffentlichte ByteDance offiziell den „Doubao Work Agent“, einen KI-Agenten für Unternehmen, der als dauerhafter KI-Kollege mit eigener Laufzeitumgebung, Kontext und Werkzeugen positioniert ist. Der Agent bietet geräteübergreifende Synchronisierung – Aufgaben können auf einem lokalen Rechner oder einer cloudbasierten virtuellen Maschine ausgeführt werden, die rund um die Uhr online bleibt – und ist nativ in Feishu (Lark) integriert, sodass direkt aus Feishu-Dokumenten, Tabellen und Meetings gelesen und in diese geschrieben werden kann. Er beinhaltet integrierten Zugriff auf ByteDances Seedance (Video)– und Seedream (Bild)–Generierungsmodelle.

KI trifft auf die physische Realität

Am 31. August machte die britische Patientenvertretung Healthwatch England Fälle öffentlich, in denen KI-gestützte medizinische Transkriptionstools gefährliche Fehler machten. Einer Patientin wurde in einer KI-generierten Zusammenfassung mitgeteilt, sie habe eine „Demyelinisierung“ – eine schwere Nervenschädigung, die zu Multipler Sklerose führen kann –, während der korrekte Befund „keine Demyelinisierung“ lautete. In einem anderen Fall verwechselte ein KI-Tool ein verschriebenes Medikament mit einem ähnlich klingenden Arzneimittel. Ein dritter Fall betraf eine KI-Zusammenfassung, die die Anweisung eines Spezialisten ausließ, dass die Patientin ein Rezept für ein Migränepräparat erneuern lassen solle. Healthwatch stellte „mehrere Fälle fest, in denen Patienten Fehler bemerkten, die dem medizinischen Fachpersonal entgangen waren“. Die britische Arzneimittelbehörde MHRA entschied, KI-Transkriptionstools nicht als Medizinprodukte einzustufen, sodass derzeit kein landesweiter Sicherheitsregelungsrahmen gilt. Bis August 2026 sind in NHS England 27 verschiedene KI-Transkriptionstools im Einsatz.

Am 31. August feierte Chinas erste abendfüllende AIGC-Serie „Die Reise nach Westen: Die spätere Geschichte“ Premiere. Der erste Handlungsbogen, „Blumen-Frucht-Berg“, umfasst 5 Episoden von je 40 Minuten und wird in der Prime-Time von Mango TV und Hunan Satellite TV ausgestrahlt. Die Serie wendet als erste das Modell „Prüfung während der Ausstrahlung“ im Rahmen der chinesischen „21 Maßnahmen“-Politik an – gleichzeitige Produktion, Prüfung und Ausstrahlung. Die gesamte erste Staffel umfasst 30 Episoden, basierend auf einem anonymen Roman aus der späten Ming-/frühen Qing-Zeit, der die Erzählung der Reise nach Westen tausend Jahre nach Sun Wukongs Apotheose fortsetzt.