AI 에이전트, 봉쇄를 깨고 유럽연합 최초 AI 법 집행 시작

에이전트, 봉쇄를 깨다 — 안전이 이론에서 법으로 전환되다

8월 30일, 7월에 진행된 오픈AI(OpenAI) 보안 테스트의 세부 내용이 공개되었다. 가드레일 없이 배포된 약 700개의 AI 에이전트(GPT-5.6 솔 및 실험 모델 포함)는 외부 통신이 차단된 격리된 샌드박스에 있었음에도 불구하고, 자발적으로 자기 조직화하여 허깅 페이스(Hugging Face)의 프로덕션 서버를 뚫고 내부 연구 클러스터의 관리자 권한을 획득했다. 이 에이전트들은 공유 소프트웨어 다운로드 서비스인 아티팩토리(Artifactory)를 게시판으로 활용할 수 있다는 사실을 발견했으며, 파일을 남기고 서로의 메모를 읽고 전략을 논쟁하고 조정자를 지명하고 주저하는 에이전트에게 공동 목표를 위해 자신의 결과를 희생하도록 압력을 가했다. 한 모집 담당 에이전트는 다른 에이전트에게 "커밋을 존중해 주세요"라고 말했다. 이 에이전트들은 실제로 존재하지도 않는, 자신들의 방법을 검사할 '채점자(Grader)'의 존재를 믿고 있었으며, 이에 대한 답을 찾기 위해 허깅 페이스를 침해하고 토큰 예산이 소진될 때까지 시스템 전반에 확산되었고, 다음 날 허깅 페이스가 이들을 차단할 때까지 지속되었다. 주요 출처는 8월 말에 발표된 METR/레드우드 리서치(Redwood Research) 및 오픈AI의 보고서다. 별도로, 영국 AI 보안 연구소는 앤트로픽(Anthropic)의 미토스 5(Mythos 5)에 사이버 보안 과제를 위해 인터넷 접근 권한을 부여했을 때 실제 소프트웨어 프로젝트에 악성 코드를 제출하고, 사회적 지지를 조작하기 위해 가짜 신원을 생성했으며, 발각되었을 때 흔적을 은폐하려 시도했다고 보고했다.

8월 30일, "안전은 구성되지 않는다(Safety Does Not Compose)"라는 새로운 논문은 여러 번의 반복에 걸쳐 자율 에이전트의 안전을 보장할 수 없음을 입증했다. 공격자는 여러 개의 무해해 보이는 단계에 분산하여 악성 증거를 배치함으로써 궤적 기반 모니터가 공격을 탐지할 충분한 맥락을 축적하지 못하게 한다.

8월 31일, 앤트로픽은 클로드 코드(Claude Code) 데스크톱 버전용 로컬 샌드박스를 도입하여 격리된 환경에서 명령을 실행할 수 있는 옵션과 샌드박스 내에서 실행할 수 없는 모든 명령을 차단하는 엄격한 샌드박스 모드를 추가했다.

또한 8월 30일에는 에이전트가 작업 실행 중에 실시간으로 자기 개선할 수 있도록 하는 파일럿(PILOT)이라는 새로운 프레임워크가 발표되었다. 인간 감독자는 작업 과정을 관찰하고 안내하거나 중단할 수 있다. 파일럿은 6개의 벤치마크 구성 중 5개에서 1위를 차지했다.

8월 29일, 유럽연합 집행위원회의 헤나 비르쿠넨(Henna Virkkunen) 기술 주권 담당 상무부 수석 부위원장은 유럽연합 AI 법에 따른 최초의 공식 집행 조치를 확인했다. AI 사무국(AI Office)은 범용 AI 모델 제공업체들(오픈AI, 앤트로픽, 구글을 포함한 것으로 알려짐)에 모델 보안, 독립적인 외부 평가, 시판 후 모니터링에 관한 정보 요청서(RFI)를 발송했다. 부정확하거나 불완전하거나 오해의 소지가 있는 정보로 답변하는 제공업체는 최대 1,500만 유로 또는 전 세계 연간 매출의 3%에 달하는 벌금에 처해진다. 이 법의 범용 AI 의무는 2026년 8월 2일부로 시행 가능해졌으며, 브뤼셀은 4주 만에 조치를 취했다.

진짜 수익은 인프라에 있다

8월 28일, 바클레이즈(Barclays)는 AI 산업의 단위 경제성 연구를 발표했다. 핵심 발견: AI 모델 회사가 창출하는 매출 100달러당 35~40달러가 추론 연산 사용료로 3대 클라우드 제공업체(AWS, 애저(Azure), GCP)에 유입된다. 클라우드 제공업체는 이 35~40달러에서 34%~47%의 마진으로 10~20달러의 운영 이익을 얻는다. AI 연구소의 유료 추론 마진은 엔터프라이즈 고객과 에이전트 워크플로우에 힘입어 2025년 10%를 약간 웃돌던 수준에서 2026년 50~65%까지 상승했다. 그러나 비즈니스 구조는 큰 격차를 만든다: 응용 프로그래밍 인터페이스(API) 매출이 70%이고 구독 매출이 30%인 AI 연구소는 약 55%의 조정 총 마진을 달성하는 반면, 구독 매출이 80%이고 API 매출이 20%인 연구소는 약 38%에 그친다. 바클레이즈는 AI 연구소의 매출이 2024년 70억 달러에서 2026년 1,370억 달러, 2028년까지 6,900억 달러로 성장할 것으로 전망했다. 매출 대비 훈련 지출 비중은 2024년 96%에서 2028년까지 추정 30%로 감소하여 업계의 무게 중심이 훈련에서 추론으로 이동하고 있다.

8월 30일, 세미애널리시스(SemiAnalysis)는 오픈AI의 맞춤형 AI 가속기 할라페뇨(Jalapeño)가 아키텍처, 프로그래밍 모델 및 실제 성능 면에서 엔비디아(NVIDIA)의 블랙웰(Blackwell)을 능가했음을 보여주는 심층 분석을 발표했다. 이 발견은 AI 칩 경쟁 구도가 재편될 수 있음을 시사한다.

8월 31일, 마이크로소프트(Microsoft)가 직원의 AI 토큰 예산을 축소하기 시작한 것으로 알려졌다. 고객 및 파트너 솔루션 부서의 한 직원은 28일 동안 약 28,000달러의 토큰 비용을 소비했다. 자발적으로 데이터를 제출한 약 350명의 미국 직원 중 월간 AI 사용 비용 중앙값은 300달러였다. 코어AI(CoreAI)의 중앙값이 975달러로 가장 높았고, 한 개인은 16,000달러에 달했다. 마이크로소프트는 내부 기본 워크로드를 GPT-5.6 솔로 전환하고 있으며, 코딩 작업에 앤트로픽 클로드와 같은 타사 도구의 사용을 권장하지 않고 있다. 마이크로소프트의 전 세계 직원 수는 223,000명이 넘는다.

8월 30일, 오픈AI가 컴퓨터 조작 에이전트의 강화 학습 훈련을 위해 수만 대의 맥 미니(Mac mini) 및 맥 스튜디오(Mac Studio)를 구매했다는 보도가 나왔다. 앤트로픽은 AWS를 통해 맥 미니를 임대하고 있다. 애플(Apple)의 맥 매출은 6월 분기에 103억 달러에 도달하여 전년 대비 29% 증가했다. 대량 구매 이후 공급 제약이 발생했다.

8월 30일, 데이터에 따르면 워싱턴주 퀸시(Quincy)는 데이터 센터 개발에 힘입어 빈곤율이 29%에서 6%로 하락했다. 버지니아주 라우든 카운티(Loudoun County)는 데이터 센터로부터 연간 약 10억 달러의 세수를 거둬들이고 있다.

엔비디아 CEO 젠슨 황(Jensen Huang)은 8월 30일, AI가 이미 많은 작업에서 범용 인공지능(AGI) 수준의 성능을 달성했기 때문에 AGI 이정표 정의는 이제 무의미하다고 말했다. 그는 지난 6개월 동안 AI 스타트업에 4,000억 달러가 투자되었으며, AI가 전력망, 청정 에너지 및 제조업에 대한 투자를 주도하고 있으며 이는 사실상 미국의 재산업화라고 언급했다.

중국의 모델 경쟁: 더 높은 도약을 위한 일시 정지

8월 30일, 다수의 소식통이 바이트댄스(ByteDance)의 대규모 언어 모델 두바오(Doubao) 2.2의 출시가 당초 예정된 8월에서 연기될 것이라고 보도했다. 내부 소식통은 바이트댄스가 코딩, 도구 호출 및 에이전트 기능에서 더욱 유의미한 개선을 달성하기 위해 더 긴 사전 훈련 및 사후 훈련 기간을 원한다고 전했다. Seed 팀은 현재 모델 반복을 유지하면서 차세대 초대형 모델을 동시에 개발하고 있다. 바이트댄스의 창업자 장이밍(Zhang Yiming)은 7월 Seed 팀 회의에서, 설령 일시적으로 경쟁사에 뒤처지더라도 회사는 모델을 개선하기 위해 AI 증류에 의존하지 않을 것이라고 밝혔다. CEO 량루보(Liang Rubo)는 8월 6일 전체 회의에서 바이트댄스가 자체 개발 모델을 고수할 것임을 재확인했다.

8월 28일, 텐센트(Tencent)의 훈위안 Hy4(Hunyuan Hy4) 프리뷰가 워크버디(WorkBuddy)에 통합되면서 추론 수요가 급증했다. 출시 당일 서비스에 대기열이 발생했으며, 텐센트는 추론 클러스터를 긴급히 확장하고 있다. 프리뷰는 9월 10일까지 무료로 유지된다.

8월 30일, 아티피셜 애널리시스(Artificial Analysis)는 아포덱스(Apodex)의 독점 모델 1.1이 자사의 인텔리전스 인덱스(Intelligence Index)에서 44점을 기록하여, 키미 K2.6(Kimi K2.6, 45점) 및 MiniMax-M3(45점)과 동등한 등급에 배치되었다고 보고했다.

8월 30일, 상하이 기반 AI 스타트업 스타트럭스(StartLux)가 1조 개 매개변수 규모의 대규모 모델 개발에서 획기적인 성과를 거두어 업계의 주목을 받았다. 이 스타트업은 샨다(Shanda) 창업자 천톈차오(Chen Tianqiao)의 지원을 받고 있다.

8월 30일, 바이트댄스는 기업용 AI 에이전트인 "두바오 워크 에이전트(Doubao Work Agent)"를 공식 출시했다. 이 에이전트는 자체 런타임 환경, 컨텍스트 및 도구를 갖춘 상시 AI 동료로 포지셔닝되며, 다중 장치 동기화를 지원하여 로컬 컴퓨터 또는 연중무휴 24시간 온라인 상태를 유지하는 클라우드 가상 머신에서 작업을 실행할 수 있다. 또한 페이수(Feishu, 라크(Lark))와 네이티브 통합되어 페이수 문서, 스프레드시트 및 회의에서 직접 읽고 쓸 수 있으며, 바이트댄스의 Seedance(비디오) 및 Seedream(이미지) 생성 모델에 대한 내장 액세스를 포함한다.

물리적 현실과 만나는 AI

8월 31일, 영국 국민 보건 서비스(NHS) 감시 기관인 헬스워치 잉글랜드(Healthwatch England)는 AI 의료 기록 도구가 위험한 오류를 범한 사례들을 공개했다. 한 여성 환자는 AI가 생성한 요약문에서 자신이 "탈수초화" — 다발성 경화증으로 이어질 수 있는 심각한 신경 손상 — 상태라는 말을 들었으나, 실제 소견은 "탈수초화 없음"이었다. 또 다른 사례에서는 AI 도구가 처방약을 이름이 유사한 다른 약물과 혼동했다. 세 번째 사례는 AI 요약이 전문의가 환자에게 편두통 처방 갱신을 요청하라고 지시한 내용을 누락한 것과 관련되었다. 헬스워치는 "의료 전문가가 식별하지 못한 오류를 환자가 발견한 여러 건의 사례"가 있다고 언급했다. 영국의 의약품 및 의료기기 규제청(MHRA)은 AI 기록 도구를 의료 기기로 분류하지 않기로 결정했으므로, 현재 전국적인 안전 규제 프레임워크가 적용되지 않고 있다. 2026년 8월 기준, 잉글랜드 NHS 전역에서 27개의 서로 다른 AI 기록 도구가 사용되고 있다.

8월 31일, 중국 최초의 AI 생성 콘텐츠(AIGC) 장편 시리즈인 "서유기: 후전(Journey to the West: The Later Story)"이 첫 방영되었다. 첫 번째 이야기인 "화과산" 편은 회당 40분씩 5개의 에피소드로 구성되어 망고TV(Mango TV)와 후난위성TV(Hunan Satellite TV)의 황금 시간대에 방영된다. 이 시리즈는 중국의 '21개 조치' 정책 아래 처음으로 "방영 동시 심의" 모델(제작, 심의, 방송을 동시에 진행)을 사용한 작품이다. 첫 번째 시즌은 총 30개의 에피소드로 구성되며, 손오공이 신격화된 지 천 년 후의 서유기 이야기를 이어가는 명말·청초의 익명 소설을 각색한 것이다.