한눈에 보는 핵심 인사이트 AI는 사람의 손을 거치지 않고 스스로를 개선하는 단계로 접어들고 있습니다. 능력이 빠르게 커지는 만큼 리스크도 즉시 현실이 됩니다. 최근 Anthropic의 Mythos·Fable 사례는 강력한 AI가 등장하는 순간 통제 장치가 곧바로 함께 작동해야 한다는 점을 보여주었습니다. 통제가 뒷받침될 때 AI는 비로소 안전하게 활용됩니다. 그래서 에이전트 시대 기업의 경쟁력은 도입 속도가 아니라, 통제 가능한 운영 환경을 갖추었는지에서 갈립니다. 통제할 수 있어야, 비로소 활용할 수 있습니다.

 

사람의 개입 없이 스스로 발전하는 AI

 

 

지금까지 AI의 발전은 언제나 사람이 이끌었습니다. 사람이 코드를 쓰고, Usecase를 설계하고, 다음 모델을 만들었습니다. 그러나 이 구도가 빠르게 바뀌고 있습니다. AI가 코드를 직접 작성하고, Usecase를 수행하며, 다른 AI에게 작업을 위임하는 방식으로 개발 과정의 상당 부분을 스스로 처리하기 시작했습니다.

변화의 속도는 수치로도 드러납니다. Anthropic(앤트로픽)이 공개한 자료에 따르면, Anthropic 엔지니어가 분기당 만들어내는 코드량은 2021~2025년과 비교해 약 8배로 늘었고, 회사 코드베이스에 병합되는 코드의 80% 이상을 AI가 작성하고 있습니다. AI가 혼자 처리할 수 있는 작업의 길이도 빠르게 길어지고 있습니다. 2년 전만 해도 몇 분 단위의 작업에 그쳤지만, 이제는 사람이 수 시간에서 하루가 걸릴 작업을 스스로 수행하는 수준에 이르렀습니다.

예를 들어 Anthropic에서는 최근 AI가 800건이 넘는 수정을 적용해 특정 유형의 API 오류를 1,000분의 1 수준으로 줄인 사례가 있었습니다. 사람이 직접 했다면 약 4년이 걸렸을 일을 AI가 짧은 시간에 해낸 것입니다. 이미 사람은 방향을 정하고 실행은 AI가 맡는 구조로 빠르게 이동하고 있습니다.

이 흐름의 끝에는 사람의 개입 없이 AI가 다음 버전을 설계하고 개발하는 단계, 즉 재귀적 자기 개선(Recursive Self-Improvement)이 있습니다. AI가 더 나은 AI를 만들고, 그렇게 만들어진 AI가 다시 다음 세대를 만드는 구조입니다. 아직 그 단계에 이른 것은 아니지만, 분명한 것은 AI의 발전 속도가 사회와 제도의 준비보다 훨씬 빠르다는 점입니다. 그리고 AI가 스스로를 개선하는 능력이 커질수록, 그 능력을 어떻게 통제할 것인가라는 과제도 함께 커집니다.

 

출시 직후 접근이 중단된 Mythos와 Fable

 

 

AI의 능력이 커진다는 것은 곧 리스크도 함께 커진다는 의미입니다. 최근 Anthropic의 사례가 이를 잘 보여줍니다.

Anthropic은 강력한 사이버 보안 능력과 자율 에이전트 능력을 갖춘 모델 Mythos(미토스)를 먼저 제한된 조직에만 공개했습니다. 이 모델은 공개 초기 수 주 동안 세계 주요 시스템에서 1만 건이 넘는 고위험·심각 취약점을 찾아낼 만큼 강력했습니다. 사이버 방어의 병목이 취약점을 찾는 일에서 찾아낸 취약점을 빠르게 막는 일로 옮겨갈 정도였습니다. 그만큼 오남용 우려도 컸기에, Anthropic은 안전장치(가드레일)를 대폭 강화한 버전인 Fable(페이블)을 별도로 만들어 일반에 공개했습니다.

그러나 공개 직후, Fable의 안전장치를 우회해 취약점 코드를 만들어내는 방식이 확인되자 미국 정부는 수출 통제를 적용했습니다. Anthropic은 이용자의 국적을 실시간으로 확인할 수 없어, 규정 위반을 피하기 위해 전 사용자의 접근을 일시 중단했습니다. 그리고 약 3주 뒤, 안전성 검증과 정부 협의를 거쳐 통제는 해제되었습니다. Fable은 다시 전 세계에 제공되었고, Mythos는 승인된 미국 조직을 중심으로 복구되었습니다.

주목할 지점은 금지가 아니라 순서입니다. 강력한 능력이 등장하자 통제 장치가 곧바로 작동했고, 안전이 확인된 뒤에야 활용이 재개되었습니다. 통제가 활용을 가로막은 것이 아니라, 통제가 활용의 전제로 작동한 것입니다. 이 사건은 AI 모델이 이제 기업의 생산성 도구를 넘어 국가 안보와 전략의 영역에 들어섰음을 보여줍니다. 사이버 보안을 시작으로 앞으로 또 다른 유형의 리스크가 이어질 수 있다는 경고이기도 합니다.

 

Anthropic의 제안, “능력보다 앞서야 할 것은 안전장치”

 

다리오 아모데이(Dario Amodei), 앤트로픽 CEO ⓒ TechCrunch, via Wikimedia Commons (CC BY 2.0)

 

Anthropic은 여기서 한 걸음 더 나아갑니다. AI의 발전 속도를 정부와 제도가 따라잡지 못하면 사회 전체가 위험에 노출될 수 있다고 경고하며, 능력보다 안전장치가 먼저 갖춰져야 한다고 강조합니다.

AI는 기하급수적으로 빨라지는 반면, 정책과 제도는 천천히 움직입니다. 문제는 이 속도 차이입니다. 하나의 규칙을 만드는 사이에 AI는 흥미로운 도구에서 이른바 데이터센터 속 천재 집단이라 부를 만한 수준으로 도약할 수 있습니다. Anthropic이 지금 행동해야 한다고 강조하는 이유가 여기에 있습니다.

그동안 AI 규제는 주로 투명성에 초점을 맞춰 왔습니다. 리스크의 형태가 아직 분명하지 않았기 때문에, 무엇을 어떻게 규제할지 미리 정하기 어려웠던 것입니다. 그러나 이제 리스크가 실제로 모습을 드러낸 만큼, 자동차나 항공기, 의약품처럼 사전 검증을 거치는 방식이 필요하다는 것이 Anthropic의 제안입니다. 구체적으로는 일정 규모 이상의 AI 모델에 대해 사이버 보안, 생물학적 위험, 통제 상실, 자동화된 AI 개발 같은 핵심 위험 영역을 제3자가 사전에 검증하고, 기준을 통과하지 못하면 배포를 막을 수 있어야 한다는 것입니다.

나아가 프런티어 AI 기업들이 함께 개발 속도를 늦추거나 잠시 멈추는 데 합의하고, 서로가 실제로 그렇게 하고 있는지 확인할 수 있는 상호 검증 체계를 만들자고 제안합니다. 이 제안들의 공통된 전제는 하나입니다. 통제할 수 없는 AI는 아무리 강력해도 안전하게 쓸 수 없다는 것입니다.

 

기업의 다음 과제: 도입이 아니라 거버넌스

 

이 논의는 프런티어 AI 기업만의 이야기가 아닙니다. AI 에이전트를 실제 업무에 도입하려는 모든 기업에 그대로 적용됩니다.

에이전트는 지시를 그대로 실행하는 도구가 아니라, 목표를 받으면 스스로 판단하고 시스템을 호출하며 데이터를 다루고 다른 에이전트에게 일을 넘기는 자율적 실행 주체입니다. 이 자율성은 생산성을 크게 높이지만, 동시에 기존에 없던 새로운 관리 대상을 만들어냅니다. 지금까지 보안과 통제의 기준은 “누가 어디에 접근했는가” 였지만, 에이전트 환경에서는 “에이전트가 무엇을 판단하고 어떤 행동을 실행했는가”가 핵심이 됩니다.

실제로 에이전트 도입 현장에서는 새로운 유형의 문제가 나타납니다. 지시를 잘못 해석해 의도하지 않은 시스템을 호출하거나, 외부에서 유입된 악의적 지시에 판단이 조작되는 경우가 있습니다. 정상적으로 권한을 부여받은 에이전트가 허용 범위를 벗어난 작업을 실행하거나, 에이전트끼리 작업을 위임하는 과정에서 통제의 사각지대가 생기기도 합니다.

이런 문제들은 사람의 접근을 통제하던 기존 체계만으로는 감지하기 어렵습니다. 예컨대 고객 응대나 구매·정산 같은 업무를 맡은 에이전트가 허용된 범위를 조금만 벗어나도, 그 결과는 곧바로 실제 데이터와 거래에 영향을 미칩니다. 에이전트가 어떤 판단으로 무엇을 실행했는지 기록되고 검토될 수 있어야, 문제가 생겼을 때 원인을 추적하고 재발을 막을 수 있습니다.

따라서 기업의 관심은 “AI를 얼마나 빨리 도입하는가”에서, ”에이전트의 판단과 행동을 어떻게 통제하고 기록하며 운영하는가”로 옮겨가야 합니다. 도입을 서두르기 전에 에이전트를 안전하게 운영할 울타리를 먼저 세우는 일, 그것이 곧 기업의 경쟁력이 됩니다.

 

통제 가능한 에이전트 운영 환경, SK AX AXgenticWire Core

 

SK AX는 기업이 에이전트를 안전하게 운영할 수 있는 환경에 주목해 왔습니다. Enterprise Agentic Workspace 플랫폼인 AXgenticWire Core는 업무에 특화된 AI 에이전트를 설계하고 배포하며, 이를 통합적으로 관리하는 기반을 제공합니다.

핵심은 에이전트를 만드는 데 그치지 않고, 어떤 에이전트가 어떤 역할로 동작하는지를 한곳에서 관리하고 운영하도록 설계했다는 점입니다. 에이전트가 하나 둘 늘어나면 개별적으로 관리하기 어려워지고, 통제의 사각지대도 함께 늘어납니다. 설계부터 배포, 운영까지를 하나의 체계 안에서 다루는 통합 관리 기반이 중요한 이유입니다. 강력한 AI를 안전하게 쓰기 위한 울타리를, 기업 현장에 맞게 구현하는 것입니다. 통제 가능한 운영 기반이 갖춰질 때, 기업은 에이전트를 더 넓은 업무로 자신 있게 확장할 수 있습니다.

AI는 앞으로도 더 빠르게, 더 강력해질 것입니다. 그 속도를 따라가는 기업과 그렇지 못한 기업의 차이는 결국 얼마나 잘 통제하며 운영하는가에서 갈립니다. 통제할 수 있어야, 비로소 활용할 수 있습니다.

 

[FAQ]

 

Q1. 재귀적 자기 개선(Recursive Self-Improvement)이란 무엇인가요?

사람의 개입 없이 AI가 스스로 다음 버전을 설계하고 개발하는 단계를 말합니다. 현재 AI는 코드 작성과 실험 수행의 상당 부분을 이미 자동화하고 있으며, 이 흐름이 계속되면 AI가 더 나은 AI를 만드는 단계에 이를 수 있습니다. 아직 도달한 단계는 아니지만, 제도와 사회가 준비한 것보다 빠르게 다가오고 있습니다.

 

Q2. Mythos와 Fable 사례가 기업에 주는 시사점은 무엇인가요?

강력한 AI가 등장하면 리스크도 곧바로 현실이 되며, 안전장치와 통제가 확인된 뒤에야 활용이 이어진다는 점입니다. 통제는 활용을 막는 장애물이 아니라, 안전한 활용을 위한 전제입니다. 기업이 AI 에이전트를 도입할 때도 동일한 순서가 적용됩니다.

 

Q3. AI 에이전트 도입에서 거버넌스가 왜 중요한가요?

에이전트는 스스로 판단하고 시스템을 호출하며 데이터를 다루는 자율적 주체이기 때문입니다. 누가 접근했는가를 통제하던 기존 방식만으로는 에이전트가 무엇을 판단하고 실행했는가를 관리하기 어렵습니다. 에이전트의 행동을 통제하고 운영하는 거버넌스 체계가 안전한 도입의 핵심입니다.

 

Q4. SK AX AXgenticWire Core는 어떤 역할을 하나요?

AXgenticWire Core는 업무에 특화된 AI 에이전트를 설계·배포하고 통합적으로 관리하는 Enterprise Agentic Workspace 플랫폼입니다. 에이전트를 만드는 데 그치지 않고 통제 가능한 상태로 운영하도록 돕는 기반으로, 에이전트가 늘어나는 환경에서 안정적인 운영을 지원합니다.

 

---

 

AX 컨설팅부터 비즈니스 모델 발굴까지
Global Top 10 AX Service Company｜SK AX

#Anthropic #Mythos #Fable #AnthropicMythos #AnthropicFable #DarioAmodei #AI거버넌스 #통제가능한AI #AI에이전트 #AgenticAI #AI안전성 #AI보안 #RecursiveSelfImprovement #재귀적자기개선 #AI가드레일 #AIGovernance #EnterpriseAI #AXgenticWire #SKAX #AITransformation