AI가 직접 컴퓨터를 조작한다: Computer Use의 현재와 생산성 가능성

2026.06.08

한눈에 보는 핵심 인사이트

OpenClaw 사태로 AI 에이전트가 컴퓨터를 직접 조작하는 기능이 주목받으면서, 그 이면의 보안 취약점 문제도 수면 위로 떠올랐습니다. 이에 대응해 Anthropic과 OpenAI는 샌드박스 기반 격리 환경을 적용한 Computer Use 기능을 선보이며, 보안과 생산성을 동시에 확보하는 방식으로 기술을 진화시키고 있습니다. AI가 단순히 답변을 생성하는 수준을 넘어 실제 업무를 대신 수행하는 시대, Computer Use는 AI 비서라는 오랜 상상을 현실로 만드는 전환점이 되고 있습니다.

‘행동하는 AI’의 등장

AI에 대해 흔히 하는 상상 중 하나는 ‘나 대신 일을 처리해줄 수 있는 인공지능 비서’입니다. 이메일을 확인하고, 파일을 정리하고, 양식을 채우고, 보고서를 완성해두는 AI를 꿈꾸는 것입니다. 하지만 지금까지의 AI는 요청사항에 따른 결과물을 생성하는 수준에 머물렀습니다. 무엇을 어떻게 해야 하는지 알려주지만, 직접 실행하지는 못했습니다.

이 경계를 허문 것이 바로 Computer Use입니다. AI가 마우스를 클릭하고, 키보드를 입력하고, 화면에서 정보를 파악해 작업을 스스로 완료합니다. 사람이 하는 방식 그대로 컴퓨터를 조작하는 것입니다.

2026년 초 OpenClaw가 이 방식을 오픈소스로 구현하며 폭발적인 관심을 받았습니다. 그러나 이와 동시에 무제한적인 시스템 접근이 불러오는 심각한 보안 취약점도 함께 드러났습니다. Anthropic의 Claude와 OpenAI는 이 문제를 정면으로 받아들이며, 샌드박스 기반의 통제된 환경 안에서 Computer Use를 구현하는 방향으로 나아가고 있습니다.

Claude의 Computer Use는 무엇을 할 수 있나

출처: Anthropic 공식 유튜브 채널

Anthropic은 2026년 3월, Claude Desktop 앱의 Cowork와 Code 탭에 Computer Use 기능을 정식 탑재했습니다. Pro 또는 Max 구독 사용자라면 별도의 설정 없이 macOS 앱에서 바로 사용할 수 있습니다.

Claude의 Computer Use는 작업 수행 방식에 있어 기존 AI와 뚜렷한 차이를 보입니다. 사용자가 명령을 입력하면 Claude는 먼저 Slack, Google Calendar 같은 연결된 커넥터를 통해 처리를 시도하고, 연결된 앱으로 처리할 수 없는 경우에 한해 브라우저, 마우스, 키보드, 화면을 직접 제어합니다. 파일 정리, 양식 작성, 문서 검색과 편집, 웹 탐색 등 일상적인 업무 전반을 수행할 수 있습니다.

주목할 점은 보안 설계입니다. Claude는 브라우저는 화면 확인만 가능한 ‘보기 전용’, 터미널과 IDE는 ‘클릭 전용’으로 제한하는 계층적 권한 구조를 적용합니다. 각 앱 접근 시 사용자의 명시적 허가를 요청하며, 민감한 데이터나 신뢰하지 않는 앱에는 접근하지 않도록 권고합니다. Computer Use 기능 자체도 기본값은 ‘비활성화’로 설정되어 있어, 사용자가 직접 켜지 않으면 작동하지 않습니다.

스마트폰에서 PC를 원격 조작하는 Dispatch

출처: Anthropic 공식 홈페이지

Claude의 Computer Use에서 한 가지 더 눈여겨볼 기능은 Dispatch입니다. 스마트폰과 PC가 모두 인터넷에 연결된 상태라면, 외출 중에도 모바일 앱을 통해 PC에 업무를 맡길 수 있습니다. Claude 모바일 앱의 Dispatch 패널에서 지시를 입력하면, Claude가 PC에서 직접 파일을 불러오고, 이메일을 확인하고, 프레젠테이션을 완성하는 식입니다. 정기 보고나 주간 업데이트처럼 반복되는 업무를 예약해두는 것도 가능합니다.

이 기능이 실질적으로 의미하는 것은, AI가 단순히 응답하는 도구에서 ‘업무를 위임받아 처리하는 원격 비서’로 전환되고 있다는 점입니다.

샌드박스가 만드는 차이: OpenClaw와의 비교

출처: OpenAI 공식 홈페이지

OpenClaw는 AI 에이전트가 로컬 환경에서 시스템 권한을 그대로 상속받아 작동하는 구조입니다. 구현의 자유도는 높지만, 그만큼 보안의 경계도 불명확합니다. 원격 코드 실행 취약점(CVE-2026-25253)과 악성 플러그인 오염 문제가 불거진 것도 이 구조에서 비롯됐습니다.

반면 Anthropic의 Claude는 컴퓨터 제어 기능을 격리된 샌드박스 환경 안에서 구현합니다. 앱별 접근 계층을 사전에 정의하고, 각 행동마다 사용자 확인을 거치며, 잠재적 프롬프트 인젝션 위협을 탐지해 플래그로 표시합니다. 화면 제어는 커넥터나 셸 명령으로 처리할 수 없는 경우에만 최후의 수단으로 작동합니다.

OpenAI 역시 AI의 컴퓨터 제어 환경을 클라우드 샌드박스로 격리하는 방식을 택했습니다. 두 회사 모두 ‘기능의 강력함’보다 ‘통제된 실행’을 우선 과제로 삼은 것입니다.

업무 현장에서의 실질적 변화

Computer Use가 가져오는 생산성 변화는 단순한 자동화 수준을 넘어섭니다. 기존 자동화는 미리 정해진 규칙과 경로로 작동했습니다. 버튼이 바뀌거나, 화면 구조가 달라지면 자동화가 깨졌습니다.

AI Computer Use는 사람처럼 화면을 인식하고 상황에 따라 판단하며 행동합니다. 익숙하지 않은 양식 화면도 맥락을 파악해 작성할 수 있고, 여러 앱을 오가는 복합 업무도 하나의 지시로 처리할 수 있습니다. 보고서 작성, 데이터 취합, 정기 점검처럼 반복적이지만 판단이 개입되는 업무들이 실질적인 위임 대상이 됩니다.

기업 입장에서는 특히 API가 없는 레거시 시스템 환경에서 가치가 큽니다. 공식 통합 방식으로는 연결할 수 없는 기존 시스템도, AI가 화면을 직접 읽고 조작하는 방식으로 자동화 범위 안으로 끌어올 수 있습니다.

AI 비서의 현실화, 지금 기업이 준비해야 할 것

Computer Use는 지금도 초기 단계입니다. Anthropic 스스로 “아직 완벽하지 않으며 오류가 발생할 수 있다”고 명시하고 있습니다. 민감한 데이터나 중요한 시스템에는 단계적으로 적용하고, 어떤 앱에 어떤 수준의 접근을 허용할지 사전에 정의하는 것이 필수입니다.

그러나 기술이 초기라는 사실이 준비를 미뤄도 된다는 의미는 아닙니다. AI가 실제로 업무를 수행하는 시대가 열렸다는 것은, 어떤 업무를 AI에게 위임할 수 있고 어떤 업무에는 사람의 판단이 반드시 필요한지를 조직 차원에서 먼저 정의해야 한다는 뜻이기도 합니다.

SK AX는 AI Workforce 전환 관점에서 기업이 이 변화에 실질적으로 대응할 수 있도록, 업무 재설계부터 AI 도입 전략 수립까지 함께합니다.

[FAQ]

Q1. AI Computer Use는 기존 RPA(로봇 프로세스 자동화)와 어떻게 다른가요?

RPA는 미리 정의된 규칙과 스크립트를 기반으로 작동합니다. UI 구조가 바뀌거나 예외 상황이 생기면 그대로 멈추는 경우가 많습니다. AI Computer Use는 화면 전체를 맥락으로 인식하고 상황에 따라 판단하며 행동합니다. 경로가 달라져도 목표를 이해하고 대응할 수 있어, 규칙 기반 자동화로는 다루기 어려웠던 비정형적이고 판단이 개입되는 업무까지 처리 범위가 넓어집니다.

Q2. Anthropic Claude의 Computer Use는 보안 측면에서 어떻게 관리되나요?

Claude는 앱 종류에 따라 접근 권한을 브라우저(보기 전용), 터미널·IDE(클릭 전용), 그 외 앱(전체 제어)으로 계층화합니다. 기능은 기본값 비활성화로 제공되며, 앱에 처음 접근할 때마다 사용자의 명시적 허가를 요청합니다. 화면에서 프롬프트 인젝션 가능성이 감지되면 플래그를 표시해 사용자에게 알리고, 민감 데이터나 신뢰하지 않는 앱에는 접근하지 않도록 권고합니다.

Q3. Dispatch 기능으로 어떤 업무를 실제로 처리할 수 있나요?

스마트폰에서 Claude Dispatch에 지시를 보내면, PC에서 파일 데이터를 취합하거나 Slack 메시지·이메일을 확인하고, 보고서나 프레젠테이션을 작성하는 작업을 원격으로 처리할 수 있습니다. 일일·주간 업무 요약처럼 반복되는 작업은 예약 설정도 가능합니다. PC와 스마트폰이 모두 인터넷에 연결된 상태여야 작동하며, 현재 Anthropic Pro 또는 Max 구독 사용자에게 제공됩니다.

Q4. Computer Use 도입 시 기업이 먼저 정의해야 할 것은 무엇인가요?

어떤 업무를 AI에게 위임할 수 있는지, 어떤 시스템에 어느 수준의 접근 권한을 허용할지, 그리고 어떤 결정은 반드시 사람이 확인해야 하는지를 먼저 정의해야 합니다. 기술의 완성도보다 조직 내 역할과 책임 설계가 선행될 때, Computer Use가 생산성 자산으로 안착할 수 있습니다.

AX 컨설팅부터 비즈니스 모델 발굴까지
Global Top 10 AX Service Company｜SK AX