한눈에 보는 핵심 인사이트 LLM은 공개된 데이터로 학습한 모델이기 때문에 기업 내부의 최신 데이터와 업무 흐름을 알지 못합니다. 같은 모델을 도입하고도 성과가 갈리는 이유가 여기에 있습니다. AI가 실제 업무를 처리하려면 회사의 문서와 고객 정보, 업무 시스템에 연결되어 있어야 하고, 그 수준이 AI가 할 수 있는 일의 범위를 결정합니다. 조회에 그치던 AI가 분석과 실행까지 나아가는 분기점은 모델 교체가 아니라 업무 맥락의 확보입니다.

 

회사 데이터를 학습하지 않은 LLM의 한계

 

생성형 AI를 도입한 기업이라면 익숙한 장면이 있습니다. AI에게 이번 분기 매출 흐름을 물으면 분석 방법론은 막힘없이 설명하지만 정작 숫자는 내놓지 못합니다. 고객사 계약 조건을 확인해 달라고 하면 일반적인 계약 유형만 나열합니다. 결국 담당자가 자료를 찾아 붙여넣고, 나온 결과를 다시 사내 시스템에 옮겨 적습니다. AI를 쓰는 일 자체가 새로운 업무가 되는 셈입니다.

이유는 분명합니다. LLM이 학습한 것은 웹과 문헌에 공개된 데이터일 뿐, 우리 회사의 ERP와 문서 시스템, 고객 정보가 아닙니다. 학습 시점 이후에 쌓인 데이터도 알 수 없고, 부서마다 다른 업무 흐름과 결재 규칙은 어디에도 공개된 적이 없습니다. 아무리 뛰어난 모델이라도 회사 안을 들여다볼 통로가 없다면 답변은 일정 단계에서 멈춥니다.

 

같은 모델을 도입하고도 결과가 갈리는 이유

 

그런데 같은 모델을 도입했음에도 활용도에서 차이가 나는 기업들이 있습니다. 한쪽에서는 AI가 사내 문서를 근거로 초안을 만들고 이상 징후를 짚어내는데, 다른 쪽에서는 여전히 검색을 대신하는 수준에 그칩니다. 차이는 모델의 성능이 아니라 그 모델이 무엇에 닿아 있는지에서 생깁니다.

업무 맥락(Context)이란 회사가 어떤 데이터를 갖고 있고, 그 데이터가 무엇을 뜻하며, 어떤 절차를 거쳐 일이 처리되는지에 대한 정보입니다. 사람이라면 입사 후 몇 달에 걸쳐 익히는 내용이고, 그 맥락을 갖춘 뒤에야 비로소 제 몫의 업무를 맡습니다. AI도 다르지 않습니다. 맥락을 갖추지 못한 AI는 아무리 똑똑해도 신입사원 첫날의 수준에 머물 수밖에 없습니다.

 

연결 수준에 따라 확장되는 업무 범위

 

 

연결되지 않은 AI는 답변에 머뭅니다. 일반적인 설명은 가능하지만 회사의 상황은 반영하지 못합니다. 반면 사내 데이터에 닿은 AI는 재고 현황을 직접 확인하고, 계약 조건을 대조하며, 과거 이력과 비교해 이상 징후를 찾아냅니다. 담당자가 자료를 옮겨 나르는 과정이 사라지는 것입니다. 여기에 업무 시스템에 대한 실행 권한까지 더해지면 AI는 승인 요청을 올리고 티켓을 생성하고 담당자에게 알림을 보내는 실행 주체가 됩니다. 사람은 확인과 결정만 하고 나머지는 AI가 맡습니다.

 

MCP와 A2A의 표준화로 낮아진 연결의 진입 장벽

 

사내 시스템을 연결하는 것은 오랫동안 각 기업이 알아서 풀어야 할 숙제였습니다. 사내 시스템 연동이 필요할 경우 개별적으로 작업을 해야 했고, 모델이나 시스템이 바뀌면 같은 작업을 반복해야 했습니다.

이러한 반복적인 연동 문제를 해결하기 위해 표준이 마련되면서 상황이 달라졌습니다. Anthropic이 2024년 11월 공개한 MCP(Model Context Protocol)는 LLM이 외부 데이터와 도구에 접근하는 방식을, Google이 시작한 A2A(Agent2Agent)는 Agent끼리 업무를 주고받는 방식을 표준화했습니다. 2026년 8월 두 표준이 Linux Foundation 산하 Agentic AI Foundation 아래로 모이면서 특정 기업의 기술이 아닌 공용 규격으로 자리 잡았습니다. OpenAI가 2026년 7월 공개한 ChatGPT Work 역시 여러 애플리케이션과 파일에서 맥락을 모아 결과물을 만드는 방향으로 나아가고 있습니다.

연결은 더 이상 기술적 난제가 아닙니다. 남은 것은 각 기업이 자사 데이터를 어디까지 열어 둘 것인지에 대한 판단입니다.

 

맥락 확보를 위해 점검해야 할 세 가지

 

 

 

먼저 데이터의 위치와 의미입니다. 어떤 데이터가 어느 시스템에 있고 각 항목이 무엇을 뜻하는지 명확하지 않으면, 연결하더라도 AI는 엉뚱한 판단을 내놓습니다. ‘잔액’이 총 잔액인지 가용 잔액인지 구분되지 않는 상태라면 연결의 효과를 기대하기 어렵습니다.

다음은 연결 구조입니다. 개별 연동을 하나씩 쌓아 올리면 시스템이 늘어날수록 유지보수 부담이 커집니다. 표준을 기준으로 삼으면 도구를 바꿔도 연결 구조는 그대로 유지됩니다.

마지막은 권한과 기록입니다. AI가 실행까지 맡는 순간 어디까지 접근하고 무엇을 실행할 수 있는지가 곧 보안 과제로 이어집니다. 연결 범위를 정의하고 판단과 실행 이력을 남기는 체계가 함께 마련되어야 안심하고 업무를 넘길 수 있습니다.

세 가지 모두 모델 교체와는 무관한 영역입니다. 더 나은 AI를 고르는 일보다, 우리 회사의 데이터와 업무를 AI가 읽을 수 있는 상태로 만드는 일이 먼저인 이유입니다.

 

모델 선택에서 맥락 설계로 옮겨가는 기업 AI의 다음 질문

 

AI 도입을 고민하는 기업의 질문은 그동안 어떤 모델을 쓸 것인가에 머물러 있었습니다. 이제는 질문이 달라져야 합니다. 우리 회사의 데이터와 업무 흐름을 AI에게 어디까지 열어 줄 것인가, 그리고 그 연결을 어떻게 안전하게 관리할 것인가입니다.

SK AX의 AXgenticWire Core는 이 질문에 대한 해결책을 제시합니다. Data Gateway로 시스템 곳곳에 흩어진 데이터를 연결하고, Ontology와 Knowledge Graph로 데이터 간의 관계를 구조화해 AI가 비즈니스 맥락을 이해하도록 돕습니다. 자연어로 원하는 업무를 입력하면 AI가 필요한 절차와 워크플로우를 자동으로 구성하며, Agent의 품질과 비용, 권한과 보안은 하나의 환경에서 통합 관리됩니다. 범용 AI 도입을 넘어 고객사의 업무 흐름 안에서 실제로 일하는 AI Agent를 설계할 수 있는 환경을, SK AX가 함께 만들어 가겠습니다.

 

[FAQ]

 

Q1. 업무 맥락과 연결된 AI Agent는 일반 생성형 AI와 무엇이 다른가요?

일반 생성형 AI는 공개된 데이터로 학습한 모델이라 질문에 대한 일반적인 설명은 가능하지만 회사의 실제 상황은 반영하지 못합니다. 담당자가 자료를 찾아 붙여넣고 결과를 다시 사내 시스템에 옮겨 적어야 하므로, AI를 쓰는 일 자체가 새로운 업무로 남습니다. 반면 업무 맥락과 연결된 AI Agent는 사내 데이터에 직접 접근해 재고 현황을 확인하고 계약 조건을 대조하며 이상 징후를 찾아냅니다. 실행 권한까지 부여되면 승인 요청과 알림 발송 같은 처리도 직접 수행합니다.

 

Q2. MCP와 A2A는 어떤 표준인가요?

MCP(Model Context Protocol)는 Anthropic이 2024년 11월 공개한 개방형 표준으로, LLM이 외부 데이터와 애플리케이션, 서비스에 접근하는 방식을 규정합니다. A2A(Agent2Agent)는 Google이 시작한 표준으로, 서로 다른 Agent가 상대를 발견하고 업무를 주고받는 절차를 다룹니다. 2026년 8월 두 표준이 Linux Foundation 산하 Agentic AI Foundation 아래로 모이면서, 데이터 접근은 MCP가 Agent 간 협업은 A2A가 담당하는 구조로 역할이 정리됐습니다. 특정 기업의 기술이 아니라 중립적인 재단이 관리하는 공용 규격이라 도구를 바꿔도 연결 구조를 유지할 수 있습니다.

 

Q3. 업무 맥락을 확보한다는 것은 구체적으로 어떤 작업을 의미하나요?

먼저 어떤 데이터가 어느 시스템에 있고 각 항목이 무엇을 뜻하는지 정리하는 일에서 시작합니다. ‘잔액’이 총 잔액인지 가용 잔액인지 구분되지 않으면 연결하더라도 AI는 엉뚱한 판단을 내놓기 때문입니다. 다음으로 표준을 기준으로 연결 구조를 설계해 시스템이 늘어나도 유지보수 부담이 커지지 않도록 합니다. 마지막으로 Agent가 어디까지 접근하고 무엇을 실행할 수 있는지 권한 범위를 정의하고, 판단과 실행 이력을 기록하는 체계를 함께 마련합니다.

 

Q4. 개발 지식이 없는 현업 담당자도 사내 시스템과 연동되는 AI Agent를 만들 수 있나요?

가능합니다. SK AX의 AXgenticWire Core는 자연어로 원하는 업무를 입력하면 AI가 필요한 업무 절차와 워크플로우를 자동으로 구성합니다. 예를 들어 “고객 VOC 자동 분석”이라고 입력하면 데이터 수집부터 리포트 생성까지 단계별로 Agent가 설계됩니다. 코드를 다루지 못하는 담당자도 자신의 업무를 가장 잘 아는 사람으로서 필요한 Agent를 직접 만들 수 있다는 점에서, AI 활용의 범위가 개발 조직 밖으로 넓어집니다.

 

---

 

AX 컨설팅부터 비즈니스 모델 발굴까지
Global Top 10 AX Service Company｜SK AX

#AIAgent, #업무맥락, #ContextEngineering, #MCP, #ModelContextProtocol, #A2A, #Agent2Agent, #사내데이터연동, #엔터프라이즈AI, #에이전틱AI, #LLM한계, #지식그래프, #AI거버넌스, #AXgenticWireCore, #SKAX