1. 폐쇄망 sLLM 전환

– 국내 금융, 공공, 대기업 대부분은 ChatGPT나 Claude 같은 SOTA 모델을 직접 쓸 수 없는 폐쇄망 환경에 놓여 있습니다. 이 때문에 시장의 관심은 ‘얼마나 성능 높은 모델을 쓰는가’에서 ‘모델을 어떤 환경에서 어떻게 통제하며 쓰는가’로 이동하고 있으며, 그 중심에는 자체 구축한 sLLM이 있습니다.
– 이는 단순한 대안 선택이 아니라, 코드를 사람이 쓰고 AI가 보조하던 방식에서 AI가 쓰고 사람이 검수하는 방식으로 개발 패러다임 자체가 바뀌는 신호입니다. 이 리포트는 그 전환 과정에서 실제로 가장 첨예하게 부딪히는 두 가지 과제(기업 표준의 일관성 확보와 레거시 암묵지 이전)를 구체적으로 다룹니다.

2. 데이터 오너십과 도메인 특화

– sLLM 도입의 핵심 동인은 비용보다 데이터 오너십 문제입니다. 에이전트 방식의 개발 워크플로우는 하나의 작업에 수십~수백 회의 추론 호출을 반복하기 때문에, 토큰 과금 구조의 상용 LLM으로는 비용 예측이 불가능해집니다. 반면 자체 GPU 기반 sLLM은 초기 투자 이후 한계비용이 낮아 무제한에 가까운 내부 추론을 감당할 수 있습니다.
– 여기에 도메인 특화 sLLM은 특정 영역에서 범용 대형 모델과 동등한 정확도를 더 낮은 비용으로 구현하며, LoRA 같은 경량 어댑터 기술로 부서별 특화 모델을 동적으로 교체하는 멀티테넌트 서빙까지 가능해졌습니다. 반복 작업은 내부 sLLM이, 복잡한 추론은 대형 모델이 맡는 계층적 라우팅 구조가 실무의 표준 답안으로 자리잡고 있습니다.

3. 에이전트 네이티브 개발 환경

– 개발자는 더 이상 코드 한 줄을 요청하지 않습니다. 이슈 해결, 테스트 작성, 리팩토링 전체를 에이전트에 위임하는 시대로 넘어가면서, 관심의 초점도 모델 성능에서 컨텍스트 관리, 권한 제어, MCP 연동, 샌드박스, 감사 로그 같은 시스템 엔지니어링 역량으로 이동했습니다.
– 이 변화는 폐쇄망 환경에서 단품 도구가 아닌 5계층 플랫폼(모델 서빙, 지식, 도구, 오케스트레이션, 거버넌스)의 구축을 요구합니다. 특히 코드를 직접 짜지 않고 여러 에이전트를 조율하는 ‘에이전틱 엔지니어’라는 새로운 직군의 부상은, 개발 조직의 역할 재편이 이미 시작됐음을 보여줍니다.

4. 기업 표준의 기계가독화

– 공개 코드로 학습된 AI 에이전트는 사내 프레임워크의 관례를 모르고 금지된 라이브러리를 자연스럽게 추가합니다. 팀마다 다른 스타일의 코드가 생성되며 겉으로는 동작하지만 운영 단계에서 원인 추적이 어려운 코드베이스가 만들어지는 것이 AI 대량 생성 시대의 첫 번째 리스크입니다.
– 해법은 세 단계로 구조화됩니다. ① 코딩 표준을 AGENTS.md 같은 기계가독 자산으로 전환하고, ② 골든 레퍼런스와 스캐폴딩을 RAG로 검색 가능하게 하며, ③ 최종적으로는 린터, 정적분석, 아키텍처 적합성 테스트 같은 결정론적 게이트로 확률적 생성의 한계를 보완합니다. 이때 게이트의 사용자가 사람에서 에이전트로 바뀐다는 발상의 전환이 핵심입니다.

5. 레거시 암묵지 이전

– 가장 가치 있는 비즈니스 로직일수록 문서화가 안 되어 있다는 역설이 차세대 시스템 전환을 어렵게 만드는 근본 원인입니다. 담당자가 퇴직하고 문서가 낡아가는 사이, 조직의 기억은 사라집니다.
– 이에 대한 실무적 해법은 결정론적 파싱과 LLM 해석의 결합입니다. 구문 분석기로 호출 그래프와 테이블 접근 패턴을 정확히 추출하고, 그 위에서 LLM이 비즈니스 의도를 요약합니다. 여기에 특성화 테스트와 스트랭글러 피그 패턴을 결합한 병행 검증을 더하면, 신/구 시스템의 출력 차이가 곧 ‘문서에 없던 요건’의 발견으로 이어지는 안전망이 완성됩니다.

6. 단계별 실행 로드맵

– 표준의 기계가독화와 지식 자산화라는 기반 없이 코딩 에이전트만 먼저 확산시키면 품질 저하와 일관성 붕괴를 그대로 겪는다는 것이 이 리포트가 강조하는 핵심 경고입니다. 이 때문에 로드맵은 반드시 순서를 지켜야 합니다.
– 1단계(0~6개월)는 폐쇄망 인프라와 표준 문서화, 단일 팀 파일럿에 집중하고, 2단계(6~12개월)는 레거시 리버스 엔지니어링과 RAG, CI 통합으로 지식을 자산화하며, 3단계(12개월~)는 스펙 주도 개발과 모델 교체 가능한 거버넌스로 전사 플랫폼을 정착시킵니다. 생산성 지표는 생성량이 아니라 결함률, 재작업률로 측정해야 한다는 점도 실무자가 놓치기 쉬운 포인트입니다.

7. 격차의 원천: 환경 설계 역량

– 바둑계 AI 도입 사례는 시사하는 바가 큽니다. 모두에게 같은 훈련 도구가 주어졌지만 상위권과 하위권의 격차는 오히려 벌어졌습니다.(AI가 주는 답을 이해하고 흡수하는 역량이 저마다 달랐기 때문입니다.)
– 기업도 마찬가지입니다. 오픈 웨이트 모델은 누구나 내려받을 수 있어 기회는 평등해졌지만, 성과는 평등하지 않을 것입니다. 진짜 격차는 어떤 모델을 쓰느냐가 아니라, 자사의 표준과 수십 년의 암묵지를 AI가 소비 가능한 자산으로 정비했는지, 그리고 생성, 검증, 피드백의 루프를 조직의 일하는 방식으로 정착시켰는지에서 벌어집니다.