2022년 말 챗GPT(ChatGPT)가 등장한 이후 1년이라는 짧은 시간 동안 생성형 AI는 우리의 삶 속에 깊숙이 스며들고 있습니다. IT World/CIO의 조사에 따르면 2023년 기준 국내 기업의 약 41%가 인공지능 도입을 위한 파일럿 프로젝트를 진행 중이거나 이미 업무에 활용하고 있으며, 나머지 40.8%의 기업들 역시 가까운 시일 내에 인공지능 도입을 검토하고 있는 것으로 나타났습니다. 이미 10곳 중 8곳 이상의 기업들이 인공지능 도입을 기정사실화하고 있는 것입니다.

 

 특히 주목할 점은 기존의 전통적인 머신러닝/딥러닝 기반 예측 모델뿐만 아니라, 챗봇이나 가상 에이전트 등 생성형 AI를 활용한 기술의 도입 비율이 크게 늘고 있다는 점입니다. 이러한 생성형 AI의 확산 경향은 초거대언어모델(LLM)에서 특히 두드러지게 나타났는데, 그동안 인공지능 시장에서는 Google, OpenAI, Meta 등 빅테크 기업들이 자사 파운데이션 모델을 적용한 Bard, 챗GPT(ChatGPT), LLaMA 등 다양한 서비스를 출시해 왔습니다.

 

 그뿐만 아니라 여러 스타트업과 연구기관 등에서는 자체적으로 확보한 데이터와 알고리즘을 기반으로 특정 언어와 도메인 지식을 강화하여 다양한 형태의 sLLM(small LLM)을 출시하고 있습니다. 또한 고객 상담용 챗봇부터 사내 지식관리(knowledge management system, KMS) 등 시스템 등 성능과 활용 목적에 따라 차별화 포인트를 가지고 있는 여러 종류의 LLM 기반 서비스들이 등장하면서 인공지능을 도입하고자 하는 기업들의 선택지가 넓어지는 만큼 혼란도 점점 더 가중되고 있습니다.

 

 이처럼 시시각각 변화하는 인공지능 기술을 올바르게 이해하고 비즈니스에 적용하기 위해서는 우선 기초적인 이슈들에 대해 이해하는 것이 무엇보다 중요합니다. 이번 시간에는 생성형 AI와 LLM을 비롯한 관련 기술의 여러 가지 이슈들을 정리하고 성능 좋은 인공지능 모델을 개발하기 위한 필수적인 요소들에 대해서 알아보도록 하겠습니다.

 

---

1. 생성형 AI와 LLM의 기초 개념과 트렌드

 생성형 AI란 이미지, 텍스트, 음성 등 다양한 형태의 방대한 데이터를 사전 학습(pre-train)하고 이를 바탕으로 그에 대응하는 형태의 창작물을 생성해 내는 인공지능 모델들을 통틀어 지칭합니다. 그중에서도 초거대언어모델(Large Language Model, LLM)이란 그 용어에서도 알 수 있듯이 언어 생성에 특화된 생성형 인공지능 모델들을 지칭하지요. 즉 초거대언어모델은 이미지, 음악, 영상, 텍스트 등 수많은 생성형 AI 중 한 가지 하위분야라고 할 수 있는 것입니다.

 GPT4.0과 Bard 등 최근 출시되고 있는 LLM 서비스들은 텍스트 데이터뿐만 아니라 이미지와 음성 등 다양한 형태의 데이터로 입출력이 가능한 멀티모달(multimodal) 기능을 탑재하고 있어 다양한 형태로 창작이 가능해졌습니다. 이처럼 하나의 모델이 처리할 수 있는 데이터의 종류에 제한이 점점 사라지면서 이미지와 텍스트 등 생성형 AI 간 구분의 경계가 점차 사라지고 있는 추세이기도 합니다. 

 

2. 초거대언어모델(LLM)의 핵심이 되는 기초모델(Foundation model)

 초거대언어모델(LLM)은 인터넷상에 존재하는 웹페이지, 위키, 학술논문 등 방대한 양의 텍스트 데이터를 사전 학습(pre-trained)한 기초모델(foundation model)에 기반을 두고 있습니다. 기초모델이 사전 학습한 텍스트 데이터 덕분에 초거대언어모델(LLM)이 일상대화나 일반적인 텍스트 데이터를 이해하고 생성할 수 있는 기반이 마련되는 것입니다.

출처 : arize

 

 이러한 기초모델들은 여러 빅테크 기업에서 제공하는 초거대언어모델(LLM) 서비스의 뼈대가 됩니다. 예를 들어 OpenAI의 LLM 서비스인 챗GPT(ChatGPT)는 GPT-3.5/GPT-4.0/text-davinci 등의 기초모델을 바탕으로 구동되며, Google의 LLM 서비스 Bard는 PaLM2라는 기초모델에 기반하여 작동합니다. 

 여러 연구논문에 따르면 기초모델이 더욱 정확하고 자연스러운 답변을 생성해 내기 위해서는 모델 알고리즘뿐 아니라 사전학습 데이터의 질과 양 그리고 모델의 매개변수(parameter)의 수가 결정적인 역할을 하는 것으로 알려져 있습니다. 이처럼 초거대언어모델(LLM)의 전체적인 성능은 기초모델의 성능에 크게 의존하는 경우가 많습니다.

 

3. 초거대언어모델(LLM)의 성능을 좌우하는 프롬프트 엔지니어링(prompt engineering)

 그러나 초거대언어모델(LLM)의 성능에 영향을 끼치는 요소에는 기초모델만 있는 것은 아닙니다. 기초모델에 추가적인 데이터를 활용해 미세조정(fine-tuning)을 가하거나 프롬프트 엔지니어링(prompt engineering)이라는 방법론을 활용하여 모델의 환각 현상(hallucination)을 방지하고 성능을 개선하는 등 기초모델을 더욱 잘 활용하기 위한 다양한 기술들이 존재합니다.

 특히 프롬프트 엔지니어링(Prompt engineering)은 LLM에서 매우 중요한 요소 중 하나입니다. 프롬프트(Prompt)란 모델이 특정 질문이나 명령에 어떻게 응답해야 하는지를 정의하는 텍스트를 가리키는데, 이를 활용한 프롬프트 엔지니어링은 모델에게 원하는 결과를 산출하도록 도와주는 역할을 합니다. 이는 모델이 특정 작업에 더 정확하게 반응하도록 유도하거나, 모델이 생성하는 결과물의 품질을 향상시키는 데 사용됩니다.

 프롬프트 엔지니어링은 기초모델이 사전 학습되지 않은 정보에 대해 부정확하거나 관련 없는 정보를 제공하는 환각 현상(hallucination)을 방지하고 원하는 결과를 얻기 위한 핵심적인 전략입니다. 즉, 모델의 오류를 줄이고 원하는 응답을 얻기 위해 프롬프트 엔지니어링은 매우 중요한 역할을 합니다. 따라서 LLM의 성능을 향상시키기 위해서는 좋은 기초 모델뿐만 아니라 효과적인 프롬프트 엔지니어링이 필수적이라고 할 수 있습니다.

출처 : Langchain

 

 최근에는 초거대언어모델(LLM)에 이러한 프롬프트 엔지니어링을 적용하고 손쉽게 어플리케이션 개발에 활용하기 위한 다양한 프레임워크(framework)가 python 라이브러리의 형태로 적용되고 있습니다. 특히 최근 초거대언어모델(LLM) 개발자들 사이에서 많이 활용되는 패키지로는 랭체인(Langchain)이 있는데, 이러한 프레임워크를 사용함으로써 비교적 적은 노력으로 LLM을 원하는 형태로 커스터마이즈 하고 활용하는 것이 가능해졌습니다.

 

4. 생성형 AI와 초거대언어모델(LLM)을 위한 데이터 수집과 활용

 지금까지 생성형 AI와 초거대언어모델(LLM)의 기초 개념과 성능에 영향을 미치는 다양한 요소들에 대해 알아보았습니다. 기초모델에 대한 수정 없이도 프롬프트 엔지니어링(prompt engineering)이나 랭체인과 같은 프레임워크 활용을 통한 성능 개선을 기대해 볼 수 있지만, 데이터 확보는 여전히 생성형 AI 및 초거대언어모델(LLM) 활용에 있어서 가장 중요한 요소입니다.

 글의 서두에서 살펴보았듯이 초거대언어모델(LLM)의 핵심이 되는 기초모델을 만들기 위한 사전학습(pre-training) 과정 혹은 커스터마이즈를 위한 미세조정(fine-tuning)을 하는 과정에서 여전히 방대한 양의 데이터가 수집 및 활용되기 때문입니다.

 

 이 단계에서 데이터를 끊김 없이 매끄럽게 수집하고 활용하는 과정이 중요합니다. 따라서 텍스트, 음성, 이미지와 같은 비정형 데이터를 잘 수집하여 잘 구조화하고 최적화하는 작업이 중요한데, 이를 위해서는 클라우드 컴퓨팅 기술에 기반한 안정적인 데이터 파이프라인 구축이 필요합니다. 

 이에 많은 회사들이 클라우드 도입을 추진하고 있으나, 기업이 자체적으로 클라우드를 구축하는 것은 매우 어려운 일입니다. 클라우드 구축 시, 통합 기술력과 노하우를 보유한 파트너와 함께 한다면 처음 목표했던 생성형 AI 활용을 이룰 수 있습니다.

 

 SK㈜ C&C는 성공적인 클라우드 도입과 운영 시, 그 여정을 함께 할 파트너가 되어드립니다. SK㈜ C&C는 국내외 최고 클라우드 전문가 그룹이 구성되어 있으며, 다년간 쌓은 노하우와 기술력으로 클라우드의 도입, 구축, 전환 서비스를 고객 맞춤형으로 제공합니다.  SK㈜ C&C와 함께 생성형 AI 및 초거대언어모델(LLM) 활용에 필수인 클라우드 도입을 성공적으로 이루어내시길 바랍니다.

 

---

 

컨설팅부터 비즈니스 모델 발굴까지

Digital One, For The Next ｜ SK㈜ C&C