ChatGPT가 입문시킨 AI 서비스, 이해하고 쓰기_(GPT 이해)

반갑습니다.

ChatGPT-3.5가 시장에 나온지 시간이 꽤나 지난 시점에서
“과연 우리는 얼마나 이 인공지능이라는 대상에 대해 알고 쓰는 것일까?”
라는 의문을 자연스레 가지는 분들도 계실거라 생각이 듭니다.


저 또한 다를바가 없는데요.

그래서 chatGPT를 포함한 다양한 파생된 AI서비스의
뿌리에 있는 매커니즘을 조금이라도 이해하고 그동안 해왔던 활동을
돌아보면서 가보려고 합니다.


전문적인 용어는 최대한 지양하고
담백하게 이해할 수 있는 비유와 용어로 여러분들과 배워 나가보겠습니다.

ChatGPT를 필두로 이야기를 전개해나가보죠.

먼저 우리가 GPT 3.5라고 부르면서 쓰고 있는 이 기능은
아시다시피 Openai.com에서 본격적으로 서비스를 시작한 모델입니다.

사진: Unsplash 의 Jonathan Kemper

 
 
그리고 그 모델은 엄청난 양의 데이터셋을 양분으로 성장한,
흔히 LLM(Large Language Model)이라고 불리죠.
 
 
아까부터 GPT-3.5라고 말하고 있는데요,
마치 19년도 코로나팬데믹 때 Covid라고 통틀어 부르지 않고
Covid-19라고 특정지어 불렀듯이
 
 
 
GPT또한 특정 모델(Masked MSA)을 바탕으로
사람의 요구사항(쿼리)을 들어주기 위해 단어 조각(토큰)과 지식 저장소(레이어)를
늘리면서 버전이 업그레이드되어 왔다고 보면 됩니다.
 
 
그래서
GPT-1은 512의 단어조각과 12층의 지식 저장소
GPT-2는 1024의 단어조각, 48층의 지식 저장소
GPT-3은 2048의 단어조각, 96층의 지식 저장소
등 이런 식으로 발전해왔죠.
 
 
즉, 기존에도 GPT라 불리우는 대상은 존재해왔던 것입니다.
 
 
그럼 우리는 왜 특히나 ChatGPT에 폭발적인 관심을 가지게 되었을까요?
 
 
다양한 이유가 있겠지만,
사람의 언어를 이해하고 상호작용하는 자연어 처리 기술의 획기적인 진보를 바탕으로
딱딱한 공식의 QA가 아닌 대화의 맥락을 파악하고 그에 걸맞는 대답을 출력해준다는 점이었죠.
 
 
이러한 과정은 단순히 데이터의 양만으로는 자연스러운 상호작용을 커버할 수 없기에
ChatGPT는 RLHF를 통한 Fine-tuning을 거친 다음에 시장에 나왔죠.
(간단하게 말하면 시험을 통해서 배운 내용을 점검하도록 시키는거죠)
 

사진: Unsplash 의 Andrea De Santis

 
RLHF에 관한 자세한 내용은 아래의 링크를 참고하시면
보다 자세한 내용을 참고하실 수 있습니다.
(https://aws.amazon.com/ko/what-is/reinforcement-learning-from-human-feedback/)
 
 
 
근데 우리가 현재 접하고 있는 생성형 AI 서비스는
ChatGPT만이 아닙니다.
 
아시겠지만 이전까지 소개해드렸던 서비스들은
PDF를 요약해주거나, 요청한 텍스트를 이미지로 바꿔주거나 영상으로 만들어주는 등
다양한 영역에 걸쳐있죠.
 
 
그래서 다음글에 이어서 알아볼 내용은
생성형 인공지능의 종류와 주요 요소들을 한번 살펴볼겁니다.
 
그리고 이제껏 활용해온 생성형 AI 서비스들이 각각 어디에
해당했었는지도 간단하게 짚어보도록 하죠.
 
 
감사합니다.