챗GPT, 미국 변호사 시험 통과하다

 

오늘은 전 세계에 AI 충격을 던진 대화형 AI '챗GPT'에 대해서 알아보려고 합니다. 

GPT는 인간의 언어를 이해하고, 문장과 글을 생성할 수 있도록 만들어진 AI기술입니다.

1. 미국 변호사 시험, 상위권으로 통과한 챗GPT

이 AI와 채팅이 가능하도록 설계된 서비스가 챗GPT라고 할 수 있습니다. 아마 요즘 너무 핫한 이슈라 다들 한 번씩은 들어보셨을 것 같습니다. 작년 11월 공개되었던 챗GPT에는 GPT-3.5 버전이 탑재되었습니다. 인간이 컴퓨터에 입력한 문장을 인식하여 마치 다른 사람과 대화하는 것처럼 인간의 언어로 답변하는 구조입니다. 이번에 공개한 GPT-4는 스마트폰을 통해 찍은 사진이나 사람의 손 글씨도 인식하며 없는 사실을 지어내는 오류도 크게 줄였다고 합니다. 또한 이전에 변호사 자격시험 등 각종 시험에서 GPT-3.5는 하위 10% 수준에 머물러 있었습니다. 하지만 이번에 공개된 GPT-4는 상위 10% 의 능력을 보일 만큼 놀라운 성장을 보여주었습니다. 뉴욕타임스에서는 "기술 산업이 지난 수십 년 동안 가장 예측할 수 없는 순간에 도달했다"고 평가했습니다. 앞으로 기술의 발전이 가속화되며 우리가 예측하지 못한 일들이 많이 벌어질 것 같습니다.

GPT-4 온라인 발표 행사에서 그레그 브록맨 오픈AI 사장은 AI의 새로운 활용법을 공개했습니다. 모두가 기술력에 감탄했습니다. 그는 자신이 구상한 웹사이트 아이디어, 디자인을 그림을 그리듯이 종이에 그려나갔습니다. 이를 스마트폰으로 찍어 GPT-4에 입력했습니다. 이에 놀라운 결과를 보여줬는데요. GPT-4는 수 초 만에 메모와 거의 비슷한 웹페이지를 만들어냈습니다. 또한 일일이 타자로 입력하기 귀찮은 순간을 다들 경험해 보셨을거라 생각합니다. 스마트폰으로 냉장고 안을 찍어서 GPT에 입력하면 AI는 사진을 통해 재료를 인식합니다. 그리고 사진에 나오는 재료로 만들 수 있는 요리와 레시피까지 제공해 줍니다. 사진이나 영상이 무엇인지 파악하는 AI 기술의 경우 기존에도 존재하고 있기 때문에 어떤 점이 다른지 궁금하실 겁니다. GPT의 경우에는 인간과 컴퓨터의 언어까지 완벽하게 구사하며 질문하는 자가 원하는 답과 제품을 제시할 수 있는 수준까지 온 것에서 더욱 발전했다고 볼 수 있습니다. 

 

또한 기존 GPT-3.5의 경우에는 문제의 답을 푸는 시험에서도 간신히 합격선을 넘었다면 GPT-4에서는 최상위권으로 합격한 것을 볼 수 있습니다. 오픈AI는 40개 미국 내 객관식으로 진행되는 시험을 기반으로 GPT-3.5와 GPT-4가 시험을 치게 한 뒤 성적을 공개했습니다. 미국 로스쿨 입학시험인 LSAT의 경우 GPT-4는 상위 10%의 성적으로 합격했습니다. 반면 GPT-3.5는 상위 60%에 그쳤습니다. 둘 다 우수한 성적이라 하더라도 기술의 발전에 따라 난이도에 있어 상당한 차이를 보였습니다. 이뿐만이 아니라 2020년 치러진 미국 생물 올리피아드 준결승 문제에서도 큰 차이를 보였습니다. GPT-4의 점수는 상위 1%에 들었으며 데이터 처리량도 상당하게 늘어난 수준이었습니다. 기존에 진행되던 GPT-3.5는 한 번에 3,000개 정도의 단어를 만들어 냈다면, GPT-4에서는 2만 5,000개까지 가능하게 되었습니다. 짧은 문서 정도만 다룰 수 있었던 기존 챗GPT와 다르게 긴 글도 만드는 수준으로 실력이 향상된 것입니다. 

 

한국어 정확도 부분에서도 큰 차이를 보였습니다. GPT-4의 한국어 정확도는 77%로 향상되었습니다. 이는 GPT-3.5의 영어 이해도와 비슷한 수준이라고 합니다. 

2. 챗GPT의 거짓말 오류 

일명 '환각 오류'라고 합니다. 이는 챗GPT가 그럴싸한 거짓말을 지어내는 현상을 뜻합니다. 기존에는 환각오류의 양이 많았다면 GPT-4의 경우 이전보다 40%가량의 데이터가 '환각 오류'에서 개선되었다고 합니다. 실제로 '곡학아세가 무엇이냐?'는 질문에 GPT-4는 "율곡 이이의 저서"라고 답했으며 GPT-3.5는 "고려시대 가수"라고 답했습니다. 이를 개선하기 위해 오픈AI는 많은 노력을 했습니다. AI가 거짓을 지어내거나 인간의 통제를 벗어나는 오류를 찾는 프로그램을 만들어 집중적으로 GPT를 학습시켰다고 합니다.

 

오늘날 GPT-4는 여러 기업에서도 사용료를 지불하고 기술을 가져와 서비스를 만들 수 있기 때문에 다양한 분야에서 확산적으로 사용될 것으로 보입니다. 이에 새로운 산업으로의 발전도 기대해볼 수 있을 것으로 예상합니다.