최근 GPT-3가 정말 핫하게 떠오르고 있습니다. 역대 최대 규모의 언어 모델로 매개변수가 약 1750억 개를 가지고 있다고 하죠.(이 또한 정확한 수치인지 아무도 모르는 일입니다 ㅎ) 모두가 GPT-3의 기술력에 집중하고 있지만 OpenAI의 행보에도 주의를 기울일 필요가 있습니다. 인간 수준의 AI를 개발하는 AI 연구소인 OpenAI는 AI 기술을 투명하게 개발하고 누구에게나 공개하겠다는 비영리 단체로 인식되고 있는데요. 이번 GPT-3의 개발로 인해 점차 상용화 제품, 서비스를 제공하기 시작한 OpenAI에 대해 우려의 목소리가 담긴 흥미로운 기삿거리가 있어 전문 번역해봤습니다. 천천히 읽어보시면 현재의 OpenAI 모습을 파악하고, 미래의 OpenAI 모습을 예상해볼 수 있을 것입니다.
GPT-3 모델 운영 및 실행 비용 관련 자세한 내용은 제 블로그의 다른 글 OpenAI의 GPT-3유료화, 새로운 AI 비즈니스 모델의 시작을 참고하시길 바랍니다.
GPT-3의 알려지지 않은 이야기: OpenAI의 변화
웹 사이트 개발을 자동화할 수 있는 프로그램, 사람을 대신하여 편지를 쓰는 봇(bot), 해커 뉴스에서 유행하는 AI가 작성한 블로그. 이들은 AI 연구소 OpenAI의 최신 모델인 GPT-3와 관련된 최근 이야기 중 일부에 불과합니다. GPT-3는 지금까지 만들어진 언어 모델 중 규모가 가장 크며, AI가 곧 여러 산업을 어떻게 변화시킬 것인지에 대한 많은 논의를 불러일으키고 있습니다.
하지만 GPT-3가 OpenAI 자체를 어떻게 변화시키고 있는지에 대해선 충분한 논의가 이루어지지 않는 상황입니다. 역사상 가장 성공적인 자연어 처리 시스템을 만드는 과정에서 OpenAI는 점차 비영리 AI 연구소에서 AI 서비스를 판매하는 회사로 변모했습니다.
OpenAI는 상반된 목표, 즉 수익성 있는 AI 서비스 개발과 모두의 이익을 위한 인간 수준의 AI 추구라는 목표 사이에서 갈등하는 듯합니다. 무엇보다 이들의 균형을 유지하는 것이 OpenAI의 중요한 과제일 것입니다.
OpenAI 구조의 변화
2019년 3월, OpenAI는 비영리 연구소에서 "영리 상한선"을 둔 회사로 전환할 것이라고 발표했습니다. 이로 인해 투자자와 거대 기술 회사의 자금 조달 방법이 가능해졌지만, 투자 수익은 투자금의 100배로 제한을 두었습니다.
그렇다면 왜 이런 구조적 변화가 발생한 것일까요? OpenAI는 포스팅에서 "우리 임무 실현에 필요한 견제와 균형을 포함하는 동시에 컴퓨팅 및 인재에 대한 투자를 빠르게 늘리기 위함"이라고 언급했습니다. 여기서 핵심 문구는 "컴퓨팅과 인재"입니다.
인재 및 컴퓨팅 비용은 AI 연구의 두 가지 주요 과제입니다. OpenAI가 수행하는 연구 유형에 대한 인재 풀은 매우 적습니다. 게다가, 상용 AI에 대한 관심이 증가함에 따라 자체 프로젝트에 필요한 AI 연구원을 확보하기 위해 거대 기술 회사 간 치열한 경쟁이 벌어지고 있습니다. 고급 AI 연구원을 유치하고자 높은 급여나 특전 등을 제공하고 있는 것이죠.
구글과 페이스북은 각각 딥러닝의 선구자인 제프리 힌튼(Geoffrey Hinton)과 얀 르쿤(Yann LeCun)을 섭외했습니다. 존경받는 AI 연구원이자 GAN(Generative Adversarial Network) 모델을 개발한 이안 굿펠로우(Ian Goodfellow)는 애플에 소속되어 있죠. 또 다른 AI 천재인 안드레아 카르파티(Andrej Karpathy)는 테슬라에 있습니다.
여전히 학술 및 과학 연구에 많은 관심이 있지만, 대부분의 AI 인재는 뛰어난 급여를 제공하는 거대 회사로 유입되는 상황입니다. 비영리 AI 연구소는 비슷한 수준의 급여를 제공하지 않는 이상, 그들의 목표를 실현하기 어려울 것입니다. 2018년에 발표된 뉴욕타임즈 기사에 따르면, 일부 OpenAI 연구원은 연간 백만 달러 이상을 벌었다고 합니다. 또 다른 AI 연구소 딥마인드의 경우, 2018년에 700명의 직원에게 4억 8300만 달러 이상을 지불했다고 합니다.
AI 연구 비용의 증가는 딥러닝 알고리즘의 주요 구성 요소인 인공신경망의 계산 과정 때문입니다. 작업을 수행하기 전에 신경망은 많은 예제를 학습해야 하는데, 이는 비싼 컴퓨팅 리소스를 필요로 합니다. 지난 몇 년 동안, OpenAI는 Rubik의 큐브를 해결하는 로봇 손 , Dota 2의 챔피언을 이기는 게임봇, 숨바꼭질 놀이를 5억 번 플레이한 AI 에이전트 그룹 등 상당한 비용이 드는 여러 AI 프로젝트에 참여했습니다.
한 추정치에 따르면, GPT-3 학습 비용은 최소 460만 달러입니다. 정확히 말하면 딥러닝 모델을 훈련시키는 것은 깔끔하게, 또 한번에 끝나는 프로세스가 아닙니다. 많은 시행 착오와 하이퍼파라미터 튜닝을 거쳐야 해서 비용이 몇 배로 증가하게 됩니다.
사실 OpenAI가 상용 모델을 채택한 최초의 AI 연구소는 아닙니다. 비슷한 문제에 직면한 딥마인드(Deepmind)는 2014년 구글로부터 6억 5천만 달러의 인수 제안을 수락했습니다.
OpenAI 리더십의 변화
OpenAI는 공동 창립자 중 한 명인 샘 알트만(Sam Altman)의 지도력 아래 마케팅 투자를 시작했습니다. 그는 유명한 스타트업 액셀러레이터 ‘Y 콤비네이터(Combinator)’의 사장직에서 물러나고 OpenAI의 CEO가 되었습니다. 알트만 이전에는 OpenAI의 공동 창립자이자 CTO인 그레그 브로크맨(Greg Brockman)이 조직의 수장이었습니다. 브로크맨은 노련한 천재 과학자였죠.
하지만 기술 투자 방면에서는 명성과 제품 관리 기술이 과학적 천재성보다 훨씬 더 중요합니다. 알트만은 투자자들이 신뢰하는 사람으로, Y 콤비네이터에서 재직하는 동안 에어비엔비, 드롭박스 등을 비롯한 많은 회사들의 성공적인 운영을 도왔습니다.
2019년 5월에 진행된 테크 크런치(TechCrunch) 인터뷰에서 알트만은 OpenAI가 어떠한 수익도 낸 적이 없고, 수익을 낼 당장의 계획도 없으며, 향후 수익 창출에 대한 아무런 계획도 없다고 언급했습니다.
그럼에도 투자자들은 OpenAI에 돈을 쏟아 부었습니다. 알트만이 어떻게든 투자 수익을 올릴 수 있는 방법을 찾을 것이라고 믿었던 마이크로소프트(이하 MS) 역시 7월에 10억 달러를 투자했습니다.
OpenAI 임무의 변화
OpenAI가 투자를 받고 있긴 하지만, 사실 기술 투자 회사와 OpenAI와 같은 과학 연구소 사이에는 근본적인 갈등이 있습니다.
OpenAI의 명시된 임무는 안전한 AGI(artificial general intelligence, 범용 인공지능)를 구축하고 다른 사람들과 혜택을 공유하면서 모든 인류에게 이익이 되도록 보장하는 것입니다.
다만, 전문가의 추정치에 따르면 AGI는 적어도 수십 년이 지나야 이룰 수 있는 높은 경지입니다. 기술 투자자들은 수십 년을 인내할 사람들이 아니며, 일정 기간 내에 투자 수익을 보지 못하면 불안해합니다.(유명한 보스톤 다이내믹스가 지난 몇 년 동안 로봇 관련 유튜브 동영상을 게시했음에도 불구하고 투자자가 바뀐 사례를 참고)
MS 투자를 발표한 아래 블로그 포스팅 일부를 보면 OpenAI가 AGI 연구와 투자자의 만족도 간의 균형을 어떻게 유지할 계획인지 알 수 있습니다.
“OpenAI는 점점 더 강력해지는 일련의 AI 기술을 생산하고 있으며 계산 능력 향상을 위해서는 많은 자본이 필요합니다. 비용을 충당하는 가장 확실한 방법은 제품을 생산하는 것이지만, 이는 우리의 관심사라고 할 수 없습니다. 대신, 우리는 AGI 선행 기술 일부에 라이선스를 부여할 계획이며, 기술 상용화를 위해 이미 MS가 파트너가 된 상황입니다”
비록 위에서 제품 생산이 관심사가 아님을 밝혔으나, OpenAI가 적어도 부분적으로는 제품 회사가 되어가고 있는 신호가 보입니다.
GPT-3 상용화 버전 출시
2020년 5월, MS는 OpenAI와 함께 세계 탑5 안에 드는 슈퍼 컴퓨터를 만들겠다고 선언했습니다. 알트만은 이를 “꿈의 시스템”이라 칭했고, MS는 OpenAI의 기술력을 적극 활용하고 있는 상황입니다. 슈퍼 컴퓨터는 OpenAI의 딥러닝 모델 학습에도 도움을 제공하고, MS Azure 클라우드 컴퓨팅 플랫폼의 다른 고객에게도 서비스할 예정입니다.
MS가 선언한지 2주도 되지 않아 GPT-3 논문의 첫 번째 버전이 arXiv 프리프린트(pre-print) 서버에 등록되었습니다. 기존 GPT-2와 달리 GPT-3는 사람들에게 공개되지 않습니다. 대신 OpenAI는 API를 통해 GPT-3에 대한 액세스 권한을 부여하는 상용화 버전을 출시하기로 했고, 6월 11일 공식적으로 API를 공개했습니다.
이는 블랙박스 클라우드 기반 AI 플랫폼인 MS의 Cognitive Services와 유사합니다. 모델이 작동하는 실제 세부 정보를 제공하지 않고도 개발자에게 컴퓨터 비전, 자연어 처리 및 기타 AI 기능에 대한 API 액세스를 제공하기 때문이죠.
또한, OpenAI의 API 제공은 적어도 MS의 투자 수익률을 높여줄 것입니다. MS 역시 기술에 더 깊이 접근할 수 있고 빙, 오피스 365, 아웃룩, Teams 등 자사 제품과 통합하면서 많은 것을 얻을 수 있습니다.
GPT-3 상용화 버전 출시로 OpenAI는 AI 제품 회사에 한 발짝 가까워졌습니다. 하지만 이는 동시에 비영리 과학 AI 연구에서 한 발짝 멀어진 것을 의미합니다.
AI 관련 주의사항 단순화
GPT-2를 개발했을 당시, OpenAI 팀은 스팸 및 가짜 뉴스 유포와 같은 "기술의 악의적 응용 프로그램"에 대한 우려로 대중에게 공개하지 않기로 결정했습니다. 대신 단계적 접근 방식을 채택하여 규모가 작은 AI 모델을 출시하고, 더 큰 모델을 공개하기 전 작은 AI 모델의 결과를 평가했습니다.
당시 몇몇 사람들은 성능이 좋은 언어 모델이라도 가짜 뉴스를 만들 수 없을 것이라 생각했지만, 또 기술을 공개하기 전 그 파급 효과를 예상해보는 것도 필요하다고 이야기했습니다.
GPT-3는 GPT-2보다 1000배 이상 규모가 큽니다. 딥러닝 언어 모델의 주요 문제 중 하나는 메모리 스팬(memory span, 기억할 수 있는 범위)입니다. AI는 생성하는 텍스트가 길어짐에 따라 일관성을 잃기 시작합니다. 실험에 따르면 일반적으로 더 큰 신경망이 더 긴 메모리 스팬을 가지며, 이는 GPT-3에서 오류 발생 가능성이 GPT-2보다 훨씬 큰 것을 의미합니다.
하지만 스팸봇과 가짜 뉴스 생성기를 만드는 데 사용될 수 있는 이번 GPT-3에 대해 OpenAI는 이슈 제기를 많이 하지 않았습니다. 오히려 OpenAI 경영진은 GPT-3 관련 주의사항을 최대한 단순화시키려고 했습니다. 7월에 알트만은 트위터에서 "GPT-3 과대 광고" 문제에 대해 다음과 같이 의견을 밝혔습니다.
“GPT-3 과대 광고는 너무 많습니다. 여러분들의 칭찬이 정말 인상적이지만 여전히 심각한 약점이 있고, 때로는 바보 같은 실수를 합니다. AI는 세상을 바꿀 것이지만 GPT-3는 아주 초기 단계에 불과합니다. 우리는 아직 알아낼 것이 많습니다.”
알트만의 의견은 대부분 사실입니다. AI가 인간 수준의 지능에 도달하기까지 아직 갈 길이 멀죠. GPT-3는 훌륭한 발전을 이뤘지만, 지금까지 시도된 많은 실험 결과를 보면 “지능(intelligence)”을 갖추었다고 판단하기 어렵습니다.
그럼에도 이런 알트만의 발언은 모든 것이 통제되고 있음을 알리며 투자자들을 안심시키는 효과를 가집니다.
제품 회사로서의 OpenAI
출시 이후 GPT-3는 기술 커뮤니티에서 호평을 받았습니다. 많은 개발자와 기업가는 시, 애니메이션, 트윗 및 웹 사이트 모형을 생성하는 GPT-3 트윗을 게시했습니다.
Words → website ✨
— Jordan Singer (@jsngr) July 25, 2020
A GPT-3 × Figma plugin that takes a URL and a description to mock up a website for you. pic.twitter.com/UsJz0ClGA7
한 개발자는 GPT-3를 활용하여 데이터셋과 출력값 설명만으로 머신러닝 모델 코드를 생성하기도 했습니다.
AI INCEPTION!
— Matt Shumer (@mattshumer_) July 25, 2020
I just used GPT-3 to generate code for a machine learning model, just by describing the dataset and required output.
This is the start of no-code AI. pic.twitter.com/AWX5mZB6SK
이 게시물 중 상당수는 단지 재미있는 실험에 불과합니다. GPT-3가 바로 일자리를 빼앗지 않을 것입니다. AI 연구원들과 과학자들은 딥러닝 모델이 사람은 쉽게 해결할 수 있는 추상적 인지 문제를 다룰 수 없다는 한계를 지적했습니다.
하지만 GPT-3는 분명 강력한 능력을 지니고 있으며 AI 비즈니스의 전환점이 될 수 있습니다. 딥러닝 시스템의 주요 한계 중 하나는 ANI(artificial narrow intelligence, 좁은 인공지능) 시스템이라는 것입니다. 특정 작업은 잘 수행하지만 다른 도메인으로 일반화하기에는 부족한 것을 뜻합니다. 새로운 딥러닝 애플리케이션을 생성하려면 모델을 처음부터 훈련시키거나 전이 학습을 통해 사전 훈련된 모델의 매개 변수를 미세 조정해야 하는 것이죠.
따라서 AI 서비스를 하나의 플랫폼으로 배포하기란 쉬운 일이 아닙니다. GPT-3 역시 여전히 ANI 영역에 있지만 많은 작업에서 제로 샷 학습(zero-shot learning, 특정 문제에 대해 학습한 경험이 없어도 이미 저장된 데이터를 변형하고 해석하여 학습했던 문제와 학습하지 않았던 문제 간의 특징을 분석하여 답을 예측)을 수행하고 있습니다. 이는 매개 변수를 다시 조정하지 않고도 많은 새로운 애플리케이션에 적용할 수 있음을 의미합니다.
이런 능력을 바탕으로 많은 회사들은 이미 GPT-3 모델을 사용하여 새로운 서비스를 만들고 있습니다. Debuild.co는 GPT-3를 사용하여 웹 애플리케이션을 만드는 회사입니다.
Here's a sentence describing what Google's home page should look and here's GPT-3 generating the code for it nearly perfectly. pic.twitter.com/m49hoKiEpR
— Sharif Shameem (@sharifshameem) July 15, 2020
Augrented라는 회사는 임차인이 예비 임대인을 조사하는 데 도움을 제공하고 있습니다. 이들은 GPT-3를 통해 법적 고지나 기타 전문 자료를 알기 쉬운 영어로 요약하여 임차인이 자신의 권리를 보호할 수 있도록 하는 것이죠.
이외에 OthersideAI라는 회사는 사용자에게 창작 툴을 제공하고자 GPT-3를 활용하고 있습니다.
GPT-3 is going to change the way you work.
— OthersideAI (@OthersideAI) July 22, 2020
Introducing Quick Response by OthersideAI
Automatically write emails in your personal style by simply writing the key points you want to get across
The days of spending hours a day emailing are over!!!
Beta access link in bio! pic.twitter.com/HFjZOgJvR8
GPT-3는 결국 거대한 비즈니스 생태계가 탄생하는 새로운 플랫폼이 될 것입니다. 이렇게 될 경우 알트만에게는 성공적인 일이겠지만, OpenAI는 점점 제품 및 서비스 회사 영역에 가까워지는 것입니다. 이는 오픈 소스 AI 모델을 출시하고 이를 통해 개발자가 원하는 것을 할 수 있도록 하는 것과는 매우 다릅니다.
OpenAI는 고객을 만족시키고, 인프라를 확장하고, 규정 준수 문제를 처리하는 등의 작업을 해야 합니다. AI 모델이 새롭게 등장한 스타트업의 밥벌이 수단이 됨에 따라, OpenAI는 딥러닝 비즈니스를 운영하는 데 요구되는 몇 가지 특정 과제도 처리해야 합니다. 또한, 유해한 편견을 제거하고 모델링 이슈를 처리해야 합니다. 이와 같은 작업은 본래 비용이 많이 드는데, 1750억 개의 매개 변수를 가진 딥러닝 모델은 그 비용이 엄청날 것입니다.
따라서 OpenAI는 수익성을 유지하는 동시에 이 모든 작업을 수행할 수 있는 방법을 찾아야 합니다. 알트만이 매우 성공적인 기업가라 하더라도 회사 운영을 혼자서 담당할 수는 없습니다. OpenAI가 제품 관리 영역으로 나아가면서 MS의 많은 도움이 필요한 상황입니다. 이미 MS의 클라우드 인프라에 의존하여 모델을 학습하고 실행하고 있지만 합법성, 고객 지원, 개인 정보 보호 및 보안, 제품 확장까지 처리하려면 점점 더 많은 기술 회사의 지원을 받아야 할 것입니다.
OpenAI의 미래
OpenAI의 이야기는 현재 과학적 AI 연구의 모습을 잘 나타냅니다. 많은 사람들은 대규모의 딥러닝 모델이 더 진보된 AI 시스템으로 이어질 것이라고 예상합니다. 결국 AI 연구소가 인재를 확보하고 규모가 점점 커지는 딥러닝 모델을 훈련시키기 위해서는 많은 돈이 필요한 것입니다.
지금 단계에서 이러한 금액을 감당할 수 있는 유일한 조직은 거대 기술 회사뿐입니다. 하지만 투자 수익을 기대하는 기술 투자자로 인해, 연구소는 자원 일부를 사용하여 수익성 있는 제품을 생산해야 하죠. 시간이 지나면 대기업은 연구소 운영 방향을 내부 상업적 목표에 완전히 맞출 것입니다.
이와 같은 상황은 구글이 딥마인드를 인수한 이후에 벌어진 일에서 어느정도 파악할 수 있습니다. 딥마인드 AI 랩은 AGI 연구와 수익성 있는 제품을 만드는 "응용 AI" 부서 간에 자원을 나눠야 했습니다. 하지만 회사 오너로 인해 발생된 비용은 균등하게 부담하지 않았습니다.
OpenAI의 경우, 현재까지는 상황이 괜찮습니다. 하지만 AI 서비스 상용화에 몰두할수록 원래의 임무를 유지하기 어려워질 것입니다. 인간 수준의 AI에 대한 과학적 연구의 “투명한, 누구에게나 공개하는” 특성을 지킬 것인가? 아니면 기업 비밀이나 지적 재산의 관점에서 연구를 보호하고 상업적 방향을 모색할 것인가? "인류에 대한 기본적인 신탁 의무"를 지킬 것인가? 투자자나 잠재적인 미래 소유주의 만족이 주요 초점이 될 것인가?
우리는 다같이 지켜볼 필요가 있습니다.
참고 원문: https://bdtechtalks.com/2020/08/17/openai-gpt-3-commercial-ai/
'기타 디지털 소식' 카테고리의 다른 글
| AI ethics - 인공지능 윤리 교육과 윤리 학습 (0) | 2020.09.21 |
|---|---|
| AI는 자연재해를 컨트롤할 수 있을까? feat. Google, Alibaba (0) | 2020.09.03 |
| 구글 어시스턴트, 시리, 빅스비, 알렉사 전격 비교 (0) | 2020.08.21 |
| 최근 구글 번역의 발전 feat. Google AI Blog (2) | 2020.08.20 |
| 유해한 행동을 탐지하는 페이스북의 시뮬레이터 feat. AI 봇 (0) | 2020.07.26 |
