GPT를 처음 알게된 건 2020년쯤이었을 거다. GPT3에 관한 기사를 지인이 알려줘서 콧웃음치고 넘겼던 기억이 있다. 코딩이 대체될 거냐는 질문이었기 때문이다. 한창 코딩에 고통 받던 시기라 AI 따위가 코딩을 대체한다는 걸 믿고 싶지 않았다. 게다가 코딩을 자동화 한다는 건 늘 있던 이야기 아닌가?
5년이 흘렀다. 이제 코딩이 대체된다는 질문에 콧웃음치지 않으며, AI 따위라는 단어도 성립되지 않는다. 스타트업 대표로서 AI의 효율을 극대화하려는 고민을 늘 하고 있으며, AI를 내 무기로 만들려는 노력도 진행 중이다.
책 자체는 편하게 읽었다. -습니다체 특유의 가독성과 내용을 쉽게 풀어낸 탓에 술술 읽혔다. 최근 AI 모델에 관한 문서를 작성할 일이 있었는데 덕분에 기초 지식을 몇몇 읽어둔 탓에 더욱 편히 읽혔다. AI라는 것이 파고 들면 첨단 산업 중 하나지만, 대략적인 개요를 이해하는 것은 충분히 가능하지 싶다.
사실 이 책은 앞서 2023년 6월 출시된 책을 염두에 두고 골랐다. 시간이 흘러 업그레이드된 2025년 버전을 구매했고, 1년이 지난 2024년 9월 본이다. 책은 두 배 가까이 늘어났고, 개인적으로는 아쉬운 결과다. 아마도 책에 깊이를 더하려는 시도와 자신의 메시지를 담고 싶은 욕심이 아니었을까 싶다.
잘 정리될 수 있었던 책이었다만, 다소 정치색이 들어간 것이 아쉽다. 특히나 책 마지막 부분에 다소 찝찝한 느낌을 받았고, 저자의 커리어를 검색해보니 그럴 수 밖에 없던 이력에 다소 아쉬움을 느꼈다. 덕분에 앞서 읽었던 좋았던 내용이 모두 머릿속에서 휘발돼 버린듯 싶다.
저자의 욕심이 아쉬울 뿐이다.
한줄평
- 좋은 AI 입문서, 다만 정치색을 뺐더라면
인상 깊은 문구
- 멀티모달(Multimodal)은 여러 형태의 정보 형식을 가리킵니다. AI에서 멀티모달은 텍스트, 이미지, 음성, 동영상 등 서로 다른 방식으로 표현된 정보를 함께 처리하거나 활용하는 것을 말합니다.
- 인공지능에는 규모의 법칙이란 게 있습니다. 컴퓨팅 파워를 더 많이 넣을수록, 학습 데이터를 더 많이 넣을수록, 매캐변수를 크게 잡을수록 인공지능의 성능이 더 좋아지더라는 것인데요.
- 라마3가 학습 데이터의 양을 가지고 승부를 했다면, 파이-3는 학습 데이터의 질로 접근해서 각기 놀라운 성취를 이뤘습니다.
- 대부분의 인간 지식은 실제로 언어가 아니므로 그 시스템은 아키텍처를 바꾸지 않는 한 인간 수준의 지능에 도달할 수 없습니다.
- 그런데 여기서 새로운 문제가 생깁니다. 인공지능이 맞히기는 기가 막히게 잘 맞히는데, 왜 잘 맞히는지를 인간이 알 수가 없다는 것입니다. 설명을 할 수가 없다는 것이지요. 설명을 하려면 1,000만 개, 1억 개의 매개변수를 다 열고 하나하나 짚어가면서 ‘왜 이 매개변수에는 0.0000023점을 주고, 저 매개변수에는 0.00000001점을 줬는지’ 설명할 수 있어야 하는데, 인간의 자연 수명으로는 죽을 때까지 1억개의 매개변수를 열기도 바뿌기 때문입니다.
- 챗GPT는 사전에 인간의 피드백을 가지고 강화학습을 한 결과, 그런 경우의 수를 꽤 잘 피해갑니다. 또 테이와 달리 사람들과 대화하는 과정에서 배우지 않습니다. 대화 세션이 이어지는 동안만 기억하고, 그동안에는 자신의 매개변수를 조정하지 않습니다.
- <뉴욕타임스> 보도에 따르면 챗GPT를 학습시키는 데 거의 3.7조 원 정도가 들었다고 합니다.
- 인공지능은 ‘잠재된 패턴’이 있는 곳에서는 어디서나 위력을 발휘할 수 있습니다.
- 챗GPT는 5조 개의 문서로 학습해 잠재적 패턴을 찾아낸 다음, 그 패턴을 이용해 주어진 단어를 보고 그다으에 올 ‘확률적으로 가장 그럴듯한’ 단어를 찾습니다.
- ‘검색 증강 생성’이란 쉽게 말해 외부의 데이터를 가져와서 거대언어모델의 부족한 지식을 보완하는 것입니다.
- 지금의 AI는 블랙박스입니다. 왜 그렇게 작동하는지를 구체적으로 설명할 수 없습니다. 그러니 부분만 고치는 건 할 수 없습니다. 전체를 다시 학습시킬 수밖에 없지요.
- 구글에서 만든 BERT라는 딥러닝 언어모델은 토큰을 786차원에서 걸쳐서 표현합니다.
- 1994년 52명의 심리학자 그룹이 지능의 과학에 관한 사설에 실린 광범위한 정의에 서명했습니다. 이 합의 그룹은 지능을, 추론하교 / 계획하고 / 문제를 해결하고 / 추상적으로 사고하고 / 복잡한 아이디어를 이해하고 / 빠르게 학습하고 / 경험으로부터 배우는 능력을 포함하는 매우 일반적인 정신 능력으로 정의했습니다.
- 그는 또 하나 두려운 것은, 스마트 머신(인공지능)이 작업을 수행하는 데 필요한 중간 단계인 자체 하위 목표를 스스로 만들게 되는 것이라고 말합니다. 중간 목표란, 주어진 목표를 이루기 위해서 필요한 중간 단계를 말합니다. 예를 들어 사람에게 해롭지 않은 목표를 주었다고 해도 인공지능이 스스로 중간 목표를 정할 수 있다면, 이 일은 아주 위험해질 수 있습니다.
- 거대 AI의 그늘 아래에서 언제 대체될지 모를 위험을 안고 살 것인가, 아니면 바깥에서 굶어 죽을지도 모를 위험을 감수할 것인가? 이와 같은 양자택일의 상황이 올 수도 있습니다. 구글과 네이버의 검색 결과 페이지와, 애플과 안드로이드의 앱스토어에서 맨 위를 차지하기 위해 갖은 애를 썼던 독립 서비스들이, 이제는 거대언어모델의 도구가 될 것인가를 두고 존재론적 고민을 하게 된 것입니다.
- 오픈AI는 설립 초기부터 컴퓨팅 자원의 20퍼센트를 슈퍼 얼라인먼트, 다시 말해 윤리적 개발에 할당하기로 했습니다. 애초의 취지가 그랬으니까요. 그런데 알고 보니 슈퍼 얼라인먼트 팀은 사실상 해체에 가까웠고, 자원도 제품 개발에 우선 배분해온 것이 드러난 것입니다.
- 테그마크 교수는 ‘인류가 강력한 AI의 출현을 막기 위해 하지 말아야 할 일’ 목록에 있는 거의 모든 일들을 이미 저지르고 있다고 지적합니다.
- 옥스포드대학교의 컴퓨터 과학자 일리아 슈마일로프 등이 쓴 <재귀적 생성 데이터로 훈련한 인공지능 모델의 붕괴>에 따르면 인공지능이 생성한 학습 데이터로 훈련한 인공지능은 마치 종의 근친교배와도 같이 붕괴해버립니다.
- 거대언어모델이 이해할 수 없는 모델이라는 것입니다. 엄청나게 방대한 데이터(가령 챗GPT는 5조 개의 문서)를 학습할 수밖에 없는데, 여기에 어떤 왜곡된 내용과 편견이 들어가 있는지를 알 수 없습니다. 더 두려운 것은 이런 학습 과정에서 거대언어모델은 필연적으로 인터넷에 대한 접근성이 낮고 온라인에서 언어적 영향력이 작은 국가와 민족의 언어와 규범을 포착하지 못할 것이라는 점입니다. 즉, 이런 거대언어모델들이 생성한 답들은 가장 부유한 국가와 커뮤니티의 관행을 반영하여 동질화될 수밖에 없습니다.
- 성별, 인종 등을 데이터에 담지 않아도 유추할 수 있는 다양한 경로가 있습니다. 거주지가 백인 부유층이 모여 사는 곳이거나, 흑인들이 모여 사는 곳일 수 있습니다. 주로 쇼핑하는 곳에서 힌트가 나올 수도 있습니다. 인공지능은 예전의 신용평가 데이터들을 학습합니다. 따라서 예전에 남, 여를 차별해서 신용평가점수를 매겨왔다면 인공지능은 당연히 잠재된 패턴에 따라 차별이 담긴 결과를 내놓습니다. 결국 애플은 이 인공지능 신용평가 시스템을 파기해야 했습니다.
- 유럽연합에는 녹서라는 제도가 있습니다. 사회적으로 함께 답을 찾아야 할 어떤 일이 있을 때 ‘그 일에 제대로 대처하기 위해서 우리는 어떤 질문에 대답해야 하는가?’라는 것, 그러니까 우리가 답해야 할 질문들을 모아서 묶은 보고서입니다.
- 정부가 녹서를 내놓으면 전체 사회가 함께 그 질문들에 대한 답을 찾습니다. 이런 과정을 몇 년간 거치고 나서야 정부는 공론화를 통해 모인 답을 묶어 보고서를 내놓습니다. 이게 바로 백서입니다.
- 프라이버시 / 책임성 / 안전과 보안 / 투명성과 설명가능성 / 공정성과 차별 금지 / 인간의 기술 통제 / 직업적 책임 / 인간 가치 증진
- 전 세계적으로 인공지능의 윤리와 관련하여 다루는 핵심 주제는 대체로 위와 같은 여덟 가지라는 것입니다. 이 여덟 가지에 제대로 답할 수 있다면 우리는 안전한 인공지능을 향한 첫 번째 발걸음을 뗄 수 있다는 뜻이 됩니다.
- 책임성 : 기계가 하는 일에 대해 책임을 지는 사람이 항상 있어야 합니다.
- ‘도대체 요즈음처럼 기술의 변화가 빠른데 어떻게 5년을 토론만 하고 있을 수가 있느냐?’라는 생각을 할 수 있습니다. 그런데 유럽연합의 AI법은 주요 국가 중 가장 빨리 만들어진 법입니다. 오래 생각하고, 깊이 생각하고, 넓게 토론한 결과입니다. 인공지능은 하늘에서 갑자기 뚝 떨어진 기술이 아닙니다. 몇십 년 전부터 함께 고민하고 토론해온 사회였기에 5년 간의 숙고 과정을 거쳐 제정했지만 가장 빨리 만들어진 법이 될 수 있었습니다.
- ‘브뤼셀 효과’라는 게 있습니다. 유럽연합의 규제와 법률이 전 세계에 영향을 미쳐 사실상 표준으로 작용하게 되는 것을 말합니다. 브뤼셀에 유럽의회가 있어서 이런 이름이 붙었습니다. 일반 데이터 보호 규정, 애플의 USB-C 충전 포트 채택 등이 대표적인 브뤼셀 효과의 사례입니다.
- 일상생활에서 AI 및 AI 지원 제품을 점점 더 많이 사용, 상호작용 또는 구매하는 미국인의 이익은 보호되어야 합니다.
- 2023년 11월 영국에서 ‘AI 안전성 정상회의’가 열렸습니다. 이 회의는 특히 주목할 만합니다. 튜링상을 수상한 AI 학자이자 UN 과학자문위원회 위원인 요수아 벤지오를 의장으로 하는 국제전문가 그룹이 <첨단 인공지능의 안전성에 관한 국제과학보고서>를 만들고 있기 때문입니다.
- 데이터의 투명성과 통제권이 부족하기 때문에, 비동의 딥페이크나 스토킹과 같은 범용 AI에서 발생하는 새로운 형태의 프라이버시 침해는 기술적 수단으로 예방하기 어렵습니다. 일부 법적 프레임워크는 악의적인 사용에 대해 창작자와 배포자를 책임지도록 하고, 프라이버시가 침해된 개인에게 구제책을 제공하는 것을 목표로 하고 있습니다.
- 미국 캘리포니아 상원에 계류 중인 ‘최첨단 인공지능 모델을 위한 안전하고 보안이 강화된 혁신법 SB 1047’을 둘러싼 토론도 함께 볼 가치가 있습니다.
- 학습 연산량이 10의 26제곱을 넘어가는 모델로, 학습에 들어간 비용이 1억 달러를 넘어서는 인공지능을 대상으로 합니다.
- 이런 모델을 개발하는 곳은 반드시 사이버 보안 보호를 규현해, 무단 접근, 오용 또는 훈련 후의 안전하지 않은 수정을 방지해야 합니다. 즉시 전체 셧다운을 할 수 있는 기능, 즉 킬 스위치를 구비해야 합니다.
- 이런 규모의 인공지능을 위한 클라우드 서비스를 운영하는 자는 고객 정보와 사용 데이터를 7년간 보관해야 하고, 요청 시 시행된 정책과 절차를 포함해 담당 부서 또는 주 법무장관에게 제공해야 합니다.
- 인공지능 법안을 두러싼 찬반양론이 보여주는 것은, 산업계가 거대 모델에 대한 규제가 필요하다고 때로 주장하고, 스스로 약속을 발표하기도 하지만 실제로 그 부담을 지는 것을 꺼린다는 것입니다.
- 슈미트가 하는 말은 ‘빠르게 행동하고 나중에 용서를 구하라’라는 실리콘밸리에 팽배한 태도를 반영합니다. 거대언어모델의 학습을 위해서 콘텐츠가 부족하다면 훔쳐서라도 사용을 하고, 성공한 다음 실력 있는 변호사를 구해 대응하면 된다는 것입니다. 실패하면? 그땐 물어줄 것도 없으니 그만이라는 것이지요.
- 오픈AI, 딥마인드, 앤스로픽, 그록 등 주요 거대 인공지능 모델을 개발하는 사람들과 주요 투자자들은 대부분 비슷한 사상을 공유하고 있습니다. 장기주의, 효과적 이타주의 그리고 효과적 가속주의가 그것입니다.
- 오드가 장기주의 문헌에 가장 중요한 공헌 중 하나라고 극찬한 벡스테드의 2013년 박사 학위논문의 한 구절을 인용하면 다음과 같습니다: 가난한 나라에서 생명을 구하는 것은 부유한 나라에서 생명을 구하고 개선하는 것보다 파급 효과가 훨씬 작을 수 있습니다. 왜 그럴까요? 부유한 국가는 혁신이 훨씬 더 많고 근로자의 경제적 생산성이 훨씬 높기 때문입니다.
- 장기주의 사상의 핵심 중 하나는 인류를 단일 종으로 간주한다는 것입니다. 인류의 생존이 다른 무엇보다도 중요합니다. 그러니 미래에 10의 54제곱명의 인류가 존재할 확률이 ‘단 1퍼센트’라 할지라도, “실존적 위험을 단 10억분의 1로 줄이는 기대 가치는 10억 명의 목숨보다 1,000억 배의 가치가 있다”는 말을 할 수가 있는 것입니다. 사람의 생명을 단순한 숫자로 비교하는 이런 접근은 인류를 하나의 단위로 보지 않고는 불가능합니다. 이런 접근이 또 있었지요? 맞습니다. 히틀러가 게르만족을 그렇게 봤습니다. 그는 게르만이 위대한 아리아인종의 순수성을 가장 잘 보존한 민족이라고 주장하며 다른 민족들을 억압하고 탄압했지요. 이런 태도를 전체주의라고 부릅니다.
- 앞의 글에서 본 것처럼 장기주의는 460억 달러나 되는 자금을 갖고 있으며, 주로 미국을 비롯해 세계의 정재계 곳곳에 뿌리를 내리고 있습니다. 말 그대로 ‘엘리트 대학과 실리콘밸리 외에는 거의 들어본 적이 없음에도 가장 영향력 있는 이데올로기 중 하나’로 작동하고 있다는 것입니다. 문제는 이들이 전 세계의 주요 거대 인공지능 개발을 도맡아 하고 있다는 것입니다. 말하자면 우리는 모르는 사이에 이들의 사상을 강요당하고 있다고 할 수도 있습니다. ‘선출되지 않은 슈퍼 ㅇ레리트들’이 단지 인공지능 개발만 독점하고 있는 게 아니라, 사상까지 독점해가고 있는지도 모른다는 것이지요. 인공지능의 발전에 대한 국제적 규제와 규범의 확립이 대단히 시급하고 중요한 또 다른 이유라고 할 것입니다.
- 이미 2, 3위 그룹과 압도적인 격차를 보이고 있는 슈퍼파워 미국이 스스로 이런 노력과 예산을 투입하고 있다는 것은 진심으로 탄복스럽습니다. 계획을 보면 제대로 된 전문가들이 처음부터 함께했다는 것을 알 수 있습니다. 미국은 이렇게 과학과 기술 분야에서 확실히 전문가들이 결정에 참가할 수 있게 합니다. 그것이 미국이 슈퍼파워의 지위를 지속적으로 유지하는 원동력 중 하나일지도 모르겠습니다.
- 과학기술정보통신부의 통계에 따르면 최근 10년간 해외로 떠난 이공계 인재가 30만 명을 넘어섰습니다. 이공계 학부생을 비롯해 석박사 고급 두뇌들이 매년 3~4만 명씩 떠나고 있습니다.
- 정부의 과학기술 정책의 호흡이 너무 짧습니다.
- 이런 일은 처음이 아닙니다. 무슨 신산업이 나타난다고 할 때마다 정부는 똑같은 매뉴얼을 가지고 있습니다. 자격증을 만들고, 10만 인재를 양성하고, 관련 학과를 만들겠다고 합니다. 요즘은 10만으로는 양이 안 차는지 가끔 100만이라고 말하기도 합니다. 인공지능과 관련해서도 자격증을 만들겠다고 합니다.
- 앞에서 인공지능의 겨울에 관해 이야기했습니다. 당연히 전 세계적으로 인공지능에 대한 투자가 급감했습니다. 그때에도 캐나다 정부는 인공지능에 대한 지원을 끊지 않았습니다. 그 10년을 버틴 결과, 제프리 힌턴 교수팀의 ‘딥러닝’이 탄생하고, 캐나다는 인공지능의 메카가 됐습니다. 캐나다 정부가 그 기간에 인공지능의 연구개발에 지원한 돈은 1,000억 원 남짓에 불과했습니다. 한국 정부의 1년 R&D 예산은 30조가 넘습니다. 1년에 100억이라면 0.0003퍼센트가 되지 않습니다. 캐나다 정부는 이 돈으로 인공지능의 메카가 되는 데 성공한 것입니다.
- 챗GPT의 등장 이후로 인공지능은 곧 거대언어모델인 것철머 생각하는 경향이 너무 커졌습니다. 앞에서 설명했듯 인공지능은 ‘잠재된 패턴을 찾아내는’ 일을 하는 기계입니다. 포스코와 인트플로우, 보스턴시처럼 현장에서 유익한 결과를 내는 데는 거대언어모델이 아닌 머신러닝이 더 적합한 경우가 많습니다. 특히, 제조 강국인 대한민국으로서는 이쪽에 AI+X의 큰 기회가 있을 것입니다.