GPU에 대해서 자세히 알아 보기 위해서는 AI 발전의 역사를 살펴 보아야 한다. 특히 2번째 AI 겨울을 끝내고 지금의 AI 기술의 확산에 큰 기둥 중 하나이기 때문이다. 그래서 이번 포스팅에서는 1950년대 부터 현재까지의 AI 발전의 역사를 정리 하고 의미를 상세히 정리 해보겠다.
AI Recurring Cycle
글을 읽는 독자도 이 그림과 비슷한 그림은 많이 보았을 것이라고 생각한다. AI 발전의 역사를 2번의 겨울과 3번의 여름으로 표시한 그림이다. 그림 아래 캡션 논문에 정리된 그림을 구성을 조금 달리 하여 고친 그림이다. 첫번째 AI 겨울은 하나의 보고서를 발단으로 무용론이 확대되면서 오게 되었고, 전문가 시스템의 발달로 촉발된 2번째 여름은 AI 성능의 한계로 인한 연구비 감소로 쇄퇴되었다. 그리고 딥러닝의 발전으로 시작되어 LLM, RAG, MCP 등이 유행하고 있는 현재에 와 있다. 글의 성격과는 별개로 2번의 혹독한 겨울을 버터내고 인공지능을 발전시켜온 대가들에게 존경의 마음을 전한다. 그 결과가 노벨상까지 이어졌다고 생각한다.
첫 번째 부흥기(Summer) 그리고 첫 번째 암흑기(Winter)
인공지능 하면 떠오르는 테스트가 바로 튜링 테스트입니다. 튜링 테스트는 튜링이 고안해낸 인공지능이 사람처럼 사고 할 수 있는지에 대한 일종의 사고 실험이다. 앨런 튜링이 학술지 MIND에 발표한 ‘Computing Machinery and Intelligence'[1] 논문에 제안되었다. 간략히 다시 이야기 하자면 대답의 주체를 알 수 없는 가림막이나 벽뒤에서 대답하는 주체가 사람인지 기계인지 판단 할 수 없을 정도로 대답을 잘한다면 튜링 테스트를 통과 하는 것이다. 인공지능에 대한 사고가 가능한지에 대한 물을 제시 하였다.
우리가 현재 사용하는 인공지능, Artificial Intelligence라는 단어는 1956년 다트머스 회의에서 정의 하였다. 이때 LISP을 창조한 John McCarthy와 초기 인공지능에 많은 기여를 한 Marvin Minsky, Allen Newell, Herbert Simon들이 참석하였다. 그리고 지금의 딥러닝의 가장 기초적인 퍼셉트론도 1958년 Rosenblatt의 논문 ‘The perceptron: A probabilistic model for information storage and organization in the brain.'[2]을 발표 하면서 활발하게 논의 되고 초기에 발전을 하였고, 퍼셉트론을 기반으로 한 연결주의(Connectionism)의 발전과 함께 논리와 규칙을 기반으로 한 기호주의(Symbolism)도 AI 초기 발전에 함께 했다. 이 기호주의는 초기 전문가 시스템으로 발전하였고, 두번째 부흥기에서 인공지능의 주류가 된다.
연결주의와 기호주의의 각축전은 기호주의 연구자였던 Minsky와 Seymour가 Perceptrons을 출판하면서 퍼셉트론을 활용한 신경망 연구가 기호주의 위주로 옮겨가는 계기가 되었는데, Perceptrons에서는 단층 퍼셉트론의 비선영 문제를 해결 할 수 없음을 증명 하였기 때문이다.
활발히 논의되고 발전될 것 같던 AI는 초기 장미빛 미래는 영국 왕립 학회의 James Lighthill의 1973년 Lighthill Report를 통해서 당시의 AI 연구의 실질적 한계를 지적하고 실용적인 응용이 없다는 점을 근거로 연구비 삭감을 촉구하므로써 인공지능 연구 전체가 활기를 잃으며 첫번째 AI 겨울(암흑기)가 찾아 오게 된다.
두 번째 부흥기(Summer) 그리고 두 번째 암흑기(Winter)
첫 번째의 암흑기를 거친 후 두 번째 부흥기는 전문가 시스템이 이끌었다. 1980년 XCON를 비롯한 전문가 시스템들이 실제 산업에 활용되면서 AI에 대한 기대가 다시 올라 왔다. 그리고 신경망 분야에서도 Break-through 가 있었습니다. 바로 그 유명한 역전파 알고리즘을 체계화 하고 다층 퍼셉트론에 적용한 학습[3]이 발표 되었습니다. 이를 통해서 다층 퍼셉트론(MLP)이 발전하여 신경망 연구가 활발해 졌습니다. 이외에도 기계 학습이 발전으로 다양한 알고리즘이 발표되기 시작했습니다.
1982년 물리학자 John Hopfield는 Hopfield 네트워크[5]로 현재의 딥러닝의 기초 중 하나의 뿌리가 되었고, 역전파 알고리즘을 발견한 Hilton 교수는 1985년 Hopfield 네트워크의 한계를 극복한 볼츠만 머신[6]을 개발하여 신경망 발전을 지속 하였다. 이 두 개발/발견은 현재의 딥러닝 신경망의 튼튼한 기초가 되었다. Hopfield와 Hilton은 이 연구를 통해 AI의 발전과 물리학의 발전의 공로를 인정받아 2024년 노벨 물리학상을 수상하게 된다.
많이 언급되지는 않지만 이때 당시 시작해서 지금까지 계속되는 인공지는 프로젝트가 있다. Cyc(https://cyc.com/)는 온톨로지 기반으로 AI 시스템의 기초 지식을 제공하기 위한 프로젝트이다. 2025년 현재까지도 계속되고 있는 프로젝트로 두 번째 AI 부흥기의 성격을 대표할 수 있는 프로젝트라고 할 수 있다.
짧은 두 번째 부흥기를 마치고 다시 한 번 암흑기에 접어든다. 전문가 시스템은 실제로 적용했지만, 규칙과 논리를 추가하는데 한계가 있어 활용성에서 많은 제약이 있었다. 그리고 MLP가 가능해졌지만, 신경망이 깊어 지면서 오차를 계산해서 역전파를 할 때 그레디이언트(기울기라고도 표현)가 제대로 전파되지 않는 그래디언트 소실 문제 (Gradient Vanishing Problem)가 있어 신경망이 제대로 동작하지 않았다. 더구나 심층 신경망을 위해서는 엄청난 계산 용량이 필요하지만, 당시에는 이를 뒷받침 할만한 컴퓨팅 자원이 많은 연구원들에게 제공할 만큼 충분하지는 않았다.
이에 따라 기업의 투자나 국가적 차원의 투자가 감소 하면서 대중의 관심도 함께 멀어지면서 두 번째 암흑기가 찾아오게 되었다.
세 번째 찬란한 부흥기(Summer)
1997년 IBM의 Deep Blue는 체스 챔피언 카스파로프를 상대로 승리를 거머 쥐었다. 필자가 저 당시 뉴스를 본것은 아니어서 분위기를 기억하지는 못하지만, 꽤 많은 사람들에게 충격을 안겨 주었을 것이다.
Deep Blue는 병렬처리를 위한 전용 하드웨어 구성을 갖추었고, Minmax Algorithm과 Alpha-beta Prunning등 게임에 최적화된 알고리즘등과 함께 방대한 데이터를 기반으로 한 평가 함수를 도입하였다. 딥러닝을 사용하지는 않았지만 지금의 대규모 AI 시스템의 기본적인 구성의 뻐대는 같다고 할 수 있다. Deep Blue는 특정 도메인에서는 인간의 역량을 뛰어 넘을 수 있다는 가능성을 보여 주었다. 그리고 모두가 잘 알 고 있는 2016년 알파고가 등장한다. 딥러닝을 활용하고 GPU를 도입했다는 점은 다르지만 기본 구성은 유사하다.
신경망을 이용한 AI의 발전은 그레디언트 소실 문제, 당시 컴퓨티 파워의 부족으로 발전이 더디 보였지만 2010년을 넘으면서 예전에 개발 되었던 활성화 함수 중 ReLu 함수를 적용하여 그레디언트 소실 문제를 해결하여 신경망을 깊게 만들 수 있는 딥러닝이 발전하게 발전하게 되었다. 또한 수 많은 파라미터를 동시에 계산할 수 있는 하드웨어인 GPU의 발전으로 딥러닝을 활용한 인공지능의 발전이 힘을 얻기 시작했다.
Hilton 교수는 혹독한 2번의 AI 암흑기에도 꾸준히 신경망 연구를 진행했고, 2012년에 CNN(Convolutional Neural Network)[7] 기반의 AlexNet[8]을 개발하여 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 우승하였다.
이후 AlphaGo, Transfomer 등 수 많은 딥러닝 기반 AI 모델이 쏟어져나왔고 현재에 이르렸다. 이후는 너무나 많이 별도로 정리 하지 않고 아래의 표를 통해서 정리 해 보았다.
마치며
인공지능, AI가 각광 받은지 10년 정도가 된 것 같다. 그 이전에도 10년동안에도 그리고 지금 이순간에도 많은 연구자들, 개발자들이 인공지능 개발을 위해서 노력하고 있다. 그리고 그 밑바닥에는 앞의 그림에서와 같이 하드웨어와 분산시스템을 위한 기술들이 함께 해왔다.
이것이 GPU 이야기를 하면서 인공지능의 발전 과정을 이야기 하는 이유이다. AlexNet 근처부터 사용되기 시작한 GPU는 이제 인공지능의 없어서는 안될 자원이 되었고, 앞으로도 그 지위를 잃지 않을 것이다. 다음 번에는 GPU가 발전에 대한 이야기를 다루어 보겠다.
참고자료
[1] A. M. TURING, I.—COMPUTING MACHINERY AND INTELLIGENCE, Mind, Volume LIX, Issue 236, October 1950, Pages 433–460, https://doi.org/10.1093/mind/LIX.236.433
[2] Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386–408. https://doi.org/10.1037/h0042519
[3] Rumelhart, D., Hinton, G. & Williams, R. Learning representations by back-propagating errors. Nature 323, 533–536 (1986). https://doi.org/10.1038/323533a0
[4] https://www.chess.com/blog/Rinckens/how-does-the-deep-blue-algorithm-work
[5] J.J. Hopfield, Neural networks and physical systems with emergent collective computational abilities., Proc. Natl. Acad. Sci. U.S.A. 79 (8) 2554-2558, https://doi.org/10.1073/pnas.79.8.2554 (1982).
[6] David H. Ackley, Geoffrey E. Hinton, and Terrence J. Sejnowski, “A learning algorithm for Boltzmann machines”, Cognitive Science, 9(1): 147-169 (1985).
[7] Y. LeCun et al., “Backpropagation Applied to Handwritten Zip Code Recognition,” in Neural Computation, vol. 1, no. 4, pp. 541-551, Dec. 1989, doi: 10.1162/neco.1989.1.4.541.
[8] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “Imagenet classification with deep convolutional neural networks.” Advances in neural information processing systems 25 (2012).