약 6개월 전, 저는 “AI는 극복할 수 없는 한계에 직면하고 있습니다“라는 제목의 기사를 게시했습니다. 그 기사에서 저는 특히 생성 AI의 향후 정체에 대해 예측하였습니다. 이러한 AI 모델들이 같은 속도로 계속 발전하기 위해서는 훈련 데이터, 컴퓨팅 파워 및 에너지 사용량이 기하급수적으로 증가해야 한다고 여러 연구와 AI 전문가들이 지적하였습니다. 하지만 이는 불가능하며, 4월에도 OpenAI와 다른 생성 AI 회사들이 이미 이러한 분야에서 엄격한 한계에 부딪히고 있는 것처럼 보였습니다. 그러나 최근의 보도, 인터뷰 및 연구들은 제가 예측한 것과 많은 다른 이들의 예측을 공식적으로 확인하였습니다. 이는 AI 산업과 경제 전반에 심각한 영향을 미칠 수 있습니다.
이 보고서는 The Information과 Reuters에서 나왔습니다. The Information은 다음 텍스트 AI인 Orion이 현재의 Chat GPT-4o 모델에 비해 훈련 데이터셋이 훨씬 더 크지만 그 성능이 미미하게 향상되었다고 상세히 설명하는 기사를 발표하였습니다. 이 출처는 “회사의 일부 연구자들은 Orion이 특정 작업을 처리하는 데 있어 이전 모델보다 신뢰성 있게 더 좋지 않다고 믿고 있다”고 언급하였으며, “Orion은 언어 작업에서는 더 잘 수행하나 코딩과 같은 작업에서는 이전 모델을 능가하지 않을 수 있다”고 밝혔습니다.
The Information에 따르면, Orion은 훈련 데이터의 20%만 사용하여 GPT-4 수준의 능력에 도달했지만 그 이후로는 거의 개선되지 않았습니다. AI 훈련 기술이 최근 몇 년 동안 정체 상태에 접어든 만큼, Orion의 훈련 데이터셋이 GPT-4보다 5배 크지만 눈에 띄게 향상되지 않는다는 것을 추측할 수 있습니다. 이는 수익 감소 문제를 완벽하게 보여줍니다.
이 문제를 더욱 강조하기 위해, Reuters는 최근 해고된 OpenAI 공동 창립자 일리야 수츠케버(Ilya Sutskever)와 인터뷰를 진행하였습니다. Sutskever는 인터뷰에서 회사가 모델을 확장하기 위해 최근 실시한 테스트가 정체 상태에 있음을 시사한다고 주장하였습니다. 그는 AI가 단순히 더 많은 데이터를 제공한다고 해서 더 나아질 수 없다고 생각합니다.
최근 연구들은 또한 Sutskever를 지지하며 Orion이 궁극적으로 조금 부족하다는 이유를 설명합니다. 이러한 연구 중 하나는 AI 모델이 더 많은 데이터를 제공받고 커질수록 전반적으로 개선되지 않고 특정 작업에서만 개선되며 그 범용성이 감소한다고 밝혔습니다. 이는 OpenAI의 o1 모델에서 확인할 수 있으며, o1 모델은 GPT-4o보다 크고 수학 문제를 푸는 데 더 좋지만 효율적인 글쓰기에는 앞서지 못합니다. 또한 테슬라의 FSD에서도 이와 같은 현상을 볼 수 있습니다. 소프트웨어가 복잡한 교통 문제를 처리하는 데 더 나아지면서 기본적인 운전 기술이 감소하고 코너를 잘 돌지 못하게 되었다고 보고되었습니다.
또 다른 회사는 현재 속도로 진행된다면 OpenAI와 같은 생성 AI 회사들이 2026년까지 개발할 고품질의 신선한 데이터를 고갈할 것이라고 발견하였습니다. 따라서 이러한 모델을 단순히 더 크게 만들어 AI를 개선하는 것은 매우 가까운 미래에는 실행 가능한 옵션이 아닐 것입니다. 실제로, 일부는 Orion이 어려움을 겪는 이유가 OpenAI가 GPT-4o보다 더 나아지기 위해 충분한 데이터를 수집할 수 없기 때문이라고 제안하였습니다.
어쨌든, 이는 생성 AI가 갑작스럽게 정체될 것이라는 예측이 사실로 드러났음을 보여줍니다.
이 문제에 대한 가능한 해결책으로는 AI 구축 방식을 최적화하여 필요한 훈련 데이터를 줄이거나, 여러 AI를 함께 운영하거나, AI 인프라를 훨씬 더 효율적으로 만들기 위한 새로운 컴퓨팅 아키텍처를 구현하는 방법이 있습니다. 그러나 이러한 해결책들은 모두 초기 단계에 있으며 배포까지는 수년이 걸릴 것입니다. 더군다나 이러한 해결책들은 단지 AI의 에너지와 데이터 효율성을 약간 높일 뿐이며, 앞으로 이러한 회사들이 신선하고 고품질의 데이터를 어디서 구할 것인지에 대한 문제를 해결하지 못합니다.
그렇다면, 이것이 왜 중요할까요?
대기업들은 AI가 기하급수적으로 개선되고 미래에 엄청난 수익을 얻을 것이라는 약속에 수십억 달러를 투자하였습니다. 그러나 안타깝게도 이제 우리는 단순히 그렇게 되지 않을 것임을 알고 있습니다.
OpenAI를 예로 들어보겠습니다. 몇 달 전, OpenAI는 연간 50억 달러의 손실을 기록할 것으로 예상되었고 파산에 직면할 가능성이 있었습니다. 더 나쁜 것은, 출시한 AI들이 수억 명의 사용자에도 불구하고 수익성이 없다는 점입니다. 따라서 OpenAI가 새로운 모델을 개발하는 데 한 푼도 쓰지 않더라도 여전히 무너질 것입니다. 그럼에도 불구하고 OpenAI는 수십억 달러의 신용을 조달하고 66억 달러의 새로운 자금을 유치하여 인공지능 회사는 1,570억 달러의 가치를 부여받고 무너짐에서 구할 수 있었습니다. 그러나 현재의 손실 및 개발 비용 속도에서는 이를 통해 또 한 해를 버텨낼 수 있을 뿐입니다.
이러한 상황과 공식적으로 확인된 현저한 수익 감소는 세계에서 가장 큰 영향력 있는 산업과 투자 회사들이 근본적으로 결함이 있는 제품을 지원하고 있음을 의미합니다. 우리 경제가 이런 상황을 겪은 마지막 순간은 2008년 금융 위기라는 최악의 재난을 초래했습니다.