AI 뭐가 달라졌길래 — 직접 확인해봄

 

AI 뭐가 달라졌길래 — 직접 확인해봄

요즘 AI 얘기할 때 ‘월드 모델’이 자꾸 나온다. 얀 르쿤이 10억 달러 모아서 만든 AMI Labs도 월드 모델 연구소고, DeepMind의 Genie 3도 월드 모델, 페이페이 리가 세운 World Labs도 월드 모델이다. 그런데 이게 기존 LLM이랑 뭐가 다른 건지, 왜 갑자기 모두가 이쪽으로 눈을 돌리는 건지 궁금해져서 직접 찾아봤다. 그리고 알게 된 건, 이 변화가 그냥 기술 업데이트가 아니라 앞으로 AI를 어떻게 써야 할지에 대한 생각 자체를 바꿔놓을 수 있는 전환이라는 점이다.

LLM이랑 월드 모델이 뭐가 다른 거야?

우리가 익숙한 ChatGPT 같은 LLM은 기본적으로 ‘텍스트의 다음 단어를 예측’하는 모델이다. 인터넷에 있는 텍스트를 엄청나게 많이 읽어서 패턴을 학습하고, 질문에 맞는 답을 만들어내는 거다. 반면 월드 모델은 ‘세상이 어떻게 돌아가는지’를 학습한다. 비디오 프레임, 센서 데이터, 물리적 상호작용 같은 시공간 정보를 먹고, 어떤 행동이 어떤 결과를 낳는지 예측할 수 있게 된다.

간단히 말하면 LLM은 언어 전문가, 월드 모델은 물리 세계 시뮬레이터다. 월드 모델은 로봇이 물건을 잡을 때 어떻게 팔을 움직여야 할지, 자율주행차가 장애물을 피하려면 어떻게 핸들을 돌려야 할지, 게임 캐릭터가 맵을 어떻게 탐색해야 할지 같은 문제를 풀 수 있다. 최근에 몇몇 프로젝트를 살펴봤는데, 월드 모델 기반 에이전트들은 정말로 스스로 환경을 탐색하면서 목표를 달성하는 모습을 보여줬다.

왜 지금 이렇게 주목받는 걸까?

한 마디로 ‘한계 느낀 LLM, 다음 숨길 찾는 투자’다. LLM은 분명히 언어 작업에서는 혁신적이었지만, 물리 세계와 연계된 실질적인 작업에는 한계가 있었다. 예를 들어 로봇에게 “컵을 들고 테이블 위에 올려줘”라고 지시하려면 LLM만으로는 부족하고, 로봇의 센서 데이터와 물리 엔진이 필요하다. 월드 모델은 그 간극을 메꾸는 기술로 부상했다.

투자 흐름도 바뀌고 있다. 2022~2024년까지는 LLM 기반 생성형 AI에 자금이 쏟아졌다면, 2025년부터는 월드 모델, 물리 AI, 로보틱스 쪽으로 큰 자본이 움직이고 있다. 얀 르쿤의 AMI Labs가 10억 달러 조달한 건 그냥 스타트업 투자가 아니라, 메타의 수석 AI 과학자가 ‘포스트 LLM 시대’에 건 배팅으로 읽힌다.

실제로 어디에 쓸 수 있을까?

월드 모델이 실용적으로 쓰일 수 있는 분야는 생각보다 많다. 내가 조사한 바로는 다음과 같은 영역에서 이미 실험이 진행 중이다.

• 로보틱스 & 자율주행: 시뮬레이션 환경에서 월드 모델을 학습시킨 후 실제 로봇에 적용하는 방식. NVIDIA의 Isaac Sim 같은 도구와 결합하면 비교적 저비용으로 로봇 제어 알고리즘을 개발할 수 있다.
• 게임 & 시뮬레이션: NPC AI를 월드 모델로 구축하면 더 현실적이고 예측 불가능한 행동을 구현할 수 있다. 유니티, 언리얼 엔진에 월드 모델을 통합하는 연구도 나오고 있다.
• 제조 & 물류: 공장 내 물류 로봇의 경로 최적화, 예측 정비 등에 월드 모델 기반 시뮬레이션을 활용할 수 있다. 실제 시스템에 적용하기 전에 수만 번의 시뮬레이션으로 최적의 정책을 찾는 것이다.
• 의료 시뮬레이션: 수술 로봇 훈련, 신약의 분자 동역학 예측 등 복잡한 물리 시스템을 모델링하는 데 월드 모델이 유용할 수 있다.

이 중에서 가장 접근하기 쉬운 분야는 아마도 게임 개발이나 개인 프로젝트용 시뮬레이션일 거다. 오픈소스 월드 모델 구현체들이 GitHub에 꽤 올라와 있고, Colab에서 실험해볼 수 있는 튜토리얼도 많다.

개발자라면 어떻게 시작해야 할까?

만약 월드 모델에 관심이 생겼다면, 아래 순서로 접근해보는 게 실용적이다.

1. 기본 개념 익히기: ‘월드 모델’ 논문(2018)과 ‘MuZero’ 논문을 읽어보는 게 좋다. 하지만 수식에 집중하기보다는 핵심 아이디어를 이해하는 수준으로.
2. 오픈소스 프로젝트 체험: GitHub에서 ‘world-models’, ‘dreamerv3’, ‘genie’ 같은 키워드로 검색해서 코드를 클론해보자. 대부분 PyTorch나 JAX로 구현되어 있다.
3. 간단한 환경에서 실험: OpenAI Gym의 ‘CartPole’, ‘LunarLander’ 같은 고전 제어 문제부터 시작해서 월드 모델을 학습시켜보자. 하루면 충분하다.
4. 자신의 분야에 맞게 변형: 월드 모델이 꼭 게임이나 로봇에만 쓰이는 건 아니다. 시계열 데이터 예측, 재정 모델링, 에너지 관리 같은 문제에도 적용할 수 있다. 자신의 도메인 데이터로 학습해보는 시도를 해볼 만하다.

내가 최근에 월드 모델 코드를 잠깐 만져봤을 때 느낀 점은, 생각보다 구현이 복잡하지는 않다는 거다. 다만 학습에 필요한 컴퓨팅 리소스가 LLM보다는 적지만, 여전히 GPU 메모리를 꽤 먹는다는 점은 감안해야 한다.

앞으로 어떻게 변할까?

월드 모델이 LLM을 완전히 대체할 것이라고 보지는 않는다. 오히려 두 기술이 융합되는 방향으로 갈 가능성이 크다. 예를 들어 LLM이 고수준 지시를 해석하면 월드 모델이 저수준 동작을 시뮬레이션하는 구조다. 이렇게 되면 “방을 청소해줘”라고 말했을 때 로봇이 구체적인 행동 순서를 스스로 계획하고 실행할 수 있다.

한편으로는 월드 모델의 ‘오픈 웨이트’화가 빠르게 진행될 거라고 본다. 지금은 대기업 연구실에서 주도하지만, Llama처럼 오픈소스 커뮤니티가 품질 좋은 월드 모델을 내놓는 시점이 곧 올 수도 있다. 그때쯤이면 개인 개발자나 작은 스타트업도 월드 모델 기반 제품을 만들 기회가 생길 것이다.

단점과 한계는?

월드 모델이 만능은 아니다. 지금의 월드 모델은 대부분 제한된 환경(예: 2D 게임, 단순 물리 시뮬레이션)에서만 검증되었다. 복잡한 현실 세계를 모두 시뮬레이션하기에는 데이터와 컴퓨팅이 턱없이 부족하다. 또한 학습이 매우 불안정해서 하이퍼파라미터에 성능이 크게 좌우되는 경우가 많다. LLM처럼 바로 써먹을 수 있는 상용 API도 아직 거의 없다는 점도 실제 적용을 어렵게 만든다.

그래도 이 한계들이 결국 해결될 문제라고 생각한다. 2017년 트랜스포머 논문이 나왔을 때만 해도 지금 같은 LLM 시대를 상상하기 어려웠듯이, 월드 모델도 2~3년 후에는 지금보다 훨씬 성숙해져 있을 거다.

---

📎 참고 자료

• 얀 르쿤, 10억달러 조달로 ‘포스트 LLM’ 승부수 (The Next Web)
• 2026 월드 모델 경쟁: 르쿤, 딥마인드, 월드 랩스가 재정의하는 ... (Introl)
• 월드 모델 - 나무위키
• 🤖 2026년 AI / LLM 트렌드 랭킹 TOP 15 (twentytwentyone)
• 2026년을 이끌 10가지 핵심 AI·LLM 시장 트렌드 (Makebot)