AI 영상, 진짜 같지만 물리는 틀린다는 연구 결과… 시뮬레이터는 여전히 수십억 달러 몸값

충분한 영상으로 학습한 신경망이 산업계가 이미 쓰고 있는 물리·렌더링·엔지니어링 소프트웨어를 대신할 수 있을지, 아니면 AI가 결국 그 소프트웨어를 운용하는 쪽이 될지는 여전히 열린 질문이다. 엔비디아(Nvidia)의 GTC 베를린 콘퍼런스에서 나온 산업계 발표는 후자 쪽으로 기울었다. 시놉시스(Synopsys)와 지멘스(Siemens)는 기존 시뮬레이션·제품 데이터 도구를 AI 모델로 대체하는 대신 AI 모델을 그 도구에 연결했다. 이는 보도자료에 대한 Polstob의 해석이지 판정이 아니다. 이 분석은 AI가 정교한 소프트웨어를 구동함으로써 그 쓸모를 키운다는 시각을 검증한다.

이 질문에 대한 가장 분명한 증거는 벤치마크에서 나온다. 2025년 1월 처음 게재된 논문에서 제시된 피직스-IQ(Physics-IQ)는 유체, 빛, 고체, 자석, 열이 관련된 장면으로 영상 모델을 시험한다. 저자들은 오픈AI(OpenAI)의 소라(Sora), 런웨이(Runway), 피카(Pika), 구글(Google)의 뤼미에르(Lumiere), 스테이블 비디오 디퓨전(Stable Video Diffusion), 비디오포엣(VideoPoet) 등 시험한 모든 시스템에서 모델의 물리 이해가 심각하게 제한적이며, 결과물이 가장 사실적으로 보이는 모델이라고 더 낫지도 않다는 사실을 발견했다. 요약은 단호했다. "시각적 사실성이 물리적 이해를 의미하지는 않는다". 저자들은 일부 테스트 사례는 이미 풀 수 있으며 빠른 진전을 예상한다고 덧붙였다.

다른 연구도 같은 방향을 가리킨다. 캉빙이(Bingyi Kang)가 이끈 연구는 고전역학에 따라 물체가 움직이고 충돌하는 시뮬레이션 영상으로 영상 모델을 학습시켰다. 모델은 학습 데이터와 비슷한 사례는 처리했지만 낯선 사례에서는 무너졌고, 규칙을 배우는 대신 본 적 있는 가장 가까운 예를 베꼈다. 저자들은 모델을 키우는 것만으로는 충분하지 않다고 결론지었다. 구글 딥마인드(Google DeepMind)도 대화형 월드 모델 지니 3(Genie 3)의 한계를 밝히고 있는데, 세션의 일관성이 몇 시간이 아니라 몇 분 동안 유지된다는 점도 포함된다.

오픈AI는 2024년 2월 공개한 소라 기술 보고서에서 "영상 생성 모델의 규모 확장은 물리 세계의 범용 시뮬레이터를 구축하는 유망한 경로"라고 썼다. 오픈AI는 카메라가 움직여도 소라가 사람과 장면 요소를 일관되게 유지할 수 있고, 사람이나 물체가 가려지거나 화면 밖으로 나갈 때도 항상은 아니지만 대체로 추적할 수 있으며, 이런 능력은 3D나 물체에 관한 규칙을 써 넣은 데서가 아니라 규모에서 나왔다고 밝혔다. 같은 보고서는 소라가 "많은 기본적인 상호작용의 물리를 정확하게 모델링하지 못한다"고 인정하며 유리가 깨지는 장면을 예로 들었다.

피직스-IQ 저자들 스스로도 일부 원리는 관찰만으로 학습할 수 있을지 모른다고 써, 학습된 물리의 여지를 남겼다. 신생 업체 오디세이(Odyssey)는 2026년 10월 8일 자사 월드 모델 오디세이-3의 프로 버전이 검증된 버전의 피직스-IQ 테스트에서 최고 기록을 새로 세웠다고 밝혔다. 이는 회사 측 주장이며 Polstob은 확인하지 않았다. 이런 개선이 외부 검증에서도 유지된다면 그럴듯해 보이는 것과 맞는 것 사이의 간극은 좁아질 수 있다.

엔비디아는 연차보고서에서 옴니버스(Omniverse)를 실시간 3D 디자인 협업과 가상 세계 시뮬레이션을 위한 소프트웨어로 설명하며, 피지컬 AI용 코스모스(Cosmos) 등 개방형 모델 플랫폼의 출시 속도를 높였다고 밝혔다. 엔비디아는 블로그에서 한 개발자가 프런티어 AI 모델에 지시해 샌프란시스코 마켓 스트리트를 본뜬 자율주행 테스트 환경을 만드는 모습을 보여줬다. 에셋, 교통, 센서 시뮬레이션, 주행 모델을 단계적으로 연결하고 연결 고리마다 점검하는 방식이다. 에이전트는 시뮬레이터를 대체하지 않았다. 시뮬레이터를 만들고 각 요소를 연결했다.

트리포(Tripo)는 자사 에덴라이브(EdenLive) 렌더러가 장면에서 일어나는 일과 그 장면의 겉모습을 분리한다고 밝혔다. 코드 에이전트나 게임 엔진, 시뮬레이션 엔진이 장면의 전개를 결정하고, 모델은 실시간으로 시각 요소를 그린다는 설명이다. 지멘스는 옴니버스 기술 기반의 디지털 트윈 컴포저(Digital Twin Composer)를 테크노매틱스 플랜트 시뮬레이션(Tecnomatix Plant Simulation), 프로세스 시뮬레이트(Process Simulate) 같은 도구의 물리를 하나의 관리형 3D 장면으로 모으는 계층이라고 설명한다. 영화 분야에서는 디지털 도메인(Digital Domain)이 자사 머신러닝 근육 시스템이 시뮬레이션된 뼈·근육·조직으로 구동되는 피부 시뮬레이션을 애니메이터가 리그에서 바로 쓸 수 있는 변형으로 바꿔 준다고 밝혔다.

시놉시스의 연차보고서에 따르면 시놉시스는 2025년 7월 17일 앤시스(Ansys) 인수를 총 약 349억 달러에 마무리했다. 현금 176억 달러와 공정가치 기준 시놉시스 주식 171억 달러로 구성되며, 나머지는 승계한 주식보상과 기타 항목이다. 같은 보고서는 시놉시스를 엔지니어링 시뮬레이션·분석 소프트웨어 분야의 세계 선두 기업으로 규정한다. 또 2025년 12월 엔비디아가 사모 방식으로 시놉시스 주식 약 480만 주를 주당 414.79달러에 매입했으며, 순조달액은 20억 달러였다고 기록했다.

인수 완료 발표에 따르면 지멘스는 2025년 3월 26일 시뮬레이션·분석 소프트웨어 업체 알테어(Altair) 인수를 기업가치 약 100억 달러에 마무리했다. 지멘스는 이번 인수로 기계·전자기 시뮬레이션, 고성능컴퓨팅(HPC), 데이터 과학, AI가 포트폴리오에 더해졌다고 밝혔다.

GTC 베를린에서 시놉시스는 센서 시뮬레이션, 디지털 트윈, 안전성 분석을 아우르며 물리에 기반하고 추적 가능하다고 스스로 설명하는 워크플로로 엔비디아의 할로스(Halos) 안전 생태계에 합류했다고 밝혔다. 지멘스와 엔비디아는 지멘스의 제품수명주기관리(PLM) 소프트웨어 팀센터(Teamcenter)와 프로세스 프리퍼레이션 X(Process Preparation X)를 코스모스와 결합해, 첫 실물 회로기판이 생산 라인에 도착하기 전에 가상 기준 기판과 합성 데이터로 기판 검사를 준비하고 있다고 밝혔다. 둘 다 회사 발표이며, 검사 프로젝트가 공개한 목표는 성과가 아니라 목표치다.

모든 것이 오케스트레이션론을 사업으로서 뒷받침하지는 않는다. 엔비디아는 최근 연차보고서의 위험 요인에서 옴니버스를 독립형 소프트웨어 상품 가운데 하나로 꼽으며, 상당한 비용이 들 수 있고 이들 상품에서 "의미 있는 매출을 전혀 거두지 못할 수도 있다"고 경고했다. 보고서는 옴니버스의 매출을 따로 공개하지 않는다.

시각효과(VFX) 업계의 증거는 엇갈린다. 디지털 도메인은 2026년 6월 30일로 끝난 6개월 동안의 손실과 순유동부채가 계속기업으로서의 존속 능력에 중대한 의문을 제기할 수 있다고 밝혔다. 다만 이사회는 계속기업 가정에 따른 회계 처리가 적절하다고 판단했다. 이와 별개로 디지털 도메인은 사용하기 쉬운 AI 도구가 고객의 예산과 관행을 바꾼 뒤 상하이의 전통적 단편 작업을 중단했다고 밝혔다. 테크니컬러(Technicolor)의 영국 스튜디오 사업은 법정관리에 들어갔다. 관리인은 인건비 상승과 작가 파업의 여파를 원인으로 꼽았으며 AI는 언급하지 않았다.

웨타 FX(Wētā FX)는 AI의 역할을 더 좁게 설명한다. 최고기술책임자(CTO) 킴볼 서스턴(Kimball Thurston)은 자사의 보조형 AI는 창작 의도를 바꿀 수 없고 픽셀을 고칠 뿐이라고 말했다.