Q: 비선형 동적 시스템, 특히 유체 역학은 고전 컴퓨터로 모델링하기 매우 어렵다고 알려져 있습니다. 하지만 고전적인 학습 시스템이 유체에 대해서도 놀라운 일을 해낼 수 있을까요?
A: (데미스 하사비스) 그렇습니다. 정확해요. 유체 역학, 나비에-스토크스 방정식은 전통적으로 고전 시스템에서 다루기 매우 어렵고 난해한 문제로 여겨졌습니다. 기상 예측 시스템처럼 엄청난 양의 컴퓨팅 자원을 필요로 하죠. 하지만 저희 비디오 생성 모델인 Veo와 같은 것을 보면, 액체를 놀라울 정도로 잘 모델링합니다. 재료나 반사광도 마찬가지죠. 사람들이 유압 프레스에 투명한 액체를 넣고 압착하는 영상을 생성한 것을 보면 정말 감탄스럽습니다. 저는 초기에 게임 업계에서 물리 엔진과 그래픽 엔진을 작성했었는데, 그런 프로그램을 만드는 것이 얼마나 고된 작업인지 잘 압니다. 그런데 이 시스템들은 단지 유튜브 비디오를 보는 것만으로 그것을 리버스 엔지니어링하고 있습니다. 아마도 이 물질들이 어떻게 행동하는지에 대한 근본적인 구조를 추출하고 있는 것이겠죠. 어쩌면 그 내부에서 실제로 무슨 일이 일어나고 있는지 완전히 이해한다면, 학습될 수 있는 어떤 저차원 매니폴드(manifold)가 존재할지도 모릅니다. 이것은 아마 현실의 대부분에 해당될지도 모릅니다.
Q: 노벨상 수상 강연에서 '자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전적인 학습 알고리즘에 의해 효율적으로 발견되고 모델링될 수 있다'는 매우 흥미로운 추측을 제시하셨습니다. 여기에 어떤 종류의 패턴이나 시스템이 포함될 수 있을까요? 생물학, 화학, 물리학, 어쩌면 우주론이나 신경과학까지요. 무엇에 대해 이야기하는 건가요?
A: (데미스 하사비스) 네. 노벨상 강연에서는 약간 도발적인 내용을 말하는 것이 전통이라고 느껴서 그 전통을 따르고 싶었습니다. 제가 거기서 말한 것은, 한 걸음 물러서서 우리가 알파고나 알파폴드 같은 프로젝트로 해온 모든 작업을 본다면, 그것들은 본질적으로 매우 조합적으로 고차원적인 공간의 모델을 구축하는 것입니다. 만약 바둑에서 최선의 수를 찾거나 단백질의 정확한 모양을 찾기 위해 무차별 대입(brute force)을 시도한다면, 우주의 시간으로도 부족할 겁니다. 그래서 훨씬 더 똑똑한 방법을 써야 했고, 두 경우 모두 우리는 그 환경의 모델을 구축했습니다. 그리고 그것이 탐색을 현명한 방식으로 이끌어 tractable(다루기 쉬운)하게 만들었죠.
자연 시스템인 단백질 접힘을 생각해 봅시다. 왜 그것이 가능할까요? 물리학은 어떻게 그것을 해낼까요? 단백질은 우리 몸에서 밀리초 단위로 접힙니다. 즉, 물리학은 우리가 이제 계산적으로 해결한 이 문제를 어떻게든 해결하고 있는 거죠. 저는 그것이 가능한 이유가 자연 속, 즉 자연 시스템에는 진화 과정에 의해 형성된 '구조'가 있기 때문이라고 생각합니다. 만약 그렇다면, 그 구조가 무엇인지 학습할 수 있을 것입니다.
Q: 이 관점은 거의 '진화할 수 있는 모든 것은 효율적으로 모델링될 수 있다'는 말로 요약할 수 있겠네요. 여기에 진실이 있다고 보십니까?
A: (데미스 하사비스) 네, 어느 정도 진실이 있다고 봅니다. 저는 가끔 그것을 '가장 안정적인 것의 생존(survival of the stablest)'이라고 부릅니다. 생명체에 대한 진화도 있지만, 지질학적 시간을 생각해보면, 산의 모양은 수천 년에 걸친 풍화 작용에 의해 형성되었습니다. 더 나아가 우주론적으로 행성의 궤도, 소행성의 모양 등도 모두 오랜 시간에 걸쳐 작용한 일종의 생존 과정을 거쳤습니다. 만약 그렇다면, 역으로 학습할 수 있는 어떤 종류의 패턴, 즉 올바른 해답이나 모양으로 가는 탐색을 돕는 일종의 매니폴드가 있어야 합니다. 그리고 그것은 효율적인 방식으로 예측을 가능하게 할 겁니다. 왜냐하면 그것은 무작위 패턴이 아니기 때문이죠.
그래서 큰 수를 소인수분해하는 것과 같은 인공적이거나 추상적인 것들에는 이것이 불가능할 수 있습니다. 수 공간에 패턴이 없다면 학습할 모델도 없고 탐색을 도울 방법도 없으니까요. 그럴 경우 무차별 대입을 해야 하고, 아마 양자 컴퓨터 같은 것이 필요할 겁니다. 하지만 우리가 관심 있는 자연의 대부분은 그렇지 않습니다. 이유가 있어 진화했고 시간이 지나며 살아남은 '구조'를 가지고 있습니다. 만약 그렇다면, 그것은 잠재적으로 신경망에 의해 학습 가능하다고 생각합니다.
Q: 자연이 탐색 과정을 수행하고 그 과정에서 효율적으로 모델링될 수 있는 시스템을 만든다는 것이 흥미롭습니다. 이는 효율적으로 재발견되거나 복구될 수 있다는 의미인가요?
A: (데미스 하사비스) 맞습니다. 네. 흥미롭죠. 자연은 무작위가 아니기 때문에 효율적으로 재발견되거나 복구될 수 있습니다. 우리가 주변에서 보는 모든 것, 더 안정적인 원소들을 포함한 모든 것들은 어떤 종류의 선택 과정 압력을 받습니다.
Q: 이론 컴퓨터 과학과 복잡성 이론의 팬으로서, 학습 가능한 시스템의 집합, 즉 '학습 가능한 자연 시스템(LNS)'과 같은 복잡도 종류(complexity class)를 만들 수 있다고 생각하십니까? 데미스 해사비스의 새로운 시스템 클래스로, 고전적 시스템으로 학습 가능한 자연 시스템 말입니다.
A: (데미스 하사비스) 네, 저는 항상 P=NP 문제와 고전 시스템(비양자 시스템, 즉 튜링 머신)으로 모델링할 수 있는 것이 무엇인지에 매료되어 왔습니다. 그리고 그것이 바로 제가 여가 시간에 몇몇 동료들과 함께 연구하고 있는 것입니다. 즉, 이러한 유형의 신경망 프로세스로 해결할 수 있고, 물리학에 존재하며 구조를 가진 이러한 자연 시스템에 매핑될 수 있는 새로운 종류의 문제가 있어야 하는지에 대한 것입니다. 저는 그것이 물리학을 생각하는 매우 흥미로운 새로운 방식이 될 수 있다고 생각합니다. 이는 제가 물리학을 일반적으로 생각하는 방식과도 일치하는데, 저는 정보가 가장 기본적이라고 생각합니다. 정보는 에너지나 물질보다 더 근본적인 우주의 단위라고 봅니다. 저는 우주를 일종의 정보 시스템으로 생각합니다.
Q: 우주를 정보 시스템으로 생각하면 P=NP 문제는 물리학 문제가 됩니다. 그리고 이 문제는 우리가 겪고 있는 이 모든 현상을 해결하는 데 도움이 될 수 있는 질문이겠네요.