[NVIDIA Omniverse] 개발자 환경 구축: NVIDIA Omniverse Launcher

NVIDIA Omniverse를 알기 전에, 먼저 메타버스의 개념부터 짚고 넘어가도록 하자.

 

메타버스(Metaverse)

메타버스는 초월(Meta)과 현실세계(Universe)를 합성한 단어로, 기존의 가상현실보다 확장된 개념이다. 즉, 메타버스는 현실과 가상이 분리된 것이 아니라 서로 현실같이 융합된 가상 환경을 의미한다.

메타버스는 영화, 게임과 같은 콘텐츠 산업에서뿐만 아니라 디자인, 엔지니어링, 커머스와 같은 산업에서도 영향을 주고 있다. 실제로 가상현실 기반의 회의 공간이나 전시장을 구축하여 비즈니스 활동을 지원하는 것까지 다양한 형태로 활용된다.

 

비즈니스 영역의 메타버스

비즈니스 영역의 메타버스에서는 실시간으로 협업할 수 있는 공간과 이를 뒷받침하는 컴퓨팅 파워, 그리고 현실감을 표현할 수 있는 직관적인 도구가 필요하다.

엔비디아(NVIDIA)의 Omniverse는 이러한 메타버스를 실현하기 위한 플랫폼 중 하나이다. Omniverse는 엔비디아의 RTX GPU 기술과 픽사(Pixar)의 Universal Scene Description(USD) 기반의 실시간 그래픽 및 시뮬레이션 플랫폼으로, 현실적인 가상 환경을 구축하고 협업할 수 있는 기술적인 기반을 제공한다.

 

🔎NVIDIA Omniverse란?

---

NVIDIA Omniverse는 메타버스 시대에 발맞춰 도입된 협업과 시뮬레이션을 위해 구축된 플랫폼이다.

 

NVIDIA Omniverse 출시 당시 NVIDIA는 다음의 3 문장으로 Omniverse를 설명하였다.

1. Omniverse는 여러 세계를 연결할 수 있도록 설계되었다.
2. Omniverse를 사용하여 협업하여 함께 세상을 만들 수 있다.
3. Omniverse는 하나의 세상이기도 하다.

 

NVIDIA에서는 NVIDIA Omniverse를 다음과 같이 소개하고 있다.

NVIDIA Omniverse™는 개인과 팀이 OpenUSD(Universal Scene Description) 기반 3D 워크플로우 및 애플리케이션을 개발할 수 있는 컴퓨팅 플랫폼입니다.

NVIDIA Omniverse™는 NVIDIA RTX™ 기술과 USD를 조합하여 확장성이 뛰어납니다. Omniverse는 복잡한 3D 워크플로우를 근본적으로 혁신하여 개인과 팀이 3D 파이프라인을 연결 및 사용자 정의하고 산업 및 과학 분야 사용 사례를 위해 물리적으로 정확한 대규모 가상 세계를 시뮬레이션할 수 있도록 지원합니다.

이 플랫폼은 NVIDIA RTX™ 전문가용 모바일 워크스테이션, NVIDIA-Certified 워크스테이션 및 서버, NVIDIA OVX™에서 실행되도록 최적화 및 인증되었습니다.

 

https://blogs.nvidia.com/blog/omniverse-available-free-to-creators/

NVIDIA Makes Free Version of Omniverse Available to Millions of Individual Creators and Artists Worldwide | NVIDIA Blog

 

NVIDIA Omniverse는 다양한 디자인 도구를 사용하는 사람들이 협업할 수 있는 가상공간이다. 이곳에서는 Pixar에서 개발한 USD(Universal Scene Description) 포맷을 기반으로 하여, 다양한 애플리케이션 간의 호환성이 뛰어나며, 사용자들은 서로 다른 도구를 사용하더라도 공동 작업을 진행할 수 있다.

 

USD 포맷은 씬의 구조, 카메라 설정, 조명, 재질, 애니메이션 등을 효율적으로 관리하고 교환할 수 있는 포괄적인 형식이다. 이는 다양한 디자인 도구와 애플리케이션 간의 데이터 호환성을 높여주어 협업과 작업 효율성을 향상한다.

 

Omniverse는 재료의 특성과 소재를 구현하는 데 있어 각 도구가 일일이 구현하지 않아도 되도록 효율적으로 설계되어 있다. 이를 통해 사용자들은 물리적인 기반을 활용하여 더욱 사실적인 작업을 수행할 수 있다. 또한, 이러한 특징 덕분에 Omniverse는 단순한 그래픽 작업뿐만 아니라 과학 분야에서도 활용될 수 있다.

 

💡NVIDIA Omniverse 설치

---

NVIDIA Omniverse를 설치해 보도록 하자.

개인용 표준 무료 버전으로 설치를 진행할 예정이다.

	표준	엔터프라이즈	클라우드
특징	개인용, 온프레미스 배포	팀용, 온프레미스 배포	팀용, 클라우드 서비스형 플랫폼
구독 모델	지정된 사용자	지정된 사용자	무제한 사용자
Omniverse Code, USD Composer, USD Presenter 및 Replicator 등 완전히 사용자 지정 가능한 기본 애플리케이션 및 확장에 액세스	✓	✓	✓
Omniverse Kit 기반 사용자 정의 OpenUSD(Universal Scene Description) 기반 도구 및 애플리케이션 개발	✓	✓	✓
맞춤형 애플리케이션 및 서비스 배포	✓ 온프레미스	✓ 온프레미스	✓ Omniverse Cloud
다중 사용자 협업 및 실시간 편집	✓ 최대 2명의 동시 라이브 편집자	✓ 최대 8명의 동시 라이브 편집자	✓ 최대 100명의 동시 라이브 편집자
렌더링 및 합성 데이터 생성 등의 배치 워크로드 지원	✓ 라이선스당 최대 2개의 GPU	✓ 라이선스당 최대 8개의 GPU	✓ 노드당 무제한
NVIDIA-Certified Systems™ 에 맞게 테스트 및 최적화		✓	✓
엔터프라이즈 보안 관리(SSO, SSL))		✓	✓
엔터프라이즈 IT 사용자 관리 및 배포 도구		✓	✓ 완전 관리형 클라우드 오케스트레이션 포함
NVIDIA 엔터프라이즈 지원		✓ 24시간 비즈니스 표준	✓  24시간 비즈니스 필수
앱 스트리밍 및 배포, 장면 최적화, 텍스처 스트리밍, 고속 캐시를 비롯한 확장 가능한 완전 관리형 마이크로 서비스 및 API 액세스			✓ 노드당 무제한
전담 NVIDIA 자문 및 기술 계정 관리자의 온보딩 보조 및 지속적인 지원			✓

 

NVIDIA 가입

https://www.nvidia.com/ko-kr/omniverse/download/

NVIDIA Omniverse Enterprise 라이선싱 및 가격

등록 전에 NVIDIA 가입을 진행해 주도록 한다.

이후 omniverse-launcher-win.exe를 다운로드하였다.

Windows와 Linux 버전 중 선택하여 설치할 수 있다.

 

Windows 버전 설치

설치 과정 중에 NVIDIA 로그인을 진행한다.

Language, Library path, Data path, Cache path를 설정할 수 있다. 가장 큰 하드 드라이브로 경로를 수정하는 것도 좋지만, 추후 변경할 수 있으므로 일단 기본 설정으로 설치를 진행하도록 하자.

 

Omniverse Cache

설치 과정에서 Omniverse Cache를 설치할지 물어보는데, 이는 캐시 역할을 하면서 작업 속도 향상에 도움을 주는 프로그램이다. 추후 Isaac Sim을 설치할 때, Asset과 Demo 등을 Nucleus라는 데이터베이스 서버에서 불러와서 사용하는데, 이때 시간이 소요되기 때문에 Local에 캐시로 저장해 두었다가 Load 시간을 단축시키는 역할을 한다. 또한, Local PC에서 Isaac Sim을 사용할 때 필수적으로 설치해야 하는 프로그램이다.

만약 설치되지 않았다면 거래소에서 Omniverse Cache를 검색하여 설치하도록 한다.

 

설치가 완료되면 튜토리얼 영상이 실행된다. 영상을 중지하고, 각 탭의 정보를 확인해 보도록 하자.

현재 라이브러리에는 아무것도 설치되어 있지 않은 상태이다. 라이브러리에는 NVIDIA에서 제공하거나 다른 앱에서 제공하는 것들을 다운로드하여 바로 구현할 수 있다.

 

거래소 탭으로 이동하여 옴니버스 제안을 확인해 보도록 하자.

거래소(교환)로 이동하면 앱과 커넥터를 포함한 모든 옴니버스 종류의 제안을 확인할 수 있다.

커넥터를 설치하기 전에 Nucleuse 서비스를 설치해 보도록 하자.

 

커넥터란?

Omniverse에서 커넥터는 다양한 3D 디자인 도구와 애플리케이션 간의 연결을 제공하는 도구나 플러그인을 의미한다. 커넥터는 다른 소프트웨어나 툴과 Omniverse 플랫폼 간의 데이터 교환 및 호환성을 높이는 미들웨어의 역할을 한다. 예를 들어, Autodesk Maya나 Blender 같은 소프트웨어와 Omniverse 간에 데이터를 주고받을 수 있는 커넥터가 있다. 이를 통해 사용자들은 자신이 편하게 사용하는 도구에서 작업한 내용을 Omniverse로 가져와서 협업하거나 더 나은 시각화를 위해 활용할 수 있다.

 

Nucleuse 서비스 추가

Nucleuse 탭에서 Add Local Nucleus Service 버튼을 클릭하여 Nucleuse에 로그인할 수 있는 관리자 계정을

생성한다.

 

Nucleuse란?

Nucleus는 "(원자)핵"으로 불리며, 이는 파일을 공유하고 프로젝트를 협력하여 작업할 수 있는 저장 및 관리 시스템을 의미한다. Nucleus는 사용자들이 서로 파일을 공유하고 프로젝트를 협업하는 데 필요한 중앙 집중식 저장소 역할을 하며, 이를 통해 사용자들은 Omniverse 내에서 파일을 손쉽게 공유하고 관리할 수 있다.

Nucleuse를 활용해서 다양한 Omniverse 앱들과 연계해서 클라이언트와 로컬 환경에서 사용할 수 있다.

 

ID와 PW 지정 오류

User Name(ID)와 Password는 필수로 입력해야 하는 항목이며, 나머지는 옵션이다. 참고로 현재는 오류로 인해 본인이 ID와 PW를 지정하더라도 admin/admin으로밖에 생성이 안 되는 현상이 발생하고 있다.

 

https://forums.developer.nvidia.com/t/unable-to-connect-to-nucleus-localhost/259928

Unable to connect to Nucleus Localhost

오류 현상에 대해서는 위 글을 참고한다. 따라서 admin/admin으로 계정을 생성하도록 한다.

 

Add Server

Add Server 버튼을 클릭하여 localhost Server를 생성하도록 하자.

서버를 생성할 때 방금 생성한 관리자 계정의 ID와 PW를 요구한다.

 

localhost directory

관리자 계정을 생성했다면 로그인을 했을 때 Nucleuse Service의 localhost 디렉터리로 이동할 수 있다. 첫 설치 이후 혹은 방금처럼 서버를 생성한 이후에 로그인 창이 나오게 된다.

만약 화면과 같이 localhost가 나오지 않는다면 로그인이 되지 않은 상태이거나 Nucleus가 Stop 상태일 수 있다.

다음 단계는 거래소에서 앱을 설치하는 것이다. 거래소 탭으로 이동하도록 하자.

 

💡Omniverse Applications

---

Source: Omniverse Applications, talkit

Omniverse는 3D 환경에서의 다양한 응용 가능성을 제공한다. 건축, 미디어, 과학 등의 다양한 분야에서 시뮬레이션을 통해 기후 변화나 태풍의 이동 경로 등을 확인하고 구현할 수 있다.

또한, 로봇의 작동을 시뮬레이션하여 인간이 그네를 타는 등의 작업을 학습시키고, 이를 여러 번 반복하여 시간과 비용을 절약할 수 있다. 자율주행 기술에도 활용할 수 있어 다양한 분야에서 혁신적인 솔루션을 제공할 수 있다. 이와 같이 Omniverse를 통해 다양한 시나리오를 동시에 시뮬레이션하고 구현함으로써 더욱 효율적으로 작업을 진행할 수 있다.

 

Omniverse를 도입한 해외 사례로 BMW 그룹이 있다. BMW 그룹은 기존 방식으로 거대한 공장을 개선하고 최적화하기 위해서는 상당한 시간과 노력, 그리고 물리적 제약이 따랐다. 그러나 Omniverse를 활용하여 공장을 가상으로 구현하여 작업 공정을 연속적으로 변경하고 최적의 결과를 얻을 수 있게 되었다.

이를 통해 비용을 줄이고 최소화하고 생산 효율을 극대화하였으며, 비용을 30% 이상 절감하는 데 성공했다. 이는 가상 환경에서의 실험과 시뮬레이션을 통해 실제 공장을 변경하고 테스트하는 것보다 훨씬 효율적이라는 것을 보여준다.

 

MACHINIMA

거래소 탭의 앱에서 MACHINIMA를 찾거나 검색하여 설치를 진행한다.

MACHINIMA는 Omniverse 플랫폼을 위한 앱으로, 애니메이션 스토리텔링에 최적화되어 있다. 이 앱을 통해 사용자들은 다양한 Omniverse 확장 기능을 활용하여 캐릭터, 소품, 카메라 등을 조합하여 애니메이션 클립을 생성할 수 있다.

 

https://docs.omniverse.nvidia.com/machinima/latest/overview.html

Machinima Overview — Omniverse Machinima latest documentation

 

게임용이나 애니메이션 제작을 위한 클라우드 엑스알과 같은 기술을 사용하여 태블릿이나 다른 장치를 활용하여 실제로 애니메이션을 구동하는 것과 유사한 경험을 제공할 수 있다. 이는 스튜디오 내에서 실제로 발생하는 움직임이나 상호작용을 시뮬레이션하여 세트장에서 진행되는 것과 유사한 시각적 효과를 제공한다.

 

https://blogs.nvidia.co.kr/2021/06/11/nvidia-advances-xr-streaming-gtc/

확장현실(XR)의 새로운 미래를 여는 NVIDIA CloudXR | NVIDIA Blog

https://docs.omniverse.nvidia.com/extensions/latest/ext_cloud-xr/settings.html

Cloud XR User Manual — Omniverse Extensions latest documentation

 

Omniverse Audio2Face

Omniverse Audio2Face를 활용하면 딥러닝 기술을 활용하여 사람의 음성을 통해 얼굴 표정과 입 모양을 자동으로 생성할 수 있다. 이렇게 생성된 표정과 입 모양은 아바타나 캐릭터에 적용되어, 음성에 맞게 자연스럽게 움직이게 된다. 이 기술을 활용하면 애니메이션 더빙 작업에서 사람의 음성을 특정 캐릭터에게 매칭하여 아바타가 실제로 입을 움직이고 표정을 변화시키는 등 사실적인 표현이 가능하다.

 

https://www.nvidia.com/en-us/omniverse/apps/audio2face/

Omniverse Audio2Face App

 

Omniverse KAOLIN

Omniverse KAOLIN은 3D 환경에서 딥러닝을 활용하여 2D 이미지를 3D 이미지로 변환하는 작업을 수행한다. 이를 통해 사용자들은 기존의 2D 이미지를 3D 환경에서 사실적으로 보여줄 수 있다. 예로 들어 딥러닝 기술을 활용하여 새 이미지를 3D 공간에 맞게 변환함으로써, 보다 현실적이고 입체적인 시각적 표현이 가능하다.

 

https://docs.omniverse.nvidia.com/kaolin/latest/index.html

Kaolin Overview — Omniverse Kaolin latest documentation

 

Omniverse View

Omniverse View를 통해 기존에는 완성된 제품을 컨펌받기까지 많은 시간이 소요되었던 상황에서, 건축가나 엔지니어들은 이제 옴니버스 뷰를 활용하여 컨펌 및 수정 작업을 동시에 진행할 수 있다. 이를 통해 업무 시간을 크게 단축하면서도 더 빠르고 효율적으로 프로젝트를 완료할 수 있게 되었다. 특히 언택트 시대에 접어들면서, 옴니버스 뷰는 협업과 의사소통을 온라인으로 가능하게 하여 작업 환경을 크게 향상했다. 이러한 플랫폼을 통해 건축가나 엔지니어들은 실시간으로 공동 작업을 진행하고, 필요한 수정 사항을 즉각 반영하여 프로젝트를 보다 원활하게 진행할 수 있게 되었다.

 

Isaac Sim

Isaac Sim은 NVIDIA Omniverse 플랫폼에서 제공하는 로봇 시뮬레이션 툴킷이다. 주로 로봇의 개발과 테스트를 위해 활용되며, 이를 통해 실제로 로봇을 만들어 구현하지 않고도 로봇의 동작을 시뮬레이션하여 비용과 시간을 절약하고 학습 과정을 더욱 빠르게 진행할 수 있다.

Isaac Sim의 시뮬레이션 환경을 활용하면 인공지능의 테스트 및 합성 데이터 생성 또한 가능하여, 다양한 실험 및 시나리오를 탐색하고 효율적인 로봇 시스템을 개발할 수 있다. 이를 통해 3D 환경과 관련된 모든 작업에 대해 혁신적이고 효과적인 접근이 가능해진다.

 

https://blogs.nvidia.co.kr/2021/06/30/nvidia-isaac-sim-on-omniverse-now-available-in-open-beta/

NVIDIA Omniverse 기반 자율 로봇 시뮬레이터 Isaac Sim ‘업그레이드’ | NVIDIA Blog

 

EPIC GAMES UNREAL ENGINE

 

Epic Games Unreal Engine 5.2 Omniverse Connector 정보

NVIDIA 옴니버스 언리얼 엔진 커넥터는 에픽게임즈의 언리얼 엔진 사용자가 모델 데이터를 라이브 동기화하고 NVIDIA Omniverse Nucleus 서버로 모델 데이터를 전송할 수 있는 강력한 툴킷을 제공하는 플러그인입니다. 이를 통해 언리얼 에디터 사용자는 옴니버스의 RTX 렌더러에 액세스 할 수 있을 뿐만 아니라 Omniverse Connect를 지원하는 모든 애플리케이션을 열고 편집하고 동기화할 수 있습니다.

언리얼 커넥터를 사용하면 씬, 지오메트리, 머티리얼 콘텐츠를 USD 및 Omniverse로 익스포트 할 수 있습니다. MDL (머티리얼 정의 언어) 플러그인의 머티리얼 익스포트를 사용하면 MDL 머티리얼을 제작하는 가장 쉽고 빠른 방법 중 하나로 언리얼 엔진의 업계 최고의 머티리얼 에디터를 이용할 수 있습니다.

크리에이터, 디자이너, 엔지니어는 언리얼 엔진의 터레인 및 랜드스케이프 에디터를 사용하여 원클릭으로 USD 및 MDL로 저장된 지오메트리와 머티리얼을 Omniverse로 바로 내보낼 수 있습니다. 언리얼 커넥터는 USD 및 MDL 임포트와 메시, 머티리얼, 스테이지의 라이브 편집도 지원합니다.

Omniverse Audio2Face 라이브 링크 플러그인을 사용하면 얼굴 애니메이션과 오디오를 언리얼 에디터로 스트리밍 할 수 있습니다.

https://docs.omniverse.nvidia.com/connect/latest/ue4.html

Unreal Engine — Omniverse Connect latest documentation

 

참고 자료

What is NVIDIA Omniverse?, NVIDIA Studio, 2022.01.07.

How to Install NVIDIA Omniverse, JSFILMZ, 2022.01.26.

[NVIDIA Omniverse] Isaac Sim 설치, 삼SAM, 2023.04.25.

메타버스를 위한 NVIDIA OMNIVERSE - 협업 및 시뮬레이션의 새로운 시대를 열다, 토크아이티, 2020.12.15.

3D 그래픽과 시뮬레이션의 협업플랫폼, 엔비디아 옴니버스 10분 요약: 목적, 구성요소, 적용분야 feat. RTX GPU, 토크아이티, 2021.11.11.