오늘 GTC 타이페이와 Computex에서 NVIDIA Corp.는 로봇공학, 자율주행차, 시각적 AI, 산업용 디지털 트윈 개발자를 돕는 여러 가지 오픈소스 물리적 AI 기술과 도구를 공개했습니다.{1}} 회사는 물리적 AI 워크플로우를 대규모로 구축하는 데 드는 비용, 시간 및 복잡성을 줄이는 데 도움이 될 수 있다고 주장했습니다.
다음의 일부로 사용 가능NVIDIA 에이전트 툴킷새로운 기술을 통해 AI 에이전트는 로봇, 자율주행차(AV), 공장 및 실험실 뒤의 데이터 생성, 시뮬레이션, 훈련, 평가 및 배포 파이프라인을 가속화할 수 있을 것이라고 회사측은 밝혔습니다.
NVIDIA의 창립자이자 CEO인 Jensen Huang은 GTC 타이페이에서 "AI 에이전트는 소프트웨어 개발에 혁명을 일으키고 있으며 이러한 변화는 이제 물리적 AI로 나아가고 있으며 운송, 제조, 의료 및 로봇 공학을 변화시키는 시스템으로 확장되고 있습니다."라고 말했습니다. "에이전트가 NVIDIA 라이브러리, 모델 및 프레임워크를 직접 사용할 수 있게 되면 물리적 AI 개발이 더 빠르게 진행되어 개발자가 놀라운 속도로 미래의 로봇, 자율주행차 및 산업 시스템을 구축할 수 있게 됩니다."
NVIDIA의 물리적 AI 시뮬레이션 담당 부사장인 Rev Lebaredian은 "물리적 AI에는 다양한 환경에서 막대한 양의 훈련 데이터가 필요합니다."라고 말했습니다. "원격 운영, 시뮬레이션 및 인터넷{1}} 규모의 데이터는 무한히 다양한 사용 사례를 위한 세계적인 기반 모델로 이어집니다."
NVIDIA는 물리적 AI 스택 에이전트를-준비합니다.
NVIDIA는 라이브러리, 모델, 프레임워크를 에이전트 호출 가능 도구로 전환하여 에이전트를 위한 전체 물리적 AI 스택을 최적화하고 있다고 밝혔습니다.{0}} 여기에는 다음이 포함됩니다.
엔비디아 코스모스물리적 세계 추론 및 생성을 위한 3가지 세계 기반 모델
엔비디아 옴니버스시뮬레이션 및 디지털 트윈용 라이브러리
엔비디아 아이작로봇 시뮬레이션 및 로봇 학습을 위한
엔비디아 메트로폴리스비전 AI를 위한
엔비디아 알파마요~을 위한자율주행
엔비디아 젯슨엣지 AI 개발을 위한 플랫폼
Lebaredian은 "Cosmos 3는 물리적 AI를 위한 최첨단 기반 모델입니다."라고 말했습니다. "비디오와 텍스트를 이해하고 중요한 내용을 표시할 수 있습니다. Cosmos는 물리적으로 정확한 시뮬레이션이며 다음에 일어날 일을 예측하고 조치를 생성할 수 있습니다."
이러한 도구를 적용하는 데 도움을 주기 위해 NVIDIA는새로운 기술물리적 AI 개발 프로세스를 코딩 에이전트가 따를 수 있는 반복 가능한 지침으로 전환합니다. 여기에는 호출할 도구, 생성할 출력, 개발자가 결과를 검증할 수 있는 방법이 포함됩니다.
개발자는 이러한 기술을 사용하여 자동 에이전트를 안전하게 구축하고 배포할 수도 있습니다.NVIDIA NemoClaw청사진과엔비디아 오픈쉘로컬 또는 클라우드 하드웨어에 대한 정책 기반 보안 및 개인 정보 보호 관리를 제공하는{0}}런타임입니다. 에이전트는 Jetson의 엣지에서 실행될 것이며 이미 가동 시간 향상을 입증했다고 Lebaredian은 말했습니다.
NVIDIA는 자사의 물리적 AI 기술과 도구가 다음 분야에서 에이전트 개발을 가속화하고 있다고 밝혔습니다.
로봇 공학 및 엣지 AI:로봇 개발자는 기술을 사용하여 인식 및 이동성 교육 데이터 생성부터 시뮬레이션, 탐색 교육 자동화, 로봇 학습 향상, 배포를 위한 Jetson- 기반 에지 시스템 조정에 이르기까지 전체 로봇공학 개발 파이프라인을 가속화할 수 있습니다.
자율주행차:AV 개발자의 경우 기술을 통해 에이전트가 차량에서 캡처한 데이터를 시뮬레이션 환경으로 재구성하고, 사실적인 대규모 운전 시나리오를 생성하고, 폐쇄형-루프 강화 학습을 실행하여 교육 및 평가 범위를 확장하도록 지시할 수 있습니다.
실시간-비전 AI 에이전트:자동화된 검사 및 비디오 인텔리전스의 경우 NVIDIA의 에이전트 기술은 팀이 합성 교육 데이터를 생성하고,{0}}모델을 미세 조정하고, 라벨링을 자동화하고, 실시간 또는 녹화된 비디오를 검색, 요약, 분석하는 비디오 AI 에이전트를 구축하는 데 도움이 될 수 있다고 밝혔습니다.
산업용 AI:산업용 소프트웨어 개발자는 이러한 기술을 사용하여 엔지니어링 데이터를 디지털 트윈 시뮬레이션을 위한 CAD(Computer Aided Design) 자산으로 변환하고 수동 설정을 줄여 대규모 OpenUSD 장면을 최적화할 수 있습니다.
의료:임상 환경에 자동화를 배포하기 전에 의료 팀은 병원 환경의 디지털 트윈 생성,-실제 데이터 생성 시뮬레이션,-루프 정책 테스트의 소프트웨어-를 통해 에이전트를 안내할 수 있습니다.{4}}
NVIDIA에 따르면 이 기술은 더 큰 에이전트 시스템에 결합되고 통합될 수 있습니다. 이를 통해 개발자는 데이터 생성, 시뮬레이션, 최적화, 추론 조정, 지속적인 평가 등과 같은 복잡한 워크플로를 조율하고 자동화할 수 있습니다.
로봇 공학 개발자는 물리적 AI 스택을 선택합니다.
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI 및 Universal Robots는 이미 NVIDIA의 에이전트-지원 물리적 AI 스택을 사용하고 있는 로봇 회사 중 하나입니다.
"NVIDIA Isaac GR00T의 스택 업데이트를 사용하면 몇 주가 아닌 몇 시간 만에 새로운 엔드{1}}투{2}}워크플로를 설정할 수 있습니다."라고 Lebaredian은 말했습니다. "'옴니-모달'은 동작 입력 및 출력을 위해 다양한 모드 - 비디오, 센서, 텍스트 및 사운드와 함께 작동한다는 것을 의미합니다."
또한 Foxconn과 Compal은 의료용 NVIDIA Isaac을 사용하여 병원 로봇 공학을 가속화하고 있습니다. Compal은 시뮬레이션, AI 및 실제 운영을 통합하여 병원-전체 조정 플랫폼을 향해 PolyMedX 로봇의 개발 프로세스를 발전시키고 있습니다.{2}}
Foxconn은 여러 병원과 장기 치료 환경에 걸쳐 Nurabot을 확장하고 있으며, AI 기반 로봇을 환자 치료에 도입하고 수술실 워크플로 최적화를 돕기 위해 새로운 Scrub Nurse Collaborative Robot을 도입하고 있습니다.
업계 리더들은 NVIDIA 기술로 구축합니다.
제조, 운송, 의료, 산업용 소프트웨어 분야의 NVIDIA 파트너와 고객은 물리적 AI 라이브러리를 사용하여 자율 시스템 및 산업용 AI 개발을 발전시키고 있습니다.
이러한 라이브러리가 에이전트를 지원하므로{0}}개발자는 NVIDIA 기술을 사용하여 에이전트가 복잡한 물리적 AI 워크플로 전반에 걸쳐 설정, 실행 및 반복을 자동화하도록 도울 수 있습니다.
전자제품 제조 분야에서 TSMC와 Pegatron은{0}}시각 검사 모델을 미세 조정하고 있습니다. Pegatron은 결함 이미지 생성 기술에서 생성된 합성 데이터를 사용하여 모델 훈련 및 배포 시간을 67% 단축한 것으로 알려졌습니다.
Delta Electronics는 합성 결함 데이터를 생성하고 금속 부스바의 과도한 납땜을 포착하는 기술을 사용하여 감지율을 17% 향상시켰습니다. Inventec은 결함 이미지 생성 기술을 통합하여 관찰 에이전트 육안 검사 파이프라인을 개발하여 노트북 섀시 제조에 필요한 결함 데이터 수집 노력을 30% 줄였습니다.
DeepHow와 협력하는 Foxconn은 이 기술을 사용하여 오류를 조기에 포착하여 제조 효율성을 개선하고 1차 통과 수율을 약 3% 높였습니다.
산업용 AI 분야에서 Cadence, Dassault Systèmes, Siemens 및 Synopsys는 엔지니어링 데이터 검사, 시뮬레이션 및 대화형 디지털 트윈을 위해 NVIDIA Omniverse 라이브러리와 기술을 사용하고 있습니다. PTC, MetAI 및 Lightwheel은 NVIDIA Isaac Sim 프레임워크와 OpenUSD- 기반 워크플로를 활용하여 CAD 데이터를 시뮬레이션-지원 자산 및 환경으로 변환하고 있습니다.
SK하이닉스는 'Autonomous Fab 2030' 로드맵의 일환으로 NVIDIA Omniverse를 활용하여 반도체 Fab 디지털 트윈을 구현하고 있습니다. 또한 이 칩 제조업체는 NVIDIA 및 SK Telecom과 협력하여{2}}특정 물리적 AI 제조를 위한 NVIDIA Agent Toolkit을 검증하고 있습니다.
자율주행 개발자인-Li Auto, Afari 및 DeepRoute.ai는 신경 장면 재구성 및 렌더링을 위해 NVIDIA Omniverse NuRec 모델을 사용하고 있습니다. 그들은 하루에 1,000개 이상의 재구성과 300,000개 이상의 렌더링 및 시뮬레이션을 생성했습니다.
또한 AV 회사는 새로운 에이전트 기술 저장소를 사용하여 보다 안전하고 성능이 뛰어난 자율 주행 시스템의 개발을 가속화하고 향상시키고 있습니다. Foxconn, VinFast, Uber 및 HUMAIN은 NVIDIA DRIVE Hyperion 생태계에 합류하여 SAE 레벨 4 로봇택시를 개발하고 배포했습니다.
NVIDIA의 로봇 제품 담당 이사인 Spencer Huang은 Alpamayo 2 Super가 이미 500,000회 이상 다운로드되었으며 Computex에서 "최고의 기술"로 선정되었다고 말했습니다.
이제 물리적 AI 에이전트 도구를 사용할 수 있습니다.
엔비디아는 자사의 물리적 AI 에이전트 도구와 기술을 다음을 통해 사용할 수 있다고 밝혔습니다.GitHub그리고Skills.sh모든 코딩 에이전트와 함께 사용할 수 있습니다.
합성 데이터 생성을 위한 에이전트 기술 및 도구 -신경 재건, 비디오 증강, 결함 이미지 생성-은(는) NVIDIA Brev에서도 다음과 같이 사용할 수 있습니다.물리적 AI 실행 가능 항목, 더 빠른 합성 데이터 생성 및 평가를 위해 에이전트 기술과 도구를 번들로 제공하는 사전 구성된 환경입니다.
마이크로소프트,코어위브, 그리고네비우스개발자가 합성 데이터 생성 및 배포를 간소화하고 확장할 수 있도록 이러한 에이전트 기술 및 도구를 클라우드 서비스와 통합하고 있습니다.
Unitree 휴머노이드 NVIDIA Isaac GR00T의 참조
NVIDIA는 또한 NVIDIA Jetson Thor 및 NVIDIA Isaac GR00T 개발 플랫폼을 기반으로 구축된 개방형 휴머노이드 로봇 레퍼런스 디자인인 NVIDIA Isaac GR00T 레퍼런스 휴머노이드 로봇을 발표했습니다. 회사는 이것이 값비싼 독점 플랫폼을 필요로 하지 않고도 고급 하드웨어 및 소프트웨어에 대한 접근을 민주화하는 데 도움이 될 것이라고 말했습니다.범용-목적의 휴머노이드증가합니다.
NVIDIA는 실제 크기 로봇 본체에 능숙한 조작, 감지, 제어 및 온보드 AI 컴퓨팅 기능을 결합했습니다.
Unitree H2 휴머노이드 섀시,키는 약 6피트(1.8m)이고 무게는 150파운드(68kg)이며 인간 규모 테스트를 위한 자유도는 31도입니다-.
듀얼샤파 웨이브다섯-손가락 손으로 촉각을 가할 수 있으며,22 자유도의 능숙한 조작이 가능하고 로봇의 몸과 손 전체에 걸쳐 75 자유도가 가능합니다.
멀티{0}}뷰 감지,넓은 시야각(가로 140도, 세로 102도)을 갖춘 머리{0}}장착형 스테레오 카메라, 근거리 조작을 위한 손목 카메라,{3}}모션 추적용 관성 측정 장치 등이 포함됩니다.
전신-신체 조절,최대 120뉴턴-미터의 암 토크, 최대 360뉴턴-미터의 다리 토크, 7kg(15.4lb.)의 정격 암 탑재하중, 15kg(33lb.)의 최대 탑재하중으로 더 많은 리프팅 및 도달 능력을 발휘합니다.
NVIDIA Jetson AGX Thor T5000 온보드 컴퓨팅,2,070FP4 테라플롭스의 AI 성능을 갖춘 NVIDIA Blackwell GPU, 14-코어 Arm CPU, 128GB 통합 메모리, 실시간 센서 처리 및 로봇 추론을 위해 구성 가능한 40~130와트 전력 범위를 갖추고 있습니다.
연결성이더넷, Wi{0}}Fi 6, 블루투스 5.2, USB, 음성 상호작용을 위한 다양한 마이크와 스피커를 통해 연결됩니다.
장시간 작동을 위한 배터리,15Ah, 0.972kWh 용량, 수명은 약 3시간입니다.
원격 비상 정지 시-로봇을 안전하게 신속하게 분리하는 기능입니다.
Isaac GR00T 플랫폼에는 다음이 포함됩니다.
엔비디아 아이작 텔레옵교육 및 정책 개발을 위한 고품질{0}}로봇 시연 데이터를 수집합니다.
NVIDIA Isaac GR00T 개방형 기반 모델인간형 추론, 학습 및 멀티태스킹 행동을 지원합니다.
엔비디아 아이작 심 그리고아이작랩실제 배포에 앞서 로봇 정책을 시뮬레이션, 훈련, 테스트 및 평가합니다.{0}}
가속화된 NVIDIA Isaac ROS 미들웨어훈련된 정책을 로봇으로 옮기는 것입니다.
엔비디아 젯슨 토르실시간으로-실행하고-로봇 추론 및 제어를 수행합니다.
시스템은 모듈식으로 설계되었으므로 로봇 팀은 전체 플랫폼을 사용하거나 선택한 기능을 기존 개발 파이프라인에 통합하여 각 로봇이나 작업에 대해 동일한 인프라를 다시 구축하지 않고도 휴머노이드 개발을 확장할 수 있습니다.
Ai2, ETH Zurich, Stanford Robotics Center, UC San Diego의 Advanced Robotics and Controls Laboratory 등 주요 연구 기관에서는 이 참조 설계를 사용하여 휴머노이드 로봇 공학 연구를 발전시킬 계획입니다.
Skild AI의 공동 창립자이자 CEO인 Deepak Pathak은 "범용{0}}목적 로봇을 향한 진전을 이루려면 성능이 뛰어나고 광범위하게 액세스할 수 있는 플랫폼이 필요합니다."라고 말했습니다. "참조 설계를 통해 더 많은 연구자가 첨단 휴머노이드 연구에 참여하고 아이디어에서 실험으로 더 빠르게 이동할 수 있습니다. 이는 전체 로봇공학 연구 생태계를 발전시키는 데 도움이 됩니다."