본문으로 건너뛰기
메뉴
AI 학습
학습
릴리스 노트
릴리스
도메인 자료
도메인
강의 교안
교안
검색
전체 자료 검색
검색
로그인
화면을 불러오는 중입니다
AI 원리부터 이해하기
현재 모듈
MODULE 19
피지컬 AI
논문·교재·강의를 아래 순서대로 읽으며 개념을 익힙니다.
자료
26
건
첫 자료부터 시작
학습 기록
AI 기초 과정은 현재 저장·진도 기록을 지원하지 않습니다.
학습 로드맵
자료 순서대로 학습
01
모던 로보틱스: 역학 · 계획 · 제어
자유도 · 회전 행렬 · 동차 변환 · 2관절 팔 순기구학 · 자코비안 · 역기구학 · PD 제어를 손계산하는 수업
교재 · 입문자 · 첫 학습 자료
선수 지식 · 행렬 곱 · 삼각함수 · 편미분 · 벡터
02
센서와 상태 추정: 칼만 필터 손계산과 SLAM 개요
센서 종류 · 센서 융합 · 칼만 필터 예측/보정 손계산 · EKF · SLAM을 잇는 상태 추정 수업
강의 · 입문자
선수 지식 · 평균 · 분산 · 정규분포 · 베이즈 정리 · 행렬 곱 · 자코비안
03
로봇 제어 기초: 피드백 · PID · 적분 와인드업 · MPC
피드백 원리 · PID 세 항 · 정상 상태 오차 · 적분 와인드업 · MPC를 숫자로 익히는 제어 수업
강의 · 입문자
선수 지식 · PD 제어와 관절 토크 · 미분 · 적분 개념 · 상태 추정 · 편미분으로 최솟값 찾기
04
Hugging Face LeRobot: 로봇 학습 오픈소스
행동 복제 · 분포 이동 · 다봉 행동 · 행동 청킹 · 확산 정책과 LeRobot 학습 흐름을 익히는 모방 학습 수업
강의 · 입문자
선수 지식 · 지도 학습과 손실 함수 · 평균 제곱 오차 · 파이썬 · PyTorch · 로봇 관절과 손끝 자세
05
시뮬레이션에서 현실로, 그리고 VLA: 로봇 기반 모델을 읽는 지도
현실 격차 · 무작위화 · 특권 학습과 VLA 행동 표현 다섯 가지를 한 지도로 정리하는 수업
강의 · 준전문가
선수 지식 · 모방 학습 · 행동 복제 · 강화학습의 정책 · 보상 · 시각-언어 모델 · 확산 모델 개념 · PID · 저수준 제어
06
도메인 무작위화: 시뮬레이션에서 실제로 옮기기
렌더링을 무작위로 흔든 시뮬레이션 이미지만으로 실제 물체 위치를 약 1.5cm 정확도로 찾은 sim-to-real 연구
논문 · 입문자
선수 지식 · 합성곱 신경망(CNN) · 지도 학습과 L2 손실 · 과적합과 일반화 · 데이터 증강 · 로봇 시뮬레이터(MuJoCo)
07
로봇 손으로 물체 돌리기 학습 (OpenAI Dactyl)
물리·겉모습을 무작위화한 시뮬레이션 강화 학습만으로 실제 로봇 손이 정육면체를 연속으로 돌리게 한 연구
논문 · 준전문가
선수 지식 · 강화 학습 기초(정책·보상·가치 함수) · PPO · LSTM(순환 신경망) · 도메인 무작위화 · 합성곱 신경망
08
험한 지형을 걷는 사족 보행 학습
고유 감각 이력만 보는 학생 정책을 특권 선생에게 배워, 진흙·눈·덤불을 영 샷으로 걷게 한 사족 보행 연구
논문 · 준전문가
선수 지식 · 강화 학습 기초(MDP·정책·보상) · 모방 학습(DAgger) · 시계열 합성곱(TCN) · 도메인 무작위화 · PD 제어와 역기구학
09
말한 대로가 아니라 할 수 있는 대로 (SayCan)
LLM의 '쓸모' 점수와 가치 함수의 '지금 가능' 확률을 곱해 로봇이 긴 자연어 지시를 수행하게 한 방법
논문 · 준전문가
선수 지식 · 대형 언어 모델과 프롬프트 · 조건부 확률 · 강화 학습의 가치 함수(Q 함수) · 행동 복제(BC) · 문장 임베딩
10
코드로 하는 정책: LLM이 로봇 프로그램 짜기
코드 작성 LLM에 예시 몇 개를 주면 추가 학습 없이 로봇 정책 코드를 직접 짜서 실행합니다
논문 · 준전문가
선수 지식 · 대형 언어 모델과 퓨샷 프롬프트 · 파이썬 · NumPy 기초 · 개방 어휘 물체 검출 · PD 제어 · SayCan(LLM 기반 로봇 계획)
11
RT-1: 실제 로봇 제어를 위한 로보틱스 트랜스포머
시연 13만 건으로 학습한 트랜스포머가 700여 개 지시를 97%로 수행하고 새 상황에도 일반화합니다
논문 · 준전문가
선수 지식 · 트랜스포머와 셀프 어텐션 · 합성곱 신경망(EfficientNet) · 모방 학습(행동 복제) · 교차 엔트로피 손실 · SayCan
12
PaLM-E: 몸을 가진 멀티모달 언어 모델
이미지 · 센서 입력을 단어처럼 LLM에 끼워 넣어 로봇 계획과 시각-언어 과제를 함께 푸는 모델
논문 · 전문가
선수 지식 · 디코더 전용 LLM과 토큰 임베딩 · ViT(비전 트랜스포머) · 시각-언어 모델(VQA · 캡셔닝) · SayCan · RT-1
13
RT-2: 웹 지식을 로봇 제어로 옮기는 VLA 모델
행동을 숫자 토큰으로 바꿔 웹 사전학습 VLM이 로봇을 직접 제어하게 한 첫 VLA 모델입니다
논문 · 전문가
선수 지식 · RT-1의 행동 토큰화 · 시각-언어 모델(PaLI · PaLM-E) · 다음 토큰 예측과 미세조정 · 행동 복제(모방 학습) · 생각의 사슬 프롬프트
14
VoxPoser: 언어 모델로 3D 가치 지도 만들기
언어 모델이 코드로 3D 가치 지도를 그려, 미리 만든 스킬 없이 로봇 궤적을 계획하게 한 방법
논문 · 전문가
선수 지식 · 대규모 언어 모델과 프롬프트 · Code as Policies · 개방 어휘 물체 검출 · 모델 예측 제어(MPC) · 복셀(3차원 격자)
15
확산 정책: 행동을 확산 모델로 생성하기
로봇 행동 묶음을 확산 모델로 잡음에서 다듬어 만들어, 다봉 시연을 안정적으로 배우게 한 정책
논문 · 전문가
선수 지식 · 확산 모델(DDPM) · 행동 복제(모방 학습) · 합성곱 신경망과 트랜스포머 · 에너지 기반 모델 · 위치 제어와 속도 제어
16
저가 하드웨어로 정밀한 양팔 조작 학습 (ALOHA · ACT)
2만 달러 미만 양팔 로봇과 행동 묶음 모방 학습(ACT)으로 정밀 작업 80~90% 성공
논문 · 전문가
선수 지식 · 모방 학습(행동 복제) · 트랜스포머 · 변분 오토인코더(VAE) · 로봇 관절 제어 기초
17
Mobile ALOHA: 움직이며 양팔 조작 학습
ALOHA를 이동 받침대에 올리고 탁상 데이터와 공동 학습해 이동 조작 성공률을 높임
논문 · 전문가
선수 지식 · ALOHA · ACT · 행동 복제 · 확산 정책 · 데이터 혼합과 미세조정
18
Open X-Embodiment: 여러 로봇 데이터 모으기와 RT-X
22종 로봇 · 100만+ 궤적 공개 데이터셋과, 다른 로봇 경험을 흡수하는 RT-X
논문 · 전문가
선수 지식 · 모방 학습 · 트랜스포머 · 시각-언어 모델(VLM) · 공동 학습과 미세조정 · 로봇 손끝 제어
19
Octo: 공개 범용 로봇 정책
로봇 시연 80만 개로 학습한 공개 트랜스포머 정책 — 새 센서 · 행동에도 쉽게 미세조정
논문 · 전문가
선수 지식 · 트랜스포머와 어텐션 마스크 · 비전 트랜스포머(ViT) · 모방 학습(행동 복제) · 확산 모델(DDPM) · 미세조정
20
OpenVLA: 공개 시각-언어-행동 모델
70억 VLM에 로봇 시연 97만 개를 학습한 공개 VLA — RT-2-X보다 16.5%p 높은 성공률
논문 · 전문가
선수 지식 · 트랜스포머 언어 모델과 다음 토큰 예측 · 시각-언어 모델(VLM) · 모방 학습 · LoRA · 양자화
21
π0: 범용 로봇 제어를 위한 흐름 기반 VLA 모델
VLM에 흐름 매칭 행동 전문가를 붙인 로봇 기반 모델 — 빨래 개기 · 상자 조립까지
논문 · 전문가
선수 지식 · 시각-언어 모델(VLM)과 VLA · 트랜스포머 어텐션 마스크 · 확산 모델 · 흐름 매칭 · 행동 덩어리(action chunking) · 사전학습과 후학습
22
GR00T N1: 휴머노이드 로봇 공개 기반 모델
VLM(시스템 2)과 흐름 매칭 DiT(시스템 1)를 묶은 NVIDIA의 공개 휴머노이드 VLA
논문 · 전문가
선수 지식 · 트랜스포머 · 크로스 어텐션 · 시각-언어 모델(VLM) · 확산 모델 · 흐름 매칭 · 모방 학습 · 행동 청킹
23
Eureka: LLM이 코딩으로 보상 함수 설계하기
GPT-4가 보상 코드를 쓰고 고치는 진화 탐색으로 29개 과제 중 83%에서 사람 보상 추월
논문 · 전문가
선수 지식 · 강화학습의 보상과 정책 · PPO · LLM 프롬프팅 · 파이썬 코드 읽기
24
월드 모델로 여러 분야 정복하기 (DreamerV3)
하이퍼파라미터 하나로 150여 과제를 푼 월드 모델 RL, 마인크래프트 다이아몬드 첫 성공
논문 · 전문가
선수 지식 · 액터-크리틱 강화학습 · 변분 오토인코더 · KL 발산 · 순환 신경망 · Dreamer(1세대)
25
Genie: 생성형 상호작용 환경
행동 라벨 없는 게임 영상만으로 조종 가능한 세계를 만드는 11B 월드 모델
논문 · 전문가
선수 지식 · 트랜스포머 · 셀프 어텐션 · VQ-VAE · 월드 모델 · 행동 복제
26
Cosmos: 피지컬 AI를 위한 월드 기반 모델 플랫폼
NVIDIA의 피지컬 AI용 월드 모델 플랫폼 — 데이터 정제 · 토크나이저 · 확산/자기회귀 WFM 공개
논문 · 전문가
선수 지식 · 확산 모델 · 트랜스포머 · 다음 토큰 예측 · 오토인코더 · 양자화 · 월드 모델 · 미세조정
18
MLOps·배포
19
피지컬 AI
현재 모듈
패키지 전체 보기
