험한 지형을 걷는 사족 보행 학습

험한 지형을 걷는 사족 보행 학습

카메라 없이 관절 센서와 관성 센서만 쓰는 네 발 로봇 제어기를 시뮬레이션에서 강화 학습으로 만들었더니, 한 번도 학습하지 않은 진흙 · 눈 · 이끼 · 덤불 · 흐르는 개울에서도 추가 조정 없이 걸었습니다. 핵심은 "모든 것을 아는 선생 정책"을 먼저 학습하고 "몸 감각 이력만 보는 학생 정책"이 그것을 따라 배우게 한 특권 학습, 그리고 실력에 맞춰 지형 난도를 조절하는 커리큘럼입니다.

들어가기 전에

이 해설은 아래 내용을 안다고 보고 씁니다. 처음이라면 먼저 읽고 오면 수식과 손계산을 훨씬 쉽게 따라올 수 있습니다.

• 근접 정책 최적화 (PPO) — 확률비를 1±ε로 잘라 정책을 조금씩만 바꾸는, 단순하고 안정적인 정책 최적화
• 도메인 무작위화: 시뮬레이션에서 실제로 옮기기 — 렌더링을 무작위로 흔든 시뮬레이션 이미지만으로 실제 물체 위치를 약 1.5cm 정확도로 찾은 sim-to-real 연구

한눈에 보기

• 다리 로봇이 험한 자연 지형에서 왜 자주 넘어지는지, 왜 카메라 · 라이다만으로는 부족한지 압니다.
• 고유 감각(proprioception, 자기 몸 상태 감각) 이력만으로 지형과 접촉을 짐작하는 제어기의 발상을 압니다.
• 시뮬레이션의 정답 정보를 아는 선생에게서 배우는 특권 학습(privileged learning) 의 2단계 구조를 압니다.
• "너무 쉽지도 어렵지도 않은" 지형을 골라 주는 적응형 지형 커리큘럼 과 그 수식을 압니다.
• 숲 · 지하 경진 대회 · 실내 실험에서 기존 제어기와 비교한 결과를 숫자로 압니다.

초록 (번역)

지구에서 가장 험한 환경 가운데 일부는 네 발 동물은 갈 수 있지만 자율 기계는 아직 닿지 못합니다. 다리 보행은 로봇이 활동할 수 있는 영역을 극적으로 넓힐 수 있습니다. 그러나 기존의 다리 보행 제어기는 동작 기본 단위와 반사 동작의 실행을 명시적으로 촉발하는 정교한 상태 기계에 기반합니다. 이런 설계는 점점 복잡해졌지만, 동물 보행의 일반성과 강건성에는 미치지 못합니다. 여기서 우리는 험한 자연환경에서 다리 보행을 위한 매우 강건한 제어기를 제시합니다. 보행 제어에 고유 감각 피드백을 담는 새로운 해법을 제시하고, 시뮬레이션에서 자연환경으로의 놀라운 영 샷(zero-shot) 일반화를 보여 줍니다. 제어기는 시뮬레이션에서 강화 학습으로 학습됩니다. 이 제어기는 고유 감각 신호의 흐름을 입력으로 받아 동작하는 신경망에 기반합니다. 학습된 제어기는 두 세대의 사족 로봇 ANYmal을, 기존에 발표된 다리 보행 연구가 닿지 못한 다양한 자연환경으로 이끌었습니다. 제어기는 학습 중 한 번도 만나지 않은 조건에서도 강건성을 유지합니다. 진흙과 눈 같은 변형되는 지형, 잔해 같은 움직이는 발판, 빽빽한 덤불과 세차게 흐르는 물 같은 지상 장애물이 그 예입니다. 이 연구는 로봇 공학의 새 지평을 열며, 훨씬 단순한 영역에서 학습해도 자연환경에서 매우 강건한 성능을 얻을 수 있음을 보여 줍니다.

무엇을 풀었나

자연 지형은 울퉁불퉁하고, 무르고, 미끄럽고, 덤불 같은 장애물이 있습니다. 기존 제어기는 이런 곳에서 발이 미끄러지고 균형을 잃다가 결국 크게 넘어집니다.

카메라 · 라이다 같은 외부 감각(exteroception)으로는 마찰이나 지면의 무른 정도를 잴 수 없고, 눈 · 물 · 덤불에 가려지며, 로봇 발밑에서 땅이 부서지는 변화도 놓칠 수 있습니다. 그래서 로봇은 관절 각 · 속도와 몸통 자세 같은 고유 감각 에 크게 기대야 합니다.

기존 방식의 한계는 이렇습니다.

• 상태 기계 + 반사 동작: 접촉 · 미끄러짐을 경험적 임계값으로 추정해 동작을 전환합니다. 진흙 · 눈 · 덤불처럼 모델에 없는 요인 앞에서 추정이 흔들리고, 상황을 늘릴수록 설계가 복잡해집니다.
• 기존 강화 학습: 대부분 실험실의 평평하거나 완만한 바닥에 머물렀습니다. 실제 로봇을 정밀하게 모델링하고(구동기 포함) 물리 파라미터를 무작위화하는 기존 관행만으로는 험지에서 충분하지 않았다고 저자들은 말합니다.

핵심 아이디어

1. 눈을 감고 걷는 제어기 — 고유 감각 이력만 쓰기

한 문장 직관: 불 꺼진 방을 걸을 때 사람은 발바닥과 다리에 전해지는 감각의 "최근 몇 초" 흐름으로 바닥이 기울었는지, 뭔가에 걸렸는지 압니다(해설용 비유).

단계별 설명 (논문 기준)

1. 입력은 명령 벡터와 고유 감각 측정치(몸통 속도 · 자세, 관절 상태)의 시간 이력 입니다.
2. 카메라 · 깊이 센서 · 촉각 센서 같은 외부 감각은 쓰지 않습니다. 발 접촉 상태나 지형 추정 같은 손으로 만든 특징도 넣지 않습니다.
3. 정책은 시계열 합성곱 신경망(TCN, temporal convolutional network)으로, 기본 설정은 100단계(2초) 이력을 봅니다.
4. 명령은 목표 속도 가 아니라 목표 방향 만 줍니다. 험지에서는 가능한 속도 범위가 불분명하기 때문입니다(예: 내리막이 오르막보다 빠름).

수식 (명령 벡터, 논문 4.A)

기호 풀이

• $\psi_T$: 몸통 좌표계에서 본 목표 방향의 요(yaw) 각
• $(\cos\psi_T, \sin\psi_T)$: 가야 할 수평 방향(크기 1). 정지 명령은 $(0, 0)$
• $\omega_T$: 회전 방향. 1은 반시계, −1은 시계, 0은 회전 없음

숫자로 해 보기 (해설용 예)

로봇 기준 왼쪽 앞 45°로 가라는 명령이면 $\psi_T = 45^\circ$, 방향은 $(\cos 45^\circ, \sin 45^\circ) \approx (0.71, 0.71)$입니다. 제자리 반시계 회전만 시키려면 $((0, 0), 1)$을 줍니다. 속도 숫자가 없으니, 지형이 허락하는 만큼 알아서 빠르게 갑니다.

왜 이렇게 했나

관절 엔코더와 관성 측정 장치(IMU)는 다리 로봇에서 가장 튼튼하고 믿을 만한 센서입니다. 외부 감각이 무너지는 눈 · 물 · 덤불에서도 제어기가 멈추지 않습니다. 이력을 보는 TCN은 접촉 · 미끄러짐을 따로 추정하는 모듈 없이, 이력에서 필요한 만큼 암묵적으로 추론합니다.

2. 동작 생성 — 리듬은 기본으로, 고칠 부분만 학습

한 문장 직관: 메트로놈이 기본 걸음 박자를 주고, 신경망은 그 위에서 "이번 걸음은 발을 조금 더 높이" 같은 수정만 합니다(해설용 비유).

단계별 설명 (논문 Motion synthesis)

1. 다리마다 주기적인 위상 $\phi_i \in [0, 2\pi)$를 둡니다. $[0, \pi)$는 땅을 딛는 접촉 구간, $[\pi, 2\pi)$는 발을 드는 스윙 구간입니다.
2. 발 궤적 생성기(FTG, foot trajectory generator) $F(\phi_i)$가 위상에 따라 기본 발 위치를 냅니다.
3. 신경망 정책은 다리별 주파수 오프셋 $f_i$와 발 위치 잔차 $\Delta \mathbf{r}_{f_i}$를 출력합니다(행동 16차원).
4. 목표 발 위치를 해석적 역기구학(IK)으로 관절 목표로 바꾸고, 관절 PD 제어기가 따라갑니다. 정책은 50Hz, 동작 추종은 400Hz로 돕니다(논문 그림 4C).
5. 이 구조는 PMTG(Policies Modulating Trajectory Generators) 방식을 따른 것입니다.

수식 (논문 Motion synthesis)

기호 풀이

숫자로 해 보기 (해설용 계산)

위상을 "한 바퀴 = 1"로 단순화해 봅시다. $f_0 = 1.25$Hz, $f_i = 0$이면 0.4초 동안 $1.25 \times 0.4 = 0.5$바퀴, 즉 접촉 구간을 막 끝내고 스윙으로 넘어갑니다. 정책이 $f_i = 0.25$를 주면 같은 0.4초에 $1.5 \times 0.4 = 0.6$바퀴로 걸음이 빨라집니다. $f_0 + f_i = 0$이면 위상이 멈추고 그 다리는 주기 운동을 하지 않습니다.

왜 이렇게 했나

걸음 리듬을 처음부터 배우게 하면 탐색이 어렵습니다. 기본 박자를 사전 지식으로 주면 학습이 안정됩니다. 발 위치를 다리 아래 수평 좌표계에서 정의해 몸통 기울기 영향을 줄였고, 학습 초기 몸통이 불안정할 때 일찍 끝나는 에피소드가 줄었다고 합니다. 해석적 IK는 계산이 빠르고 기존 구동기 모델을 재사용할 수 있어 택했습니다.

3. 특권 학습 — 다 아는 선생, 몸으로만 아는 학생

한 문장 직관: 운전 강사는 지도와 도로 상태를 다 알고 운전하고, 학생은 창밖만 보며 강사의 핸들 조작을 따라 배웁니다. 나중에 혼자서도 비슷하게 운전하게 됩니다(해설용 비유).

단계별 설명

1. 1단계 — 선생 정책: 시뮬레이션에서만 얻을 수 있는 특권 정보 $\mathbf{x}_t$를 받습니다. 지형 높이, 발 접촉 상태와 힘, 마찰 계수, 외부 교란 힘입니다. 지형은 발마다 반지름 10cm 원 위의 점 9개 높이로 나타냅니다.
2. 선생은 MLP 인코더로 $\mathbf{x}_t$를 잠재 벡터 $\bar{\mathbf{l}}_t$로 바꾸고, 로봇 측정값 $\mathbf{o}_t$와 함께 행동 $\bar{\mathbf{a}}_t$를 냅니다. 학습은 TRPO 강화 학습입니다.
3. 2단계 — 학생 정책: 특권 정보 없이 고유 감각 이력 $H$만 받는 TCN입니다.
4. 학생은 선생의 행동과 잠재 벡터를 함께 흉내 내도록 지도 학습합니다.
5. 데이터는 DAgger 방식으로 모읍니다. 학생이 직접 움직여 간 상태마다 선생이 "여기선 이렇게"라는 정답을 붙입니다.

수식 (논문 식 1)

기호 풀이

숫자로 해 보기 (해설용 예 — 논문 수치 아님)

2차원으로 줄여, 선생 행동 $(0.5, -0.2)$, 학생 행동 $(0.4, 0.0)$, 선생 잠재 $(1.0, 0.0)$, 학생 잠재 $(0.7, 0.1)$이라 합시다.

• 행동 항: $(0.1)^2 + (-0.2)^2 = 0.01 + 0.04 = 0.05$
• 잠재 항: $(0.3)^2 + (-0.1)^2 = 0.09 + 0.01 = 0.10$
• 손실: $0.15$

잠재 항 덕분에 학생은 "선생이 지형을 어떻게 요약했는지"까지 이력에서 되살리도록 압박받습니다.

왜 이렇게 했나

험지 정책을 고유 감각만으로 곧장 강화 학습하면 감독 신호가 희박해 적당한 시간 안에 걷기를 배우지 못했다고 논문은 밝힙니다. 선생은 정답 정보 덕분에 빨리 잘하게 되고, 학생은 쉬운 지도 학습 문제로 바뀝니다. 핵심 가정은 "지형 · 접촉 정보 $\bar{\mathbf{l}}_t$를 고유 감각 이력에서 (일부) 되살릴 수 있다"는 것입니다. 선생을 사람 시연이 아닌 강화 학습으로 만든 점이 원조 기법(learning by cheating)과 다릅니다.

4. 적응형 지형 커리큘럼 — 딱 알맞은 난도 고르기

한 문장 직관: 좋은 과외 선생은 학생이 70~80% 맞히는 문제를 냅니다. 다 맞히면 배울 게 없고, 다 틀리면 의욕도 신호도 없습니다(해설용 비유).

단계별 설명 (논문 Adaptive terrain curriculum)

1. 지형은 언덕 · 계단형 단차 · 계단의 세 종류이고, 거칠기 · 진폭 · 단 높이 같은 파라미터 벡터 $c_T$로 만듭니다.
2. 한 걸음마다 명령 방향 속도가 0.2m/s를 넘으면 1, 아니면 0(또는 종료)으로 표시합니다. 0.2m/s는 이 로봇 최고 속도의 약 1/3입니다.
3. 그 평균이 통과 가능성(traversability) $Tr$입니다.
4. $Tr$이 0.5~0.9 사이인 지형을 "알맞은 지형"으로 칩니다.
5. 입자 필터(particle filter)로 알맞은 지형 파라미터 분포를 추적합니다. 알맞은 입자는 가중치가 커져 다시 뽑히고, 파라미터는 이웃 값으로 무작위 이동합니다.
6. 정책 학습에 쓴 궤적을 그대로 평가에 쓰므로 추가 평가 단계가 필요 없습니다.

수식 (논문 식 2~5)

기호 풀이

• $v_{pr}$: 몸통 속도와 명령 방향의 내적(명령 방향으로 얼마나 빨리 가나), m/s
• $\zeta$: 한 전이가 "통과 중"인지 표시하는 라벨
• $Tr$: 그 지형의 통과 가능성(0~1)
• $Td$: 지형의 바람직함(desirability). 통과 가능성이 0.5~0.9일 확률

숫자로 해 보기 (해설용 예)

어떤 계단 파라미터로 궤적 10개를 돌려, 각 궤적의 $Tr$이 0.95, 0.85, 0.7, 0.6, 0.8, 0.3, 0.75, 0.9, 0.65, 0.88이었다고 합시다. 0.5~0.9 안에 든 것은 0.95와 0.3을 뺀 8개이므로 $Td \approx 8/10 = 0.8$입니다. 이 입자는 가중치가 높아 다음 세대에 자주 뽑힙니다. 반대로 다 1.0 근처인 평지는 $Td \approx 0$으로 버려집니다.

왜 이렇게 했나

보상 함수는 여러 목표가 섞이고 범위가 정해져 있지 않아, 통과 가능성 쪽이 직관적이라고 논문은 말합니다. 균등하게 지형을 뽑으면 정책이 넘지 못하는 지형이 자주 나와 일찍 넘어지고, 학습 신호가 줄어듭니다.

5. 시뮬레이션과 전이 장치

• 시뮬레이터는 RaiSim입니다. 관절의 직렬 탄성 구동기(SEA)는 학습된 구동기 신경망으로 흉내 냅니다(관절 위치 오차 · 속도의 현재와 0.01초 · 0.02초 전 값을 입력).
• 교란 힘, 발과 지면의 마찰 계수, 관측 잡음을 무작위화했고, 선생은 이 값들을 압니다.
• 학습 지형은 단단한(rigid) 지형뿐 이고, 무른 땅 · 덤불 · 물은 없습니다.
• 학습은 i7-8700K CPU와 RTX 2080 GPU 데스크톱 한 대에서 선생 약 12시간, 학생 약 4시간이 걸렸습니다(보충 자료 표 S1).
• 실제 로봇에는 미세 조정 없이 그대로 배포했습니다.

6. 처리 흐름

1234567flowchart LR
    A["언덕 · 단차 · 계단 지형<br/>입자 필터 커리큘럼"] --> B["1단계 선생 정책<br/>특권 정보 + TRPO"]
    B --> C["2단계 학생 정책 TCN<br/>고유 감각 이력만<br/>행동 · 잠재 벡터 모방"]
    C --> D["다리별 주파수 · 발 위치 잔차"]
    D --> E["발 궤적 생성기 + 역기구학"]
    E --> F["관절 PD 제어기"]
    F --> G["실제 ANYmal<br/>미세 조정 없음"]

결과

아래 수치는 모두 논문이 보고한 값입니다. 비교 기준(baseline)은 같은 ANYmal의 최신 모델 기반 제어기입니다.

자연환경 (숲, 논문 표 1)

• COT(이동 비용, cost of transport)는 단위 무게 · 단위 속도당 구동기의 양의 기계적 일률로, 낮을수록 효율적입니다. 제안 제어기가 모든 조건에서 더 빠르고 효율적이었습니다.
• 이 표는 기준 제어기가 성공적으로 걸을 때만 잰 값이라 차이를 과소평가합니다. 기준 제어기는 나뭇가지 · 덤불 · 진흙에서 자주 넘어져 사람이 다시 세웠고, 제안 제어기는 한 번도 실패하지 않았습니다.

DARPA 지하 경진 대회(Subterranean Challenge) 도시 회로

• CERBERUS 팀이 기존 모델 기반 제어기 대신 이 제어기를 썼습니다.
• ANYmal-B 두 대가 60분짜리 임무 4번을 수행하는 동안 실패율 0이었습니다.
• 저자들이 아는 한, 모델 없는(model-free) 강화 학습 보행 제어기를 이런 경쟁적 현장에 쓴 첫 사례입니다.

실내 실험

• 발 걸림 반사(foot-trapping reflex): 발이 단차에 걸리면 다음 스윙에서 발을 더 높이 들어 16.8cm 단차를 넘었습니다. 평지에서 앞다리의 최대 발 높이는 12.9cm · 13.6cm(왼앞 · 오른앞)인데, 걸렸을 때는 22.5cm · 18.5cm까지 올라갔습니다. 이런 반사는 학습에서 따로 지정하지 않았습니다.
• 정강이 중간에 걸리는 충돌처럼 발 접촉이 아닌 사건에도 반응했습니다.
• 단차 시험: 단 높이마다 10번씩 시도해, 오르기 · 내리기 모두 기준 제어기보다 성공률이 높았습니다.
• 10kg 짐: 로봇 전체 무게의 22.7%이고 학습 때 한 번도 시뮬레이션하지 않은 조건입니다. 제안 제어기는 13.4cm 단차까지 넘었고, 기준 제어기는 어떤 속도에서도 단차를 넘지 못했습니다.
• 방향 추종: 평지 8방향에서 제안 제어기의 평균 방향 오차는 짐이 있든 없든 10° 이내였고, 기준 제어기는 옆 방향에서 30°에 달했습니다.
• 젖은 화이트보드 위 미끄럼 시험에서 기준 제어기는 넘어졌고, 제안 제어기는 적응해 걸었습니다.

절제 실험 (시뮬레이션, 논문 그림 5 설명)

• 기억 길이: TCN-1(0.02초)부터 TCN-100(2초)까지 비교했습니다. 경사에서는 차이가 작았지만, 단차에서는 기억이 길수록 더 높은 단을 넘었습니다. 옆으로 50N 힘을 5초 가했을 때 TCN-100의 방향 이탈은 TCN-1보다 35.5% 작았습니다.
• 특권 학습: 같은 TCN-20을 선생 없이 TRPO로 바로 학습하면 경사도 단차도 못 넘었고, 균형 잡기조차 배우지 못했습니다.
• 커리큘럼: 균등 무작위 지형으로 학습한 선생은 시험 성공률이 크게 낮고, 더 낮은 보상에서 정체했습니다.

학생이 무엇을 배웠나 (논문 그림 6 설명)

학습이 끝난 TCN의 중간 층 출력에서 특권 정보를 되살리는 디코더를 따로 학습했습니다. 발이 단차에 부딪히면 앞쪽 지형 높이 추정과 그 불확실성이 커지고, 넘은 뒤에도 불확실성이 높게 남았습니다. 고유 감각 이력에서 환경의 내부 표현을 만들고 있다는 증거입니다. 현저성 지도(saliency map)로 보면, 정책은 발이 걸린 순간의 왼앞다리 관절 측정치에 계속 주목했습니다.

왜 중요한가 · 이후 영향

• "시뮬레이션은 현실의 복잡함을 다 담지 못하니 한계가 있다"는 가정을 흔들었습니다. 단단한 지형만 있는 단순한 시뮬레이션으로도 진흙 · 눈 · 물 · 덤불에 통하는 제어기를 얻었습니다.
• 특권 학습(선생-학생) 구조를 실제 다리 로봇에서 검증했습니다. 시뮬레이션에서만 아는 정보를 학습 도우미로 쓰고, 배포 정책은 실제 센서만 쓰게 하는 설계입니다.
• 이력 기반 적응의 힘을 보였습니다. OpenAI Dactyl(108번 항목)이 LSTM 기억으로 물리 차이에 적응했듯, 이 논문은 TCN 이력으로 지형 · 접촉을 암묵적으로 추정했습니다.
• 실전 배치까지 갔습니다. 지하 경진 대회 실패율 0은 학습 기반 보행 제어기가 실험실 밖에서 믿을 만하다는 근거가 됐습니다.

한계 · 주의할 점

• 속보(trot) 걸음만 나옵니다. 동물이 쓰는 다양한 걸음새보다 좁습니다. 저자들은 다양성을 강조하는 학습 목표로 다른 걸음새를 끌어낼 수 있다고 봅니다.
• 눈을 감고 걷는 한계가 있습니다. 절벽으로 가라고 명령하면 그대로 갑니다. 몸으로 지형을 더듬어야 하므로 걸음이 다소 보수적입니다. 고유 감각과 외부 감각을 함께 쓰는 제어기가 다음 과제로 제시됩니다.
• 명령은 방향만입니다. 목표 속도를 정확히 맞추는 제어기가 아닙니다.
• 정량 비교는 제한적입니다. 자연환경 표는 세 조건, 기준 제어기가 걸을 때만 잰 값입니다.
• 시뮬레이션 설계 요소가 많습니다. 학습된 구동기 모델, 발 궤적 생성기, 지형 파라미터 공간 등 사전 지식과 공학적 장치에 상당히 기댑니다.

이어서 읽을 것

• 앞: 도메인 무작위화 — 시뮬레이션→실제 전이의 출발점
• 앞: OpenAI Dactyl — 물리 무작위화 + 기억 있는 정책으로 실제 로봇 손 조작
• 기초: PPO — 로봇 강화 학습에서 널리 쓰이는 정책 경사 알고리즘(이 논문은 같은 계열의 TRPO 사용)
• 뒤: Eureka — 시뮬레이션 로봇 학습의 보상 함수를 언어 모델로 설계
• 뒤: DreamerV3 — 월드 모델로 여러 영역의 제어를 배우는 강화 학습

용어 정리

스스로 점검

1. 선생 정책 없이 학생 정책을 바로 강화 학습하면 어떻게 됐나요? 답: 같은 TCN-20 구조를 TRPO로 바로 학습했더니 경사도 단차도 넘지 못했고, 균형 잡기조차 배우지 못했습니다. 고유 감각만으로는 감독 신호가 너무 희박했기 때문입니다. 특권 정보를 가진 선생이 먼저 잘 걷는 법을 찾고, 학생은 그것을 흉내 내는 쉬운 지도 학습 문제로 바꿔야 했습니다.

2. 커리큘럼은 어떤 지형을 "알맞다"고 보나요? 답: 명령 방향으로 0.2m/s 넘게 나아간 비율(통과 가능성)이 0.5~0.9인 지형입니다. 너무 쉬우면 배울 것이 없고, 너무 어려우면 일찍 넘어져 학습 신호가 줄어듭니다. 입자 필터로 이런 지형 파라미터 분포를 계속 추적합니다.

3. 학습 때 진흙 · 눈 · 덤불이 없었는데 어떻게 그곳에서 걸을 수 있었나요? 답: (해설) 정책이 지형의 겉모습이 아니라 고유 감각 이력에서 접촉 · 미끄러짐 · 지형 변화를 추론하도록 학습됐기 때문입니다. 마찰 · 교란 무작위화와 다양한 단단한 지형에서 길러진 이 반응(예: 발 걸림 반사)이, 몸에 전해지는 변화가 비슷한 무른 지형과 장애물에도 통했습니다.

다음에 볼 것

이 글을 이해했다면 이어서 보면 좋은 항목입니다.

• 말한 대로가 아니라 할 수 있는 대로 (SayCan) — LLM의 '쓸모' 점수와 가치 함수의 '지금 가능' 확률을 곱해 로봇이 긴 자연어 지시를 수행하게 한 방법

출처

• 원문: arxiv.org/abs/2010.11251 (2020 · Joonho Lee 외)