티스토리
관련 서비스
  • Symbols스토리 홈바로가기바로가기
  • 브런치브런치스토리바로가기바로가기
  • 카카오스토리카카오스토리바로가기바로가기

Rudi
검색하기
블로그 홈

블로그 홈

Rudi

jrc-park.tistory.com/m

한 사람의 발자취가 기록된 블로그

구독자
43
방명록 방문하기
공지 뇌와 신경망 연구 ✍🏻 모두보기

주요 글 목록

  • 강화학습에서 랜덤성과 비랜덤성에 관하여 + Return, Value Function 강화학습에서 랜덤성과 비랜덤성에 관하여 강화학습에서는 시간에 따라서 상태, 행동 보상이 결정된다. 이 값들에는 랜덤성이 포함되어 있고, 다음 Random Variable을 생각할 수 있습니다. State $S_t$ Action $A_t$ Reward $R_t$ Return $G_t = \sum_{k=0} ^\infty \gamma^k R_{t+k+1}$ 한 가지 놓칠 수 있는 것은 Return 값 또한 Random Variable 이라는 것 입이다. Cumulative Reward 라고도 불리는 이 값은 시간에 따라서 변하는 Radom Variable이기 때문에, 상태에 대해서 고정적인 값을 내려주지 않습니다. 만일 이 값을 상태 또는 (상태+행동)에 대해서 평균을 내리게 된다면, 우리는 랜덤성이 사라진.. 공감수 6 댓글수 0 2022. 1. 21.
  • 강화학습에서 Approximation 은 어떤 의미인가? / Approximation in Reinforecement Learning 강화학습에서 Approximation 은 어떤 의미인가? Approximation in Reinformcement Learning 전통적인 강화학습은 상태 $s$ 나 상태-행동 $(s,a)$ 에 대한 Value값 $V(s)$ 혹은 $Q(s,a)$ 를 학습하는 것을 기반으로 합니다. 환경에서 주어지는 상태의 개수가 $|S|$ 그리고 행동의 수가 $|A|$ 라고 한다면, Value 값을 정확하게 위해서는 상태에 따라서 값을 저장해줘야 한다는 단점이 있습니다. 두 명이서 가위바위보를 한다면, 총 가능한 상태는 내가 내는 것 3 가지와 상대방이 내는 3가지의 경우의 수인 9가지가 됩니다. 이와 다르게 마리오 게임이라면 마리오가 조금만 움직여도 위치가 달라지기 때문에 굉장히 많은 상태가 있습니다. (어쩌면 무한대.. 공감수 1 댓글수 0 2022. 1. 14.
  • Target, Behavior, On, Off policy 를 구분해보자. Target, Behavior, On, Off policy 를 구분해보자. 에이전트는 환경의 상태 $s$ 에 대해서 행동 $a$ 를 선택합니다. 특성 시간 $t$ 에서 행동을 결정하는 Policy $\pi_t (a|s)$ 가 주어졌을 때, 이는 확률값일수도 있고, 무작위성을 포함한 epsilon greedy 일수도 있습니다. 시간이 지남에 따라서 에이전트는 환경에서 학습을 진행하여 더 나은 policy $\pi_t$ 를 얻게 되기에, 업데이트가 되는 sequence $\pi_1, \pi_2, \cdots, \pi_t$ 를 고려해봅시다. 만일 누군가에게 이 많은 policy 중에 하나를 고르라고 한다면, 아마 대부분의 사람들은 가장 마지막 policy $\pi_t$ 를 고르는데, $\pi _t$ 가 가장 .. 공감수 2 댓글수 0 2022. 1. 12.
  • [Remark] 강화학습 Return에 대한 이해와 n-step Return 강화학습 Return에 대한 이해와 n-step Return Return 과 n-step return 강화학습에서는 순간적인 보상을 최대화하는 것보다 한 단계 더 나아가서 미래에 받게 되는 보상까지 더한 값을 최대화합니다. Return은 미래보상까지 더해진 값을 나타내며 다음과 같이 쓸 수 있습니다. 이 때, $\gamma$ 는 미래에 대한 패널티로 discount factor입니다. $$G_t = R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + \cdots$$ $t$ 시간에 보상은 그 후에 발생되는 미래의 사건들의 보상을 모두 더하기 때문에, 에피소드가 길다면, 굉장히 먼 미래까지 고려해야 합니다. 심지어는 끝나지 않는 에피소드의 경우, $G_t$ 값을 구하기 위하서 무한에 .. 공감수 1 댓글수 0 2022. 1. 11.
  • [Remark] Sarsa와 Q-learning 비교하기 [Remark] Sarsa와 Q-learning 비교하기 강화학습의 목적은 Reward 혹은 Return을 최대화하는 Policy를 학습하는 것이다. 마리오 게임에서 내 손으로 게임을 하면 버섯을 밟기도 하고, 장애물에 빠지기도 하면서 게임 플레이 시간이 오래걸리거나 혹은 도착지에 도달하지 못할 수도 있다. 그러나 충분히 학습된 인공신경망 policy를 이용하면, 게임을 쉽게 깰 수 있다. 물론 초기상태에서는 내 손보다 게임을 못하겠지만, 지속적으로 플레이하면서 점점 policy가 발전할 것이다. 물론 내 손으로 플레이 하는 것도 점차적으로 실력이 향상될 것이다. 내 손과 인공신경망 policy를 비교하기 위해서는 policy를 평가해야 한다. 강화학습에서는 이를 policy evaluation 라고 한.. 공감수 4 댓글수 1 2022. 1. 5.
  • [Remark] Why contraction property is important for Bellman operator [Remark] Why contraction property is important for Bellman operator Bellman Equation은 value function이 만족하는 방정식으로 주어진 policy에 대해서 $V_\pi(s)$값에 대한 관계를 나타냅니다. 주어진 policy $\pi$에 대해서 Bellman operator $\mathcal{T}_\pi$와 Bellman optimal operator $\mathcal{T}_*$은 다음과 같습니다. $$\mathcal{T}_\pi v = R_\pi + \gamma P_\pi v ~~~~~ (1)$$ $$(\mathcal{T}_\pi v)(s) = \max_{a\in \mathcal{A}} R_s^a + \gamma \sum_{s' .. 공감수 2 댓글수 0 2022. 1. 3.
  • [🤖Bumjin's RL - 1] 강화학습 소개 및 구분 강화학습이란? 강화학습은 주어진 환경에서 에이전트의 최적의 행동을 하도록 유도하는 것을 목표로 합니다. 행동을 이끄는 방법들 중에서 행동의 결과에 대한 즉각적인 보상으로 에이전트가 올바른 행동을 하도록 이끌 수 있습니다. 행동 한 번을 유도하고 싶은게 아니라 연속적인 행동을 이끌어내고 싶다면 문제는 조금 복잡해집니다. 주어진 환경에서 최적의 행동 1개를 하는 것과 여러번의 행동을 통해서 결국에는 더 많은 보상을 이끌어 내야 합니다. 예를 들어서, 학생들이 공부를 할 때, 당시에는 보상이 적지만, 공부의 결과로 얻는 것들은 더 많은 보상을 줄 수 있습니다. 그래서 현재의 보상에 초점을 맞추는 게 아니라, 미래의 보상까지 고려된 행동을 유도해야 합니다. 강화학습 문제를 정의하기 위해서는 우선적으로 두 가지 .. 공감수 4 댓글수 0 2021. 5. 29.
  • [Analyse RLLib] 6 Multi Agent Two Step Game and MADDPG Two Step Game Actions State Observations Rewards MADDPG with TwoStepGame MultiAgent Environment configuration tune References Appendix What I found MADDPG full code Two Step Game Actions 각각의 agent는 0 또는 1을 선택할 수 있고, 결과는 state에 따라서 다릅니다. 밑의 표 참고. State state global_reward done 0 0 False (0,*)->state(1) (1,*)->state(2) 1 7 True 2 (0,1)->0 (1,0)->8 otherwise->1 True (a,b)에서 a :agent_1's action, b :.. 공감수 0 댓글수 0 2021. 2. 26.
  • [Analyse RLLib] 5. Explore and Curriculum Learning Explore Curriculum Learning 1. Using modification of train 2. Using Callback References Explore 모든 Policy는 Exploration Object를 가지고 있습니다. Policy가 Model에 의해서 정해지지 않고 탐색을 하는 방식으로 장기적으로 return값을 높이기 위해서 강화학습에 필수적입니다. 아래와 같은 방식으로 Explore를 설정할 수 있습니다. Explore 방식과 hyperparameter setting은 Ray.io에서 확인할 수 있습니다. # DQN config = { "explore": True, 'expolration_config : { "type": "EpsilonGreedy", "initial.. 공감수 0 댓글수 0 2021. 2. 26.
  • [Analyse RLLib] 4. RLlib CallBacks RLlib Callbacks Functions How to write a CallBack Class How to use callbacks RLlib Callbacks Trainer에서 Batch에 대해서 훈련을 진행하면서, 진행되는 전처리, 후처리를 모두 처리하는 부분입니다. Functions 아래의 CallBack Method 들은 모두 상황에 따라서 필요한 경우가 다르겠지만, 훈련 중간에 각 부분에서 어떤 처리를 하고 싶다면 반드시 구현해야 하는 부분입니다. 예를 들어서, MultiAgent환경에서 각각의 Agent의 Observation을 합치고 싶다면, on_postprocess_trajectory()부분을 구현해서 Batch의 형태를 바꿔주면 됩니다. CallBack Class Functions.. 공감수 0 댓글수 0 2021. 2. 26.
  • [Analyse RLLib] 3. Train Model with Ray Trainer Train Model with Ray Trainer DQN with simple environment Tainer Compute Action inside of compute_action() inside policy, MODEL!!(Neural Network) Getting Q-values from a DQN References Train Model with Ray Trainer DQN with simple environment 주어진 환경에 대해서 빠르게 강화학습 코드를 돌리는 방법은 다음과 같다. First Register Environment Train the model with tune.run 필요한 라이브러리를 import합니다. import ray from ray.tune.registry imp.. 공감수 1 댓글수 0 2021. 2. 26.
  • [Analyse RLLib] 2. RLlib 기본 훈련 코드 돌리기 RLlib Basic Training 간단한 훈련(Cmd 창) 결과 파일 구조 테스트 해보기(Cmd 창) Basic Python API(.py File) Tune API References RLlib Basic Training Trainer Class 는 다음과 같은 기능이 있습니다. Policy Optimizer를 가지고 있고, 외부 환경과 상호작용을 책임집니다. Policy에 대해서 훈련, Checkpoint, 모델 파라미터 복구, 다음 action을 계산해줍니다. (train, save, restore, compute) multi-agent환경에서는 여러 개의 Policy를 한번에 Optimize 해줍니다. trainer는 환경(Env)와 상호작용하면서 처리하는 모든 것들을 해줍니다. Ray 와 R.. 공감수 0 댓글수 0 2021. 2. 26.
  • [Analyse RLLib] 1. Ray와 RLlib의 전체적인 구조 Ray-RLLib 1 Ray의 전체적인 구조 2 RLlib 2. Policy 2 Sample Batches 3 Trainer Ray RLlib Overall View Contents References Ray-RLLib 1 Ray의 전체적인 구조 Ray는 분산처리를 위한 프로젝트로 파이썬으로 작성되었습니다. 이를 바탕으로 시간이 오래 걸리는 강화학습을 더욱 효율적으로 할 수 있습니다. 강화학습 라이브러리로 유명한 OpenAI Gym과도 연동된다는 점은 Ray로 학습을 해야 하는 중요한 이유입니다. 이러한 라이브러리를 만든 목적도 OpenAI Gym형태의 Envrionment에 대해서 RLlib를 적용시켜서 학습하는 것. 2 RLlib RLlib에서 바꿀 수 있는 부분은 다음과 같다. 해당 부분에 대해서 .. 공감수 0 댓글수 0 2021. 2. 26.
  • MARL-DRONE DRON Deep Reinforcement Opponent Network Approach jointly learn a policy and the behavior of opponents into a DQN Using Mixture-of-Experts architecture(discover different strategy patterns of opponents) Stated Questions how to combine the two networks what supervision signal to use. predicting Q-values only, as our goal is the best reward instead of accurately simulating opponents also predictin.. 공감수 1 댓글수 0 2020. 12. 31.
  • MARL - MADDPG 이해하기 MADDPG(Multi-Agent Deep Deterministic Gradient) [paper] Model Architecture Policy $\pi_i$는 Policy Network로 상태에 대해서 행동을 결정하고 Critic Network $Q_i$는 Agent의 관찰과 행동에 대한 적정한 값인 Return을 계산합니다. 이는 기존 single-agent의 actor-critc과 동일합니다. N개의 Agent가 있을 때, 각각의 Agent는 자신만의 Policy, Critic Network를 가지고 있습니다. MADDPG에서 특이한 점은 Q네트워크의 인풋으로, 다른 Agent의 정보가 모두 들어간다는 것 입니다. 학습시: Q-network에 다른 agent의 관찰과 행동이 모두 들어가서, age.. 공감수 1 댓글수 0 2020. 12. 20.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.