강화 학습

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

강화 학습(Reinforcement learning)은 기계 학습이 다루는 문제 중에서 다음과 같이 기술 되는 것을 다룬다. 어떤 환경을 탐색하는 에이전트가 현재의 상태를 인식하여 어떤 행동을 취한다. 그러면 그 에이전트는 환경으로부터 포상을 얻게 된다. 포상은 양수와 음수 둘 다 가능하다. 강화 학습의 알고리즘은 그 에이전트가 앞으로 누적될 포상을 최대화 하는 일련의 행동으로 정의되는 정책을 찾는 방법이다.

개요[편집]

환경은 일반적으로 유한상태 마르코프 결정 프로세스(MDP)로 표현할 수 있다. 이런 관점에서 강화 학습 알고리즘은 동적 계획법과 깊은 연관이 있다. MDP에서 상태 전이 확률(state transition probabilities)와 포상은 확률에 따른 값일 수도 있고, 이미 결정되어 있는 값일 수도 있다.

강화 학습이 원하지 않는 행동을 명시적으로 수정하는 지도 학습과 다른 점은 온라인 수행에 중심을 두고 있다는 점이다. 강화 학습은 아직 조사되지 않는 영역을 탐험하는 것과 이미 알고 있는 지식을 이용하는 것의 균형을 잡는 것이다. 이 탐험과 이용 사이에 있는 트레이드오프는 Multi-armed bandit과 같은 문제에서 알아 볼 수 있다.

알고리즘[편집]

수식으로 표현하면, 강화 학습 모델은 다음과 같이 구성된다.

  1. 환경 상태 집합, S;
  2. 행동 집합, A;
  3. 포상(\in \Bbb{R} ) 의 집합;.

매 시점 t에 에이전트는 자신의 상태(state) st \in S와 가능한 행동(action) A(st)을 가지고 있다. 에이전트는 어떤 행동 a∈A(st) 을 취하고, 환경으로부터 새로운 상태 st+1 와 포상(reward) rt+1 을 받는다. 이 상호작용에 기반해서 강화 학습 에이전트는 누적된 포상값 R 을 최대화 하는 정책(policy) π:S→A 을 개발한다. 종료 상태(terminal state)가 존재하는 MDPs에서는 R=r0+r1+...+rn 이고, 그렇지 않은 MDPs에서는 R=Σtγtrt 가 된다. 여기서 γ 는 미래의 포상이 현재에 얼마나 가치 있는지를 표현하는 할인율(discount factor)로 0과 1사이의 값이다.

응용[편집]

강화 학습은 장기, 단기의 포상 사이 트레이드오프가 존재하는 문제를 다루는 데 적합하다. 이것은 로봇 제어, 엘리베이터 스케줄링, 통신망, 백개먼과 체스 같은 게임에 성공적으로 적용되어 왔다.

같이 보기[편집]

주석[편집]

바깥 링크[편집]