Q러닝

뜻풀이

쉬운 AI 사전

1. [명사] (학습) 어떤 상황에서 어떤 행동을 하면 앞으로 점수를 얼마나 받을지 표로 적어 두고, 해 보면서 그 표를 고쳐 가는 강화 학습 방법.

실무 AI 사전

1. [명사] (학습) 상태와 행동의 수가 적은 문제에서는 표(Q 테이블)로 학습하고, 상태가 많으면 신경망으로 대신하는 DQN을 쓴다. 게임 AI나 간단한 제어 문제의 입문 알고리즘으로 많이 소개된다.

전문 AI 사전

1. [명사] (학습) 행동 가치 함수 Q(s, a)를 시간차 학습으로 갱신하는 오프 폴리시 알고리즘이다. 갱신식은 Q(s,a) ← Q(s,a) + α[r + γ max Q(s',a') − Q(s,a)]다. 탐색 정책과 별개로 최적 정책을 학습하며, 충분한 탐색과 학습률 조건에서 최적 Q로 수렴함이 알려져 있다.

관용구/함께 쓰는 말

• Q 테이블 - 상태와 행동의 조합마다 기대 보상을 적어 둔 표.
• DQN - Q 함수를 신경망으로 근사해 큰 상태 공간에서도 쓸 수 있게 만든 방법.

쉬운 비유

새 동네에서 식당마다 가 본 뒤 맛 점수를 수첩에 적어 두고, 갈수록 점수를 고쳐 가며 좋은 곳을 찾아내는 것과 같다.

예문

• 미로 찾기 문제에서 Q러닝으로 각 칸에서 어느 방향으로 가야 이득인지를 표로 학습시켰다.
• 상태가 너무 많아서 Q 테이블 대신 신경망을 쓰는 DQN으로 바꿨다.
• Q러닝은 보상을 크게 받은 경로의 가치를 거꾸로 전파해 가며 배운다.

헷갈리는 용어 비교

강화 학습

강화 학습은 보상으로 행동을 배우는 학습 방식 전체이고, Q러닝은 그 안의 한 알고리즘이다. 정책 경사 방법처럼 Q 값 없이 행동 규칙을 직접 학습하는 방식도 있다.

맞춤법/표기법

바른 표기

Q러닝

주의할 표기

큐러닝

원어

Q-learning

다른 이름

Q 러닝, Q-러닝, Q learning

참고

'Q'는 행동의 품질(quality)을 뜻하며 '큐 러닝'으로 읽는다.

관련어