상호의존정보

위키백과, 우리 모두의 백과사전.
이동: 둘러보기, 검색

확률 이론정보 이론 에서 두 개의 무작위 변수 의 상호의존정보(또는 상호 정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( 섀넌과 같은 단위 , 더 일반적으로 비트라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 엔트로피의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.

p( X , Y )는 p ( X ) p ( Y )의 분해 된 결합분포의 산물이며, 상관 계수 와 같은 실수 값의 무작위 변수에 국한되지 않는다. 상호정보(MI)는 점 상호 정보 ( pointwise mutual information ,PMI)의 예상 값이다.

정의[편집]

형식적으로 두 개의 이산 확률 변수 X 와 Y 의 상호 정보 [1]는 다음과 같이 정의 할 수 있다.

여기서 p ( x , y )는 X 와 Y 의 결합분포함수 이고, P (x) 와 P (y)는 X 와 Y 의 주변 분포 함수를 각각 갖는다.

연속 확률 변수의 경우, 합계는 중적분으로 대체된다.

여기서 p ( x , y )는 X 와 Y 의 결합분포밀도함수이고 p ( x )와 p ( y )는 각각 X 와 Y 의 주변 분포 밀도 함수이다.

로그밑이 2가 사용되면 상호 정보 단위는 비트이다.

함께보기[편집]

참고[편집]

  1. Cover, T.M.; Thomas, J.A. (1991). 《Elements of Information Theory》 Wiley판. ISBN 978-0-471-24195-9.