정보 이론

정보 이론(情報理論, 영어: information theory)은 최대한 많은 데이터를 매체에 저장하거나 채널을 통해 통신하기 위해 데이터를 정량화하는 응용 수학의 한 분야이다. 데이터의 단위인 정보 엔트로피는 보통 저장 또는 통신에 사용되는 평균적인 비트 수로 표현된다. 예를 들어 매일의 날씨 정보가 3비트의 엔트로피를 가진다면, 하루의 날씨를 평균 약 3비트로 기술할 수 있다.

정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들 수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출현 빈도값을 계산하면 4.08비트까지 줄어든다. 이것 외에도 어떤 철자가 오면 그 뒤에 특정철자가 올 확률이 아주 높은 등 여러 가지 이유가 있기 때문에 정보 엔트로피(정보량)는 더욱 줄어들 수 있게 된다. 한 가지 예를 들면 q가 오면 그뒤에 a,u가 올 확률이 거의 100%이다.

정보 이론의 기본적인 주제가 적용되는 기술로 ZIP 파일(무손실 데이터 압축), MP3 파일(손실 데이터 압축), DSL(채널 부호화), MIMO(채널 모델) 등이 있다. 정보 이론 분야는 확률론, 통계학, 컴퓨터과학, 통계역학, 정보공학, 전기공학과 연관되어 있으며, 보이저 계획의 성공, 콤팩트 디스크의 발명, 휴대전화의 실용화, 인터넷의 개발, 언어학과 인간 지각의 연구, 블랙홀의 이해 등 많은 곳에 큰 영향을 끼쳤다.

수학적 모델

정보 이론은 크게 3가지 분야로 나눌 수 있다. 이 3가지 분야는 소스 코딩 이론, 채널 코딩 이론, 그리고 부호율-변형 이론이다.

채널 코딩 이론

채널 코딩 이론은 주어진 채널에 얼마나 많은 데이터를 보낼 수 있는가를 다루는 부분이다. 어떤 채널로 보낼 수 있는 정보의 최대량을 채널 용량이라고 한다.

${\xrightarrow[{\text{Message}}]{W}}{\begin{array}{|c| }\hline {\text{Encoder}}\\f_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Encoded \atop sequence} }]{X^{n}}}{\begin{array}{|c| }\hline {\text{Channel}}\\p(y|x)\\\hline \end{array}}{\xrightarrow[{\mathrm {Received \atop sequence} }]{Y^{n}}}{\begin{array}{|c| }\hline {\text{Decoder}}\\g_{n}\\\hline \end{array}}{\xrightarrow[{\mathrm {Estimated \atop message} }]{\hat {W}}}$

채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 아래와 같이 정의된다.

$C=\max _{f_{X}(x)}I(X;Y).\!$

여기서 $f_{X}(x)$는 입력 신호 $X$의 확률 밀도 함수이다.

내부 링크

• 부호율-변형 이론

외부 링크

• 정보 이론 - AI study