정보이론에서 교차 엔트로피란, 두 확률 분포 p 와 q를 구분하기 위해 필요한 평균 비트 수를 의미한다.
동일한 이벤트 공간의 두 분포 p와 q 사이의 교차 엔트로피는 다음과 같이 정의된다.
![{\displaystyle H(p,q)=\operatorname {E} _{p}[-\log q]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/612cd580a834d7ca724fe42acf72be07ef8fba72)
