사용자:Kobmuiv/분배 함수 (확률론)

확률론, 정보 이론 및 동적계에서 사용되는 분배 함수 또는 구성 적분은 통계 역학에서 다루던 분배 함수의 정의를 일반화한 것이다. 볼츠만 분포에 대한 확률론의 정규화 상수의 특별한 경우이다. 분배 함수는 자연적인 대칭이 있는 상황에서 관련 확률 측도인 깁스 측도가 마르코프 속성을 갖기 때문에 확률론의 많은 문제에서 발생한다. 이는 분배 함수가 변환 대칭을 갖는 물리적 계뿐만 아니라 신경망(홉필드 네트워크)과 같은 다양한 설정과 마르코프 논리 네트워크와 마르코프 네트워크를 사용하는 유전체학, 말뭉치 언어학 및 인공 지능과 같은 응용에서도 발생한다는 것을 의미한다. 깁스 측도는 에너지의 고정된 기대값에 대한 엔트로피를 최대화하는 특성을 갖는 고유한 척도이기도 한다. 이는 최대 엔트로피 원리과 그로부터 파생된 알고리듬의 분배 함수의 출현에 기초한다.

분배 함수는 다양한 개념을 하나로 묶어 다양한 종류의 수량을 계산할 수 있는 일반적인 프레임워크를 제공한다. 특히 기대값 계산 방법과 그린 함수를 보여주며 프레드홀름 이론에 대한 가교 역할을 한다. 이는 또한 정보 이론에 대한 정보 기하학 접근 방식을 위한 자연스러운 설정을 제공한다. 여기서 피셔 정보 계량은 분배 함수에서 유도된 상관 함수로 이해될 수 있다. 이는 리만 다양체 구조를 가진다.

확률 변수에 대한 설정이 복소 사영 공간 또는 사영 힐베르트 공간에 있을 때 푸비니-슈투디 계량으로 기하화하면 양자 역학 이론과 보다 일반적으로 양자장론이 탄생한다. 이러한 이론에서 분배 함수는 경로 적분 공식에서 크게 활용되어 큰 성공을 거두었으며 여기에서 검토한 것과 거의 동일한 많은 공식을 생성한다. 그러나 기본 측도 공간은 확률론의 실수 값 단체와 달리 복소수 값이므로 많은 수식에 허수 $i$가 나타난다. 이를 추적하는 것은 번거로운 일이므로 여기서는 다루지 않는다. 이 문서에서는 확률의 합이 1이 되는 고전 확률론에 주로 중점을 둔다.

정의

$x_{i}$들에서 값을 갖는 일련의 확률 변수 $X_{i}$들과 퍼텐셜 함수 또는 해밀토니안 $H(x_{1},x_{2},\dots )$이 주어지면, 분배 함수는 다음과 같이 정의된다.

$Z(\beta )=\sum _{x_{i}}\exp \left(-\beta H(x_{1},x_{2},\dots )\right)$

함수 $H$는 상태 공간 $\{X_{1},X_{2},\cdots \}$의 실수 값 함수로 이해된다. $\beta$는 실수 값의 자유 매개변수(통상적으로 역온도)이다. $x_{i}$에 대한 합은 각 확률 변수 $X_{i}$가 가질 수 있는 모든 가능한 값에 대한 합으로 이해된다. 따라서 합은 $X_{i}$가 이산형이 아니라 연속형인 경우 적분으로 대체된다. 연속형인 경우 다음과 같이 쓴다.

$Z(\beta )=\int \exp \left(-\beta H(x_{1},x_{2},\dots )\right)\,dx_{1}\,dx_{2}\cdots$

$H$가 유한차원 행렬이나 무한차원 힐베르트 공간 연산자 또는 C* 대수의 원소와 같은 관측가능량의 경우, 합산을 대각합으로 표현하는 것이 일반적이다.

$Z(\beta )=\operatorname {tr} \left(\exp \left(-\beta H\right)\right)$

$H$가 무한 차원인 경우 위의 표기법이 유효하려면 인수는 핵작용소, 즉 합이 존재하고 유계인 형식이어야 한다.

변수 $X_{i}$들의 수는 가산일 필요는 없으며, 비가산일 경우 합은 범함수 적분으로 대체된다. 범함수 적분에 대한 많은 표기법이 있지만 일반적인 표기법은 다음과 같다.

$Z=\int {\mathcal {D}}\varphi \exp \left(-\beta H[\varphi ]\right)$

양자장론의 분배 함수의 경우도 마찬가지이다.

분배 함수에 대한 일반적이고 유용한 수정은 보조 함수를 도입하는 것이다. 이를 통해 예를 들어 분배 함수를 상관 함수 의 생성 함수로 사용할 수 있다. 이에 대해서는 아래에서 더 자세히 설명한다.

매개변수 β

매개변수 $\beta$의 역할 또는 의미는 다양한 의미로 이해될 수 있다. 고전 열역학에서는 역온도이다. 보다 일반적으로, 확률 변수 $X$의 어떤 (임의의) 함수 $H$에 켤레 변수라고 말할 수 있다. 여기서 켤레라는 단어는 라그랑주 역학에서 켤레 일반화된 좌표라는 의미로 사용된다. 이떄 $\beta$는 라그랑주 승수이다. 그것은 일반적으로 일반화된 힘이라고 불린다. 이러한 모든 개념은 하나의 값은 고정되어 있어야 하고 다른 값은 복잡한 방식으로 상호 연결되어 변경될 수 있다는 공통점을 가지고 있다. 현재의 경우 고정되어야 할 값은 $H$의 기대값이다. 심지어 많은 다른 확률 분포가 정확히 동일한 (고정) 값을 생성할 수 있다.

일반적인 경우에는 일련의 함수 $\{H_{k}(x_{1},\cdots )\}$을 고려한다. 각각은 확률 변수 $X_{i}$에 따라 달라진다. 이러한 함수는 어떤 이유로든 기대값을 일정하게 유지하기를 원하기 때문에 선택된다. 이러한 방식으로 기대값을 제한하려면 라그랑주 승수법을 적용한다. 일반적인 경우 최대 엔트로피 방법은 이것이 수행되는 방식을 보여준다.

몇 가지 구체적인 예가 순서대로 나와 있다. 기본 열역학 문제에서 바른틀 앙상블을 사용할 때 하나의 매개변수 $\beta$만 사용한다. 이는 일정하게 유지되어야 하는 단 하나의 기대값, 즉 자유 에너지( 에너지 보존으로 인한)가 있다는 사실을 반영한다. 화학 반응과 관련된 화학 문제의 경우 큰 바른틀 앙상블이 적절한 기초를 제공하며 두 개의 라그랑주 승수가 있다. 하나는 에너지를 일정하게 유지하는 것이고, 다른 하나는 퓨가시티로 입자 수를 일정하게 유지하는 것이다(화학 반응에는 고정된 수의 원자 재결합이 포함되므로).

일반적인 경우에는

$Z(\beta )=\sum _{x_{i}}\exp \left(-\sum _{k}\beta _{k}H_{k}(x_{i})\right)$

$\beta =(\beta _{1},\beta _{2},\cdots )$는 공간 속의 한 점이다.

관측가능량 $H_{k}$들의 컬렉션의 경우,

$Z(\beta )=\operatorname {tr} \left[\,\exp \left(-\sum _{k}\beta _{k}H_{k}\right)\right]$

이전과 마찬가지로 tr의 인수는 핵작용소라고 가정한다.

그러면 해당 깁스 측도는 각각 $H_{k}$의 기대값이 고정된 값인 확률 분포를 제공한다. 더 정확하게 말하면,

${\frac {\partial }{\partial \beta _{k}}}\left(-\log Z\right)=\langle H_{k}\rangle =\mathrm {E} \left[H_{k}\right]$

$\langle H_{k}\rangle$는 $H_{k}$의 기대값을 나타내고 $\mathrm {E} [\;]$는 일반적인 대체 표기법이다. 이 기대값의 정확한 정의는 아래에 나와 있다.

비록 $\beta$의 값은 일반적으로 실수라고 여기지만 일반적으로 그럴 필요는 없다. 이에 대해서는 아래 정규화 절에서 설명한다. $\beta$의 값들은 공간의 점들의 좌표로 이해될 수 있다. 이 공간은 실제로 아래에 설명된 것처럼 다양체이다. 다양체로서의 이러한 공간에 대한 연구는 정보 기하학 분야를 구성한다.

대칭

퍼텐셜 함수 자체는 일반적으로 합의 형태를 취한다.

$H(x_{1},x_{2},\dots )=\sum _{s}V(s)\,$

여기서 $s$에 대한 합은 집합 $X=\lbrace x_{1},x_{2},\dots \rbrace$의 멱집합 $P(X)$의 일부 부분 집합에 대한 합이다. 예를 들어 이징 모델과 같은 통계 역학에서 합계는 최근접 이웃 쌍에 대한 것이다. 마르코프 네트워크와 같은 확률 이론에서 합계는 그래프의 클릭 수를 초과할 수 있다. 따라서 이징 모델 및 기타 격자 모델의 경우 최대 클릭은 가장자리이다.

퍼텐셜 함수가 합으로 기록될 수 있다는 사실은 일반적으로 병진 불변과 같은 군의 작용 하에서 불변이라는 사실을 반영한다. 이러한 대칭은 불연속적이거나 연속적일 수 있다. 이는 확률 변수에 대한 상관 함수에서 구체화된다(아래에서 설명). 따라서 해밀토니안의 대칭은 상관 함수의 대칭이 된다(그 반대도 마찬가지).

이 대칭은 확률론에서 아주 중요한 해석을 갖는다. 이는 깁스 측도가 마르코프 속성을 갖는다는 것을 의미한다. 즉, 특정 방식으로 확률 변수와 독립적이거나 동등하게 측정값이 대칭의 동치류에서 동일하다. 이로 인해 홉필드 네트워크와 같은 마르코프 속성 문제에서 분배 함수가 널리 나타난다.

측도로서의 정의

표현식

$\exp \left(-\beta H(x_{1},x_{2},\dots )\right)$

의 값은 특정 값 $(x_{1},x_{2},\dots )$을 갖는 구성이 계에서 발생할 가능성으로 해석될 수 있다. 따라서 특정 구성 $(x_{1},x_{2},\dots )$이 주어지면,

$P(x_{1},x_{2},\dots )={\frac {1}{Z(\beta )}}\exp \left(-\beta H(x_{1},x_{2},\dots )\right)$

는 구성 $(x_{1},x_{2},\dots )$의 확률이다. 이제 계에서 발생하는 문제가 $0\leq P(x_{1},x_{2},\dots )\leq 1$로 적절하게 정규화되어, 모든 구성의 합은 1이 된다. 따라서 분배 함수는 확률 공간에 대한 측도값 (확률 측도값)을 제공하는 것으로 이해될 수 있다. 공식적으로는 깁스 측도라고 한다. 이는 통계 역학에서 큰 바른틀 앙상블과 바른틀 앙상블의 더 좁은 개념을 일반화한다.

확률이 최대화되는 구성은 하나 $(x_{1},x_{2},\dots )$ 이상 존재한다. 이 구성을 일반적으로 바닥 상태라고 한다. 이 구성이 유일한 경우 바닥 상태는 비퇴화(non-degenerate)라고 하며 계는 에르고딕이라고 한다. 그렇지 않으면 바닥 상태가 퇴화된다. 바닥 상태는 대칭 생성원과 교환될 수도 있고 그렇지 않을 수도 있다. 교환되는 경우 불변 측도라고 한다. 교환하지 않을 때 대칭이 저절로 깨진다고 한다.

바닥 상태가 존재하고 유일한 조건은 카루시-쿤-터커 조건에 의해 제공된다. 이러한 조건은 일반적으로 최대 엔트로피 문제에서 깁스 측도 사용을 정당화하는 데 사용된다. </link>

정규화

$\beta$가 취하는 값은 무작위장이 변하는 공간에 따라 달라진다. 따라서 실수 값의 무작위장는 단체 값을 취한다. 이는 확률의 합이 1이 되어야 함을 기하학적으로 표현한 방식이다. 양자 역학의 경우 확률 변수는 복소 사영 공간(또는 복소수 값 사영 힐베르트 공간)에 걸쳐 있으며, 여기서 확률 변수는 확률 진폭으로 해석된다. 진폭은 여전히 1로 정규화되어 있으므로 여기서 강조점은 사영이라는 단어이다. 퍼텐셜 함수에 대한 정규화는 적절한 공간에 대한 야코비안이다. 일반 확률의 경우 1이고 힐베르트 공간의 경우 i이다. 따라서 양자장론에서는 지수에서 $\beta H$보다는 $itH$를 볼 수 있다. 분배 함수는 양자장론의 경로 적분 공식화에 아주 많이 활용되어 큰 효과를 발휘한다. 이론은 이러한 차이점과 일반적인 방식이 아닌 4차원 시공간에서 일반적으로 공식화된다는 사실을 제외하면 여기에 제시된 것과 거의 동일하다.

기대값

분배 함수는 확률변수의 다양한 함수의 기대값에 대한 확률 생성 함수로 흔히 사용된다. 예를 들어 $\beta$는 조정 가능한 매개변수로서 $\beta$에 대한 $\log(Z(\beta ))$의 도함수

$\mathbf {E} [H]=\langle H\rangle =-{\frac {\partial \log(Z(\beta ))}{\partial \beta }}$

는 $H$의 기대값을 제공한다. 물리학에서는 이를 계의 평균 에너지라고 한다.

위의 확률 측도의 정의가 주어지면 확률 변수 $X$의 임의 함수 $f$의 기대값은 이제 예상대로 작성될 수 있다. 따라서 이산 값 $X$의 경우 다음과 같이 작성된다.

${\begin{aligned}\langle f\rangle &=\sum _{x_{i}}f(x_{1},x_{2},\dots )P(x_{1},x_{2},\dots )\\&={\frac {1}{Z(\beta )}}\sum _{x_{i}}f(x_{1},x_{2},\dots )\exp \left(-\beta H(x_{1},x_{2},\dots )\right)\end{aligned}}$

위의 표기법은 유한한 수의 이산 확률 변수에 대해서는 엄밀히 정확하지만 연속 변수에 대해서는 다소 '비공식적'인 것으로 보아야 한다. 적절하게 위의 합은 확률 공간을 정의하는 데 사용되는 기본 시그마 대수의 표기법으로 대체되어야 한다. 즉, 측도 공간에서 적절하게 공식화되면 항등식이 계속 유지된다.

따라서 예를 들어 엔트로피는 다음과 같이 주어진다.

${\begin{aligned}S&=-k_{B}\langle \ln P\rangle \\&=-k_{B}\sum _{x_{i}}P(x_{1},x_{2},\dots )\ln P(x_{1},x_{2},\dots )\\&=k_{B}(\beta \langle H\rangle +\log Z(\beta ))\end{aligned}}$

깁스 측도는 에너지의 고정된 기대값에 대한 엔트로피를 최대화하는 고유한 통계 분포이다. 이는 최대 엔트로피 원리에서의 사용의 기초가 된다.

정보 기하학

점 $\beta$는 공간, 구체적으로는 다양체를 형성하는 것으로 이해될 수 있다. 따라서 이 다양체의 구조에 대해 묻는 것이 합리적이다. 이것이 정보 기하학의 목적이다.

라그랑주 승수에 관한 다중 도함수는 양의 준정부호 공분산 행렬을 생성한다.

$g_{ij}(\beta )={\frac {\partial ^{2}}{\partial \beta ^{i}\partial \beta ^{j}}}\left(-\log Z(\beta )\right)=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\rangle$

이 행렬은 양의 준정부호 행렬이며 계량 텐서, 특히 리만 계량 으로 해석될 수 있다. 이러한 방식으로 라그랑주 승수 공간에 계량을 적용하면 리만 다양체로 변한다. 이러한 다양체에 대한 연구를 정보기하학이라고 한다. 위의 계량은 피셔 정보 계량이다. 여기서, $\beta$는 다양체의 좌표 역할을 한다. 위의 정의를 영감을 받은 보다 단순한 피셔 정보와 비교하는 것은 흥미롭다.

위의 내용이 피셔 정보 계량을 정의한다는 것은 기대값을 명시적으로 대체하면 쉽게 알 수 있다.

${\begin{aligned}g_{ij}(\beta )&=\langle \left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\rangle \\&=\sum _{x}P(x)\left(H_{i}-\langle H_{i}\rangle \right)\left(H_{j}-\langle H_{j}\rangle \right)\\&=\sum _{x}P(x)\left(H_{i}+{\frac {\partial \log Z}{\partial \beta _{i}}}\right)\left(H_{j}+{\frac {\partial \log Z}{\partial \beta _{j}}}\right)\\&=\sum _{x}P(x){\frac {\partial \log P(x)}{\partial \beta ^{i}}}{\frac {\partial \log P(x)}{\partial \beta ^{j}}}\\\end{aligned}}$

여기서 $P(x)$는 $P(x_{1},x_{2},\dots )$를 뜻한다. 합은 모든 확률 변수 $X_{k}$의 모든 값에 대한 것으로 이해된다. 연속 값 확률 변수의 경우 합은 물론 적분으로 대체된다.

흥미롭게도 피셔 정보 계량은 변수를 적절하게 변경한 후 평면 공간 유클리드 계량으로 이해될 수도 있다. $\beta$가 복소수 값을 갖는 경우, 결과적으로 계량은 푸비니-슈투디 계량이다. 순수 상태 대신 혼합 상태로 작성된 경우 이를 Bures 계량이라고 한다.

상관 함수

보조 함수 $J_{k}$을 도입하여 분배 함수로 변환한 다음 확률 변수의 기대값을 얻는 데 사용할 수 있다. 따라서 예를 들어 다음과 같이 작성하면 된다.

${\begin{aligned}Z(\beta ,J)&=Z(\beta ,J_{1},J_{2},\dots )\\&=\sum _{x_{i}}\exp \left(-\beta H(x_{1},x_{2},\dots )+\sum _{n}J_{n}x_{n}\right)\end{aligned}}$

그 중 하나는

$\mathbf {E} [x_{k}]=\langle x_{k}\rangle =\left.{\frac {\partial }{\partial J_{k}}}\log Z(\beta ,J)\right|_{J=0}$

$x_{k}$의 기대값으로. 양자장론의 경로 적분 공식화에서 이러한 보조 함수를 일반적으로 근원 장이라고 한다.

다중 미분은 확률 변수의 연결된 상관 함수로 이어진다. 따라서 변수 $x_{j}$와 $x_{k}$ 사이의 상관 함수 $C(x_{j},x_{k})$는 다음과 같이 주어진다:

$C(x_{j},x_{k})=\left.{\frac {\partial }{\partial J_{j}}}{\frac {\partial }{\partial J_{k}}}\log Z(\beta ,J)\right|_{J=0}$

가우스 적분

$H$가 미분 연산자를 포함하는 이차 형식으로 작성될 수 있는 경우, 즉 다음과 같다.

$H={\frac {1}{2}}\sum _{n}x_{n}Dx_{n}$

그러면 분배 함수는 가우시안에 대한 합 또는 적분으로 이해될 수 있다. 상관 함수 $C(x_{j},x_{k})$는 미분 연산자에 대한 그린 함수로 이해될 수 있다(그리고 일반적으로 프레드홀름 이론을 발생시킨다). 양자장론 설정에서 이러한 함수를 전파 인자라고 한다. 고차 상관자를 n-포인트 함수라고 한다. 그들과 함께 작업하는 것은 이론의 유효 작용을 정의한다.

확률 변수가 반교환 그라스만 수일 때 분배 함수는 연산자 D 의 행렬식으로 표현될 수 있다. 이는 베리진 적분(그라스만 적분이라고도 함)으로 작성하여 수행된다.

일반적 성질

분배 함수는 중요한 확장성과 보편성을 논의하는 데 사용되며 재규격화 군의 적용을 받는다.

같이보기

• 지수족
• 분배 함수 (통계 역학)
• 분할 문제
• 마르코프 네트워크