미적분학 에서 헤세 행렬 (Hesse行列, 영어 : Hessian matrix )은 어떤 함수의 이계도함수 를 행렬로 표현한 것이다. 헤세 행렬은 독일의 수학자 루트비히 오토 헤세 의 이름을 따서 명명되었다. 헤세 행렬은 다변수함수가 극값을 가질 때, 그것이 극대인지, 극소인지 판정할 때 사용한다.
실함수
f
(
x
1
,
x
2
,
x
3
,
.
.
.
,
x
n
)
{\displaystyle f(x_{1},x_{2},x_{3},...,x_{n})}
헤세 행렬 은 다음과 같이 주어진다.
H
f
=
[
∂
2
f
∂
x
1
2
∂
2
f
∂
x
1
∂
x
2
⋯
∂
2
f
∂
x
1
∂
x
n
∂
2
f
∂
x
2
∂
x
1
∂
2
f
∂
x
2
2
⋯
⋮
⋮
⋮
⋱
⋮
∂
2
f
∂
x
n
∂
x
1
⋯
⋯
∂
2
f
∂
x
n
2
]
{\displaystyle H_{f}={\begin{bmatrix}{\frac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\frac {\partial ^{2}f}{\partial x_{1}\partial x_{2}}}&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\partial x_{n}}}\\{\frac {\partial ^{2}f}{\partial x_{2}\partial x_{1}}}&{\frac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &\vdots \\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial ^{2}f}{\partial x_{n}\partial x_{1}}}&\cdots &\cdots &{\frac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}}
헤세 행렬은, 함수의 기울기 벡터
∇
f
{\displaystyle \nabla f}
야코비 행렬 로도 설명이 가능하다.
함수
f
{\displaystyle f}
연속 이라면 혼합 편미분은 같다. 그 때 이 행렬은 대칭행렬 이다.
함수
f
:
U
⊂
R
n
→
R
{\displaystyle f:U\subset \mathbb {R} ^{n}\to \mathbb {R} }
n
=
2
{\displaystyle n=2}
테일러 급수 는 헤세 행렬을 이용해서 나타낼 수 있다.
h
∈
R
n
{\displaystyle \mathbf {h} \in \mathbb {R} ^{n}}
Δ
f
:=
f
(
x
0
+
h
)
−
f
(
x
0
)
≈
J
(
x
0
)
h
+
1
2
h
T
H
f
(
x
0
)
h
{\displaystyle \Delta f:=f\left(\mathbf {x} _{0}+\mathbf {h} \right)-f\left(\mathbf {x} _{0}\right)\approx J\left(\mathbf {x} _{0}\right)\mathbf {h} +{\frac {1}{2}}\mathbf {h} ^{T}H_{f}\left(\mathbf {x} _{0}\right)\mathbf {h} }
h
T
{\displaystyle \mathbf {h} ^{T}}
h
{\displaystyle \mathbf {h} }
전치행렬 인 행벡터를 의미한다.)만약
x
0
{\displaystyle \mathbf {x} _{0}}
임계점 이라면
D
f
(
x
0
)
=
0
{\displaystyle \mathbf {D} f\left(\mathbf {x} _{0}\right)=0}
h
∈
R
n
{\displaystyle \mathbf {h} \in \mathbb {R} ^{n}}
Δ
f
≈
1
2
h
T
H
f
(
x
0
)
h
{\displaystyle \Delta f\approx {\frac {1}{2}}\mathbf {h} ^{T}H_{f}\left(\mathbf {x} _{0}\right)\mathbf {h} }
함수
f
{\displaystyle f}
연속 일 때 헤세 행렬은 대칭행렬이므로 스펙트럼 정리 에 따라 헤세 행렬을 다음과 같이 직교대각화할 수 있다.
Q
(
h
)
=
h
T
H
f
h
=
h
T
Q
Λ
Q
T
h
=
(
Q
T
h
)
T
Λ
Q
T
h
{\displaystyle Q(\mathbf {h} )=\mathbf {h^{T}} H_{f}\mathbf {h=h^{T}Q\Lambda Q^{T}h=(Q^{T}h)^{T}\Lambda Q^{T}h} }
u
=
Q
T
h
{\displaystyle \mathbf {u=Q^{T}h} }
Q
(
u
)
=
λ
1
u
1
2
+
λ
2
u
2
2
+
.
.
.
+
λ
n
u
n
2
{\displaystyle Q(\mathbf {u} )=\lambda _{1}u_{1}^{2}+\lambda _{2}u_{2}^{2}+...+\lambda _{n}u_{n}^{2}}
헤세 행렬의 고윳값의 부호에 따라 이차형식의 정부호성을 판별한다.
헤세 행렬의 고윳값이 모두 양수일 경우, 이차형식은 양의 정부호이고, 임계점은 극솟값이다.
헤세 행렬의 고윳값이 모두 음수일 경우, 이차형식은 음의 정부호이고, 임계점은 극댓값이다.
헤세 행렬의 고윳값에 양수와 음수가 섞여 있는 경우, 이차형식은 부정부호(indefinite)이고, 임계점은 안장점 이 된다. 
테일러 급수 문서를 참고하십시오.
