기하학에서 케일리 변환(Cayley變換, 영어: Cayley transform)은 환 위의 사영 직선의 특별한 자기 동형이다. 행렬의 경우, 이는 반대칭 행렬과 직교 행렬 사이의 대응을 정의하며, 복소수체의 경우, 이는 허수축과 단위 원 사이의 대응을 정의한다.
2가 가역원인 환
위의 사영 직선

![{\displaystyle [x,y]\sim [ax,ay]\qquad \forall x,y,a\in R}](https://wikimedia.org/api/rest_v1/media/math/render/svg/29f1195f6ba8b338f042cfacbad9a72e38d81a8b)
을 생각하자. 그 위의 케일리 변환은 다음과 같다.
![{\displaystyle f\colon [x,y]\mapsto [y-x,x+y]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/77e6c298ba56369d602a55e468e2994efe384cad)
이는 멱등 함수이다.

따라서, 이는
-사영 직선 위의 전단사 함수를 정의한다.
보다 일반적으로, 임의의 가역원
에 대하여,
![{\displaystyle f_{u}\colon [x,y]\mapsto [yu-x,yu+x]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a9f68c1d7dff2c03d57a1ca07d711f69bd459db3)
를 정의할 수 있다. 그 역사상은 다음과 같다.
![{\displaystyle f_{u}^{-1}\colon [x,y]\mapsto [y-x,(x+y)u^{-1}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b46189a63cfc08655fff2c155ba5c0cbf5dfab8)
케일리 변환

은 리만 구
위의 뫼비우스 변환을 이룬다. 이는 다음과 같은 성질을 갖는다.
z=f(f(z)) |
f(z)
|
0 |
1
|
i |
−i
|
∞ |
−1
|
 |
U(1)
|
 |
|
 |
|
 |
|
즉, 이는 허수축과 단위원을 뒤바꾸며, 실수축을 고정시킨다. 또한, 음이 아닌 실수 성분을 가진 반평면은 닫힌 원판에 대응된다.
실수 정사각 행렬의 환
위의 케일리 변환을 생각하자.


여기서
는
이 가역 행렬이 아니게 되는 행렬들의 부분 집합이다.
이 변환에서, 만약
이 반대칭 행렬이라면 (
),
은 항상 가역 행렬이며,

이므로

이 된다. 즉,
이며, 특히
이다.
그런데

은 연속 함수이며, 그 정의역
은 연결 공간이다. 따라서 이는 상수 함수이며, 그 값은
이다. 즉, 케일리 변환은 매끄러운 함수


를 정의한다. (물론, 이는 전사 함수가 아니다.
는 축약 가능 공간이지만
는 축약 가능 공간이 아니기 때문이다.)
마찬가지로, 복소수 정사각 행렬의 환

위의 케일리 변환을 생각하자. 이를 제한하면 마찬가지로 매끄러운 함수


를 정의할 수 있다. 여기서
는 복소수 반대칭 행렬의 복소수 리 대수이다.
는 복소수 반에르미트 행렬의 실수 리 대수이다.
는 행렬식이 1인 복소수 직교 행렬로 구성된 리 군이다.
는 유니터리 군이다.
사원수 대수
위의 케일리 변환


을 생각하자. (
와
는 서로 가환하므로 나눗셈을 왼쪽에서 취하든, 오른쪽에서 취하든 상관이 없다.) 이는 순허수 성분 사원수로 구성된 3차원 유클리드 공간의 알렉산드로프 콤팩트화

를 절댓값이 1인 사원수로 구성된 3차원 초구

에 대응시킨다. 이는 리 대수
(의 알렉산드로프 콤팩트화)와 리 군 SU(2) 사이의 사상으로 여길 수 있다. (이는 리 대응과 다른 사상이다.)
아서 케일리가 반대칭 행렬에 대하여 1846년에 최초로 도입하였다.[1]