기하학에서 케일리 변환(Cayley變換, 영어: Cayley transform)은 환 위의 사영 직선의 특별한 자기 동형이다. 행렬의 경우, 이는 반대칭 행렬과 직교 행렬 사이의 대응을 정의하며, 복소수체의 경우, 이는 허수축과 단위 원 사이의 대응을 정의한다.
2가 가역원인 환
위의 사영 직선

![{\displaystyle [x,y]\sim [ax,ay]\qquad \forall x,y,a\in R}](https://wikimedia.org/api/rest_v1/media/math/render/svg/29f1195f6ba8b338f042cfacbad9a72e38d81a8b)
을 생각하자. 그 위의 케일리 변환은 다음과 같다.
![{\displaystyle f\colon [x,y]\mapsto [y-x,x+y]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/77e6c298ba56369d602a55e468e2994efe384cad)
이는 멱등 함수이다.

따라서, 이는
-사영 직선 위의 전단사 함수를 정의한다.
보다 일반적으로, 임의의 가역원
에 대하여,
![{\displaystyle f_{u}\colon [x,y]\mapsto [yu-x,yu+x]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a9f68c1d7dff2c03d57a1ca07d711f69bd459db3)
를 정의할 수 있다. 그 역사상은 다음과 같다.
![{\displaystyle f_{u}^{-1}\colon [x,y]\mapsto [y-x,(x+y)u^{-1}]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5b46189a63cfc08655fff2c155ba5c0cbf5dfab8)
실수 정사각 행렬의 환
위의 케일리 변환을 생각하자.


여기서
는
이 가역 행렬이 아니게 되는 행렬들의 부분 집합이다.
이 변환에서, 만약
이 반대칭 행렬이라면 (
),
은 항상 가역 행렬이며,

이므로

이 된다. 즉,
이며, 특히
이다.
그런데

은 연속 함수이며, 그 정의역
은 연결 공간이다. 따라서 이는 상수 함수이며, 그 값은
이다. 즉, 케일리 변환은 매끄러운 함수


를 정의한다. (물론, 이는 전사 함수가 아니다.
는 축약 가능 공간이지만
는 축약 가능 공간이 아니기 때문이다.)
마찬가지로, 복소수 정사각 행렬의 환

위의 케일리 변환을 생각하자. 이를 제한하면 마찬가지로 매끄러운 함수


를 정의할 수 있다. 여기서
는 복소수 반대칭 행렬의 복소수 리 대수이다.
는 복소수 반에르미트 행렬의 실수 리 대수이다.
는 행렬식이 1인 복소수 직교 행렬로 구성된 리 군이다.
는 유니터리 군이다.