defwin's profile image

defwin

November 15, 2025 00:00

Lie groups and Lie algebras in a nutshell

math , Lie groups , Lie algebras

0. Introduction

리 군(Lie groups)은 현대 물리, 수학, 공학 등에서 널리 쓰이고 있습니다. 수학을 전공하지 않는 경우 연속적인 대칭군 정도로 생각하는 경우가 많습니다. 수학적으로 엄밀하게 리 군에 대해서 배우기에는 요구하는 선수지식이 너무나 많고, 물리 또는 공학에서는 필요한 토픽들 위주로 공부를 하게 되면서 리 군과 리 대수가 어떻게 정의되는지 모르는 상태로 넘어가는 경우가 많은 것 같습니다. 본 글에서는 리 군과 리 대수를 수학적으로 엄밀하면서도 전공자가 아니더라도 최대한 이해할 수 있는 수준으로 서술하려고 합니다. 미적분학과 선형대수 지식을 어느 정도 가정합니다.

1. Groups, topological groups, smooth manifolds, Lie groups

먼저 “리 군”은 “군”이기 때문에 군이 무엇인지 먼저 알아야 합니다. 군이란 어떤 집합 $G$와 연산($*$)이 주어진 구조로, 다음 성질들을 만족해야 합니다.

  • 모든 $a, b \in G$에 대해 $a*b \in G$ (닫혀있음)
  • 모든 $a, b, c \in G$에 대해 $(ab)c = a(bc)$ (결합법칙)
  • 모든 $a \in G$에 대해 $a * e = e * a = a$인 항등원 $e$가 존재
  • 모든 $a \in G$에 대해 $a * a^{-1} = a^{-1} * a = e$인 역원 $a^{-1}$이 존재

대표적인 예시로는 정수 집합과 덧셈, 0이 아닌 유리수 집합과 곱셈, 역행렬이 존재하는 행렬 집합과 행렬곱셈 등이 있습니다.

이제 위상군에 대해 간략하게 알아보겠습니다. 위상군의 정의는 다음과 같습니다.

  • 군이면서 위상공간
  • 군의 곱셉 연산이 연속
  • 군의 원소를 역원으로 보내는 함수가 연속

위상공간이 무엇인지 구체적으로 몰라도 됩니다. 대략 함수의 연속을 정의할 수 있는 어떤 집합이라고 생각하면 됩니다.

이렇게만 설명하면 위상군이 여전히 추상적으로 다가올 수 있으므로 $(V=\mathbb{R}^n, +)$ 예시를 통해 감을 잡아봅시다. 유클리드 공간에서 벡터 덧셈은 군의 구조를 자명하게 가지고, 그 덧셈은 연속입니다. 벡터 $v$에 대해 역원은 $-v$이므로 역원 사상은 $i:V \rightarrow V, i(x)=-x$이고 이는 당연히 연속입니다. 따라서 이 군은 위상군입니다.

어차피 저희가 다루는 리 군은 (바로 뒤에 설명하겠지만) 국소적으로 (그러니까, 어떤 점 근처에서) $\mathbb{R}^n$ 꼴로 생겼으며, 또 대부분은 $\mathbb{R}^n$ 꼴 공간의 부분집합으로 쉽게 생각할 수 있기 때문에 군의 연산이 1학년 미적분학 시간에 배우는 다변수 함수 미분 관점에서 매끄러운 함수로 생각될 수 있구나 정도로 이해하고 넘어가시면 되겠습니다.

리 군은 위상군에서 더 나아가, 미분 구조가 있는 미분다양체이며 위상군의 정의에서 연속이던 조건이 매끄러움(무한 번 미분 가능)으로 바뀐 군입니다. 미분다양체의 엄밀한 정의는 다음과 같습니다.

  • 제 2가산(2nd countable) 하우스도르프 공간
  • 국소적으로 유클리드 공간($\mathbb{R}^n$)의 부분집합과 미분동형(diffeomorphic), 즉 임의의 점 근방에서 유클리드 공간의 부분집합으로 가는 매끄러우면서 역함수도 매끄러운 함수가 존재합니다.

여기서 제 2가산 하우스도르프 공간의 개념이 생소할 수 있습니다만, 이들은 미분다양체가 잘 정의되고 잘 사용되기 위한 보조 수단에 가깝기 때문에 앞으로의 논의에서는 중요하지 않습니다. 하우스도르프 공간은 임의의 두 점이 잘 분리되어있는 공간이고, 제 2가산 조건은 미분다양체에서 적분을 할 때 중요한 partitions of unity라는 것이 잘 정의되기 위한 조건 정도로 생각하시면 될 것 같습니다.

이를 통해 리 군이 어떻게 수학적으로 정의되는지 살펴보았습니다. 하지만 여전히 리 군이 굉장히 추상적으로 다가오기 때문에, 구체적인 예시들을 보겠습니다.

2. Examples of Lie groups

리 군을 물리, 공학 등에서 사용하는 경우 가장 기본적으로는 좌표변환의 대칭을 표현하기 위해 사용하고, 더 나아가서는 양자역학에서 등장하는 회전대칭, 장론에서 등장하는 게이지 대칭 등을 기술할 때 사용됩니다. 이러한 대표적인 리 군들은 모두 행렬로 표현되는 행렬 리 군입니다. 대표적인 행렬 리 군들을 알아보겠습니다.

먼저 가장 일반적으로 생각할 수 있는 큰 행렬 리 군으로 실수 계수를 가진 가역 행렬들을 모아놓은 집합, $GL(n,\mathbb{R})$이 있습니다. 이 집합의 원소들은 $n \times n$ 크기의 행렬들이며 행렬식이 0이 아닌 행렬들입니다. 행렬의 각 성분을 하나의 좌표로 생각한다면, $GL(n,\mathbb{R})$은 $\mathbb{R}^{n^2}$ 공간의 부분집합으로 생각할 수 있습니다. (약간의 논의가 더 있어야 하긴 합니다만) 이로부터 $GL(n,\mathbb{R})$이 리 군임을 알아보았습니다.

복소수 계수의 가역 행렬들 $GL(n,\mathbb{C})$도 생각할 수 있는데요, 이 행렬들도 복소수를 2개의 실수로 표현되는 수라고 생각하면 $2n^2$ 차원의 유클리드 공간의 부분집합으로 생각할 수 있어 리 군임을 알 수 있습니다.

이제 대표적인 $GL(n,\mathbb{C})$의 부분 리 군(부분집합이면서 리 군인 집합)들에 대해 알아보겠습니다.

  • $O(n), SO(n)$<div style="height: 10px;"></div>  $O(n)$은 직교 행렬을 모아놓은 군입니다. 실수계수임을 강조하기 위해 $O(n,\mathbb{R})$ 등으로 적을 수도 있습니다. 두 직교 행렬의 곱이 직교행렬이고, 직교행렬의 역원은 직교행렬이며, 곱셈이나 역원 사상은 결국 다항식 꼴임을 생각하면 (역원의 경우 크라메르 공식을 생각하면 됩니다.) 매끄러운 함수임이 금방 보여 리 군임을 알 수 있습니다. <div style="height: 10px;"></div>$SO(n)$은 $O(n)$에서 행렬식이 1인 행렬들만 모아놓은 군입니다. 행렬식이 1인 군의 곱셈과 역원도 행렬식이 1이므로 군임을 쉽게 알 수 있습니다. <div style="height: 10px;"></div>$n$차원 유클리드 공간에서 거리를 보존하는 변환이 $O(n)$이며, 그중에서도 orientation을 보존하는 변환은 $SO(n)$이기 때문에 고전역학 등에서 등장합니다.<div style="height: 10px;"></div>
  • $U(n), SU(n)$<div style="height: 10px;"></div> $U(n)$은 유니터리 행렬을 모아놓은 군입니다. $O(n)$과 비슷한 이유로 리 군이 됩니다. <div style="height: 10px;"></div>$SU(n)$도 $SO(n)$의 정의와 비슷하게 행렬식이 1인 유니터리 행렬을 모아놓은 군입니다. $SO(n)$과 비슷한 이유로 군이 됩니다. <div style="height: 10px;"></div>양자역학에서 복소수 위의 힐베르트 공간에 작용하는 대칭 연산을 생각할 때, 확률 보존이라는 조건 때문에 유니터리 (또는 반 유니터리) 연산자를 다뤄야 합니다. 때문에 양자역학에 나오는 대칭은 모두 유니터리 군(사실은 그 군의 표현..)으로 생각할 수 있습니다. 이외에도 양자역학에서 회전에 대한 대칭군이 $SU(2)$임은 잘 알려져 있습니다.<div style="height: 10px;"></div>
  • $O(p, q), SO(p, q)$<div style="height: 10px;"></div> $O(p,q)$는 $O(n)$과 비슷하지만 단순히 전치행렬과 원래 행렬의 곱이 항등행렬이 되는 것이 아니고, $p$개의 $-1$과 q개의 $1$을 대각성분으로 가지는 $B=\text{diag}(-1,\cdots, -1, 1, \cdots 1)$ 행렬을 보존하는, 즉 $X^TBX=B$인 실계수 행렬 $X$를 모아놓은 군입니다. <div style="height: 10px;"></div>특수상대성 이론에서 로렌츠 변환을 보존하는 대칭군이 $SO(1,3)$으로 현대 물리에서 중요한 역할을 하고 있습니다. 이외에도 어떤 indefinite(positive/negative하지 않은) quadratic form을 보존하는 연산들로 생각할 수 있어 여러 곳에서 사용됩니다.<div style="height: 10px;"></div>
  • $SL(n, \mathbb{C})$, $SL(n, \mathbb{R})$<div style="height: 10px;"></div> $GL(n,\mathbb{C})$에서 행렬식이 1인 복소계수/실계수 행렬 집합입니다. <div style="height: 10px;"></div> 물리나 수학에 자주 등장하지는 않는 것 같습니다만 리 군의 표현론에서 $SL(2, \mathbb{C})$가 중요하고, 또 이 군이 로렌츠 대칭군 $SO(1,3)$과 밀접한 연관이 있어 현대 물리에서 등장합니다.<div style="height: 10px;"></div>
  • $Sp(2n)$ <div style="height: 10px;"></div> 고전역학에서 푸아송 괄호라는 것을 이용하여 운동방정식을 나타내게 되면 $J=\begin{pmatrix}0 & I_n \ -I_n & 0\end{pmatrix}$에 대해 $X^TJX=J$을 만족하는 $X$가 정확히 운동방정식을 보존하는 변환임을 알 수 있습니다. 이러한 행렬의 모임 또한 군을 이루기 때문에 리 군이 됩니다.

3. Tangent space, Lie algebras

리 군은 미분다양체이므로, 각 점에서의 접공간(Tangent space) 을 생각할 수 있습니다. 직관적인 예시로, 구면의 경우 각 점에서 그 구에 접하는 접평면들이 접공간이 됩니다. 이제 리 군 $G$의 항등원 $e$에서의 접공간 $T_e G$를 생각합시다. $G$에 대응하는 리 대수(Lie algebra) $\mathfrak{g}$는 바로 이 $T_e G$로 정의됩니다. \(\mathfrak{g} \cong T_e G\) 벡터 공간인 $T_e G$에 어떠한 곱셈과 같은 대수적 구조를 주고 싶은데, 이 곱셈이 리 군의 성질 또한 잘 표현하면 좋을 것 같습니다. 만약 그렇다면 이 상대적으로 잘 알고 있고 잘 분석할 수 있는 리 대수로부터 리 군을 분석할 수 있게 되기를 기대할 수 있을 것 같습니다. 이를 위해 미분다양체 위에 정의된 벡터장과 좌불변 벡터장에 대해 살펴봅시다.

  1. 벡터장: 벡터장이란 직관적으로는 모든 점마다 벡터가 대응된 함수입니다. 약간 엄밀하게는 미분다양체에서 접공간들의 서로소 합집합으로 가는 사상으로 생각할 수 있습니다. 벡터장은 사실 미분다양체에서 실수로 가는 함수들에 작용하는 미분 연산자로 생각할 수 있습니다. 미분다양체에서 굉장히 중요한 사실이지만, 일단은 받아들입시다. 직관적으로는 어떤 좌표에 대한 방향미분들이 그 좌표계의 기저를 이룬다는 사실로 이해하시면 될 것 같습니다.
  2.  좌불변 벡터장 (Left-invariant vector field): 항등원에서의 접벡터 $v \in T_e G$가 하나 있다고 해봅시다. 군 $G$는 어떤 원소 $g$를 곱하는 ‘좌측 이동(Left translation)’ 연산 $L_g(h) = gh$를 가지고 있습니다. 이 연산을 통해 항등원에 있는 벡터 $v$를 군 전체의 모든 점 $g$로 ‘밀어서’ 옮길 수 있습니다. 이렇게 만들어진 벡터장 $v^L$을 좌불변 벡터장이라고 합니다.
  3.  벡터장과 교환자: 두 벡터장 $X, Y$를 합성한 $X \circ Y$는 선형 벡터장이 되지 않지만, 교환자(Commutator) $[X, Y] = XY - YX$는 벡터장이 됩니다. 추상적으로 미분의 정의가 product rule을 만족하는 선형함수임을 떠올리면 쉽게 증명할 수 있습니다.
  4.  Lie Bracket 정의: 좌불변 벡터장들의 집합은 이 교환자 연산에 대해 닫혀 있습니다. $T_e G$의 원소들과 좌불변 벡터장들은 일대일 대응하므로, 결과적으로 $T_e G$ 위에서 $[u, v] = [u^L, v^L]_e$(두 접벡터 $u$, $v$를 좌불변 벡터장으로 확장시킨 뒤 교환자를 취한 결과의 항등원 $e$에서의 접벡터) 꼴로 연산을 정의할 수 있게 됩니다.

commutator는 다음 두 성질을 만족함이 잘 알려져 있습니다.

  • Skew-symmetry: $[X, Y] = -[Y, X]$
  • Jacobi identity: $[X, [Y, Z]] + [Y, [Z, X]] + [Z, [X, Y]] = 0$

이에 따라 우리가 정의한 리 대수 위의 $[\cdot,\cdot]$도 위 성질들을 만족하게 됩니다. 이를 일반화하여, 꼭 리 군에서 유도되지 않더라도 위 성질을 만족하는 이항 연산 $[\cdot, \cdot]: V \times V \rightarrow V$가 정의된 벡터공간 $V$를 리 대수라고 부릅니다.

행렬 리 군($GL(n, \mathbb{C})$의 부분군)의 경우, 리 대수의 원소 또한 행렬이 되며, 여기서 추상적으로 정의한 리 괄호 $[X, Y]$는 우리가 잘 아는 행렬의 교환자 $XY - YX$와 정확히 일치합니다. (여기서 $X$, $Y$는 벡터장이 아닌 리 대수의 원소입니다.)

Example: 행렬 리 군의 리 대수 계산 그렇다면 앞서 소개한 행렬 리 군들의 리 대수는 구체적으로 어떤 모양일까요? 항등원을 지나는 곡선 $A(t)$ (단, $A(0)=I, A’(0)=X$)를 생각하고, 이 곡선이 군의 정의를 만족해야 한다는 조건을 미분하여 구할 수 있습니다.

  • $\mathfrak{so}(n)$: $O(n)$의 정의인 $A(t)^T A(t) = I$를 $t$에 대해 미분하고 $t=0$을 대입하면, \(X^T I + I X = 0 \implies X^T + X = 0\) 즉, $\mathfrak{so}(n)$은 전치행렬이 마이너스 자신이 되는 반대칭(Skew-symmetric) 행렬들의 집합입니다.

  • $\mathfrak{su}(n)$: $SU(n)$의 정의인 $A(t)^\dagger A(t) = I$와 $\det(A(t)) = 1$을 미분합니다. 첫 번째 조건에서는 $X^\dagger + X = 0$ (반-유니터리)을 얻습니다. 두 번째 조건에서 행렬식의 미분은 대각합(Trace)과 관련이 있습니다($\frac{d}{dt}\det(A(t))|_{t=0} = \text{tr}(X)$). \(\text{tr}(X) = 0\) 따라서 $\mathfrak{su}(n)$은 대각합이 0인 반-유니터리 행렬(Skew-Hermitian traceless matrices)들의 집합입니다. 물리학에서는 보통 여기에 허수 $i$를 곱해 에르미트 행렬로 만들어 사용합니다.

  • $\mathfrak{sl}(n, \mathbb{R})$: $\det(A(t))=1$ 조건만 있으므로, 단순히 대각합이 0인 실수 행렬들의 집합이 됩니다.

4. Exponential maps

리 대수 $\mathfrak{g}$를 기하학적으로 정의했으니, 이제 이를 다시 리 군 $G$와 연결해 주는 지수 사상(Exponential map) 을 도입할 차례입니다.

$\mathfrak{g}$의 원소 $X$는 $G$ 위의 좌불변 벡터장을 만듭니다. 이 벡터장을 속도 벡터로 가지며 항등원을 지나는 적분 곡선(integral curve) $\gamma_X(t)$를 생각할 수 있습니다. 이 곡선을 따라 $t=1$인 지점으로 보내는 사상을 지수 사상이라고 합니다. \(\exp: \mathfrak{g} \to G, \quad X \mapsto \gamma_X(1)\) 행렬 리 군에서는 이 기하학적인 정의가 우리가 아는 행렬 지수함수와 일치합니다. \(\exp(X) = e^X = \sum_{k=0}^{\infty} \frac{X^k}{k!}\) 이 지수 사상은 국소적으로 $0 \in \mathfrak{g}$ 근방과 $e \in G$ 근방을 일대일로 매끄럽게 연결해 줍니다(Local diffeomorphism).

한 가지 주의할 점은 지수 사상이 항상 전사(onto) 함수는 아니라는 점입니다. 예를 들어 $GL(n, \mathbb{R})$에서 행렬식이 음수인 부분은 항등원(행렬식이 양수)에서 출발하는 지수 사상으로는 도달할 수 없습니다. 다만, 리 군이 단순 연결(simply connected) 되어있거나 콤팩트(compact)한 경우 등, 군의 위상학적 성질이 좋을 때는 전사가 되기도 합니다.

재미있는 인사이트는, 지수 사상을 통해 생성할 수 있는 영역은 리 군의 항등원과 연결된 성분(Connected component of the identity, $G_0$)에 해당한다는 점입니다. 따라서 원래의 리 군 $G$를 이 $G_0$로 나누게 되면(몫군 $G/G_0$), 남은 구조는 연속성이 사라진 이산 군(Discrete group)이 됩니다. 즉, 리 군은 ‘연속적인 대칭(리 대수로 설명 가능)’과 ‘이산적인 대칭(위상학적 성질)’의 결합으로 이해할 수 있습니다.

5. Some applications

리 군과 리 대수는 대칭성이 있는 거의 모든 분야에 등장합니다.

1. Haar Measure와 양자 정보 (Haar Measure & Quantum Information) 적분을 하려면 ‘부피’를 재는 기준(측도)이 필요합니다. 리 군 위에서는 군의 대칭성을 존중하는 자연스러운 측도인 Haar measure가 존재합니다. 어떤 측도 $\mu$가 모든 $g \in G$와 부분집합 $S$에 대해 $\mu(gS) = \mu(S)$를 만족할 때 이를 좌불변(left-invariant) 측도라고 합니다. 국소 콤팩트 위상군에서는 이러한 측도가 (상수배를 제외하고) 유일하게 존재함이 알려져 있습니다.

이 개념은 최근 양자컴퓨팅 분야에서 매우 중요하게 다뤄집니다. 양자 컴퓨터의 연산은 유니터리 군 $U(2^n)$ 상에서의 회전으로 볼 수 있는데, “양자 컴퓨터가 제대로 작동하는가?”를 검증하기 위해 무작위 벤치마킹(Randomized Benchmarking) 기법을 사용합니다. 이때 ‘무작위로 유니터리 연산자를 뽑는다’는 것의 수학적 정의가 바로 정규화된 Haar measure를 따르는 확률 분포에서 표본을 추출한다는 뜻입니다. 또한, 양자 머신러닝에서 발생하는 Barren Plateau(경사 소실) 문제 역시 $U(N)$ 공간의 부피(Haar measure)가 차원이 커짐에 따라 기하급수적으로 커지는 성질과 밀접한 관련이 있습니다. 물론, 입자물리학의 경로적분에서 게이지 대칭성을 다룰 때 사용하는 측도 또한 이 Haar measure입니다.

2. Gauge Theory (게이지 이론) 현대 입자물리학의 표준모형은 $SU(3) \times SU(2) \times U(1)$이라는 리 군 대칭성에 기반합니다. 리 군은 대칭성을 나타내고, 그 대칭성에 대응하는 보존 법칙과 힘을 매개하는 입자(게이지 보손)들은 리 대수의 차원과 구조 상수(Structure constant)에 의해 결정됩니다.

6. Outro

이 글에서는 리 군과 리 대수의 개념적인 소개에 집중했습니다. 리 군과 리 대수의 활용이나 구체적인 분석 방법을 알고 싶다면 다음 토픽들을 공부해보면 좋을 것 같습니다.

  • Adjoint representation (수반 표현)
  • Root system & Dynkin diagram (단순 리 대수의 분류)
  • Representation theory (표현론): 리 군의 추상적인 원소를 구체적인 행렬로 나타내는 이론으로, 양자역학 응용의 핵심입니다.

특히 표현론은 굉장히 중요하고 자주 사용됩니다. 리 군론의 핵심이 연속적인 대칭을 다루는 것임을 생각한다면, 어떤 벡터공간에 이 군이 어떻게 작용하는지 알아보는 표현론은 리 군론에서 정말 중요한 요소임을 쉽게 예상할 수 있습니다.

References

  • Hall, Brian. Lie Groups, Lie Algebras, and Representations: An Elementary Introduction. Germany: Springer International Publishing, 2015.
  • L.W. Tu. An Introduction to Manifolds. Universitext. Springer New York, 2007.