IPSec - AH, ESP, 전송/터널 모드

IPSec 이란 무엇일까요?

IPSec(Internet Protocol Security) 은 네트워크 계층(IP 계층)에서 IP 패킷을 암호화하고 인증하여 통신을 보호하는 프로토콜 모음입니다. 즉, 인터넷을 통해 데이터를 주고받을 때, 중간에 누가 엿보거나(도청), 데이터를 몰래 바꾸거나(변조), 다른 사람인 척하는(위장) 것을 막아주는 안전장치라고 생각하면 쉽습니다.

주로 VPN(가상 사설망, Virtual Private Network)을 구현하는 데 사용되며, 우리가 안전하게 인터넷을 사용할 수 있도록 보이지 않는 곳에서 중요한 역할을 하고 있습니다.

---

IPSec의 핵심 구성 요소: AH와 ESP

IPSec은 두 가지 주요 프로토콜, AH와 ESP를 사용하여 보안을 제공합니다. 이 둘은 제공하는 보안 기능에 차이가 있어, 필요에 따라 선택하거나 함께 사용할 수 있습니다.

AH (Authentication Header, 인증 헤더)

AH는 이름 그대로 인증(Authentication) 에 중점을 둔 프로토콜입니다. 데이터가 전송 중에 변경되지 않았음을 보장(무결성)하고, 데이터를 보낸 사람이 진짜인지 확인(송신자 인증)하는 역할을 합니다.

• 주요 기능:
  • 데이터 무결성: 데이터가 중간에 변조되지 않았음을 보장합니다.
  • 송신자 인증: IP 패킷의 출발지 주소가 위조되지 않았음을 확인합니다.
  • 재전송 공격 방지: 순서 번호를 사용하여 동일한 패킷이 재전송되는 것을 막습니다.
• 한계:
  • 암호화 기능 없음: 데이터의 내용을 숨겨주지 않기 때문에, 기밀성이 요구되는 통신에는 적합하지 않습니다.

AH의 작동 방식 🔍

AH는 IP 헤더와 전송 계층(TCP/UDP) 헤더를 포함한 IP 패킷 전체에 대해 인증을 수행합니다. 이를 통해 패킷의 내용뿐만 아니라, 출발지와 목적지 주소의 무결성까지 보장합니다.

ESP (Encapsulating Security Payload, 캡슐화 보안 페이로드)

ESP는 암호화(Encryption) 를 통해 데이터의 기밀성(Confidentiality) 을 보장하는 데 중점을 둔 프로토콜입니다. 물론, AH처럼 데이터 무결성과 송신자 인증 기능도 선택적으로 제공할 수 있습니다.

• 주요 기능:
  • 기밀성 (암호화): IP 페이로드(실제 데이터 부분)를 암호화하여 내용을 보호합니다.
  • 데이터 무결성 (선택): 데이터가 변조되지 않았음을 보장합니다.
  • 송신자 인증 (선택): 송신자를 인증합니다.
  • 재전송 공격 방지: 순서 번호를 사용합니다.

AH vs ESP: 핵심 차이점

• AH: "이 편지는 A가 보낸 것이 맞고, 중간에 아무도 뜯어보지 않았어." (내용은 보임)
• ESP: "이 편지는 비밀 상자에 담겨 있어서 내용은 볼 수 없어. 원한다면 보낸 사람 확인도 가능해." (내용 숨김)

따라서, 기밀성이 중요하다면 반드시 ESP를 사용해야 합니다.

---

IPSec의 두 가지 작동 모드: 전송 모드와 터널 모드

IPSec은 데이터를 보호하는 범위에 따라 전송 모드(Transport Mode) 와 터널 모드(Tunnel Mode) 두 가지 방식으로 작동합니다.

전송 모드 (Transport Mode)

전송 모드는 IP 패킷의 페이로드(Payload)만 보호하는 방식입니다. 기존 IP 헤더는 그대로 두고, 그 뒤에 오는 데이터 부분만 암호화하거나 인증합니다.

• 보호 대상: IP 페이로드 (TCP/UDP 데이터)
• IP 헤더: 기존 IP 헤더 사용 (출발지, 목적지 주소 변경 없음)
• 주요 사용처: 두 개의 호스트(End-to-End) 간의 통신을 보호할 때 사용됩니다. (예: 내 컴퓨터와 회사 서버 간의 직접 통신)

터널 모드 (Tunnel Mode)

터널 모드는 IP 패킷 전체를 보호하는 방식입니다. 기존 IP 패킷 전체를 새로운 IP 패킷 안에 넣고, 이 새로운 패킷에 IPSec 헤더를 추가합니다. 마치 원래의 편지를 통째로 새로운 안전한 봉투에 넣어 보내는 것과 같습니다.

• 보호 대상: IP 패킷 전체 (기존 IP 헤더 + 페이로드)
• IP 헤더: 새로운 IP 헤더 사용 (출발지와 목적지가 게이트웨이로 변경됨)
• 주요 사용처: 두 개의 네트워크(Site-to-Site) 간의 통신을 보호할 때, 즉 VPN 게이트웨이 간의 통신에 주로 사용됩니다.

VPN과 IPSec: 안전한 터널은 어떻게 만들어지는가?

VPN(가상 사설망)은 공용 네트워크(주로 인터넷)를 사용하여 마치 전용선으로 연결된 사설 네트워크처럼 안전하게 통신하는 기술입니다. IPSec은 바로 이 VPN을 구현하는 핵심 기술로, 데이터를 안전하게 전송하기 위한 '보안 터널'을 만드는 역할을 합니다.

IPSec이 VPN에서 어떻게 사용되는지 구체적으로 살펴보겠습니다.

1. 터널 모드(Tunnel Mode) 사용: VPN은 주로 IPSec의 터널 모드를 사용합니다. 이는 본사-지사 연결(Site-to-Site VPN)이나 원격 근무자가 회사 네트워크에 접속(Remote Access VPN)할 때 사용됩니다.

2. 패킷 캡슐화(Encapsulation): 사용자의 컴퓨터가 회사 내부 서버로 데이터를 보낸다고 가정해봅시다. 이 데이터 패킷의 출발지는 '내 컴퓨터 IP', 목적지는 '회사 서버 IP'일 것입니다. 이 패킷이 인터넷으로 나가기 전, VPN 게이트웨이(예: 집 공유기 또는 회사 방화벽)는 원래의 IP 패킷 전체를 통째로 새로운 IP 패킷 안에 집어넣습니다. 이것이 바로 '캡슐화'입니다.

3. 새로운 IP 헤더 추가: 캡슐화된 새로운 패킷에는 새로운 IP 헤더가 붙습니다. 이 새로운 헤더의 출발지는 '집 공유기 IP', 목적지는 '회사 방화벽 IP'가 됩니다. 즉, 인터넷 상에서는 두 VPN 게이트웨이 간의 통신으로만 보이게 됩니다. 원래의 출발지와 목적지 IP는 암호화되어 숨겨집니다.

4. 암호화 및 인증 (ESP/AH):

   • ESP(Encapsulating Security Payload) 프로토콜을 사용하여 캡슐화된 원래의 IP 패킷 전체를 암호화합니다. 이로써 인터넷을 통과하는 동안 해커가 데이터를 엿보더라도 내용을 전혀 알 수 없게 됩니다(기밀성).
   • AH(Authentication Header) 또는 ESP의 인증 기능을 사용하여 패킷이 전송 중에 변조되지 않았음을 보장하고(무결성), 이 패킷이 정말로 신뢰할 수 있는 상대방 VPN 게이트웨이에서 온 것인지 확인합니다(인증).

5. 터널링 및 복호화: 이렇게 안전하게 포장된 패킷은 인터넷이라는 공용망을 통해 '터널'을 통과하듯 상대방 VPN 게이트웨이로 전송됩니다. 패킷을 수신한 게이트웨이는 IPSec을 이용해 패킷을 복호화하고, 바깥쪽 IP 헤더를 제거하여 원래의 IP 패킷을 꺼냅니다. 그리고 이 원래의 패킷을 최종 목적지인 내부 서버로 안전하게 전달합니다.

결론적으로, IPSec은 VPN을 위해 공용 인터넷 위에 '암호화된 가상의 통로'를 만들어, 멀리 떨어진 두 지점이 마치 하나의 내부 네트워크에 있는 것처럼 안전하게 통신할 수 있도록 해주는 핵심적인 역할을 수행합니다.

전송 모드 vs 터널 모드 비교

---

정보처리기사 실기 대비 문제