포스트

RSA와 AES를 함께 쓰는 이유 — 키 캡슐화와 데이터 암호화의 역할 분담

대용량 데이터는 AES-GCM으로 보호하고 작은 세션 키는 수신자 RSA 공개키로 감싸는 하이브리드 암호화의 흐름과 인증·키 관리 경계.

RSA와 AES를 함께 쓰는 이유 — 키 캡슐화와 데이터 암호화의 역할 분담

수신자에게 데이터를 안전하게 전달하려면 “무슨 알고리즘으로 본문을 암호화할까”와 “그 비밀키를 수신자에게 어떻게 줄까”라는 두 문제가 있다. 하나의 알고리즘에 둘을 모두 떠넘기지 않는 방식이 하이브리드 암호화다. RSA 공개키가 수신자를 지정하고, 임시 대칭키로 동작하는 AES가 본문을 처리한다.

RSA만 또는 AES만 쓰기 어려운 이유

AES는 빠르게 본문을 처리하지만, 같은 비밀키를 송수신자가 공유해야 한다. 키를 본문 옆에 평문으로 실어 보내면 보호가 무의미하다. RSA는 공개키로 작은 비밀을 감싸 수신자의 개인키로만 풀 수 있지만 큰 본문을 직접 암호화할 용도가 아니다. RSA 연산의 비용뿐 아니라 키 크기와 패딩 방식에 따른 평문 길이 제한도 있다.

1
2
3
4
5
6
송신자: 무작위 일회용 AES 키 생성
        본문 + 고유 nonce ──AES-GCM──► 암호문 + 인증 태그
        AES 키 ──수신자 RSA 공개키 / OAEP──► 감싼 키
        nonce · 태그 · 감싼 키 · 암호문 전달
수신자: RSA 개인키 / OAEP로 AES 키 복원
        AES-GCM 태그 검증 후에만 본문 사용

본문에는 인증된 암호화(AEAD)인 AES-GCM을 사용한다. 이 방식은 기밀성 외에 태그를 통한 변조 검증을 제공한다. 같은 키로 nonce를 재사용하면 안전성이 크게 훼손되므로 키·nonce 생성 규칙을 라이브러리 계약대로 따라야 한다. RSA는 임의의 구식 패딩이나 RSA/ECB/PKCS1Padding 식의 기본값에 기대지 않고 OAEP처럼 규격화된 안전한 패딩을 선택한다. 이미 검증된 라이브러리의 고수준 envelope API가 있다면 직접 포맷을 조립하는 것보다 그 계약을 우선한다.

방향과 인증은 별개다

A→B 데이터는 B의 공개키로 감싸야 B의 개인키로 복호화할 수 있다. B→A 전송은 반대로 A의 키 쌍을 쓴다. 한 방향에서 성공했다고 반대 방향도 같은 키로 처리되는 것은 아니다. 또 “B 공개키로 암호화했다”는 말은 송신자가 A임을 증명하지 않는다. 누구나 B 공개키를 얻어 암호문을 만들 수 있다. 송신자 인증이 필요하면 별도의 서명 또는 인증된 통신 채널·키 배포 절차를 설계해야 한다.

AES 키를 감쌀 공개키의 진위 확인, 개인키 보관·교체, 암호문 포맷의 버전 관리까지가 실제 시스템의 보안 경계다. RSA+AES라는 이름만으로 구현이 안전해지는 것이 아니다. 세부 알고리즘 계약은 RSA OAEP 규격 RFC 8017과 NIST GCM 권고 SP 800-38D를 기준으로 확인한다.

구체적인 상호운용 포맷에서는 OAEP의 해시와 MGF1 해시(예: 둘 다 SHA-256), GCM의 nonce 길이와 태그 길이, 직렬화 순서까지 양쪽이 합의해야 한다. “OAEP 사용” 한 단어만 맞춰서는 라이브러리별 기본 파라미터가 달라 복호화에 실패할 수 있다. 같은 메시지를 재전송하거나 키를 회전할 때도 이 파라미터와 키 식별자를 해독 가능한 형태로 관리한다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.