언어
2026년 10월 4일읽는 시간 6분

VNC가 5G에서 느린 이유: VNC와 WebRTC의 기술적 차이

밖에서 걸으면서 일반 VNC 앱(Screens, RealVNC, Apple 기본 화면 공유 등)으로 iPhone에서 Mac에 접속해 본 적이 있다면 그 느낌을 아실 겁니다.

5G 신호는 꽉 차 있고 속도 측정에서는 다운로드 200Mbps가 나옵니다. 그런데도 Mac 원격 데스크톱은 느리게 기어갑니다. 손가락으로 화면을 끌면 커서가 0.5초 멈췄다가 튀고, 글자 하나 입력하는 데 2초가 걸리고, 화면은 흐릿한 픽셀 깨짐으로 뭉개집니다.

수백 메가비트의 대역폭이 있는데도 이런 일이 생기는 데는 분명한 이유가 있습니다.

원인은 프로토콜 구조에 있습니다. VNC는 1998년에 안정적인 유선 로컬 이더넷용으로 설계되었고, 지금의 셀룰러 네트워크는 고려 대상이 아니었습니다. 이 글에서는 VNC가 5G에서 무너지는 기술적인 이유와, 요즘 도구들이 WebRTC를 쓰는 이유를 설명합니다.

문제 1: TCP 헤드 오브 라인 블로킹

기존 VNC 구현은 거의 모두 TCP(Transmission Control Protocol) 위에서 동작합니다.

TCP는 zip 파일이나 웹페이지를 내려받을 때처럼 데이터를 100% 확실하게, 정해진 순서대로 전달하도록 설계되었습니다. 모든 패킷은 보낸 순서 그대로 도착해야 합니다. 패킷 하나라도 유실되면(셀룰러에서는 전파 간섭이나 기지국 전환 때문에 늘 일어납니다) TCP는 재전송을 합니다.

그동안 모든 것이 멈춥니다. 유실된 101번 패킷을 다시 요청해서 받기 전까지 수신 측은 102번 패킷을 처리할 수 없습니다. 이를 헤드 오브 라인 블로킹이라고 합니다.

실시간 화면 스트리밍에서는 200밀리초 전 마우스 커서의 움직임은 중요하지 않습니다. 중요한 건 커서가 지금 어디 있느냐뿐입니다. 하지만 TCP는 연결을 멈추고 지난 프레임 데이터를 기다리게 하므로 UI 전체가 멈춥니다.

문제 2: 사각형 타일 압축과 비디오 코덱의 차이

VNC 프로토콜(RFB)은 Mac 화면을 사각형 픽셀 블록으로 나눕니다. 깜박이는 터미널 커서나 열린 메뉴처럼 화면에 변화가 생기면, 그 사각형을 zlib 또는 원본 비트맵 이미지로 인코딩해 전송합니다.

이 방식은 요즘의 4K, 5K Retina 디스플레이에서 매우 비효율적입니다. Retina 화면에서 창 하나만 옮겨도 수백만 픽셀이 바뀌고, 이미지 조각이 업로드 회선을 가득 채웁니다.

WebRTC 같은 최신 영상 프로토콜은 이미지 조각을 보내지 않습니다. Apple Silicon 하드웨어 인코더를 쓰는 전용 비디오 코덱(H.264, VP8/VP9 등)으로 움직임 벡터와 차분 키프레임만 보냅니다. 그 결과 필요한 대역폭이 80% 넘게 줄어듭니다.

문제 3: 동적 혼잡 제어가 없음

셀룰러 대역폭은 계속 바뀝니다. 길모퉁이 하나만 돌아도 속도가 순식간에 150Mbps에서 15Mbps로 떨어질 수 있습니다.

일반 VNC 서버는 대역폭이 떨어진 걸 알지 못합니다. 고해상도 픽셀 사각형을 계속 보내기 때문에 네트워크 버퍼가 가득 차고, 심한 지연(버퍼블로트)이 생깁니다.

WebRTC에는 실시간 혼잡 제어가 내장되어 있습니다. 패킷 왕복 시간(RTCP 피드백)을 계속 확인하다가, 5G 연결에 혼잡이 생기는 순간 목표 비트레이트나 프레임 레이트를 낮춥니다. 그래서 화면이 멈추지 않고 50ms 미만의 지연으로 계속 움직입니다.

비교: VNC와 WebRTC

항목일반 VNC (Screens / RealVNC)WebRTC (Macky)
전송 계층TCP (안정적이지만 패킷 유실 시 지연이 큼)UDP (순서 강제 없음, 헤드 오브 라인 블로킹 없음)
인코딩 방식사각형 타일 (RFB 프로토콜)하드웨어 비디오 코덱 (H.264/VP9)
혼잡 대응고정 또는 느린 수동 화질 조절실시간 자동 비트레이트 조절
5G 지연 시간150~600ms 이상 (자주 멈춤)50ms 미만 (실시간 반응)
NAT 및 방화벽 통과포트 개방이나 보조 데몬 필요ICE / STUN / TURN으로 자동 통과

Macky가 셀룰러 문제를 해결하는 방법

Macky를 설계할 때 저희는 기존 VNC를 아예 쓰지 않았습니다.

Macky는 macOS 기본 프레임워크인 ScreenCaptureKit과 WebRTC 전송을 함께 씁니다. 화면을 하드웨어로 인코딩해 CPU 부담이 거의 없고, 스트림을 DTLS-SRTP로 암호화해 UDP로 iPhone에 직접 보냅니다.

터미널 명령만 실행하거나 AI 에이전트를 지켜보기만 할 때는 영상을 아예 쓰지 않습니다. 암호화된 WebRTC 데이터 채널로 텍스트만 보내며, 응답 시간은 30ms 미만입니다.

Macky 시작하기

iPhone에서 Mac 터미널로 즉시 연결하세요.