外を歩きながら、一般的なVNCアプリ(Screens、RealVNC、Apple標準の画面共有など)でiPhoneからMacに接続したことがあれば、あの感覚に覚えがあるはずです。
5Gの電波は満タンで、スピードテストでは下り200 Mbpsが出ています。それなのにMacのリモートデスクトップはひどく重くなります。指で画面をなぞってもカーソルは0.5秒止まってから飛び、1文字打つのに2秒かかり、画面はぼやけたブロックノイズで崩れます。
数百メガビットの帯域があるのにこうなるのには、はっきりした理由があります。
原因はプロトコルの設計にあります。VNCは1998年に、安定した有線のローカルEthernet向けに作られたもので、今のモバイル回線は想定されていません。この記事では、VNCが5Gで破綻する技術的な理由と、最近のツールがWebRTCを使う理由を説明します。
問題1:TCPのヘッドオブラインブロッキング
従来のVNC実装のほとんどはTCP(Transmission Control Protocol)の上で動いています。
TCPは、zipファイルやWebページのダウンロードのように、データを100%確実に、決まった順番どおりに届けるための仕組みです。すべてのパケットは、送った順番どおりに届く必要があります。パケットが1つでも失われると(モバイル回線では電波干渉や基地局の切り替えで頻繁に起こります)、TCPは再送を行います。
その間、すべてが止まります。失われたパケット101が再要求されて届くまで、受信側はパケット102を処理できません。これをヘッドオブラインブロッキングと呼びます。
リアルタイムの画面配信では、200ミリ秒前にマウスカーソルがどう動いていたかは関係ありません。知りたいのは、カーソルが今どこにあるかだけです。それでもTCPは接続を止めて古いフレームのデータを待つので、UI全体が固まってしまいます。
問題2:矩形タイル圧縮と動画コーデックの違い
VNCプロトコル(RFB)は、Macの画面をピクセルの四角いブロックに分けて扱います。点滅するターミナルのカーソルや開いたメニューなど、画面のどこかが変わると、その矩形をzlibや生のビットマップ画像にエンコードして送ります。
この方式は、今の4Kや5KのRetinaディスプレイではとても効率が悪くなります。Retina画面でウインドウを動かすだけで数百万ピクセルが書き換わり、画像の断片でアップロード回線があふれてしまいます。
WebRTCのような最近の動画プロトコルは、画像の断片を送りません。Apple Siliconのハードウェアエンコーダを使う専用の動画コーデック(H.264やVP8/VP9など)で、動きベクトルと差分のキーフレームだけを送ります。これで必要な帯域を80%以上減らせます。
問題3:動的な輻輳制御がない
モバイル回線の帯域は常に変動しています。街角を曲がっただけで、通信速度が一瞬で150 Mbpsから15 Mbpsに落ちることもあります。
標準的なVNCサーバーは、帯域が落ちたことに気づきません。高解像度のピクセル矩形を送り続けるため、ネットワークのバッファが詰まり、大きな遅延(バッファブロート)が起きます。
WebRTCには、リアルタイムの輻輳制御が組み込まれています。パケットの往復時間(RTCPフィードバック)を常に監視し、5G回線の混雑を検知した瞬間に、目標ビットレートやフレームレートを下げます。そのため映像は固まらず、50ミリ秒未満の遅延で動き続けます。
VNCとWebRTCの比較
| 項目 | 標準的なVNC(Screens / RealVNC) | WebRTC (Macky) |
|---|---|---|
| トランスポート層 | TCP(確実だが、パケット損失時に遅延が大きい) | UDP(順序の制約なし、ヘッドオブラインブロッキングなし) |
| エンコード方式 | 矩形タイル(RFBプロトコル) | ハードウェア動画コーデック(H.264/VP9) |
| 輻輳への対応 | 固定、または反応の遅い手動の画質スライダー | リアルタイムでビットレートを自動調整 |
| 5Gでの遅延 | 150〜600ms以上(頻繁に止まる) | 50ms未満(リアルタイムに反応) |
| NATとファイアウォールの通過 | ポート開放か補助デーモンが必要 | ICE / STUN / TURNで自動的に通過 |
Mackyはモバイル回線の問題をどう解決しているか
Mackyを設計するとき、私たちは旧来のVNCを一切使わないことにしました。
Mackyは、macOS標準のScreenCaptureKitフレームワークとWebRTCを組み合わせています。画面はハードウェアでエンコードするのでCPU負荷はわずかです。映像はDTLS-SRTPで暗号化され、UDPでiPhoneに直接届きます。
ターミナルコマンドを実行したり、AIエージェントの様子を見たりするだけなら、Mackyは映像を使いません。暗号化されたWebRTCデータチャネルでテキストだけを送り、応答時間は30ミリ秒未満です。