Feature: WebSocket transport for clients behind restricted outbound ports #5

Merged
yuanyuanxiang merged 5 commits from ws_tls into main 2026-10-30 18:49:52 +00:00
Owner

背景

客户端的出站端口被限制在 80 / 443 / 8080,而这些端口已被别的应用占用,主控端口(如 6543)不可达。本分支让客户端把应用字节流套进 WebSocket 帧,经已有 nginx 443 反代接入主控,nginx 侧只需增加一个 server 块或 location。

设计文档:docs/WebSocket_Transport_Design.md

三个提交

  1. d4f312c Tunnel the device protocol through a reverse proxy over WebSocket
    • 新增 client/WsChannel.h(头文件实现,各平台工程文件无需改动):握手、掩码发送、流式接收、ping/pong、并发写串行化。
    • common/commands.h 新增 PROTO_WS(5) / PROTO_WSS(6),PROTO_HTTPS 5 → 7。
    • Go 服务端 server/go/server/ws.go + ws_test.go;MFC 服务端 ServerWsSession.{h,cpp}。
  2. cc891e3 Sniff WebSocket upgrades on the MFC server's device port
    • MFC 设备端口支持「明文 / TLS / WS」多级嗅探,保证同一 地址:端口 既能吃明文 WS 也能吃 TLS。
  3. 99db28e Let the operator switch a live client's transport from the online list
    • 在线列表菜单可对活动客户端切换传输方式,配合 COMMAND_TLS_ENABLE/DISABLE 热重载信任锚。

关键设计点

  • 不换信任锚,靠 SNI 分流:客户端证书校验仍是钉死信任锚(Windows CertCreateCertificateChainEngine + hExclusiveRoot;Linux SSL_VERIFY_PEER + 自定义 X509_STORE,均不校主机名),因此给 nginx 一个独立 server_name(如 ws.xxx.com)并挂主控自己的证书。
  • fail-closed:有锚时 TLS/证书/WS 握手任一失败即断开;只有「本机根本没有锚」才回退明文 WS。
  • 协议边界不变:WS 只是外层多一层帧,Shine/HELL 头、XOR、zstd、HTTP 伪装层原样保留。

测试

  • Go 侧新增 ws_test.go(407 行)覆盖握手、分帧、跨帧包边界、ping/pong、并发写。
  • 设计文档称已本地验证(v1.0)。

审查关注

  • PROTO_HTTPS 由 5 改为 7 的兼容性影响。
  • WsChannel.h 的掩码/分帧正确性与并发写路径。
  • MFC 嗅探逻辑对既有 TLS / 明文连接的影响。
  • 热切换(COMMAND_TLS_ENABLE)期间断连重连的竞态。
## 背景 客户端的出站端口被限制在 80 / 443 / 8080,而这些端口已被别的应用占用,主控端口(如 6543)不可达。本分支让客户端把应用字节流套进 WebSocket 帧,经已有 nginx 443 反代接入主控,nginx 侧只需增加一个 `server` 块或 `location`。 设计文档:`docs/WebSocket_Transport_Design.md` ## 三个提交 1. `d4f312c` Tunnel the device protocol through a reverse proxy over WebSocket - 新增 `client/WsChannel.h`(头文件实现,各平台工程文件无需改动):握手、掩码发送、流式接收、ping/pong、并发写串行化。 - `common/commands.h` 新增 `PROTO_WS`(5) / `PROTO_WSS`(6),`PROTO_HTTPS` 5 → 7。 - Go 服务端 `server/go/server/ws.go` + `ws_test.go`;MFC 服务端 `ServerWsSession.{h,cpp}`。 2. `cc891e3` Sniff WebSocket upgrades on the MFC server's device port - MFC 设备端口支持「明文 / TLS / WS」多级嗅探,保证同一 `地址:端口` 既能吃明文 WS 也能吃 TLS。 3. `99db28e` Let the operator switch a live client's transport from the online list - 在线列表菜单可对活动客户端切换传输方式,配合 `COMMAND_TLS_ENABLE/DISABLE` 热重载信任锚。 ## 关键设计点 - **不换信任锚,靠 SNI 分流**:客户端证书校验仍是钉死信任锚(Windows `CertCreateCertificateChainEngine` + `hExclusiveRoot`;Linux `SSL_VERIFY_PEER` + 自定义 `X509_STORE`,均不校主机名),因此给 nginx 一个独立 `server_name`(如 `ws.xxx.com`)并挂主控自己的证书。 - **fail-closed**:有锚时 TLS/证书/WS 握手任一失败即断开;只有「本机根本没有锚」才回退明文 WS。 - **协议边界不变**:WS 只是外层多一层帧,Shine/HELL 头、XOR、zstd、HTTP 伪装层原样保留。 ## 测试 - Go 侧新增 `ws_test.go`(407 行)覆盖握手、分帧、跨帧包边界、ping/pong、并发写。 - 设计文档称已本地验证(v1.0)。 ## 审查关注 - `PROTO_HTTPS` 由 5 改为 7 的兼容性影响。 - `WsChannel.h` 的掩码/分帧正确性与并发写路径。 - MFC 嗅探逻辑对既有 TLS / 明文连接的影响。 - 热切换(`COMMAND_TLS_ENABLE`)期间断连重连的竞态。
yuanyuanxiang added 3 commits 2026-10-30 16:30:16 +00:00
yuanyuanxiang left a comment
Author
Owner

审查结论:功能完整,但有 3 处必须修复

先说验证情况,再说问题。

已验证

  • server/go:go build ./... 通过,go test ./... 全绿;TestWebSocketUpgradeAndTunnel / PingPongAndClose / LargeFrameStreams / RejectsBadHandshake(4 子用例)/ WSForwardedIP(9 子用例)/ ReadWSLineBounded 均通过。server_test.go 是新增用例,未放宽既有断言。
  • ServerDll(客户端 DLL,Release x64):编译并链接通过。
  • Yama(MFC 服务端,Release x64):全部源文件编译通过(ServerWsSession.obj 已生成),仅链接报 LNK1104: cannot open Bin\Yama_x64.exe——本机有运行中的 Yama_x64.exe(PID 27440)占用产物,属环境问题。合入前请在无实例运行时补一次完整链接。
  • 设计文档与代码基本一致:§4.1 两段式限流、§4.2 分层嗅探、§9 入口覆盖都能对上实现。

必须修复

1. 客户端 WS 握手没有超时,StartClient 线程可能永久阻塞

ConnectServer 全程阻塞,socket 只设了 TCP_NODELAY / SO_KEEPALIVE,没有 SO_RCVTIMEO / SO_SNDTIMEO。WsChannel::Handshake 逐字节读 101 响应,若对端接受 TCP 却迟迟不回(反代上游黑洞、中间设备只收不发),recv 会一直阻塞,整个重连循环停摆,只能重启进程恢复。服务端两个握手线程都设了 15 s 超时,客户端侧这个不对称需要补上(握手前置超时、握手后清零,别影响后续阻塞收包)。

2. MFC 服务端每 IP 限流与反代部署不兼容,可能导致全体客户端被封禁

限流在 accept 时按 getpeername 的地址计数(RecordConnection),而 SetPeerName(fwd) 发生在 WS 握手线程里、晚于该检查,补救不了。两种部署都不安全:

  • 反代同机 → 对端是 127.0.0.1,IPWhitelist::IsWhitelisted 对回环恒为 true → 限流与封禁对 WS 流量完全失效;
  • 反代异机 → 所有设备共用反代 IP,BanMaxConn=15/60 s 一旦触发就封 1 小时 → 全体设备同时失联。

Go 端已正确处理(limitDirectPeer 豁免可信代理、再按上报真实 IP 计数),MFC 端没有对应处理。§8 写成「没有两段式细分,沿用既有的按连接数计」低估了实际后果——回环那条不是「按连接数计」,而是根本不计数。建议至少做到:可信代理地址豁免直连计数,并在 WS 升级后按真实 IP 单独计数。

3. ConfirmProtoSwitch 用「连接建立」当「登录成功」,自动回退可能永远不触发

StartClient 里是 if (ClientObject->IsConnected()) ConfirmProtoSwitch(cfg);,这只代表 TCP + TLS + WS 握手完成,不代表登录被接受。若新入口能完成握手但服务端始终不认这次登录(选错后端、反代指到别的 WS 服务、服务端登录阶段静默丢弃),entry_try_at 会被清零,5 分钟自动回退永久失效,客户端卡在错误入口反复重连。§9 文档写的是「登录成功后清零」,与代码不符。判据建议改为「收到服务端首个业务包 / 进入在线状态」,或退一步用「连接保持 N 秒且收到过数据」。

建议修复

  • StartWsHandshake 在 CreateThread 失败时缺 delete p(TlsHandshakeThreadProc 同款问题,新代码复制了过来)。
  • OnClientReceiving 里 WS_Handshaking 的 fail-closed 判断放在 TLS_Ready 分支之后,对 WSS 不生效(WSS 握手期间 tlsState 已是 TLS_Ready,会先走解密分支再进 DispatchPlain)。建议提到函数开头。
  • WsChannel::WriteFrame 的掩码用未播种的 rand(),且在 m_sendMtx 之外生成。掩码不承担安全职责,但 RFC 6455 §5.3 要求强熵源,且 HttpMask 构造函数里的 srand(time(nullptr)) 会重置全局序列。建议换局部 PRNG 或至少移进锁内。
  • m_useWs / m_ready 在收发线程间无同步读写(Disconnect 从接收线程写、SendTo 从发送线程读)。x86 上实践无害,但形式上与既有 m_useTls 同类,值得一并标注。
  • OnClientPreSending / SendWsReplies 的 wsReady 要求 ws->IsOpen();若 wsState 仍为 WS_Ready 但会话已关,应用字节会不加帧直接发出,对端解帧错位。建议此时直接丢弃或断连,而不是降级为裸发送。

备注

  • PROTO_HTTPS 由 5 改为 7、5 让给 PROTO_WS。生成界面确实从未提供 HTTPS,风险很低,但这是协议号复用,建议在文档里明确「任何历史落盘的 proto=5 从此按 WS 解释」。
  • ProtoSwitchPacket::certLen 未做字节序转换;当前服务端与 Windows 客户端同为小端无影响,将来若有 ARM64 客户端需注意。
  • 试用模式的 WAN 入站检测(m_bTrialMode && !IsPrivateIPv4Str(clientIP))在 accept 时判定,经反代接入时 clientIP 是反代地址(回环或内网),该合规检查会被绕过;XFF 要到 WS 握手线程才应用。若这是合规要求,需单独评估。
  • MFC DispatchPlain 对明文首包引入「攒够 6 字节才解析」的行为变更。当前首包是登录包(远大于 6 字节),风险低,但属既有路径的行为改变,建议文档点一句。
  • GetPeerName(SOCKET) 只走 sockaddr_in(IPv4),所以 IsLoopbackPeer 里的 ::1 / ::ffff:127.0.0.1 分支目前是死代码;将来若监听 IPv6,转发头信任会静默失效。
  • Go 侧 wrapWebSocket 的 Peek 在 ReadTimeout == 0 时无上限阻塞,慢速连接可长期占住 goroutine 与限流槽(槽在连接结束时才释放)。属既有 sniff 模式的延续,WS 又加了一个阻塞点。
  • 客户端不校验 Sec-WebSocket-Accept(设计上由 TLS + 隧道内登录承担)。明文 PROTO_WS 下这意味着中间人可伪造 101 接管字节流——文档已说「裸 WS 只适合内网」,建议把「不校验 Accept」也写明。
  • tlsPreClassify 现在同时承担 ClientHello 嗅探和 WS 前缀嗅探,名字与注释已偏离实际用途,建议改名或补注释。

做得好的地方

  • Go 端把「直连对端」与「反代后的设备」分两段限流,并在 handleConnection 里按真实 IP 重新计数,做法正确。
  • WsChannel 把整帧(头 + 掩码载荷)在一次 SendAll 里写出,并解释「头体分两次写会互相穿插」——细节抓得准。
  • IsLoopbackPeer 才采信 XFF、只取最后一段、只接受 IP 字面量,防伪造三道关都做了。
  • fail-closed 的取舍(有锚必须 TLS、只有「根本没有锚」才回退明文)解释清楚,也是唯一能防降级的判据。
## 审查结论:功能完整,但有 3 处必须修复 先说验证情况,再说问题。 ### 已验证 - `server/go`:`go build ./...` 通过,`go test ./...` 全绿;`TestWebSocketUpgradeAndTunnel` / `PingPongAndClose` / `LargeFrameStreams` / `RejectsBadHandshake`(4 子用例)/ `WSForwardedIP`(9 子用例)/ `ReadWSLineBounded` 均通过。`server_test.go` 是**新增**用例,未放宽既有断言。 - `ServerDll`(客户端 DLL,Release x64):编译并链接通过。 - `Yama`(MFC 服务端,Release x64):**全部源文件编译通过**(`ServerWsSession.obj` 已生成),仅链接报 `LNK1104: cannot open Bin\Yama_x64.exe`——本机有运行中的 `Yama_x64.exe`(PID 27440)占用产物,属环境问题。合入前请在无实例运行时补一次完整链接。 - 设计文档与代码基本一致:§4.1 两段式限流、§4.2 分层嗅探、§9 入口覆盖都能对上实现。 ### 必须修复 **1. 客户端 WS 握手没有超时,`StartClient` 线程可能永久阻塞** `ConnectServer` 全程阻塞,socket 只设了 `TCP_NODELAY` / `SO_KEEPALIVE`,**没有 `SO_RCVTIMEO` / `SO_SNDTIMEO`**。`WsChannel::Handshake` 逐字节读 101 响应,若对端接受 TCP 却迟迟不回(反代上游黑洞、中间设备只收不发),`recv` 会一直阻塞,整个重连循环停摆,只能重启进程恢复。服务端两个握手线程都设了 15 s 超时,客户端侧这个不对称需要补上(握手前置超时、握手后清零,别影响后续阻塞收包)。 **2. MFC 服务端每 IP 限流与反代部署不兼容,可能导致全体客户端被封禁** 限流在 accept 时按 `getpeername` 的地址计数(`RecordConnection`),而 `SetPeerName(fwd)` 发生在 WS 握手线程里、**晚于**该检查,补救不了。两种部署都不安全: - 反代同机 → 对端是 `127.0.0.1`,`IPWhitelist::IsWhitelisted` 对回环**恒为 true** → 限流与封禁对 WS 流量**完全失效**; - 反代异机 → 所有设备共用反代 IP,`BanMaxConn=15`/60 s 一旦触发就封 1 小时 → **全体设备同时失联**。 Go 端已正确处理(`limitDirectPeer` 豁免可信代理、再按上报真实 IP 计数),MFC 端没有对应处理。§8 写成「没有两段式细分,沿用既有的按连接数计」低估了实际后果——回环那条不是「按连接数计」,而是根本不计数。建议至少做到:可信代理地址豁免直连计数,并在 WS 升级后按真实 IP 单独计数。 **3. `ConfirmProtoSwitch` 用「连接建立」当「登录成功」,自动回退可能永远不触发** `StartClient` 里是 `if (ClientObject->IsConnected()) ConfirmProtoSwitch(cfg);`,这只代表 TCP + TLS + WS 握手完成,不代表登录被接受。若新入口能完成握手但服务端始终不认这次登录(选错后端、反代指到别的 WS 服务、服务端登录阶段静默丢弃),`entry_try_at` 会被清零,5 分钟自动回退**永久失效**,客户端卡在错误入口反复重连。§9 文档写的是「登录成功后清零」,与代码不符。判据建议改为「收到服务端首个业务包 / 进入在线状态」,或退一步用「连接保持 N 秒且收到过数据」。 ### 建议修复 - `StartWsHandshake` 在 `CreateThread` 失败时缺 `delete p`(`TlsHandshakeThreadProc` 同款问题,新代码复制了过来)。 - `OnClientReceiving` 里 `WS_Handshaking` 的 fail-closed 判断放在 `TLS_Ready` 分支**之后**,对 WSS 不生效(WSS 握手期间 `tlsState` 已是 `TLS_Ready`,会先走解密分支再进 `DispatchPlain`)。建议提到函数开头。 - `WsChannel::WriteFrame` 的掩码用未播种的 `rand()`,且在 `m_sendMtx` 之外生成。掩码不承担安全职责,但 RFC 6455 §5.3 要求强熵源,且 `HttpMask` 构造函数里的 `srand(time(nullptr))` 会重置全局序列。建议换局部 PRNG 或至少移进锁内。 - `m_useWs` / `m_ready` 在收发线程间无同步读写(`Disconnect` 从接收线程写、`SendTo` 从发送线程读)。x86 上实践无害,但形式上与既有 `m_useTls` 同类,值得一并标注。 - `OnClientPreSending` / `SendWsReplies` 的 `wsReady` 要求 `ws->IsOpen()`;若 `wsState` 仍为 `WS_Ready` 但会话已关,应用字节会**不加帧**直接发出,对端解帧错位。建议此时直接丢弃或断连,而不是降级为裸发送。 ### 备注 - `PROTO_HTTPS` 由 5 改为 7、5 让给 `PROTO_WS`。生成界面确实从未提供 HTTPS,风险很低,但这是**协议号复用**,建议在文档里明确「任何历史落盘的 proto=5 从此按 WS 解释」。 - `ProtoSwitchPacket::certLen` 未做字节序转换;当前服务端与 Windows 客户端同为小端无影响,将来若有 ARM64 客户端需注意。 - 试用模式的 WAN 入站检测(`m_bTrialMode && !IsPrivateIPv4Str(clientIP)`)在 accept 时判定,经反代接入时 `clientIP` 是反代地址(回环或内网),该合规检查会被绕过;XFF 要到 WS 握手线程才应用。若这是合规要求,需单独评估。 - MFC `DispatchPlain` 对明文首包引入「攒够 6 字节才解析」的行为变更。当前首包是登录包(远大于 6 字节),风险低,但属既有路径的行为改变,建议文档点一句。 - `GetPeerName(SOCKET)` 只走 `sockaddr_in`(IPv4),所以 `IsLoopbackPeer` 里的 `::1` / `::ffff:127.0.0.1` 分支目前是死代码;将来若监听 IPv6,转发头信任会静默失效。 - Go 侧 `wrapWebSocket` 的 `Peek` 在 `ReadTimeout == 0` 时无上限阻塞,慢速连接可长期占住 goroutine 与限流槽(槽在连接结束时才释放)。属既有 sniff 模式的延续,WS 又加了一个阻塞点。 - 客户端不校验 `Sec-WebSocket-Accept`(设计上由 TLS + 隧道内登录承担)。明文 `PROTO_WS` 下这意味着中间人可伪造 101 接管字节流——文档已说「裸 WS 只适合内网」,建议把「不校验 Accept」也写明。 - `tlsPreClassify` 现在同时承担 ClientHello 嗅探和 WS 前缀嗅探,名字与注释已偏离实际用途,建议改名或补注释。 ### 做得好的地方 - Go 端把「直连对端」与「反代后的设备」分两段限流,并在 `handleConnection` 里按真实 IP 重新计数,做法正确。 - `WsChannel` 把整帧(头 + 掩码载荷)在一次 `SendAll` 里写出,并解释「头体分两次写会互相穿插」——细节抓得准。 - `IsLoopbackPeer` 才采信 XFF、只取最后一段、只接受 IP 字面量,防伪造三道关都做了。 - fail-closed 的取舍(有锚必须 TLS、只有「根本没有锚」才回退明文)解释清楚,也是唯一能防降级的判据。
yuanyuanxiang left a comment
Author
Owner

行级意见(对应总评里的必须修复项与建议项)。

行级意见(对应总评里的必须修复项与建议项)。
@@ -687,1 +818,4 @@
WAIT_n(app.m_bIsRunning(&app)&& ClientObject->IsRunning() && ClientObject->IsConnected(), 10, 200);
// 协议切换:新入口已经打通(登录包发出且连接仍在),撤销自动回退计时
if (ClientObject->IsConnected())
ConfirmProtoSwitch(cfg);
Author
Owner

必须修复 3:IsConnected() ≠ 登录成功。 这里只证明 TCP + TLS + WS 握手完成,服务端尚未处理登录包。若新入口能建连但登录始终不被接受(选错后端 / 反代指到别的 WS 服务 / 服务端登录阶段静默丢弃),entry_try_at 会被清零,5 分钟自动回退永久失效,客户端卡在错误入口反复重连。

§9 文档写的是「登录成功后 ConfirmProtoSwitch 清零」,与这里的实现不符。建议改为「收到服务端首个业务包」或「连接保持 N 秒且收到过数据」再撤销计时。

**必须修复 3:`IsConnected()` ≠ 登录成功。** 这里只证明 TCP + TLS + WS 握手完成,服务端尚未处理登录包。若新入口能建连但登录始终不被接受(选错后端 / 反代指到别的 WS 服务 / 服务端登录阶段静默丢弃),`entry_try_at` 会被清零,5 分钟自动回退**永久失效**,客户端卡在错误入口反复重连。 §9 文档写的是「登录成功后 `ConfirmProtoSwitch` 清零」,与这里的实现不符。建议改为「收到服务端首个业务包」或「连接保持 N 秒且收到过数据」再撤销计时。
@@ -493,0 +537,4 @@
m_ws.SetTls(m_useTls ? &m_tls : NULL);
#endif
std::string werr;
if (!m_ws.Handshake(m_sClientSocket, wsHost, (int)port, WS_UPGRADE_PATH, &werr)) {
Author
Owner

必须修复 1:握手无超时。 这里同步调用 m_ws.Handshake,而 socket 上没有 SO_RCVTIMEO/SO_SNDTIMEO(本函数前面只设了 TCP_NODELAY 与 SO_KEEPALIVE)。Handshake 逐字节 recv 等 101,若对端接受 TCP 却不回数据,recv 会永久阻塞,StartClient 的重连循环整个停摆,只能重启进程。

建议:在 connect() 成功后、握手前 setsockopt(SO_RCVTIMEO/SO_SNDTIMEO, 15s),握手完成后(成功或失败)清零,避免影响后续阻塞收包。服务端两个握手线程都设了 15 s,客户端这里缺同一道保护。

**必须修复 1:握手无超时。** 这里同步调用 `m_ws.Handshake`,而 socket 上没有 `SO_RCVTIMEO`/`SO_SNDTIMEO`(本函数前面只设了 `TCP_NODELAY` 与 `SO_KEEPALIVE`)。`Handshake` 逐字节 `recv` 等 101,若对端接受 TCP 却不回数据,`recv` 会永久阻塞,`StartClient` 的重连循环整个停摆,只能重启进程。 建议:在 `connect()` 成功后、握手前 `setsockopt(SO_RCVTIMEO/SO_SNDTIMEO, 15s)`,握手完成后(成功或失败)清零,避免影响后续阻塞收包。服务端两个握手线程都设了 15 s,客户端这里缺同一道保护。
@@ -872,0 +946,4 @@
std::string certPem((const char*)szBuffer + 1 + sizeof(ProtoSwitchPacket), certLen);
m_cfg->SetStr("settings", "tls_cert", certPem);
std::string err;
if (!TlsReload(err))
Author
Owner

这里 TlsReload 失败只打日志,随后仍然把入口切到 WSS 并断连。如果下发的 PEM 加载不了,客户端会进入 TlsLoadError() 的 fail-closed 状态——新入口连不上,只能等 5 分钟自动回退(而且受总评第 3 条影响,回退还可能被提前撤销)。

建议:TlsReload 失败时放弃本次切换(不写 proto_override/entry_*,不断连),直接把失败原因回报给操作端。这比「切过去再等回退」安全得多。

这里 `TlsReload` 失败只打日志,随后仍然把入口切到 WSS 并断连。如果下发的 PEM 加载不了,客户端会进入 `TlsLoadError()` 的 fail-closed 状态——新入口连不上,只能等 5 分钟自动回退(而且受总评第 3 条影响,回退还可能被提前撤销)。 建议:`TlsReload` 失败时**放弃本次切换**(不写 `proto_override`/`entry_*`,不断连),直接把失败原因回报给操作端。这比「切过去再等回退」安全得多。
@@ -0,0 +322,4 @@
unsigned char mask[4];
for (int i = 0; i < 4; i++)
mask[i] = (unsigned char)(rand() & 0xFF);
Author
Owner

掩码用未播种的 rand(),且生成在 m_sendMtx 之外。掩码不承担安全职责,但 RFC 6455 §5.3 要求它来自强熵源;另外 HttpMask 构造函数里有 srand(time(nullptr)),会在同进程内重置全局序列,收发两线程并发取掩码时序列互相干扰。建议换局部 PRNG(或 std::random_device),并移进锁内。

掩码用未播种的 `rand()`,且生成在 `m_sendMtx` 之外。掩码不承担安全职责,但 RFC 6455 §5.3 要求它来自强熵源;另外 `HttpMask` 构造函数里有 `srand(time(nullptr))`,会在同进程内重置全局序列,收发两线程并发取掩码时序列互相干扰。建议换局部 PRNG(或 `std::random_device`),并移进锁内。
@@ -1010,0 +1065,4 @@
if (!fwd.empty()) {
Mprintf("[WS] %s upgraded via reverse proxy, real client %s\n",
ctx->GetPeerName().c_str(), fwd.c_str());
ctx->SetPeerName(fwd);
Author
Owner

必须修复 2:限流按的是反代 IP,不是设备 IP。 SetPeerName(fwd) 在这里才把真实 IP 写回,但 accept 阶段的 IsIPBanned / RecordConnection 早已用 getpeername 的地址执行完,改不回来。

后果分两种部署:

  • 反代同机 → 对端 127.0.0.1,IPWhitelist::IsWhitelisted 对回环恒为 true → WS 流量完全不计数、不封禁;
  • 反代异机 → 所有设备共用反代 IP,BanMaxConn=15/60s 触发后封 1 小时 → 全体设备同时失联。

Go 端用 limitDirectPeer 豁免可信代理、再按上报 IP 计数。MFC 端建议至少:可信代理地址豁免直连计数,并在 wsState 置 WS_Ready 后按真实 IP 单独计数/限流。

**必须修复 2:限流按的是反代 IP,不是设备 IP。** `SetPeerName(fwd)` 在这里才把真实 IP 写回,但 accept 阶段的 `IsIPBanned` / `RecordConnection` 早已用 `getpeername` 的地址执行完,改不回来。 后果分两种部署: - 反代同机 → 对端 `127.0.0.1`,`IPWhitelist::IsWhitelisted` 对回环恒为 true → WS 流量**完全不计数、不封禁**; - 反代异机 → 所有设备共用反代 IP,`BanMaxConn=15`/60s 触发后封 1 小时 → **全体设备同时失联**。 Go 端用 `limitDirectPeer` 豁免可信代理、再按上报 IP 计数。MFC 端建议至少:可信代理地址豁免直连计数,并在 `wsState` 置 `WS_Ready` 后按真实 IP 单独计数/限流。
@@ -1010,0 +1119,4 @@
// 预支引用:升级线程结束时释放。此引用保证升级期间对象不被回收。
ContextObject->IoRefCount.fetch_add(1);
HANDLE h = CreateThread(NULL, 0, WsHandshakeThreadProc, p, 0, NULL);
Author
Owner

CreateThread 失败分支里 p(含其 initial vector)没有释放。TlsHandshakeThreadProc 同款位置也漏,这里是新代码把它复制了过来。补一行 delete p; 即可。

`CreateThread` 失败分支里 `p`(含其 `initial` vector)没有释放。`TlsHandshakeThreadProc` 同款位置也漏,这里是新代码把它复制了过来。补一行 `delete p;` 即可。
@@ -1081,2 +1213,2 @@
// TLS_Handshaking:握手线程独占 socket,正常不应出现 IORead;若出现属异常,fail-closed。
if (st == TLS_Handshaking) {
// TLS_Handshaking / WS_Handshaking:握手线程独占 socket,正常不应出现 IORead;若出现属异常,fail-closed。
if (st == TLS_Handshaking || ContextObject->wsState.load(std::memory_order_acquire) == WS_Handshaking) {
Author
Owner

这道 WS_Handshaking 的 fail-closed 判断位置不对:它排在 TLS_Ready 分支之后。WSS 升级期间 tlsState 已经是 TLS_Ready,一旦真有 IORead 进来,会先走解密分支、再进 DispatchPlain(wsState == WS_Handshaking 在 DispatchPlain 里落到最后的 ParseReceivedData),变成拿 HTTP 字节当业务协议解析,同时与握手线程并发读同一 socket。

当前流程下不会发生(判定为 WS 后不再 PostRecv),但这条守卫对 WSS 实际不起作用。建议把 wsState == WS_Handshaking 的检查提到函数最开头,让它对明文和 TLS 两条路径都生效。

这道 `WS_Handshaking` 的 fail-closed 判断位置不对:它排在 `TLS_Ready` 分支**之后**。WSS 升级期间 `tlsState` 已经是 `TLS_Ready`,一旦真有 IORead 进来,会先走解密分支、再进 `DispatchPlain`(`wsState == WS_Handshaking` 在 `DispatchPlain` 里落到最后的 `ParseReceivedData`),变成拿 HTTP 字节当业务协议解析,同时与握手线程并发读同一 socket。 当前流程下不会发生(判定为 WS 后不再 `PostRecv`),但这条守卫对 WSS 实际不起作用。建议把 `wsState == WS_Handshaking` 的检查提到函数最开头,让它对明文和 TLS 两条路径都生效。
yuanyuanxiang added 1 commit 2026-10-30 17:11:39 +00:00
Three of the findings only bite in deployment. First, the client's TLS and
WebSocket handshakes run synchronously on the reconnect thread with no socket
timeout, so a peer that accepts TCP and then goes quiet (black-holed proxy
upstream, middlebox that only receives) blocks recv() forever and stalls the
reconnect loop until the process is restarted. Set a 15 s SO_RCVTIMEO and
SO_SNDTIMEO for the handshake window - the same value both server handshake
threads use - and clear them once the connection is up so the worker thread's
select plus blocking recv keeps working as before.

Second, per-IP rate limiting counted the getpeername address before the real
device was known. Behind a same-host reverse proxy that address is loopback,
which IPWhitelist always trusts, so WS traffic was neither counted nor banned;
behind a remote proxy every device shares one bucket, and tripping the
threshold disconnected all of them. Count and ban by the forwarded device IP
once the upgrade resolves it, mirroring the Go server's limitDirectPeer and
handleConnection split. Direct connections keep their accept-time count and
are not counted twice.

Third, the protocol switch disarmed its five-minute auto-revert as soon as the
new entry connected, which only proves TCP/TLS/WS handshaking finished. If
login is never accepted there (wrong backend, reverse proxy pointing at some
other WS service), the revert could never fire and the client would keep
retrying a dead entry. Disarm on the first CMD_MASTERSETTING instead, which
the server only sends after adding the host to its online list, and re-check
it on every heartbeat so a late one still counts.

The smaller items came along: free the handshake parameter when CreateThread
fails in both handshake starters, move the WS_Handshaking fail-closed guard
ahead of the TLS branch so it also covers WSS (where tlsState is already
TLS_Ready), generate the frame mask from a per-channel PRNG inside the send
lock instead of an unseeded global rand(), make the transport flags and the WS
session's ready flag atomic, drop rather than send unframed application bytes
when a WS session has closed, and abort a protocol switch whose PEM fails to
load instead of moving to an entry that cannot connect.

The Go server now bounds the upgrade sniff even when ReadTimeout is zero, and
the design doc records the two-stage limiter, the login-based disarm and the
review items that stay as known limits.

The protocol switch's input prompt is cut down to "reverse-proxy entry
(host:port)" - the label static is only 81 dialog units wide, and the old
sentence ran to roughly three times that.

The three language files follow: en_US and zh_TW gain the shortened prompt and drop
the long key it replaced, the German file gains the protocol-switch block it never
had, and its WebSocket tip key is corrected - it had picked up a Go-server clause
the source string never carried, so the tip was never translated at all.

Co-Authored-By: deepseek-flash
yuanyuanxiang left a comment
Author
Owner

二次审查:修复提交已核对通过,客户端跨平台与几处边界仍有问题

这次只审 50a489e(修复提交)和它周边,重点放在客户端稳定性与既有路径是否被改动影响。

修复提交逐条核对(10/10 落地)

  1. 握手超时 — hsTmoSet 在 connect 成功后设 15 s,成功路径在 m_bConnected = TRUE 之前清零,失败路径 socket 已关闭无需清零。Windows 的 DWORD 0 与 POSIX 的 timeval{0,0} 都表示无限等待,恢复默认语义正确。
  2. 两段式限流 — RecordConnection(fwd) 有 m_BanLock 保护(已确认),fwd 为空时走 accept 阶段原计数、不重复计。与 Go 端 limitDirectPeer / handleConnection 同构。
  3. 登录确认 — IsLoginAcked() 在 CMD_MASTERSETTING 置位、ConnectServer 开头清零、心跳循环每轮复查。比 IsConnected() 正确,且不会因 MasterSettings 晚到而漏判。
  4. 其余 7 项(CreateThread 失败 delete p 两处、WS_Handshaking 守卫提到函数开头覆盖 WSS、掩码改 xorshift64 + 锁内、m_useWs/m_ready 原子化、WS 会话关闭时丢弃而非裸发、TlsReload 失败放弃切换)均正确落地。

既有功能未被破坏(逐项验证过)

  • HTTP 伪装层不冲突:HttpMask::Mask 的首包是 POST ,WS 嗅探只认 GET ,两者不会互相误判。
  • 客户端首包不会误判:LOGIN_INFOR 首字段是 bToken = TOKEN_LOGIN = 102(0x66 'f'),不是 'G',"GET " 判定不会命中登录包。
  • -2 返回值约定一致:OnClientReceiving 内部已 IoRefCount.fetch_sub + RemoveStaleContext,调用方见 -2 不再递减,不存在双重递减。
  • 既有 TLS 路径行为不变:sni 为 NULL 时 InitializeSecurityContextA 的 pszTargetName 仍是 NULL,与改动前完全一致;SCH_CRED_MANUAL_CRED_VALIDATION 保证传了 SNI 也不会启用主机名校验。
  • LoadTrustAnchor 无泄漏:所有失败路径都正确 CertCloseStore + CertFreeCertificateContext,TlsReload 反复调用不会累积泄漏。

新发现

1. Linux / macOS 客户端上 WS 完全不可用,而且静默失败

linux/main.cpp:1380 是 new IOCPClient(g_bExit, false),macos/main.mm:943 同样不传 conn,所以 m_conn == NULL → ConnectServer 里 protoType 恒为 -1 → wsProto 恒为 false。

结果:即便把 g_SETTINGS.protoType 改成 PROTO_WS/PROTO_WSS(该文件目前用 4 字段初始化,protoType 是 0),客户端也会静默走明文 TCP 直连主控端口,日志里一个字都没有。而 CLIENT_CAP_PROTO_SWITCH 只在 _WIN32 声明,服务端也不会给它们发切换命令,远程救不回来。

Windows 是主路径,所以这不是阻断项;但它是「改配置却毫无反应」的陷阱。建议至少二选一:m_conn 为空时回退读全局配置,或在 protoType == -1 且非 Windows 时打一行日志说明该平台不走 WS。

2. ApplyProtoSwitch 的返回值与副作用不一致

「新入口超时」分支会改写 settings(换成 prev_* 入口)然后 return false,而调用方完全忽略返回值。返回值语义从「是否用了覆盖入口」变成了「是否还该继续用覆盖入口」,但副作用照样发生,读代码的人很容易误判。建议改 void 或把返回值去掉。

3. DispatchPlain 的 6 字节攒包改变了既有明文路径

原来 TLS_Plain 是收到多少解析多少,现在 WS_Undecided 阶段先攒进 tlsPreClassify、不足 6 字节就 return 1。登录包远大于 6 字节,实际不会触发;但这是既有路径的行为变更,且 tlsPreClassify 现在被 TLS 嗅探和 WS 嗅探两个状态机串行复用(TLS 判定完 move 走再 clear,WS 又塞回来),语义已经和名字脱节。建议给 WS 单独一个缓冲,或至少在注释里点明这段是串行复用。

4. WS 会话关闭后只丢发送、不推进收尾

OnClientPreSending 在 wsState == WS_Ready 但 !IsOpen() 时 return FALSE 丢弃本次发送,注释说「由接收路径的 RemoveStaleContext 收尾」。但如果对端发完 close 就不再发任何数据,接收路径永远不触发,连接会挂到 keepalive 超时(3 分钟)才回收。建议在这里直接 RemoveStaleContext 或标记状态让接收循环尽快退出。

5. 生成界面的下拉 index 与 protoType 是隐式强耦合

InsertStringL(index, text) 的第一参数是插入位置(InsertString),g_ConnectAddress.protoType = m_ComboProto.GetCurSel() 拿的是 index。这次新增的 PROTO_WS=5、PROTO_WSS=6 恰好落在第 6、7 个位置,所以对得上——纯属巧合。将来任何人在中间插一项,后续全部静默错配,且不会报错。建议改用 SetItemData(PROTO_WS) + GetItemData()。

6. WsChannel 的帧长没有上限

ReadHeader 接受 8 字节扩展长度,只拦了符号位(frameLen < 0),所以对端可以声明一个接近 2^63 的帧。客户端是流式读、不会一次分配这么大内存,但这条连接会一直被读下去,直到对端主动关闭。服务端侧对客户端帧有 maxPayload 限制,客户端对服务端帧没有对应上限。建议加一个合理上限(比如 16 MB),超过直接断开。

7. WsChannel::Reset() 与接收线程存在数据竞争

m_ready 已经是原子量,但 m_remaining / m_masked / m_maskPos 不是。Disconnect() 可能在主线程被调用(比如 ApplyTlsAnchorChange 的断连、UI 主动断开),此时接收线程可能正在 Recv 里用 m_remaining。socket 已关闭会让 Recv 尽快返回错误,竞争窗口很小,但形式上仍是不安全读写。建议把 Reset() 限定为只在接收线程调用,或给这几个字段加锁。

8. TlsEnabled() 的加锁面变大

从 call_once 改成 std::mutex 后,每次调用都要 lock/unlock(ConnectServer 每条连接调 2 次,ApplyTlsAnchorChange 调 2 次),影响可忽略。但 VerifyServerCert() 现在持 g_tlsMtx 做整条证书链校验,期间 TlsReload() 会阻塞。如果 CertGetCertificateChain 触发了 CRL/OCSP 网络查询(CERT_CHAIN_REVOCATION_CHECK_* 未显式关闭时可能发生),命令线程会被拖住数秒。建议确认 dwFlags 里没有开吊销检查,或在注释里说明这个阻塞是可接受的。

小结

修复提交质量不错,尤其是「用 CMD_MASTERSETTING 而非 IsConnected() 判定登录」和「先分帧再加密」这两处顺序处理得很干净。上面 8 条里,第 1、4、5 条建议在合入前处理,其余可留作已知限制写进设计文档。

## 二次审查:修复提交已核对通过,客户端跨平台与几处边界仍有问题 这次只审 `50a489e`(修复提交)和它周边,重点放在客户端稳定性与既有路径是否被改动影响。 ### 修复提交逐条核对(10/10 落地) 1. **握手超时** — `hsTmoSet` 在 connect 成功后设 15 s,成功路径在 `m_bConnected = TRUE` 之前清零,失败路径 socket 已关闭无需清零。Windows 的 `DWORD 0` 与 POSIX 的 `timeval{0,0}` 都表示无限等待,恢复默认语义正确。 2. **两段式限流** — `RecordConnection(fwd)` 有 `m_BanLock` 保护(已确认),`fwd` 为空时走 accept 阶段原计数、不重复计。与 Go 端 `limitDirectPeer` / `handleConnection` 同构。 3. **登录确认** — `IsLoginAcked()` 在 `CMD_MASTERSETTING` 置位、`ConnectServer` 开头清零、心跳循环每轮复查。比 `IsConnected()` 正确,且不会因 MasterSettings 晚到而漏判。 4. 其余 7 项(`CreateThread` 失败 `delete p` 两处、`WS_Handshaking` 守卫提到函数开头覆盖 WSS、掩码改 xorshift64 + 锁内、`m_useWs`/`m_ready` 原子化、WS 会话关闭时丢弃而非裸发、`TlsReload` 失败放弃切换)均正确落地。 ### 既有功能未被破坏(逐项验证过) - **HTTP 伪装层不冲突**:`HttpMask::Mask` 的首包是 `POST `,WS 嗅探只认 `GET `,两者不会互相误判。 - **客户端首包不会误判**:`LOGIN_INFOR` 首字段是 `bToken = TOKEN_LOGIN = 102`(0x66 `'f'`),不是 `'G'`,`"GET "` 判定不会命中登录包。 - **`-2` 返回值约定一致**:`OnClientReceiving` 内部已 `IoRefCount.fetch_sub` + `RemoveStaleContext`,调用方见 `-2` 不再递减,不存在双重递减。 - **既有 TLS 路径行为不变**:`sni` 为 NULL 时 `InitializeSecurityContextA` 的 `pszTargetName` 仍是 NULL,与改动前完全一致;`SCH_CRED_MANUAL_CRED_VALIDATION` 保证传了 SNI 也不会启用主机名校验。 - **`LoadTrustAnchor` 无泄漏**:所有失败路径都正确 `CertCloseStore` + `CertFreeCertificateContext`,`TlsReload` 反复调用不会累积泄漏。 ### 新发现 **1. Linux / macOS 客户端上 WS 完全不可用,而且静默失败** `linux/main.cpp:1380` 是 `new IOCPClient(g_bExit, false)`,`macos/main.mm:943` 同样不传 `conn`,所以 `m_conn == NULL` → `ConnectServer` 里 `protoType` 恒为 `-1` → `wsProto` 恒为 false。 结果:即便把 `g_SETTINGS.protoType` 改成 `PROTO_WS`/`PROTO_WSS`(该文件目前用 4 字段初始化,protoType 是 0),客户端也会静默走明文 TCP 直连主控端口,日志里一个字都没有。而 `CLIENT_CAP_PROTO_SWITCH` 只在 `_WIN32` 声明,服务端也不会给它们发切换命令,远程救不回来。 Windows 是主路径,所以这不是阻断项;但它是「改配置却毫无反应」的陷阱。建议至少二选一:`m_conn` 为空时回退读全局配置,或在 `protoType == -1` 且非 Windows 时打一行日志说明该平台不走 WS。 **2. `ApplyProtoSwitch` 的返回值与副作用不一致** 「新入口超时」分支会改写 `settings`(换成 `prev_*` 入口)然后 `return false`,而调用方完全忽略返回值。返回值语义从「是否用了覆盖入口」变成了「是否还该继续用覆盖入口」,但副作用照样发生,读代码的人很容易误判。建议改 `void` 或把返回值去掉。 **3. `DispatchPlain` 的 6 字节攒包改变了既有明文路径** 原来 `TLS_Plain` 是收到多少解析多少,现在 `WS_Undecided` 阶段先攒进 `tlsPreClassify`、不足 6 字节就 `return 1`。登录包远大于 6 字节,实际不会触发;但这是既有路径的行为变更,且 `tlsPreClassify` 现在被 TLS 嗅探和 WS 嗅探两个状态机串行复用(TLS 判定完 `move` 走再 clear,WS 又塞回来),语义已经和名字脱节。建议给 WS 单独一个缓冲,或至少在注释里点明这段是串行复用。 **4. WS 会话关闭后只丢发送、不推进收尾** `OnClientPreSending` 在 `wsState == WS_Ready` 但 `!IsOpen()` 时 `return FALSE` 丢弃本次发送,注释说「由接收路径的 `RemoveStaleContext` 收尾」。但如果对端发完 close 就不再发任何数据,接收路径永远不触发,连接会挂到 keepalive 超时(3 分钟)才回收。建议在这里直接 `RemoveStaleContext` 或标记状态让接收循环尽快退出。 **5. 生成界面的下拉 index 与 protoType 是隐式强耦合** `InsertStringL(index, text)` 的第一参数是**插入位置**(`InsertString`),`g_ConnectAddress.protoType = m_ComboProto.GetCurSel()` 拿的是 **index**。这次新增的 `PROTO_WS=5`、`PROTO_WSS=6` 恰好落在第 6、7 个位置,所以对得上——纯属巧合。将来任何人在中间插一项,后续全部静默错配,且不会报错。建议改用 `SetItemData(PROTO_WS)` + `GetItemData()`。 **6. `WsChannel` 的帧长没有上限** `ReadHeader` 接受 8 字节扩展长度,只拦了符号位(`frameLen < 0`),所以对端可以声明一个接近 2^63 的帧。客户端是流式读、不会一次分配这么大内存,但这条连接会一直被读下去,直到对端主动关闭。服务端侧对客户端帧有 `maxPayload` 限制,客户端对服务端帧没有对应上限。建议加一个合理上限(比如 16 MB),超过直接断开。 **7. `WsChannel::Reset()` 与接收线程存在数据竞争** `m_ready` 已经是原子量,但 `m_remaining` / `m_masked` / `m_maskPos` 不是。`Disconnect()` 可能在主线程被调用(比如 `ApplyTlsAnchorChange` 的断连、UI 主动断开),此时接收线程可能正在 `Recv` 里用 `m_remaining`。socket 已关闭会让 `Recv` 尽快返回错误,竞争窗口很小,但形式上仍是不安全读写。建议把 `Reset()` 限定为只在接收线程调用,或给这几个字段加锁。 **8. `TlsEnabled()` 的加锁面变大** 从 `call_once` 改成 `std::mutex` 后,每次调用都要 lock/unlock(`ConnectServer` 每条连接调 2 次,`ApplyTlsAnchorChange` 调 2 次),影响可忽略。但 `VerifyServerCert()` 现在**持 `g_tlsMtx` 做整条证书链校验**,期间 `TlsReload()` 会阻塞。如果 `CertGetCertificateChain` 触发了 CRL/OCSP 网络查询(`CERT_CHAIN_REVOCATION_CHECK_*` 未显式关闭时可能发生),命令线程会被拖住数秒。建议确认 `dwFlags` 里没有开吊销检查,或在注释里说明这个阻塞是可接受的。 ### 小结 修复提交质量不错,尤其是「用 `CMD_MASTERSETTING` 而非 `IsConnected()` 判定登录」和「先分帧再加密」这两处顺序处理得很干净。上面 8 条里,第 1、4、5 条建议在合入前处理,其余可留作已知限制写进设计文档。
yuanyuanxiang left a comment
Author
Owner

行级意见(对应总评「新发现」1–7)。

行级意见(对应总评「新发现」1–7)。
@@ -587,0 +686,4 @@
Mprintf("[proto-switch] new entry unreachable and no previous entry, override dropped\n");
}
cfg.SetStr("settings", "entry_try_at", "0");
return false;
Author
Owner

返回值与副作用不一致。 这个分支已经把 s 改成了 prev_* 入口(SetServer + protoType),却 return false;而调用方 ApplyProtoSwitch(cfg, settings); 完全不看返回值。返回值从「是否用了覆盖入口」变成「是否还该继续用覆盖入口」,但副作用照样发生——后面维护的人很容易据此写出错误的分支。

建议改成 void,或在函数头把这两个返回值的含义写清(「返回 false 不代表 settings 未被修改」)。

**返回值与副作用不一致。** 这个分支已经把 `s` 改成了 `prev_*` 入口(`SetServer` + `protoType`),却 `return false`;而调用方 `ApplyProtoSwitch(cfg, settings);` 完全不看返回值。返回值从「是否用了覆盖入口」变成「是否还该继续用覆盖入口」,但副作用照样发生——后面维护的人很容易据此写出错误的分支。 建议改成 `void`,或在函数头把这两个返回值的含义写清(「返回 false 不代表 settings 未被修改」)。
@@ -470,0 +496,4 @@
// WebSocket 传输(PROTO_WS / PROTO_WSS):出站被限制在 80/443/8080 等端口时,经反代
// 分流进来。与应用协议无关,位置和 TLS 相同(TLS 之下、应用协议之上);须在
// m_bConnected 置位前完成,确保工作线程不会在 Upgrade 尚未完成时就开始 recv。
const int protoType = m_conn ? (int)(unsigned char)m_conn->protoType : -1;
Author
Owner

protoType 为 -1 时静默退回明文。 m_conn 为空就取 -1,wsProto/wsTls 均为 false,后面完全跳过 WS 分支,也不会打任何日志。

Windows 的每条构造路径都传了 conn(ClientDll.cpp:104、Common.cpp:76、KernelManager.cpp 全部 new IOCPClient(..., conn, ...)),所以主路径没问题。但 linux/main.cpp:1380 与 macos/main.mm:943 都是 new IOCPClient(g_bExit, false)——m_conn 恒为 NULL。那两个平台即使把 g_SETTINGS.protoType 改成 PROTO_WS/PROTO_WSS,也只会默默走明文 TCP 直连,排查时看不到任何线索。

建议:m_conn 为空时回退读全局配置,或至少在这里加一行 Mprintf 说明「无 conn,传输按明文直连处理」。

**protoType 为 -1 时静默退回明文。** `m_conn` 为空就取 -1,`wsProto`/`wsTls` 均为 false,后面完全跳过 WS 分支,也不会打任何日志。 Windows 的每条构造路径都传了 `conn`(`ClientDll.cpp:104`、`Common.cpp:76`、`KernelManager.cpp` 全部 `new IOCPClient(..., conn, ...)`),所以主路径没问题。但 `linux/main.cpp:1380` 与 `macos/main.mm:943` 都是 `new IOCPClient(g_bExit, false)`——`m_conn` 恒为 NULL。那两个平台即使把 `g_SETTINGS.protoType` 改成 `PROTO_WS`/`PROTO_WSS`,也只会默默走明文 TCP 直连,排查时看不到任何线索。 建议:`m_conn` 为空时回退读全局配置,或至少在这里加一行 `Mprintf` 说明「无 conn,传输按明文直连处理」。
@@ -0,0 +180,4 @@
if (frameLen == 0)
continue;
m_remaining = frameLen;
Author
Owner

帧长没有上限。 ReadHeader 接受 8 字节扩展长度,只拦了符号位(frameLen < 0),所以对端可以声明一个接近 2^63 的帧长。

客户端是流式读(m_remaining 递减、每次最多读 len 字节),不会一次分配这么大内存,所以不是内存耗尽;但这条连接会被一直读下去,直到对端主动关闭或 TCP 超时。服务端 ServerWsSession 对客户端帧有 maxPayload 限制,客户端对服务端帧没有对应上限,两边不对称。

建议加一个合理上限(比如 16 MB,或与客户端单包最大长度对齐),超过直接 return SOCKET_ERROR 断连。

**帧长没有上限。** `ReadHeader` 接受 8 字节扩展长度,只拦了符号位(`frameLen < 0`),所以对端可以声明一个接近 2^63 的帧长。 客户端是流式读(`m_remaining` 递减、每次最多读 `len` 字节),不会一次分配这么大内存,所以不是内存耗尽;但这条连接会被一直读下去,直到对端主动关闭或 TCP 超时。服务端 `ServerWsSession` 对客户端帧有 `maxPayload` 限制,客户端对服务端帧没有对应上限,两边不对称。 建议加一个合理上限(比如 16 MB,或与客户端单包最大长度对齐),超过直接 `return SOCKET_ERROR` 断连。
@@ -841,2 +843,4 @@
m_ComboProto.InsertStringL(PROTO_RANDOM, "随机");
m_ComboProto.InsertStringL(PROTO_KCP, "KCP");
// 序号即 protoType,中间不能有空洞(下方 GetCurSel 直接当协议值用)
m_ComboProto.InsertStringL(PROTO_WS, "WebSocket");
Author
Owner

index 与 protoType 是隐式强耦合,这次恰好对上属于巧合。

InsertStringL(index, text) 展开是 InsertString(index, _TR(text)),第一参数是插入位置,不是 item data。而 g_ConnectAddress.protoType = m_ComboProto.GetCurSel() 取的是 index。所以「序号即 protoType」这个约定成立的前提是:调用顺序必须严格等于枚举值,且中间不能有任何一项被跳过。

PROTO_WS=5、PROTO_WSS=6 正好是第 6、7 个插入项,所以现在对得上。将来若有人在 HTTP 与随机之间插一项(比如恢复 HTTPS),后面所有选项会静默错位,GetCurSel() 会把错的数字写进 protoType,且编译期、运行期都不会报错——生成出来的客户端会连错协议。

建议改用 SetItemData / GetItemData:插入时 SetItemData(idx, PROTO_WS),读取时 GetItemData(GetCurSel())。这样顺序可以随便调。

**index 与 protoType 是隐式强耦合,这次恰好对上属于巧合。** `InsertStringL(index, text)` 展开是 `InsertString(index, _TR(text))`,第一参数是**插入位置**,不是 item data。而 `g_ConnectAddress.protoType = m_ComboProto.GetCurSel()` 取的是 **index**。所以「序号即 protoType」这个约定成立的前提是:调用顺序必须严格等于枚举值,且中间不能有任何一项被跳过。 `PROTO_WS=5`、`PROTO_WSS=6` 正好是第 6、7 个插入项,所以现在对得上。将来若有人在 HTTP 与随机之间插一项(比如恢复 HTTPS),后面所有选项会静默错位,`GetCurSel()` 会把错的数字写进 `protoType`,且编译期、运行期都不会报错——生成出来的客户端会连错协议。 建议改用 `SetItemData` / `GetItemData`:插入时 `SetItemData(idx, PROTO_WS)`,读取时 `GetItemData(GetCurSel())`。这样顺序可以随便调。
@@ -1095,0 +1291,4 @@
if (ws == WS_Undecided) {
ContextObject->tlsPreClassify.insert(ContextObject->tlsPreClassify.end(), data, data + len);
if (ContextObject->tlsPreClassify.size() < 6) {
Author
Owner

6 字节攒包改变了既有明文路径,且复用了 TLS 嗅探的缓冲。

原来 TLS_Plain 是「收到多少解析多少」,现在首包不足 6 字节就攒进 tlsPreClassify 并 return 1。登录包是 LOGIN_INFOR(远超 6 字节,首字节 TOKEN_LOGIN=102),实际不会触发;但这是既有路径的行为变更,值得在设计文档里点一句。

另外 tlsPreClassify 现在被两个状态机串行复用:OnClientReceiving 的 TLS 嗅探用它攒 ClientHello,判定为明文后 move 走再 clear,紧接着这里又把同一批字节塞回去。逻辑上正确(因为中间清空了),但字段名已经完全对不上用途,排查时容易误读。建议给 WS 单独一个缓冲,或至少把字段改名/加注释。

**6 字节攒包改变了既有明文路径,且复用了 TLS 嗅探的缓冲。** 原来 `TLS_Plain` 是「收到多少解析多少」,现在首包不足 6 字节就攒进 `tlsPreClassify` 并 `return 1`。登录包是 `LOGIN_INFOR`(远超 6 字节,首字节 `TOKEN_LOGIN=102`),实际不会触发;但这是既有路径的行为变更,值得在设计文档里点一句。 另外 `tlsPreClassify` 现在被两个状态机串行复用:`OnClientReceiving` 的 TLS 嗅探用它攒 ClientHello,判定为明文后 `move` 走再 `clear`,紧接着这里又把同一批字节塞回去。逻辑上正确(因为中间清空了),但字段名已经完全对不上用途,排查时容易误读。建议给 WS 单独一个缓冲,或至少把字段改名/加注释。
@@ -1168,0 +1441,4 @@
if (wsStateReady && (ContextObject->ws == NULL || !ContextObject->ws->IsOpen())) {
// 升级过 WS 但会话已关(Feed 报错 / 收到 close)而状态还没降级:绝不能把应用字节
// 当裸字节发出去,对端会解帧错位。丢弃本次发送,由接收路径的 RemoveStaleContext 收尾。
Mprintf("[WS] session closed for %s, dropping send\n", ContextObject->GetPeerName().c_str());
Author
Owner

会话已关时只丢发送、不推进收尾。

return FALSE 之后没有任何清理动作,注释说「由接收路径的 RemoveStaleContext 收尾」。但如果对端发完 close 帧就不再发数据(这是 close 之后的正常行为),接收路径永远不会再被唤醒,这个连接会一直挂到 keepalive 超时(keepalivetime = 3 分钟)才回收。多几个这样的连接就白白占着 IOCP 上下文与限流槽。

建议:在这里直接标记 wsState = WS_None 并让接收循环退出,或干脆调 RemoveStaleContext(注意调用方对返回值的处理)。

**会话已关时只丢发送、不推进收尾。** `return FALSE` 之后没有任何清理动作,注释说「由接收路径的 `RemoveStaleContext` 收尾」。但如果对端发完 close 帧就不再发数据(这是 close 之后的正常行为),接收路径永远不会再被唤醒,这个连接会一直挂到 keepalive 超时(`keepalivetime = 3 分钟`)才回收。多几个这样的连接就白白占着 IOCP 上下文与限流槽。 建议:在这里直接标记 `wsState = WS_None` 并让接收循环退出,或干脆调 `RemoveStaleContext`(注意调用方对返回值的处理)。
yuanyuanxiang added 1 commit 2026-10-30 18:15:35 +00:00
The POSIX clients were built without a connection config - Linux, macOS and
Android all construct IOCPClient without the injected CONNECT_ADDRESS - so
ConnectServer saw protoType -1 and quietly dialled the master port in plain
TCP. Setting protoType to WS in their settings did nothing and logged nothing,
and since CLIENT_CAP_PROTO_SWITCH is Windows-only the server could not move
them either. Give the client a SetDefaultProto() for that construction path
and call it from all three mains before the reconnect loop, with a one-shot
log when neither a conn nor a default protocol is available so the silent
fallback becomes visible next time.

Bound what a peer can make the client read. ReadHeader accepted the 8-byte
extended length and rejected only the sign bit, so a frame length of nearly
2^63 kept the connection streaming into a frame that would never end - alive
but never delivering another packet. Cap single frames at 256 MB, the same
value ServerWsSession already applies to client frames, and drop the
connection past it; real traffic is far below that.

Stop Reset() from writing the receive thread's frame state. Disconnect() can
run from the heartbeat or command thread, not just the receive thread, so
Reset() now only flips the atomic ready flag and a new ResetFrames() clears
m_remaining, m_masked and m_maskPos from Handshake() alone, before the
receive thread starts reading the socket. Those fields keep a single owner
without adding a lock to the receive hot path.

Finish a dead WS session instead of leaving it to the keepalive timer. When
the session had closed but wsState was still WS_Ready, sends were dropped and
nothing woke the pending recv, so a peer that closed and then went quiet held
the context for the 3-minute keepalive. shutdown() the socket there so the
recv returns zero bytes and the normal -2 teardown runs; RemoveStaleContext
would deadlock against the caller's own IoRefCount and can hand back a reused
context.

That shutdown only finishes the connection if a zero-byte read still tears it
down, and on the plain path it no longer did. DispatchPlain answers an empty
buffer with "handled", so a peer's FIN left the connection in CLOSE_WAIT
until keepalive - holding an IOCP context, a pending WSARecv and a rate-limit
slot - where the pre-WS code called ParseReceivedData and tore down at once.
Restore that teardown on the TLS_Plain branch, matching the other two. Checked
against a Debug server: a plain socket that half-closes used to sit in
CLOSE_WAIT with the peer's recv timing out, and now disappears immediately
with recv returning zero.

Two smaller cleanups from the same review. Give the WS upgrade its own prefix
buffer (wsPreClassify) instead of borrowing the TLS sniffer's, which was
serially reused for two state machines and read as if it were one. And stop
deriving the build dialog's protoType from the combo box index: items now
carry the protocol value as item data, keyed off the index AddString returns,
so inserting an option in the middle can no longer write the wrong number into
the generated client without any error. ApplyProtoSwitch loses its bool
return, which contradicted its own side effects and was ignored by every
caller.

Co-Authored-By: deepseek-flash
yuanyuanxiang left a comment
Author
Owner

第三次审查:可以合并

逐条核对 46f4bf2,上一轮 8 条全部有响应,另有一个我没发现的真回归被一并修掉。

验证结果

  • 客户端 DLL(Release x64):编译 + 链接通过(x64/Release/ServerDll.dll,19:06 产物,源码 mtime 19:00–19:05 均早于产物,确认是最终代码)。
  • MFC 服务端(Release x64):全部源文件编译通过(BuildDlg.obj / IOCPServer.obj / ServerWsSession.obj 均为本轮 19:21 产物)。仅链接报 LNK1104: cannot open Bin\Yama_x64.exe —— 本机 Yama_x64.exe(PID 27440)占用产物,环境问题。
  • Go 服务端:go build ./... 通过,go test ./... 全绿。

上一轮 8 条的落地情况

# 问题 处理
1 Linux/macOS/Android 上 WS 静默失效 SetDefaultProto() + 三个 main 显式喂入;protoType == -1 时一次性日志
2 ApplyProtoSwitch 返回值矛盾 改 void
3 tlsPreClassify 被两个状态机复用 拆出独立的 wsPreClassify,FreeContext 里一并清
4 WS 会话关闭后不收尾 shutdown(SD_BOTH),让挂起的 recv 返回 0 走正常 -2
5 下拉框 index 与 protoType 耦合 AddStringL + SetItemData / GetItemData
6 帧长无上限 kMaxFramePayload = 256 MB,与服务端同值
7 Reset() 与接收线程竞争 Reset() 只翻 m_ready;帧状态改由 ResetFrames() 在 Handshake() 里清
8 VerifyServerCert 持锁做链校验 已核实 dwFlags 只有 CERT_CHAIN_DISABLE_AIA,无 CERT_CHAIN_REVOCATION_CHECK_*,注释属实

额外修掉的回归(我上轮没抓到)

DispatchPlain 对空 buffer 返回「已处理」,导致 TLS_Plain 分支丢掉 dwTrans == 0 的拆除语义 —— 对端 FIN 后连接停在 CLOSE_WAIT,占着 IOCP 上下文、挂起 WSARecv 和限流槽直到 keepalive(3 分钟)。现在三条分支(TLS_Unclassified / TLS_Ready / TLS_Plain)都有了一致的 dwTrans == 0 收尾。这个比上轮那 8 条影响都大,修得对。

几个我特意验过的点

  • shutdown 而不是 RemoveStaleContext:后者会 while (IoRefCount > 0) Sleep(1) 等 5 秒,而 OnClientPreSending 的调用方往往自己就持着 IoRef —— 自己等自己。选 shutdown 正确。
  • 双重拆除不会撞车:RemoveStaleContext 开头用 m_ContextConnectionList.Find() 做幂等保护,第二次直接 return FALSE,不碰对象。
  • WS close 帧不会被漏掉:ServerWsSession::Feed 对 opcode == 0x8 返回 -1(先 AppendFrame 回显再返回),DispatchWsFrameData 走 r < 0 → FALSE 拆连接。
  • AddStringL 宏存在(LangManager.h:422),SetCurSel(0) 与原来 SetCurSel(PROTO_TCP) 等价。
  • 三平台 g_SETTINGS 都是 4 字段初始化,protoType 为 0(PROTO_TCP),SetDefaultProto(0) 的行为与改动前一致,没有行为漂移。

合入前唯一待办

在无 Yama_x64.exe 运行时补一次完整链接(当前 PID 27440 占用产物)。代码层面没有问题。

残留已知边界(文档 §10 已记录,不阻断)

GetPeerName 只走 IPv4;首包 <6 字节会多等一轮;不校验 Sec-WebSocket-Accept(明文 WS);ProtoSwitchPacket.certLen 无字节序转换;试用模式 WAN 入站检测经反代会被绕过。

结论:代码侧可以合并。 建议合并前把服务端链接补上,然后在无实例环境下按 §8 表跑一遍 P2-1 与 WS 实测。

## 第三次审查:可以合并 逐条核对 `46f4bf2`,上一轮 8 条全部有响应,另有一个我没发现的真回归被一并修掉。 ### 验证结果 - **客户端 DLL**(Release x64):编译 + 链接通过(`x64/Release/ServerDll.dll`,19:06 产物,源码 mtime 19:00–19:05 均早于产物,确认是最终代码)。 - **MFC 服务端**(Release x64):**全部源文件编译通过**(`BuildDlg.obj` / `IOCPServer.obj` / `ServerWsSession.obj` 均为本轮 19:21 产物)。仅链接报 `LNK1104: cannot open Bin\Yama_x64.exe` —— 本机 `Yama_x64.exe`(PID 27440)占用产物,环境问题。 - **Go 服务端**:`go build ./...` 通过,`go test ./...` 全绿。 ### 上一轮 8 条的落地情况 | # | 问题 | 处理 | |---|---|---| | 1 | Linux/macOS/Android 上 WS 静默失效 | `SetDefaultProto()` + 三个 `main` 显式喂入;`protoType == -1` 时一次性日志 | | 2 | `ApplyProtoSwitch` 返回值矛盾 | 改 `void` | | 3 | `tlsPreClassify` 被两个状态机复用 | 拆出独立的 `wsPreClassify`,`FreeContext` 里一并清 | | 4 | WS 会话关闭后不收尾 | `shutdown(SD_BOTH)`,让挂起的 recv 返回 0 走正常 `-2` | | 5 | 下拉框 index 与 protoType 耦合 | `AddStringL` + `SetItemData` / `GetItemData` | | 6 | 帧长无上限 | `kMaxFramePayload = 256 MB`,与服务端同值 | | 7 | `Reset()` 与接收线程竞争 | `Reset()` 只翻 `m_ready`;帧状态改由 `ResetFrames()` 在 `Handshake()` 里清 | | 8 | `VerifyServerCert` 持锁做链校验 | 已核实 `dwFlags` 只有 `CERT_CHAIN_DISABLE_AIA`,无 `CERT_CHAIN_REVOCATION_CHECK_*`,注释属实 | ### 额外修掉的回归(我上轮没抓到) `DispatchPlain` 对空 buffer 返回「已处理」,导致 `TLS_Plain` 分支丢掉 `dwTrans == 0` 的拆除语义 —— 对端 FIN 后连接停在 CLOSE_WAIT,占着 IOCP 上下文、挂起 `WSARecv` 和限流槽直到 keepalive(3 分钟)。现在三条分支(`TLS_Unclassified` / `TLS_Ready` / `TLS_Plain`)都有了一致的 `dwTrans == 0` 收尾。这个比上轮那 8 条影响都大,修得对。 ### 几个我特意验过的点 - `shutdown` 而不是 `RemoveStaleContext`:后者会 `while (IoRefCount > 0) Sleep(1)` 等 5 秒,而 `OnClientPreSending` 的调用方往往自己就持着 IoRef —— 自己等自己。选 `shutdown` 正确。 - 双重拆除不会撞车:`RemoveStaleContext` 开头用 `m_ContextConnectionList.Find()` 做幂等保护,第二次直接 `return FALSE`,不碰对象。 - WS close 帧不会被漏掉:`ServerWsSession::Feed` 对 `opcode == 0x8` 返回 `-1`(先 `AppendFrame` 回显再返回),`DispatchWsFrameData` 走 `r < 0 → FALSE` 拆连接。 - `AddStringL` 宏存在(`LangManager.h:422`),`SetCurSel(0)` 与原来 `SetCurSel(PROTO_TCP)` 等价。 - 三平台 `g_SETTINGS` 都是 4 字段初始化,`protoType` 为 0(`PROTO_TCP`),`SetDefaultProto(0)` 的行为与改动前一致,没有行为漂移。 ### 合入前唯一待办 **在无 `Yama_x64.exe` 运行时补一次完整链接**(当前 PID 27440 占用产物)。代码层面没有问题。 ### 残留已知边界(文档 §10 已记录,不阻断) `GetPeerName` 只走 IPv4;首包 <6 字节会多等一轮;不校验 `Sec-WebSocket-Accept`(明文 WS);`ProtoSwitchPacket.certLen` 无字节序转换;试用模式 WAN 入站检测经反代会被绕过。 **结论:代码侧可以合并。** 建议合并前把服务端链接补上,然后在无实例环境下按 §8 表跑一遍 P2-1 与 WS 实测。
yuanyuanxiang merged commit 46f4bf2dfb into main 2026-10-30 18:49:52 +00:00
yuanyuanxiang deleted branch ws_tls 2026-10-30 18:49:52 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: yuanyuanxiang/SimpleRemoter#5