Fix: React to slow-frame congestion and keep remote audio recoverable #6

Merged
yuanyuanxiang merged 1 commits from fix/slow-frame-congestion-audio-recovery into main 2026-11-08 12:22:36 +00:00
Owner

Summary

  • 慢流量(一帧要数秒)下吞吐判据改用最近 10 秒窗口均值采样,解决 0.x fps 时 1 秒样本为空、判据永远弃权、档位降不下来的问题。
  • 窗口样本只有在「至少 3 帧且分布在 ≥3 个不同秒、最后一帧在 4 秒内、没有任何一秒交付到 0.6 基线」时才作为拥塞证据,避免滚动/停顿/静止桌面被误判成带宽不足。
  • 降档判据与「本机瓶颈探测」共用同一份样本(LoadSample),消除两处交替给出相反结论;升档失败观察窗 20s→40s;换档与采样断档时清空窗口。
  • 客户端 WASAPI:新增「初始化成功但永远不出包」看门狗,仅在端点有活动会话却无数据、或默认输出设备已切换时重建捕获;空闲端点只探测不重建。
  • 休眠检测只量空闲等待段,不再把阻塞发送误判为休眠恢复;Opus 初始化失败补充一次性日志。
  • 吞吐判据日志限流 10 秒一条,避免慢流量现场每秒刷屏。

Tests

  • quality_load_test(MSVC Release):27/27 通过,含新增的慢流量窗口、1 秒样本、本机瓶颈用例。
  • Yama 服务端、ghost 客户端编译通过。
  • 未包含 linux/ghost 二进制改动。
## Summary - 慢流量(一帧要数秒)下吞吐判据改用最近 10 秒窗口均值采样,解决 0.x fps 时 1 秒样本为空、判据永远弃权、档位降不下来的问题。 - 窗口样本只有在「至少 3 帧且分布在 ≥3 个不同秒、最后一帧在 4 秒内、没有任何一秒交付到 0.6 基线」时才作为拥塞证据,避免滚动/停顿/静止桌面被误判成带宽不足。 - 降档判据与「本机瓶颈探测」共用同一份样本(LoadSample),消除两处交替给出相反结论;升档失败观察窗 20s→40s;换档与采样断档时清空窗口。 - 客户端 WASAPI:新增「初始化成功但永远不出包」看门狗,仅在端点有活动会话却无数据、或默认输出设备已切换时重建捕获;空闲端点只探测不重建。 - 休眠检测只量空闲等待段,不再把阻塞发送误判为休眠恢复;Opus 初始化失败补充一次性日志。 - 吞吐判据日志限流 10 秒一条,避免慢流量现场每秒刷屏。 ## Tests - `quality_load_test`(MSVC Release):27/27 通过,含新增的慢流量窗口、1 秒样本、本机瓶颈用例。 - Yama 服务端、ghost 客户端编译通过。 - 未包含 `linux/ghost` 二进制改动。
yuanyuanxiang added 1 commit 2026-11-08 10:49:39 +00:00
The adaptive quality controller counted only complete frames per second, so when
a single frame took several seconds to arrive the sample was 0 fps and the
throughput criterion abstained forever: Ultra and High kept flipping while a
foreground video played. The audio watchdog had the opposite problem: it rebuilt
the WASAPI capture every three seconds on an idle endpoint, and its sleep
detector measured the whole loop including a blocking send.

Sample the last ten seconds in a ring buffer and feed the criterion a windowed
rate, guarded so a scroll burst, a stale window or a few KB clock patch is not
mistaken for congestion. Apply the same per-frame floor to the one-second
fallback and to the post-downgrade local-bottleneck probe. Normalize delayed
timer ticks by real elapsed milliseconds, and make the 40 second
upgrade-failure window outlast the resolution cooldown it has to cross.

On the client, rebuild only when an audio session is actually rendering, and
rebuild immediately when the captured endpoint is no longer the default output;
refresh the sleep timestamps on failed as well as successful init.

Tests cover the window and fallback helpers directly; the full suite passes
845/845, and both the Debug server and Debug client build.

Co-Authored-By: deepseek-flash
yuanyuanxiang left a comment
Author
Owner

审查结论:建议合并 ✅

这个 PR 解决两个独立但同源的慢链路问题,设计思路正确,测试覆盖充分,注释质量很高。

整体评价

A. 吞吐判据窗口采样(ScreenSpyDlg + commands.h)

  • 10 秒环形缓冲 + 三道防误判门槛(≥3 帧分布在 ≥3 秒、最后帧在 4s 内、最忙秒未达 0.6 基线)逻辑严谨,每种假阳性场景都有测试覆盖。
  • CollectLoadSample 统一采样管道消除了降档判据和本机瓶颈探测各采各的导致确认计数永远凑不齐的问题——这是核心修复。
  • 1 秒退路补了同样的 minFrameBytes 门槛和实际耗时归一,堵住了窗口拒绝后小帧补丁从这条路漏回来的漏洞。
  • volatile DWORD lastFrameTick 用 32 位避免 x86 上 64 位读撕裂——考虑到位。

B. WASAPI 看门狗(ScreenManager.cpp)

  • IsRenderingAudioActive + IsCapturedDeviceStale 两个探测函数的 COM 引用计数管理正确,出错一律走安全方向(宁可多探不漏)。
  • 重建前检查 m_bAudioThreadRunning 防 use-after-free,是关键安全检查。
  • 休眠检测修正(lastTick 刷新移到 Sleep(10) 之前)是本 PR 最关键的 bug 修复——原来阻塞发送被误判为休眠恢复,每 2 秒重建一次捕获。

测试: 16 个新用例覆盖所有新增函数和关键边界,每个用例都有注释说明对应的现场和判据意图。

两条非阻塞建议

见下方 inline 评论。

## 审查结论:建议合并 ✅ 这个 PR 解决两个独立但同源的慢链路问题,设计思路正确,测试覆盖充分,注释质量很高。 ### 整体评价 **A. 吞吐判据窗口采样(ScreenSpyDlg + commands.h)** - 10 秒环形缓冲 + 三道防误判门槛(≥3 帧分布在 ≥3 秒、最后帧在 4s 内、最忙秒未达 0.6 基线)逻辑严谨,每种假阳性场景都有测试覆盖。 - `CollectLoadSample` 统一采样管道消除了降档判据和本机瓶颈探测各采各的导致确认计数永远凑不齐的问题——这是核心修复。 - 1 秒退路补了同样的 `minFrameBytes` 门槛和实际耗时归一,堵住了窗口拒绝后小帧补丁从这条路漏回来的漏洞。 - `volatile DWORD lastFrameTick` 用 32 位避免 x86 上 64 位读撕裂——考虑到位。 **B. WASAPI 看门狗(ScreenManager.cpp)** - `IsRenderingAudioActive` + `IsCapturedDeviceStale` 两个探测函数的 COM 引用计数管理正确,出错一律走安全方向(宁可多探不漏)。 - 重建前检查 `m_bAudioThreadRunning` 防 use-after-free,是关键安全检查。 - 休眠检测修正(`lastTick` 刷新移到 `Sleep(10)` 之前)是本 PR 最关键的 bug 修复——原来阻塞发送被误判为休眠恢复,每 2 秒重建一次捕获。 **测试:** 16 个新用例覆盖所有新增函数和关键边界,每个用例都有注释说明对应的现场和判据意图。 ### 两条非阻塞建议 见下方 inline 评论。
@@ -2489,0 +2561,4 @@
}
CoTaskMemFree(curId);
return stale;
}
Author
Owner

非阻塞建议:CoCreateInstance 频率

IsCapturedDeviceStale 每 3 秒在空闲端点上创建一次 MMDeviceEnumerator 实例。虽然开销很小(只是 COM 对象,不涉及设备打开),但如果想优化可以考虑缓存 enumerator 或在 InitWASAPILoopback 时创建一次、在 UninitWASAPI 时释放。

不影响正确性,不阻塞合并。

**非阻塞建议:`CoCreateInstance` 频率** `IsCapturedDeviceStale` 每 3 秒在空闲端点上创建一次 `MMDeviceEnumerator` 实例。虽然开销很小(只是 COM 对象,不涉及设备打开),但如果想优化可以考虑缓存 enumerator 或在 `InitWASAPILoopback` 时创建一次、在 `UninitWASAPI` 时释放。 不影响正确性,不阻塞合并。
@@ -408,0 +439,4 @@
// 最近一次收全帧的时刻(区分「内容停了」)。写方是网络收包线程、读方是 UI
// 线程,用 32 位的 GetTickCount 而不是 64 位:x86 上一次未加锁的 64 位读
// 可能被撕裂成两个时刻,算出的帧龄会瞬间变成天文数字或负数。
volatile DWORD lastFrameTick = 0;
Author
Owner

非阻塞建议:volatile → std::atomic<DWORD>

volatile 在 C++ 标准里不保证跨线程可见性(那是 std::atomic 的职责)。在 MSVC/x86 上对对齐的 32 位 DWORD 读写实际是原子的,所以当前代码安全。但如果将来移植到 ARM 或换编译器,volatile 的语义可能不够。

建议后续用 std::atomic<DWORD> 或 InterlockedExchange/InterlockedCompareExchange 替代,让线程安全意图更明确。不阻塞本次合并。

**非阻塞建议:`volatile` → `std::atomic<DWORD>`** `volatile` 在 C++ 标准里不保证跨线程可见性(那是 `std::atomic` 的职责)。在 MSVC/x86 上对对齐的 32 位 `DWORD` 读写实际是原子的,所以当前代码安全。但如果将来移植到 ARM 或换编译器,`volatile` 的语义可能不够。 建议后续用 `std::atomic<DWORD>` 或 `InterlockedExchange`/`InterlockedCompareExchange` 替代,让线程安全意图更明确。不阻塞本次合并。
@@ -56,0 +113,4 @@
int f = 0, b = 0, k = 0;
EXPECT_FALSE(GetCongestedLoadSample(3, 12ULL * 1024 * 1024, 1, 3, 10, 1, 8, 64 * 1024, f, b, k));
// 同样这 3 帧散在 3 个秒里 → 才是"持续交付不动"
EXPECT_TRUE (GetCongestedLoadSample(3, 12ULL * 1024 * 1024, 3, 1, 10, 1, 8, 64 * 1024, f, b, k));
Author
Owner

测试质量优秀

16 个新用例逐个覆盖了三道防误判门槛的每种假阳性现场(滚动停住、单帧突发、过期窗口),以及 1 秒退路的小帧下限和耗时归一。

特别欣赏 ShortBurstInOneSecondIsNotCongestion 这个用例——3 帧挤在同一秒 vs 散在 3 个秒里的对比测试,精确验证了条件 ① 的设计意图。

**测试质量优秀** 16 个新用例逐个覆盖了三道防误判门槛的每种假阳性现场(滚动停住、单帧突发、过期窗口),以及 1 秒退路的小帧下限和耗时归一。 特别欣赏 `ShortBurstInOneSecondIsNotCongestion` 这个用例——3 帧挤在同一秒 vs 散在 3 个秒里的对比测试,精确验证了条件 ① 的设计意图。
yuanyuanxiang merged commit 5f40f3726c into main 2026-11-08 12:22:36 +00:00
yuanyuanxiang deleted branch fix/slow-frame-congestion-audio-recovery 2026-11-08 12:22:36 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: yuanyuanxiang/SimpleRemoter#6