Fix: repair two quality-switch regressions (monitor jump, H264 stall)

Every quality change restarts the capturer on both sides, and two defects
showed up along that path.

Monitor jump: on a multi-monitor client the view moved to another monitor.
switchScreen=false means "reuse the index", but index is the *next*
monitor to switch to, not the one being shown. Track `current` and read it
on the non-switch path; the switch path still advances.

H264 stall: switching from RGB565/DIFF back to H264 froze the view for up
to ten seconds. The client encoder kept its reference frames across the
gap, so it emitted P frames the server could not decode until the next
natural IDR. It is now rebuilt on the first H264 frame after an algorithm
or tuning change. The rebuild is requested with an atomic dirty flag that
the capture thread consumes in ensureEncoder(), because resetting the
encoder from the network thread raced with encode().

On the server, ApplyQualityLevel() only sets m_bResolutionChanging when
the client will really restart the capture: it compares the target
maxWidth with the client's reported bitmap width (cached atomically on
TOKEN_BITMAPINFO) and stays conservative while a previous resize is still
in flight. The fallback timeout drops from 5s to 1s, flushes the decoder
and asks the client for a keyframe (COMMAND_SCREEN_KEYFRAME_REQ).

Verified: Debug client and server build clean; the 1920-wide High->Good
switch no longer waits out the gate. Not yet retested on a live session.

Co-Authored-By: deepseek-flash
This commit is contained in:
yuanyuanxianganddeepseek-flash committed 2026-11-05 18:10:56 +01:00
1 parent d6b04a98f0
commit 6a51116873
4 files changed
+100 -19

No files matched your search

+38 -8
View File
@@ -153,6 +153,11 @@ public:
// Web 端请求下一帧强制 IDR(COMMAND_SCREEN_KEYFRAME_REQ)。只对 H.264 生效;
// 必须在成功编码出 IDR 后清除,否则 ScanNextScreen 失败/硬编 EAGAIN 时请求会丢。
std::atomic<bool> m_bForceKeyFrame{false};
// 编码器重建请求。算法/编码参数由网络线程改(SetAlgorithm/SetTuningFlags),
// 但 m_encoder 归抓屏线程的 GetNextScreenData 使用,跨线程 reset 会和 encode()
// 撞成 use-after-free、和 ensureEncoder 的赋值撞成 unique_ptr 双重释放。
// 所以网络线程只置脏,真正的销毁+重建在 ensureEncoder 里做(单线程)。
std::atomic<bool> m_bEncoderDirty{false};
std::unique_ptr<VideoEncoderBase> m_encoder; // 编码器,ensureEncoder() lazy 创建,走 EncoderFactory 探测
bool m_bEncoderPrimed = false; // encoder 是否已成功产出过一个包;
// false 时禁止 skip——避免单显示器路径
@@ -224,11 +229,17 @@ public:
m_BlockNum = 8;
m_ThreadPool = new ThreadPool(m_BlockNum);
auto monitors = GetAllMonitors();
// index = 下一次切屏要用的索引(沿用原语义:切屏时自增)
// current = 当前正在显示的索引。重建截屏对象(质量档位、分辨率、ROI、窗口捕获)
// 必须沿用它,不能用 index —— index 永远指向"下一块",比正在显示的那块
// 大 1,所以 switchScreen=false 时读 index 会跳到下一块屏幕上。
static int index = 0;
static int current = 0;
m_nScreenCount = monitors.size();
m_bEnableMultiScreen = all;
if (all && !monitors.empty()) {
int idx = (switchScreen ? index++ : index) % (monitors.size()+1);
int idx = (switchScreen ? index++ : current) % (monitors.size()+1);
current = idx;
if (idx == 0) {
m_iScreenX = GetSystemMetrics(SM_XVIRTUALSCREEN);
m_iScreenY = GetSystemMetrics(SM_YVIRTUALSCREEN);
@@ -888,8 +899,14 @@ public:
}
// 编码器 lazy 创建。委托 EncoderFactory 完成"硬编探测 + 软编 fallback"。
// 只在抓屏线程调用:m_encoder 的销毁/重建全部收敛到这里,网络线程通过
// SetAlgorithm/SetTuningFlags 置 m_bEncoderDirty,避免跨线程 reset。
void ensureEncoder(int width, int height)
{
if (m_bEncoderDirty.exchange(false, std::memory_order_acq_rel)) {
m_encoder.reset();
m_bEncoderPrimed = false; // 重建后首帧必须真正 encode,不能走 memcmp skip
}
if (m_encoder) return;
if (width < 2 || height < 2) return; // x264 做偶数对齐 &~1,1→0,触发内部 strdup 泄漏;< 2 一并拦住
EncoderRequest req;
@@ -1072,7 +1089,19 @@ public:
virtual BYTE SetAlgorithm(int algo)
{
BYTE oldAlgo = m_bAlgorithm;
m_bAlgorithm = (DISABLE_X264_FOR_TEST && algo == ALGORITHM_H264) ? ALGORITHM_RGB565 : algo;
BYTE newAlgo = (DISABLE_X264_FOR_TEST && algo == ALGORITHM_H264) ? ALGORITHM_RGB565 : algo;
// 换算法必须换编码器。从 DIFF/RGB565 切回 H264 时,旧编码器还持有上一次的
// 参考帧状态,它下一帧只会吐 P 帧;服务端解码器没有对应参考帧,解不出来,
// 只能等下一个自然 IDR(GOP 最长 15 秒)—— 用户看到的就是"切到 H264 卡十秒"。
// 这里只置脏:销毁必须在抓屏线程的 ensureEncoder 里做(本函数跑在网络线程,
// 直接 reset 会与正在进行的 encode()/ensureEncoder 竞争)。下一帧重建后,
// 新编码器首帧必然是 IDR,立即可解。
// 先写算法再置脏:脏标记用 release,保证抓屏线程看到标记时一定能看到新算法,
// 以及此前由 SetBitRate 写好的 m_nBitRate。
m_bAlgorithm = newAlgo;
if (oldAlgo != newAlgo) {
m_bEncoderDirty.store(true, std::memory_order_release);
}
return oldAlgo;
}
@@ -1095,18 +1124,19 @@ public:
// 只有影响编码器参数的位(TUNING_ENCODER_BITS)变化才丢弃编码器;GDI 抓屏、发送节流
// 这类位由抓屏/发送线程每次现读,改了立刻生效,不该为它们白丢一个 IDR 让画面闪一下。
// 编码器重建后第一帧必然是 IDR,服务端能正确解码,不需要额外的关键帧握手。
// 与 SetAlgorithm 相同:本函数跑在网络线程,编码器销毁交给 ensureEncoder。
virtual bool SetTuningFlags(int flags)
{
if (m_nTuningFlags == flags) return false;
const bool encoderChanged = ((m_nTuningFlags ^ flags) & TUNING_ENCODER_BITS) != 0;
m_nTuningFlags = flags;
if (encoderChanged && m_encoder) {
Mprintf("=> TuningFlags: 0x%08X,重建编码器以应用新参数\n", flags);
m_encoder.reset();
m_bEncoderPrimed = false; // 重建后首帧必须真正 encode,不能走 skip
if (encoderChanged) {
// 不读 m_encoder(那是抓屏线程的成员):尚未创建时置脏也无害,
// 创建时本来就会用新参数。
Mprintf("=> TuningFlags: 0x%08X,编码器参数变化,下一帧重建\n", flags);
m_bEncoderDirty.store(true, std::memory_order_release);
} else {
Mprintf("=> TuningFlags: 0x%08X(%s)\n", flags,
m_encoder ? "不影响编码器,无需重建" : "编码器尚未创建,首帧时生效");
Mprintf("=> TuningFlags: 0x%08X(不影响编码器,无需重建)\n", flags);
}
return true;
}
+10 -1
View File
@@ -105,16 +105,25 @@ public:
if (!dxgiAdapter)break;
// 4. 获取 DXGI 输出(屏幕)
// screen = 下一次切屏要用的输出索引(沿用原语义:切屏时自增)
// current = 当前正在用的输出。重建截屏对象(质量/分辨率变化)必须沿用它:
// 读 screen 会跳到下一个输出,多显示器下表现为"调个质量就换屏",
// 单显示器下 EnumOutputs(1) 不存在,会让 DXGI 初始化失败降级成 GDI。
static UINT screen = 0;
UINT outIndex = switchScreen ? screen++ : screen;
static UINT current = 0;
UINT outIndex = switchScreen ? screen++ : current;
HRESULT r = dxgiAdapter->EnumOutputs(outIndex, &dxgiOutput);
if (r == DXGI_ERROR_NOT_FOUND && all) {
// 索引在当前适配器上不存在(拔掉外接屏等):回到主输出再试,
// 避免拿一个无效索引去遍历适配器,最后降级成 GDI。
screen = 0;
current = 0;
idx ++;
dxgiAdapter->Release();
dxgiAdapter = nullptr;
continue;
}
current = outIndex;
if (!dxgiOutput)break;
// 4.1 获取屏幕位置(多显示器支持)
+45 -10
View File
@@ -278,6 +278,15 @@ VOID CScreenSpyDlg::SendScreenTuning(void)
Mprintf("[ScreenSpy] 下发调优开关: 0x%08X\n", flags);
}
// 要求客户端下一帧强制 IDR。客户端在 SetAlgorithm 换算法时也会自己丢编码器,
// 这里是兜底:解码器被 flush 过之后必须拿到 IDR 才能恢复,不能等自然 GOP。
VOID CScreenSpyDlg::RequestClientKeyFrame(void)
{
BYTE bToken = COMMAND_SCREEN_KEYFRAME_REQ;
m_ContextObject->Send2Client(&bToken, sizeof(bToken));
Mprintf("[ScreenSpy] 请求客户端关键帧\n");
}
VOID CScreenSpyDlg::SendNext(void)
{
BYTE bToken[32] = { COMMAND_NEXT };
@@ -1160,6 +1169,8 @@ VOID CScreenSpyDlg::OnReceiveComplete()
const ULONG ulBitmapInforLength = sizeof(BITMAPINFOHEADER);
m_BitmapInfor_Full = (BITMAPINFO*) new BYTE[ulBitmapInforLength];
m_ContextObject->InDeCompressedBuffer.CopyBuffer(m_BitmapInfor_Full, ulBitmapInforLength, 1);
// 供 UI 线程(ApplyQualityLevel)无锁预判客户端是否变宽,避免跨线程解引用
m_nClientBitmapWidth.store(m_BitmapInfor_Full->bmiHeader.biWidth, std::memory_order_relaxed);
if (len >= 1 + sizeof(BITMAPINFOHEADER) + sizeof(uint64_t)) {
m_ClientID = *((uint64_t*)(m_ContextObject->InDeCompressedBuffer.GetBuffer(1 + sizeof(BITMAPINFOHEADER))));
}
@@ -1740,16 +1751,23 @@ VOID CScreenSpyDlg::DrawScrollFrame()
bool CScreenSpyDlg::Decode(LPBYTE Buffer, int size)
{
// 分辨率切换中,跳过解码避免访问无效缓冲区
// 但加入超时保护:5秒内客户端未响应则恢复(防止卡死)
// 分辨率切换中,跳过解码避免访问无效缓冲区。
// 正常情况下客户端的 TOKEN_BITMAPINFO 会把它清掉(见 OnReceive);真正不会重启
// 截屏的档位切换(例如 1920 屏 High→Good)已在 ApplyQualityLevel 里按客户端的
// needRestart 判据排除,不会置这个标记。这里保留超时是兜底:客户端重启失败或
// 异常慢时不能让画面永久冻结。超时后必须主动要一个关键帧——解码器已被 flush,
// 只能等下一个 IDR,而客户端的自然 IDR 最长要等 15 秒(x264 keyint)。
if (m_bResolutionChanging) {
if (GetTickCount64() - m_AdaptiveQuality.lastResChangeTime > 5000) {
if (GetTickCount64() - m_AdaptiveQuality.lastResChangeTime > 1000) {
m_bResolutionChanging = false; // 超时恢复
// 刷新解码器状态,丢弃之前的参考帧,等待下一个 I 帧
// 刷新解码器状态,丢弃之前的参考帧
if (m_pCodecContext) {
avcodec_flush_buffers(m_pCodecContext);
}
Mprintf("分辨率切换超时,刷新解码器并恢复\n");
// 没有新的位图信息说明没重启(或重启没完成),画面还停在旧算法的那一帧上,
// 必须让客户端立刻补一个 IDR 才能继续,否则要等自然 GOP。
RequestClientKeyFrame();
Mprintf("分辨率切换超时(无位图信息),刷新解码器并请求关键帧\n");
} else {
return false;
}
@@ -2881,12 +2899,29 @@ void CScreenSpyDlg::ApplyQualityLevel(int level, bool persist)
// 2. 如果分辨率变化,发送 CMD_SCREEN_SIZE
if (newMaxWidth != oldMaxWidth) {
// 标记分辨率切换中,阻止 Decode 访问旧缓冲区
m_bResolutionChanging = true;
// 自适应调整且分辨率变化时不显示"请等待",手动切换时显示
if (!persist) m_bQualitySwitch = true;
// 先判断客户端会不会真的重启截屏。客户端 CMD_SCREEN_SIZE 的判据是
// strategy=2 且 maxWidth>0 时 needRestart = (maxWidth != 当前发送宽度)
// (client/ScreenManager.cpp),而"当前发送宽度"就是 TOKEN_BITMAPINFO 里的
// biWidth,服务端手里有同一个值。相等时客户端不重启、不会发位图信息,
// 这里若照样置 m_bResolutionChanging,就会白等超时并丢掉新流的首帧 IDR——
// 正是"从 RGB565 切回 H264 卡住"的那条路径(比如 1920 屏从 High 切到 Good)。
// maxWidth==0 时客户端回退到它自己保存的 ScreenStrategy(0=1080p / 1=原始),
// 服务端不知道,按"可能重启"保守处理。
// m_bResolutionChanging 仍为真说明上一次切换的重启还没收到位图信息,缓存宽度
// 可能已经过时(客户端正在改宽度),同样按"可能重启"处理。
const int currentWidth = m_nClientBitmapWidth.load(std::memory_order_relaxed);
const bool willRestart = m_bResolutionChanging || (newMaxWidth <= 0) ||
(currentWidth <= 0) || (newMaxWidth != currentWidth);
if (willRestart) {
// 标记分辨率切换中,阻止 Decode 访问旧缓冲区
m_bResolutionChanging = true;
// 自适应调整且分辨率变化时不显示"请等待",手动切换时显示
if (!persist) m_bQualitySwitch = true;
m_AdaptiveQuality.lastResChangeTime = GetTickCount64();
} else {
Mprintf("客户端当前宽度已是 %d,不会重启截屏,不置分辨率切换标记\n", currentWidth);
}
m_AdaptiveQuality.currentMaxWidth = newMaxWidth;
m_AdaptiveQuality.lastResChangeTime = GetTickCount64();
BYTE sizeCmd[16] = { CMD_SCREEN_SIZE, 2 }; // strategy=2 表示自定义maxWidth
memcpy(sizeCmd + 2, &newMaxWidth, sizeof(int));
+7
View File
@@ -225,12 +225,19 @@ public:
VOID SendNext(void);
// 下发主控端「高级 → 远程桌面调优」的开关位(CMD_SCREEN_TUNING),主控端默认 0x7
VOID SendScreenTuning(void);
// 要求客户端下一帧强制 IDR(COMMAND_SCREEN_KEYFRAME_REQ)
VOID RequestClientKeyFrame(void);
VOID OnReceiveComplete();
HDC m_hFullDC;
HDC m_hFullMemDC;
HBITMAP m_BitmapHandle;
PVOID m_BitmapData_Full;
LPBITMAPINFO m_BitmapInfor_Full;
// 客户端当前发送位图宽度,TOKEN_BITMAPINFO 时更新。ApplyQualityLevel 在 UI 线程
// 预判"客户端会不会重启截屏",不能直接解引用 m_BitmapInfor_Full——那个指针由
// 接收线程在 TOKEN_BITMAPINFO 里 SAFE_DELETE + new,跨线程解引用有 UAF 风险。
// 0 表示尚未收到位图信息(调用方按"可能重启"保守处理)。
std::atomic<int> m_nClientBitmapWidth{0};
VOID DrawFirstScreen(void);
VOID DrawNextScreenDiff(bool keyFrame);
VOID DrawScrollFrame(void);