Fix: React to slow-frame congestion and keep remote audio recoverable

The adaptive quality controller counted only complete frames per second, so when
a single frame took several seconds to arrive the sample was 0 fps and the
throughput criterion abstained forever: Ultra and High kept flipping while a
foreground video played. The audio watchdog had the opposite problem: it rebuilt
the WASAPI capture every three seconds on an idle endpoint, and its sleep
detector measured the whole loop including a blocking send.

Sample the last ten seconds in a ring buffer and feed the criterion a windowed
rate, guarded so a scroll burst, a stale window or a few KB clock patch is not
mistaken for congestion. Apply the same per-frame floor to the one-second
fallback and to the post-downgrade local-bottleneck probe. Normalize delayed
timer ticks by real elapsed milliseconds, and make the 40 second
upgrade-failure window outlast the resolution cooldown it has to cross.

On the client, rebuild only when an audio session is actually rendering, and
rebuild immediately when the captured endpoint is no longer the default output;
refresh the sleep timestamps on failed as well as successful init.

Tests cover the window and fallback helpers directly; the full suite passes
845/845, and both the Debug server and Debug client build.

Co-Authored-By: deepseek-flash
This commit was merged in pull request #6.
This commit is contained in:
yuanyuanxianganddeepseek-flash committed 2026-11-08 11:45:19 +01:00
1 parent 2a97471b51
commit 5f40f3726c
6 files changed
+688 -31

No files matched your search

+171 -1
View File
@@ -29,6 +29,7 @@
// WASAPI 音频捕获
#include <mmdeviceapi.h>
#include <audioclient.h>
#include <audiopolicy.h>
#include <functiondiscoverykeys_devpkey.h>
#include <cstdint>
@@ -2486,6 +2487,82 @@ static ULONGLONG NowFileTime100ns()
return ((ULONGLONG)ft.dwHighDateTime << 32) | ft.dwLowDateTime;
}
// 这个输出端点上是否还有应用在渲染音频?
//
// 用它区分两种「一包数据都没有」:端点上没有任何活动会话时,共享模式 loopback
// 捕获本来就是空的 —— 那是设备空闲,不是捕获客户端聋了;只有「有会话在播,却
// 依然一包不进来」才是真的聋了(现场:初始化成功、播放视频音乐两分钟没声音,
// 关/开一次音频立刻恢复)。没有这个判断,空闲时每 3 秒重建一次捕获纯属空转。
//
// 出错一律返回 TRUE(按「有活动会话」处理):宁可多探几次,也不能漏掉真聋的。
static bool IsRenderingAudioActive(IMMDevice* pDevice)
{
if (!pDevice) return true;
IAudioSessionManager2* pMgr = nullptr;
if (FAILED(pDevice->Activate(__uuidof(IAudioSessionManager2), CLSCTX_ALL, NULL, (void**)&pMgr)) || !pMgr) {
return true;
}
bool active = true; // 拿不到会话列表时保持原来的探测行为
IAudioSessionEnumerator* pEnum = nullptr;
if (SUCCEEDED(pMgr->GetSessionEnumerator(&pEnum)) && pEnum) {
int count = 0;
if (SUCCEEDED(pEnum->GetCount(&count))) {
active = false;
for (int i = 0; i < count; i++) {
IAudioSessionControl* pCtrl = nullptr;
if (FAILED(pEnum->GetSession(i, &pCtrl)) || !pCtrl) continue;
AudioSessionState state = AudioSessionStateInactive;
IAudioSessionControl2* pCtrl2 = nullptr;
if (SUCCEEDED(pCtrl->QueryInterface(__uuidof(IAudioSessionControl2), (void**)&pCtrl2)) && pCtrl2) {
pCtrl2->GetState(&state);
pCtrl2->Release();
} else {
pCtrl->GetState(&state);
}
pCtrl->Release();
if (state == AudioSessionStateActive) { active = true; break; }
}
}
pEnum->Release();
}
pMgr->Release();
return active;
}
// 捕获客户端绑的那个端点还是不是系统默认输出设备?
//
// 用户插耳机/切换播放设备后,Windows 把渲染会话迁到新端点,旧端点上就没有任何
// 活动会话了 —— 只问旧端点 IsRenderingAudioActive 永远是否,看门狗会一直认为
// 「没人放音」而不再重建,远端音频从此静音(本来重建一次就能重新抓到默认设备)。
// 所以这种情况必须单独识别:设备换了,就必须重建。
//
// 查询失败一律返回 FALSE(按「没换」处理),退回到「看会话、看数据」的原有行为,
// 不能因为枚举失败把重建门槛放开成每 3 秒一次。
static bool IsCapturedDeviceStale(IMMDevice* pDevice)
{
if (!pDevice) return true; // 连端点都没有,只能重建
LPWSTR curId = nullptr;
if (FAILED(pDevice->GetId(&curId)) || !curId) return false;
bool stale = false;
IMMDeviceEnumerator* pEnum = nullptr;
if (SUCCEEDED(CoCreateInstance(__uuidof(MMDeviceEnumerator), NULL, CLSCTX_ALL,
__uuidof(IMMDeviceEnumerator), (void**)&pEnum)) && pEnum) {
IMMDevice* pDefault = nullptr;
if (SUCCEEDED(pEnum->GetDefaultAudioEndpoint(eRender, eConsole, &pDefault)) && pDefault) {
LPWSTR defId = nullptr;
if (SUCCEEDED(pDefault->GetId(&defId)) && defId) {
stale = (wcscmp(defId, curId) != 0);
CoTaskMemFree(defId);
}
pDefault->Release();
}
pEnum->Release();
}
CoTaskMemFree(curId);
return stale;
}
BOOL CScreenManager::InitWASAPILoopback()
{
if (m_bAudioInitialized) return TRUE;
@@ -2663,6 +2740,7 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
BOOL opusInitialized = FALSE;
int opusChannels = 0; // 编码器当前声道数(设备切换后可能变化)
BOOL warnedUnsupportedRate = FALSE;
BOOL warnedOpusInitFail = FALSE;
const int OPUS_FRAME_SIZE = 960; // 20ms @ 48kHz
short* pOpusAccumBuffer = new short[OPUS_FRAME_SIZE * 2]; // 最多立体声
int nAccumSamples = 0; // 已累积的样本数(每声道)
@@ -2679,8 +2757,25 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
ULONGLONG lastTick = GetTickCount64();
ULONGLONG lastWall = NowFileTime100ns();
// 还有一种「活着的聋子」:Initialize/Start 全部成功、GetNextPacketSize 不返回任何
// 错误码,但永远返回 0 个包,之后端点开始播放也照样不出一包(现场日志:09:46:37
// 初始化成功后整整两分钟,播放视频音乐一个音频包都没有;关掉再打开音频、重建一次
// 捕获立刻恢复)。实测「在空闲端点上新建 loopback 客户端」本身没问题——同机探针
// 每秒都能拿到包——所以这是端点当时所处的状态(刚被系统重建/休眠过)导致的,没有
// 任何 API 能问出来。只能按「长时间没有数据」重建捕获客户端:每 3 秒看一眼
// 端点上有没有应用在出声(IsRenderingAudioActive),有活动会话却一包不进来才重建,
// 代价只是一次 COM 初始化,换来的是播放开始后最多三四秒就有声音;空闲时只查会话、
// 不折腾采集客户端(见下面的判定)。日志限量,别让空闲端点把日志刷满。
ULONGLONG silentSince = GetTickCount64(); // 这轮「没有数据」从什么时候开始
ULONGLONG lastRebuildTick = silentSince; // 上次重建的时刻,刚建好别又拆
const ULONGLONG NODATA_PROBE_DELAY = 3000;
int noDataRebuilds = 0; // 本轮已重建次数(只用于日志)
while (pThis->m_bAudioThreadRunning) {
// 阈值 2 秒:远大于正常循环周期,也不会误伤 1000ms 的初始化重试等待。
// lastTick 在「进入空闲等待之前」刷新(见循环末尾),所以这里量的只是
// 等待时间段 —— 不含发送阻塞的工作时间。下面再刷一次,是给不走循环末尾、
// 直接 continue 的几条失败路径用的。
ULONGLONG tickNow = GetTickCount64();
ULONGLONG wallNow = NowFileTime100ns();
BOOL woken = (tickNow - lastTick > 2000) || (wallNow - lastWall > 20000000ULL);
@@ -2693,6 +2788,9 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
pThis->m_bAudioDeviceDirty = FALSE;
pThis->UninitWASAPI();
firstFrame = TRUE; // 新采集要重新下发格式,主控那边才有机会核对设备状态
// 休眠恢复/重开音频是新的起点:重新计「多久没数据」
silentSince = lastRebuildTick = GetTickCount64();
noDataRebuilds = 0;
#if USING_OPUS
nAccumSamples = 0;
#endif
@@ -2707,13 +2805,22 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
// 这次等待可能跨越休眠或很长一段关闭期,别算进上面的时间差检测
lastTick = GetTickCount64();
lastWall = NowFileTime100ns();
silentSince = lastRebuildTick = lastTick;
noDataRebuilds = 0;
if (!pThis->m_bAudioThreadRunning) break;
continue;
}
// 如果 WASAPI 未初始化,尝试初始化(在音频线程中初始化确保 COM 正确)
if (!pThis->m_bAudioInitialized || !pThis->m_pCaptureClient) {
if (!pThis->InitWASAPILoopback()) {
const BOOL inited = pThis->InitWASAPILoopback();
// 初始化本身也要从休眠检测里排除:音频服务重启/设备重建时 Initialize
// 可能卡上两三秒,算进去就是又一条「检测到系统休眠后恢复」的假日志。
// 失败路径同样要刷:失败重试一卡两秒也会被当成睡醒,而且那个假路径还会
// 重置 silentSince/noDataRebuilds,让「多久没数据」永远攒不起来。
lastTick = GetTickCount64();
lastWall = NowFileTime100ns();
if (!inited) {
// 初始化失败,等待后重试
WaitForSingleObject(pThis->m_hAudioEvent, 1000);
continue;
@@ -2732,6 +2839,54 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
continue;
}
// 长时间收不到任何包:见上面 silentSince 的说明。重建是唯一被现场验证有效的
// 恢复手段(工具栏关/开音频做的就是这一步)。
ULONGLONG dataNow = GetTickCount64();
if (packetLength > 0) {
if (noDataRebuilds > 0) {
Mprintf("音频捕获恢复:重建 %d 次之后拿到数据\n", noDataRebuilds);
noDataRebuilds = 0;
}
silentSince = lastRebuildTick = dataNow;
} else if (dataNow - lastRebuildTick >= NODATA_PROBE_DELAY) {
// 正在停止时别再碰采集对象:析构最多等 2 秒就会自己调 UninitWASAPI,
// 两边同时 Stop/Release 同一组指针就是 use-after-free。(下面查会话
// 状态也要走 m_pAudioDevice,所以这个检查必须放在最前面。)
if (!pThis->m_bAudioThreadRunning) break;
// 端点上没有活动会话 = 没有任何应用在出声,loopback 本来就该是空的:
// 重建捕获不解决问题,只会每 3 秒折腾一次 COM。等有会话开始播放再看。
// 但「没有活动会话」也可能是默认输出设备被换走了(旧端点自然没人用):
// 那种情况必须重建才能跟到新设备,否则远端音频永久静音。
const bool active = IsRenderingAudioActive(pThis->m_pAudioDevice);
const bool stale = !active && IsCapturedDeviceStale(pThis->m_pAudioDevice);
if (!active && !stale) {
lastRebuildTick = dataNow; // 3 秒后再问一次,silentSince 继续累计
continue;
}
if (stale) {
Mprintf("默认输出设备已切换,重建 WASAPI 捕获\n");
}
++noDataRebuilds;
// 每 3 秒一次的重建不该刷屏:第一次必打,之后每分钟左右一条。
if (noDataRebuilds == 1 || noDataRebuilds % 20 == 0) {
Mprintf("音频捕获 %llu ms 无数据,重建 WASAPI 捕获(第 %d 次:端点可能在初始化之后才开始播放)\n",
(unsigned long long)(dataNow - silentSince), noDataRebuilds);
}
pThis->UninitWASAPI();
firstFrame = TRUE; // 新采集要重新下发格式
pThis->m_bAudioFormatResend = TRUE;
#if USING_OPUS
nAccumSamples = 0;
#endif
// 让系统把旧客户端彻底拆掉再建:抢着建会拿到「初始化成功但永远没数据」的客户端
Sleep(1000);
// Uninit/Stop 万一卡住超过 2 秒,别让上面把这次停顿误报成「休眠恢复」
lastTick = GetTickCount64();
lastWall = NowFileTime100ns();
lastRebuildTick = lastTick;
continue;
}
while (packetLength > 0 && pThis->m_bAudioThreadRunning && pThis->m_ScreenSettings.AudioEnabled) {
BYTE* pData = nullptr;
UINT32 numFramesAvailable = 0;
@@ -2816,7 +2971,14 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
opusChannels = encChannels;
firstFrame = TRUE; // 让主控按新格式重建解码器/播放设备
nAccumSamples = 0;
warnedOpusInitFail = FALSE;
Mprintf("Opus 编码器初始化成功: 48000 Hz, %d ch, 64 kbps\n", encChannels);
} else if (!warnedOpusInitFail) {
// 初始化失败时下面整段不发包,以前一个字都不打,排查时只能看到
// 「WASAPI 初始化成功」之后彻底安静。打一次,别每包刷屏。
warnedOpusInitFail = TRUE;
Mprintf("Opus 编码器初始化失败: %u Hz, %d ch,本轮不发音频\n",
pWaveFmt->nSamplesPerSec, encChannels);
}
}
if (!opusInitialized && pWaveFmt->nSamplesPerSec != 48000 && !warnedUnsupportedRate) {
@@ -2934,6 +3096,14 @@ DWORD WINAPI CScreenManager::AudioThreadProc(LPVOID lpParam)
}
}
// 休眠检测只量「空闲等待」这一段,不要把循环里的工作算进来:本线程的
// Send2Server 是阻塞的(IOCPClient 整个发送过程持 m_Locker),链路被屏幕
// 大帧占满时一次要好几秒 —— 算进去就会把正常排队误判成「系统休眠后恢复」,
// 于是每 2 秒重建一次捕获:日志刷屏、每次重建还顺带丢一段声音。
// 真正进待机时本线程被冻结在下面这个 Sleep 或上面的 INFINITE 等待里,
// 照样能检测到;退出早的几个 continue 分支各自的等待都不超过 1 秒。
lastTick = GetTickCount64();
lastWall = NowFileTime100ns();
Sleep(10); // ~100Hz 采集
}