diff --git a/android/app/src/main/cpp/ScreenHandler.h b/android/app/src/main/cpp/ScreenHandler.h index 0d2899d..c4eeeef 100644 --- a/android/app/src/main/cpp/ScreenHandler.h +++ b/android/app/src/main/cpp/ScreenHandler.h @@ -22,6 +22,11 @@ #define LOGE_SH(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_SCR", __VA_ARGS__) extern uint64_t g_myClientID; +// 定义在 main.cpp:把消息发进主控消息栏(TOKEN_CLIENT_MSG)。 +// 远程桌面编码器零输出时,主控端停在「请等待」,必须主动回一条说明。 +extern void SendClientMessageToMain(const char* title, const char* text); +// 定义在 main.cpp:编码器零输出时让 Kotlin 用同一个 MediaProjection 重建采集管线。 +extern void NotifyEncoderStalled(); // 定义在 main.cpp,供子连接的 OnReceive 调用 extern void DispatchControlEvent(uint32_t msgVal, uint64_t wParam, int32_t ptX, int32_t ptY); extern void DispatchClipboardText(const uint8_t* data, size_t size); @@ -279,6 +284,7 @@ private: // 干等。改成带超时的等待,把「没有帧」和「帧被当 P 帧丢弃」区分开。 const auto startTick = std::chrono::steady_clock::now(); bool noFrameWarned = false; + bool stallNotified = false; while (m_running) { std::unique_lock lk(m_mutex); m_cond.wait_for(lk, std::chrono::seconds(1), @@ -289,12 +295,37 @@ private: // 只在「一帧都没发出去过」时告警。发过首帧之后队列空是正常的:电视 // 停在 launcher 这类静止画面时 SurfaceFlinger 不产生脏区,编码器就没 // 输入,5 秒不打新帧属于预期行为,不能报成编码器故障。 + const auto elapsed = std::chrono::steady_clock::now() - startTick; if (!noFrameWarned && m_started && !m_firstSent && - std::chrono::steady_clock::now() - startTick > std::chrono::seconds(5)) { + elapsed > std::chrono::seconds(5)) { noFrameWarned = true; + // 发消息/重建都是慢操作,不能拿着 m_mutex:生产者(编码回调)推帧要拿它。 + lk.unlock(); LOGE_SH("SendLoop: no frame from MediaCodec after 5s — encoder is not producing " "(MediaProjection stopped, VirtualDisplay null, or unsupported %dx%d)", m_width, m_height); + // 电视睡眠后常见:投影还在,但旧的 VirtualDisplay 收不到合成帧。先用同一个 + // MediaProjection 重建采集管线(不需要重新授权);重建结果由 Kotlin 侧记录。 + NotifyEncoderStalled(); + } else if (noFrameWarned && !stallNotified && m_started && !m_firstSent && + elapsed > std::chrono::seconds(13)) { + stallNotified = true; + // 自愈也没救回来:主控端停在「请等待……」,明确回一条消息说明原因。 + // 多个观看者各自 13 秒都会走到这里,进程内 60 秒只发一条,避免刷屏。 + lk.unlock(); + static std::atomic lastNotifyMs{0}; + const long long nowMs = std::chrono::duration_cast( + std::chrono::steady_clock::now().time_since_epoch()).count(); + long long prevMs = lastNotifyMs.load(); + // 多个观看者各自 13 秒都会走到这里;进程内 60 秒只发一条,避免刷屏。 + // prevMs == 0 表示本次开机还没发过(steady_clock 的 0 点是开机)。 + if ((prevMs == 0 || nowMs - prevMs > 60 * 1000) && + lastNotifyMs.compare_exchange_strong(prevMs, nowMs)) { + SendClientMessageToMain( + "Remote desktop", + "The device screen encoder produced no frame (hardware encoder may reject " + "this size or config). Remote desktop cannot start."); + } } continue; } diff --git a/android/app/src/main/cpp/main.cpp b/android/app/src/main/cpp/main.cpp index e74347d..3c8a8a9 100644 --- a/android/app/src/main/cpp/main.cpp +++ b/android/app/src/main/cpp/main.cpp @@ -255,6 +255,8 @@ static jmethodID g_canOverlayMid = nullptr; // ControlService.canOverlay( static jclass g_captureClass = nullptr; static jmethodID g_requestIdrMid = nullptr; static jmethodID g_forceFirstFrameMid = nullptr; +static jmethodID g_requestPermMid = nullptr; // CaptureService.requestScreenCapturePermission() +static jmethodID g_onStalledMid = nullptr; // CaptureService.onEncoderStalled() static jmethodID g_statusMid = nullptr; // CaptureService.onNativeStatus(String) static jmethodID g_nativeExitMid = nullptr; // CaptureService.onNativeExit() — 服务端主动断开时停止服务 static jmethodID g_updateReceivedMid = nullptr; // CaptureService.onUpdateReceived(String) — 升级 APK 已落盘 @@ -1171,6 +1173,13 @@ static void RequestIdrFromJava() { CallCaptureStaticVoid(g_requestIdrMid); // 强制 VirtualDisplay 推一帧(静止屏幕绕过 SurfaceFlinger 空闲优化) static void ForceFirstFrameFromJava() { CallCaptureStaticVoid(g_forceFirstFrameMid); } +// ScreenHandler.h 的 SendLoop 用:编码器零输出时让 Kotlin 用同一个 MediaProjection +// 重建采集管线(电视睡眠后旧 VirtualDisplay 收不到合成帧的常见场景)。 +void NotifyEncoderStalled() +{ + CallCaptureStaticVoid(g_onStalledMid); +} + // 向 CaptureService.onNativeStatus() 发送状态 Toast(连接线程诊断用) static void PostStatus(const char* msg) { LOGI("STATUS: %s", msg); @@ -1194,6 +1203,16 @@ static void PostStatus(const char* msg) { #endif } +static void sendClientMsg(const char* title, const char* text); // 定义见在线升级段 + +// 上一次因「没有投影会话」而拉起设备端授权界面的时间(单调毫秒) +static std::atomic g_lastPermPromptMs{0}; +static long long MonotonicMs() +{ + return (long long)std::chrono::duration_cast( + std::chrono::steady_clock::now().time_since_epoch()).count(); +} + static void ScreenSpyThread() { // 等待 Java 侧 startCapture() 调用 nativeSetScreenSize 设置真实分辨率。 @@ -1202,10 +1221,41 @@ static void ScreenSpyThread() for (int i = 0; i < 100 && g_screenWidth.load() == 0 && g_running.load(); ++i) Sleep(50); // 最多等 5 秒 + if (g_screenWidth.load() == 0 && S_CLIENT_NORMAL == g_bExit) { + // 投影没在跑:Android TV 可能从未授权,Android 14 的单次授权在服务重启后也会失效。 + // 尝试拉起设备上的 App 重新走一遍系统「屏幕捕获」授权,再等最多 15 秒。 + // 10 分钟内只提示一次,避免连续点远程桌面把电视反复弹到前台。 + const long long now = MonotonicMs(); + long long last = g_lastPermPromptMs.load(); + // steady_clock 的 0 点是开机时刻:last==0 表示「本次开机还没提示过」,必须放行, + // 否则开机后前 10 分钟(正是最需要重新授权的场景)永远不会拉起授权界面。 + bool prompted = false; + if ((last == 0 || now - last > 10 * 60 * 1000) && + g_lastPermPromptMs.compare_exchange_strong(last, now)) { + prompted = true; + LOGI("ScreenSpyThread: no projection; prompting device for screen-capture permission"); + CallCaptureStaticVoid(g_requestPermMid); + } + // 节流命中也可能是「另一个观看者刚刚拉起过授权框」:此时授权界面可能还显示在 + // 电视上,值得等一等,别让第二个观看者立刻收到"不可用"。只有 60 秒内的提示算 + // "可能还在屏幕上";更早的节流命中仍然立即失败,不让操作员白等。 + const bool promptRecentlyShown = (last != 0 && now - last <= 60 * 1000); + if (prompted || promptRecentlyShown) { + for (int i = 0; i < 300 && g_screenWidth.load() == 0 && g_running.load() && S_CLIENT_NORMAL == g_bExit; ++i) + Sleep(50); + } + } + int w = g_screenWidth.load(); int h = g_screenHeight.load(); if (w == 0 || h == 0) { LOGE("ScreenSpyThread: screen size not set after 5s, abort"); + // 服务端此时停在「请等待……」,收不到任何回应会一直挂着。这里必须明确回一条 + // 消息,说明是设备上的「屏幕捕获」授权/服务没在跑(常见于 Android TV:投影 + // 权限未授予,或服务被系统回收后需要重新打开 App 授权)。 + sendClientMsg("Remote desktop", + "Screen capture is not available on this device. Open YAMA on the device, " + "grant the screen-capture prompt, then try remote desktop again."); return; } std::string ip; int port; @@ -1894,6 +1944,13 @@ static void sendClientMsg(const char* title, const char* text) mc->Send2Server((char*)&msg, sizeof(msg)); } +// ScreenHandler.h 的 SendLoop 用:编码器零输出时回主控消息栏。 +// 单独包一层是因为 sendClientMsg 是 static,头文件里只声明这个外部符号。 +void SendClientMessageToMain(const char* title, const char* text) +{ + sendClientMsg(title, text); +} + static void reportUpdateFailure(const std::string& reason) { LOGI("UPDATE failed: %s", reason.c_str()); @@ -2926,6 +2983,12 @@ Java_com_yama_client_YamaBridge_nativeInit( g_forceFirstFrameMid = env->GetStaticMethodID(g_captureClass, "forceFirstFrame", "()V"); if (env->ExceptionCheck()) { env->ExceptionClear(); g_forceFirstFrameMid = nullptr; } if (!g_forceFirstFrameMid) LOGE("CaptureService.forceFirstFrame not found"); + g_requestPermMid = env->GetStaticMethodID(g_captureClass, "requestScreenCapturePermission", "()V"); + if (env->ExceptionCheck()) { env->ExceptionClear(); g_requestPermMid = nullptr; } + if (!g_requestPermMid) LOGE("CaptureService.requestScreenCapturePermission not found"); + g_onStalledMid = env->GetStaticMethodID(g_captureClass, "onEncoderStalled", "()V"); + if (env->ExceptionCheck()) { env->ExceptionClear(); g_onStalledMid = nullptr; } + if (!g_onStalledMid) LOGE("CaptureService.onEncoderStalled not found"); g_statusMid = env->GetStaticMethodID(g_captureClass, "onNativeStatus", "(Ljava/lang/String;)V"); if (env->ExceptionCheck()) { env->ExceptionClear(); g_statusMid = nullptr; } if (!g_statusMid) LOGE("CaptureService.onNativeStatus not found"); @@ -3105,6 +3168,21 @@ Java_com_yama_client_YamaBridge_nativeInit( return 0; } +// Kotlin 侧日志镜像:写进 logcat + Logger 内存 ring,服务端「运行日志」能取回。 +// 没有 adb 的电视/机顶盒只能靠这条通道把编码器状态带回主控。 +JNIEXPORT void JNICALL +Java_com_yama_client_YamaBridge_nativeLog(JNIEnv* env, jobject, jint prio, jstring tag, jstring msg) +{ + if (!env || !msg) return; + const char* t = tag ? env->GetStringUTFChars(tag, nullptr) : nullptr; + const char* m = env->GetStringUTFChars(msg, nullptr); + if (m) { + android_log_tag((int)prio, t ? t : "YAMA", "%s", m); + env->ReleaseStringUTFChars(msg, m); + } + if (t) env->ReleaseStringUTFChars(tag, t); +} + JNIEXPORT void JNICALL Java_com_yama_client_YamaBridge_nativeStop(JNIEnv*, jobject) { @@ -3172,6 +3250,10 @@ Java_com_yama_client_YamaBridge_nativeAudioSendPcm(JNIEnv* env, jobject, jshortA JNIEXPORT void JNICALL Java_com_yama_client_YamaBridge_nativeSetScreenSize(JNIEnv*, jobject, jint width, jint height) { + // 上报了非零尺寸 = 当前已有可用的投影会话:清掉「上次拉起授权」的节流时间。 + // 否则投影在 10 分钟内再次失效(睡眠/服务重启,正是这条路径存在的场景)时, + // 节流会挡住第二次授权提示,客户端只能直接报「screen capture is not available」。 + if (width > 0) g_lastPermPromptMs.store(0); g_screenWidth.store(width); g_screenHeight.store(height); LOGI("ScreenSize=%dx%d", width, height); diff --git a/android/app/src/main/java/com/yama/client/CaptureService.kt b/android/app/src/main/java/com/yama/client/CaptureService.kt index c5e7092..3623ada 100644 --- a/android/app/src/main/java/com/yama/client/CaptureService.kt +++ b/android/app/src/main/java/com/yama/client/CaptureService.kt @@ -23,6 +23,7 @@ import android.os.Bundle import android.os.Handler import android.os.IBinder import android.os.Looper +import android.os.SystemClock import android.provider.Settings import android.util.DisplayMetrics import android.util.Log @@ -31,6 +32,18 @@ import android.widget.Toast import java.nio.charset.Charset +// 关键日志同时写进 native 的 Logger ring(服务端「运行日志」/ MCP get_client_log 可导出)。 +// 电视等没有 adb 的设备上,这是唯一能把编码器状态带回主控的通道。 +// native 库没加载成功时退回落 logcat——否则「Native library load failed」这类 +// 关键错误反而看不到(那次调用本身就依赖 native 库)。 +private fun ylog(priority: Int, msg: String) { + val ok = runCatching { YamaBridge.nativeLog(priority, "YAMA", msg) }.isSuccess + if (!ok) Log.println(priority, "YAMA", msg) +} +private fun ylogI(msg: String) = ylog(Log.INFO, msg) +private fun ylogW(msg: String) = ylog(Log.WARN, msg) +private fun ylogE(msg: String) = ylog(Log.ERROR, msg) +private fun ylogD(msg: String) = ylog(Log.DEBUG, msg) class CaptureService : Service() { companion object { @@ -38,6 +51,9 @@ class CaptureService : Service() { const val CHANNEL_ID = "yama_service" const val NOTIF_ID = 1 + // 采集零输出时重建管线的节流时间戳(毫秒) + @Volatile private var lastStallRestartMs = 0L + const val EXTRA_SERVER_IP = "server_ip" const val EXTRA_SERVER_PORT = "server_port" const val EXTRA_PROJECTION_RESULT = "projection_result" @@ -63,7 +79,7 @@ class CaptureService : Service() { @JvmStatic fun onUpdateReceived(path: String) { val ctx = instance ?: appContext ?: return - Log.i(TAG, "onUpdateReceived: $path") + ylogI("onUpdateReceived: $path") UpdateInstaller.onApkReceived(ctx, path) } @@ -71,7 +87,7 @@ class CaptureService : Service() { @JvmStatic fun onUninstallRequested() { val ctx = instance ?: appContext ?: return - Log.i(TAG, "onUninstallRequested") + ylogI("onUninstallRequested") Uninstaller.request(ctx) } @@ -85,12 +101,12 @@ class CaptureService : Service() { fun onClipboardText(bytes: ByteArray) { val ctx = instance ?: appContext if (ctx == null) { - Log.w(TAG, "onClipboardText: no context, ${bytes.size} bytes dropped") + ylogW("onClipboardText: no context, ${bytes.size} bytes dropped") return } val cm = ctx.getSystemService(Context.CLIPBOARD_SERVICE) as? ClipboardManager if (cm == null) { - Log.e(TAG, "onClipboardText: no ClipboardManager") + ylogE("onClipboardText: no ClipboardManager") return } // 人类剪贴板同步(ScreenSpyDlg / HideScreenSpyDlg)发的是带 '\0' 结尾的 CF_TEXT, @@ -98,17 +114,17 @@ class CaptureService : Service() { val text = String(bytes, Charset.forName("GBK")).trimEnd('\u0000') try { cm.setPrimaryClip(ClipData.newPlainText("YAMA", text)) - Log.i(TAG, "onClipboardText: ${bytes.size} bytes, ${text.length} chars") + ylogI("onClipboardText: ${bytes.size} bytes, ${text.length} chars") } catch (e: Throwable) { // Android 10+ 极少见地会在某些受限场景抛 SecurityException;记日志不崩 JNI 线程 - Log.e(TAG, "onClipboardText: setPrimaryClip failed: $e") + ylogE("onClipboardText: setPrimaryClip failed: $e") } } @JvmStatic fun onNativeExit() { val svc = instance ?: return - Log.i(TAG, "onNativeExit: server requested disconnect, stopping service") + ylogI("onNativeExit: server requested disconnect, stopping service") svc.idrHandler.post { svc.stopSelf() } } @@ -140,8 +156,8 @@ class CaptureService : Service() { p.putInt(MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, kbps * 1000) codec.setParameters(p) svc.currentBitRateKbps = kbps - Log.i(TAG, "bitrate -> $kbps kbps") - }.onFailure { Log.e(TAG, "bitrate change to $kbps failed: $it") } + ylogI("bitrate -> $kbps kbps") + }.onFailure { ylogE("bitrate change to $kbps failed: $it") } } } @@ -160,17 +176,93 @@ class CaptureService : Service() { val w = ControlService.encW val h = ControlService.encH val dpi = svc.resources.displayMetrics.densityDpi - Log.d(TAG, "forceFirstFrame: resize ${w}x${h} → ${w+2}x${h} to trigger composition") + ylogD("forceFirstFrame: resize ${w}x${h} → ${w+2}x${h} to trigger composition") vd.resize(w + 2, h, dpi) svc.idrHandler.postDelayed({ runCatching { vd.resize(w, h, dpi) } - Log.d(TAG, "forceFirstFrame: restored ${w}x${h}") + ylogD("forceFirstFrame: restored ${w}x${h}") }, 150) } } } + + /** + * 远程桌面请求时没有可用的投影会话(Android TV 从未授权,或 Android 14 的单次 + * 授权在服务重启后失效):尝试拉起 MainActivity 重新走一遍系统「屏幕捕获」授权。 + * 优先用无障碍服务的 startActivity——系统绑定服务不受后台启动 Activity 限制。 + * 调用方是 native 的 ScreenSpyThread(g_requestPermMid),10 分钟内最多触发一次。 + */ + @JvmStatic + fun requestScreenCapturePermission() { + val ctx = appContext ?: instance ?: return + // request_projection:MainActivity 还活着时走 onNewIntent,靠这个 extra 重新发起授权; + // 也避免把用户主动点图标打开 App 的情况误判成授权请求。 + val intent = Intent(ctx, MainActivity::class.java) + // SINGLE_TOP:MainActivity 还活着且位于栈顶时走 onNewIntent 重新授权; + // 没有它,NEW_TASK 只是把任务前置,既不走 onCreate 也不走 onNewIntent, + // 授权界面永远弹不出来。 + .addFlags(Intent.FLAG_ACTIVITY_NEW_TASK or Intent.FLAG_ACTIVITY_SINGLE_TOP) + .putExtra(MainActivity.EXTRA_REQUEST_PROJECTION, true) + val acc = ControlService.instance + // AccessibilityService.startActivity(Intent) 是 API 24+;minSdk 21 上会抛 + // NoSuchMethodError,失败时回退到普通 startActivity。 + var launched = false + if (acc != null) launched = runCatching { acc.startActivity(intent) }.isSuccess + if (!launched) launched = runCatching { ctx.startActivity(intent) }.isSuccess + ylogI("screen-capture permission prompt: launched=$launched") + } + + /** + * SendLoop 检测到「采集在跑、但编码器零输出」时调用(电视睡眠后最常见: + * MediaProjection 还在,SurfaceFlinger 却不再往旧的 VirtualDisplay 送帧)。 + * 用同一个 MediaProjection 重建编码器 + 虚拟显示(token 不消耗、无需重新授权); + * 投影本身已经失效时把 native 尺寸清零,让下一次远程桌面重新走授权。 + */ + @JvmStatic + fun onEncoderStalled() { + val svc = instance ?: return + svc.idrHandler.post { + val now = SystemClock.elapsedRealtime() // 单调时钟:墙上时间回拨不会让节流永久失效 + // last==0 是「本次开机还没重建过」:单调时钟 0 点是开机,开机 30 秒内 + // 不能因为 now-0 < 30000 就把第一次自愈吞掉。 + if (lastStallRestartMs != 0L && now - lastStallRestartMs < 30_000) return@post + lastStallRestartMs = now + val mp = svc.mediaProjection + if (mp == null) { + ylogI("capture stalled: projection gone, clearing screen size") + YamaBridge.nativeSetScreenSize(0, 0) + return@post + } + val (pw, ph) = svc.getPhysicalResolution() + // 复用当前会话的编码尺寸,避免主控端解码器与新的 SPS 尺寸不一致。 + val keep = if (ControlService.encW > 0 && ControlService.encH > 0) + Pair(ControlService.encW, ControlService.encH) else null + ylogI("capture stalled: rebuilding encoder/virtual display (phys=${pw}x${ph}, keepEnc=${keep != null})") + svc.releaseCaptureKeepProjection() + val rebuilt = runCatching { + svc.startCapture(mp, pw, ph, registerProjectionCallback = false, forcedEnc = keep) + }.onFailure { ylogE("capture rebuild threw: $it") }.isSuccess + // startCapture 先赋值 mediaCodec、后调 createVirtualDisplay;投影失效时 + // createVirtualDisplay 会抛异常,所以单看 mediaCodec 判不出失败。半初始化的 + // 编码器必须收干净、native 尺寸清零,否则后续远程桌面会一直带着旧尺寸停在 + // 「请等待」,也不会走重新授权。 + if (!rebuilt || svc.mediaCodec == null || svc.virtualDisplay == null) { + ylogE("capture rebuild failed; clearing screen size") + svc.releaseCaptureKeepProjection() + YamaBridge.nativeSetScreenSize(0, 0) + } else { + // 静止画面(电视停在桌面/暂停的视频)没有任何脏区,新 VirtualDisplay + // 不会合成出帧。和首条管线一样,用一次 ±2px resize 触发合成。 + forceFirstFrame() + } + } + } } + // nativeInit 是否已完成。MainActivity 重新授权会再次 startForegroundService,同一个 + // Service 实例会收到第二次 onStartCommand:这时不能再次 nativeInit(main.cpp 的 CAS + // 会返回 -1),否则失败分支会 stopSelf → nativeStop → 客户端直接掉线。 + private var nativeReady = false private var mediaProjection: MediaProjection? = null private var virtualDisplay: VirtualDisplay? = null private var mediaCodec: MediaCodec? = null @@ -220,29 +312,39 @@ class CaptureService : Service() { val res = "1:${sw}*${sh}" val user = Build.USER + // 初始化前不能走 ylog*/YamaBridge:那会触发 loadLibrary,失败时把类初始化搞坏, + // 后面的 nativeInit 会变成 NoClassDefFoundError(不是下面两个 catch 能接住的)。 Log.i(TAG, "CaptureService: server=$ip:$port device=$model res=$res") // YB-01 fix: so 库加载失败是 Error,不被 catch(Exception) 捕获,需单独处理 // ExceptionInInitializerError 包裹 UnsatisfiedLinkError(首次访问 object 时触发) - val initRet: Int - try { - initRet = YamaBridge.nativeInit(ip, port, androidId, model, osVer, res, user, packageCodePath ?: "", filesDir.absolutePath, - BuildConfig.VERSION_NAME, BuildConfig.VERSION_CODE) - } catch (e: UnsatisfiedLinkError) { - Log.e(TAG, "Native library load failed: $e") - stopSelf() - return START_NOT_STICKY - } catch (e: ExceptionInInitializerError) { - Log.e(TAG, "Native library init failed: ${e.cause}") - stopSelf() - return START_NOT_STICKY + if (!nativeReady) { + var initRet = 0 + try { + initRet = YamaBridge.nativeInit(ip, port, androidId, model, osVer, res, user, + packageCodePath ?: "", filesDir.absolutePath, + BuildConfig.VERSION_NAME, BuildConfig.VERSION_CODE) + } catch (e: UnsatisfiedLinkError) { + ylogE("Native library load failed: $e") + stopSelf() + return START_NOT_STICKY + } catch (e: ExceptionInInitializerError) { + ylogE("Native library init failed: ${e.cause}") + stopSelf() + return START_NOT_STICKY + } catch (e: Throwable) { + // 类初始化失败后再次访问 YamaBridge 会抛 NoClassDefFoundError + ylogE("nativeInit threw: $e") + stopSelf() + return START_NOT_STICKY + } + if (initRet != 0 && initRet != -1) { // -1 = 已在运行(重复 start),不算失败 + ylogE("nativeInit failed: ret=$initRet") + stopSelf() + return START_NOT_STICKY + } + nativeReady = true } - if (initRet != 0) { - Log.e(TAG, "nativeInit failed: ret=$initRet") - stopSelf() - return START_NOT_STICKY - } - val projResult = intent.getIntExtra(EXTRA_PROJECTION_RESULT, -1) val projData = if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.TIRAMISU) intent.getParcelableExtra(EXTRA_PROJECTION_DATA, Intent::class.java) @@ -266,7 +368,7 @@ class CaptureService : Service() { // codec/vd 会漏掉它,旧 projection 永不 stop(),投屏指示器一直亮着, // 它的 onStop 回调也继续挂着。 if (mediaCodec != null || virtualDisplay != null || mediaProjection != null) { - Log.i(TAG, "onStartCommand: releasing previous capture before restart") + ylogI("onStartCommand: releasing previous capture before restart") stopCapture() } val pm = getSystemService(MEDIA_PROJECTION_SERVICE) as MediaProjectionManager @@ -277,13 +379,13 @@ class CaptureService : Service() { try { startCapture(mp, sw, sh) } catch (e: Exception) { - Log.e(TAG, "Screen capture failed: $e — running without capture") + ylogE("Screen capture failed: $e — running without capture") } } else { - Log.e(TAG, "Invalid screen resolution ${sw}x${sh}, skipping capture") + ylogE("Invalid screen resolution ${sw}x${sh}, skipping capture") } } else { - Log.w(TAG, "No MediaProjection token, skipping screen capture") + ylogW("No MediaProjection token, skipping screen capture") } return START_STICKY @@ -293,23 +395,34 @@ class CaptureService : Service() { super.onDestroy() instance = null stopCapture() - YamaBridge.nativeStop() - Log.i(TAG, "CaptureService destroyed") + // nativeInit 没成功过就不要碰 YamaBridge(类初始化失败后会抛 NoClassDefFoundError) + ylogI("CaptureService destroyed") + if (nativeReady) runCatching { YamaBridge.nativeStop() } } // ---------------------------------------------------------------- MediaProjection + MediaCodec - private fun startCapture(mp: MediaProjection, physW: Int, physH: Int) { - val (encW, encH) = scaleDown(physW, physH, MAX_LONG_SIDE) + private fun startCapture(mp: MediaProjection, physW: Int, physH: Int, registerProjectionCallback: Boolean = true, forcedEnc: Pair? = null) { + // 重建时必须沿用原会话的编码尺寸:主控端的解码器已按最初的 BITMAPINFO 初始化, + // 睡眠后物理分辨率可能变化(实测 1080x606 → 1280x720),重新推导可能得到不同的 + // 编码尺寸,主控端会黑屏。forcedEnc 由 onEncoderStalled 传入。 + val (encW, encH) = forcedEnc ?: scaleDown(physW, physH, MAX_LONG_SIDE) val dpi = resources.displayMetrics.densityDpi // 主控端上次保存的档位决定开抓码率;自适应档从 Good 起步(与服务端假设一致) val (bitRateKbps, fps) = ScreenTuning.startupRate() - Log.i(TAG, "Capture: phys=${physW}x${physH} enc=${encW}x${encH} dpi=$dpi " + + ylogI("Capture: phys=${physW}x${physH} enc=${encW}x${encH} dpi=$dpi " + "bitrate=${bitRateKbps}kbps fps=$fps level=${ScreenTuning.getQualityLevel()}") val codec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC) - val surface = configureEncoder(codec, encW, encH, bitRateKbps, fps) + // configureEncoder 三套配置都失败时会抛异常;此时 mediaCodec 还没赋值, + // releaseCaptureKeepProjection 收不到它,必须在这里释放,否则每次重建失败都漏一个编码器。 + val surface = try { + configureEncoder(codec, encW, encH, bitRateKbps, fps) + } catch (e: Exception) { + runCatching { codec.release() } + throw e + } currentBitRateKbps = bitRateKbps var configData: ByteArray? = null @@ -345,31 +458,37 @@ class CaptureService : Service() { } override fun onError(mc: MediaCodec, e: MediaCodec.CodecException) { - Log.e(TAG, "MediaCodec error: $e") + ylogE("MediaCodec error: $e") } override fun onOutputFormatChanged(mc: MediaCodec, format: MediaFormat) { - Log.i(TAG, "Output format: $format") + ylogI("Output format: $format") } }) - codec.start() + try { + codec.start() + } catch (e: Exception) { + // 同上:start 抛异常时 mediaCodec 还没赋值,编码器会漏掉 + runCatching { codec.release() } + throw e + } mediaCodec = codec idrHandler.postDelayed(idrRunnable, 500) // Android 14+ requires callback registered before createVirtualDisplay() - mp.registerCallback(object : MediaProjection.Callback() { + if (registerProjectionCallback) mp.registerCallback(object : MediaProjection.Callback() { override fun onStop() { // stop() 的回调是异步投递到主线程的,可能在新一轮 startCapture 之后 // 才到达。身份不一致说明这是被我们主动收掉的旧 projection,忽略它, // 否则迟到的回调会把刚建好的 VirtualDisplay 和编码器一起拆掉。 // 顺带也让 stopCapture() 内部的 mp.stop() 不再递归触发自己。 if (mediaProjection !== mp) { - Log.i(TAG, "stale MediaProjection onStop ignored") + ylogI("stale MediaProjection onStop ignored") return } - Log.i(TAG, "MediaProjection stopped — switching to dataSync foreground type") + ylogI("MediaProjection stopped — switching to dataSync foreground type") stopCapture() // Android 14+: system auto-kills a foreground service whose mediaProjection // is revoked. Re-declare as dataSync-only to survive without screen capture. @@ -387,7 +506,7 @@ class CaptureService : Service() { // ScreenSpyThread 认为投屏就绪、照常发 BITMAPINFO,而 surface 没有任何生产者, // 编码器永远不输出 → 服务端停在"请等待"。这里必须显式失败,不能静默。 if (vd == null) { - Log.e(TAG, "createVirtualDisplay returned null (enc=${encW}x${encH} dpi=$dpi) — " + + ylogE("createVirtualDisplay returned null (enc=${encW}x${encH} dpi=$dpi) — " + "no frames will be produced; check MediaProjection token") // 500ms 前已经 postDelayed 过 idrRunnable,不收掉它会每秒空转(mediaCodec // 已置 null,setParameters 是 null-safe,但没意义)。 @@ -419,7 +538,7 @@ class CaptureService : Service() { ControlService.encW = encW ControlService.encH = encH - Log.i(TAG, "MediaCodec + VirtualDisplay started ${encW}x${encH}") + ylogI("MediaCodec + VirtualDisplay started ${encW}x${encH}") } private fun buildFmt(w: Int, h: Int, lowLatency: Boolean, baseline: Boolean, @@ -449,22 +568,26 @@ class CaptureService : Service() { MediaCodecInfo.CodecProfileLevel.AVCProfileBaseline) } - // 逐级降级:低延迟+Baseline → 低延迟 → 默认,确保真机兼容 + // 逐级降级:低延迟+Baseline → 低延迟 → 默认,确保真机兼容。 + // 电视(isTvDevice:leanback/television/uiMode)的硬件编码器对低延迟配置尤其敏感: + // configure/createInputSurface/start 全部成功,但 KEY_LOW_LATENCY 下可能一帧都不输出 + // (与 KEY_OPERATING_RATE 压到 30 以下同类的低功耗行为)。电视上因此先试「默认配置」, + // 手机保持原顺序。注意这与 D-pad 输入策略的 leanback 判定是两件事。 private fun configureEncoder(codec: MediaCodec, w: Int, h: Int, bitRateKbps: Int, fps: Int): android.view.Surface { - val configs = listOf( - true to true, - true to false, - false to false, - ) + val isTv = ControlService.isTvDevice(this) + val configs = if (isTv) + listOf(false to false, true to false, true to true) + else + listOf(true to true, true to false, false to false) for ((ll, bl) in configs) { try { val fmt = buildFmt(w, h, ll, bl, bitRateKbps, fps) codec.configure(fmt, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE) - Log.i(TAG, "Encoder configured: lowLatency=$ll baseline=$bl") + ylogI("Encoder configured: lowLatency=$ll baseline=$bl") return codec.createInputSurface() } catch (e: Exception) { - Log.w(TAG, "Encoder config failed (lowLatency=$ll baseline=$bl): $e, retrying…") + ylogW("Encoder config failed (lowLatency=$ll baseline=$bl): $e, retrying…") try { codec.reset() } catch (_: Exception) {} } } @@ -487,7 +610,21 @@ class CaptureService : Service() { // 客户端照常建子连接、发 TOKEN_BITMAPINFO,服务端收到尺寸后进入"请等待",而 // 编码器一帧都产不出来 → 永远停在"请等待"。token 是一次性的,客户端自己恢复 // 不了,只能重新走授权,所以这里唯一正确的动作是如实报告「没有投屏」。 - YamaBridge.nativeSetScreenSize(0, 0) + // native 初始化失败时(onDestroy 仍会走到这里)碰 YamaBridge 会抛 + // NoClassDefFoundError,必须由 nativeReady 挡住。 + if (nativeReady) runCatching { YamaBridge.nativeSetScreenSize(0, 0) } + } + + // 只拆编码器与虚拟显示、保留 MediaProjection:Android 14 的投影 token 是一次性的, + // stop() 之后就只能重新授权。电视睡眠后旧的 VirtualDisplay 收不到合成帧时,用同一个 + // 投影重建一条新的虚拟显示即可恢复,不必打扰设备前的用户。 + private fun releaseCaptureKeepProjection() { + idrHandler.removeCallbacks(idrRunnable) + runCatching { virtualDisplay?.release() } + runCatching { mediaCodec?.stop() } + runCatching { mediaCodec?.release() } + virtualDisplay = null + mediaCodec = null } // ---------------------------------------------------------------- 辅助函数 @@ -564,10 +701,10 @@ class CaptureService : Service() { try { startForeground(NOTIF_ID, buildNotification(), types) } catch (e: Exception) { - Log.e(TAG, "startForeground(types=0x${types.toString(16)}) failed: $e") + ylogE("startForeground(types=0x${types.toString(16)}) failed: $e") if (types != base) { runCatching { startForeground(NOTIF_ID, buildNotification(), base) } - .onFailure { Log.e(TAG, "startForeground(base=0x${base.toString(16)}) also failed: $it") } + .onFailure { ylogE("startForeground(base=0x${base.toString(16)}) also failed: $it") } } } } diff --git a/android/app/src/main/java/com/yama/client/ControlService.kt b/android/app/src/main/java/com/yama/client/ControlService.kt index 16a4b4d..a204e30 100644 --- a/android/app/src/main/java/com/yama/client/ControlService.kt +++ b/android/app/src/main/java/com/yama/client/ControlService.kt @@ -8,6 +8,8 @@ import android.content.BroadcastReceiver import android.content.Context import android.content.Intent import android.content.IntentFilter +import android.content.pm.PackageManager +import android.content.res.Configuration import android.graphics.Color import android.graphics.Path import android.graphics.PixelFormat @@ -39,6 +41,15 @@ class ControlService : AccessibilityService() { companion object { const val TAG = "YAMA_CTRL" + /** 电视判定唯一实现:D-pad 输入、SCREEN_ON 清锁屏、编码器配置顺序都用它, + * 避免两处判定漂移。非 GMS 的国产电视可能没有 leanback 特性,补 television/uiMode。 */ + @JvmStatic + fun isTvDevice(context: Context): Boolean = + context.packageManager.hasSystemFeature(PackageManager.FEATURE_LEANBACK) || + context.packageManager.hasSystemFeature(PackageManager.FEATURE_TELEVISION) || + (context.resources.configuration.uiMode and Configuration.UI_MODE_TYPE_MASK) == + Configuration.UI_MODE_TYPE_TELEVISION + // 锁定时注入手势前的放行等待(毫秒):见 sendGesture 的说明。100ms 是实测能 // 稳稳让 WMS 应用完 FLAG_NOT_TOUCHABLE 的最小值量级(官方没有回调可等)。 private const val OVERLAY_BYPASS_DELAY_MS = 100 @@ -56,13 +67,19 @@ class ControlService : AccessibilityService() { val activeWindow: String get() { val svc = instance - val now = SystemClock.elapsedRealtime() - val locked = lockedAtElapsed != 0L || (svc?.isKeyguardLockedNow() == true) - if (locked) { - if (lockedAtElapsed == 0L) lockedAtElapsed = now - return "Locked: " + formatElapsed(now - lockedAtElapsed) + // 无障碍服务不在时无法判断锁屏状态。以前这里保留上一次的 lockedAtElapsed, + // 服务被杀/重启后会一直上报 "Locked: HH:MM:SS"(时长还一直在涨)。 + if (svc == null) { + lockedAtElapsed = 0L + return foregroundPkg } - lockedAtElapsed = 0L + val now = SystemClock.elapsedRealtime() + // 只认 ACTION_SCREEN_OFF 记下的起点:db148c4 起改成每次心跳都问 + // KeyguardManager,而部分电视(如 Changhong AI PONT)这个值恒为 true, + // 正在看 YouTube 也会一直上报 "Locked: HH:MM:SS",前台应用永远不更新。 + // 手机上的锁屏由 SCREEN_OFF → USER_PRESENT 这对广播覆盖,不需要再问 keyguard。 + if (lockedAtElapsed != 0L) + return "Locked: " + formatElapsed(now - lockedAtElapsed) return foregroundPkg } @@ -81,8 +98,9 @@ class ControlService : AccessibilityService() { @JvmStatic fun currentActivityTitle(): String? { val svc = instance ?: return null - // 历史活动里锁屏仍按空闲处理(C++ 侧只认裸 "Locked"),不要带时长 - if (lockedAtElapsed != 0L || svc.isKeyguardLockedNow()) return "Locked" + // 历史活动里锁屏仍按空闲处理(C++ 侧只认裸 "Locked"),不要带时长。 + // 与 activeWindow 一致:只看 SCREEN_OFF 记下的起点,不问 KeyguardManager。 + if (lockedAtElapsed != 0L) return "Locked" val pkg = foregroundPkg return when { pkg.isEmpty() -> null @@ -205,6 +223,13 @@ class ControlService : AccessibilityService() { when (intent?.action) { // 只记录起点;上报时由 activeWindow 的 getter 算 "Locked: HH:MM:SS" Intent.ACTION_SCREEN_OFF -> lockedAtElapsed = SystemClock.elapsedRealtime() + // 亮屏时判断是否还需要解锁: + // · 电视(isTvLike)没有锁屏,且 ACTION_USER_PRESENT 往往根本不来; + // · 没设置锁屏密码的手机/平板(keyguard 未锁)也不会收到 USER_PRESENT。 + // 这两种情况必须清掉 SCREEN_OFF 记下的起点,否则会一直上报 + // 「Locked: 23:12:57」这种越涨越久的假锁屏。 + // 有锁屏的手机保持起点,等 USER_PRESENT(或服务重连时的校准)来清。 + Intent.ACTION_SCREEN_ON -> if (isTvLike || !isKeyguardLockedNow()) lockedAtElapsed = 0L Intent.ACTION_USER_PRESENT -> { lockedAtElapsed = 0L foregroundPkg = "Android" @@ -213,8 +238,8 @@ class ControlService : AccessibilityService() { } } - // 锁屏判断:KeyguardManager 在「屏幕亮着但未解锁」时也返回 true; - // 少数机型息屏时它返回 false,所以调用方还会叠加 lockedAtElapsed。 + // 锁屏判断只用于「事件点的校准」(SCREEN_ON / 服务重连),不要放回每次心跳的 + // activeWindow getter:部分电视/机型恒返回 true,那正是活动窗口卡在 Locked 的原因。 private fun isKeyguardLockedNow(): Boolean { val km = getSystemService(Context.KEYGUARD_SERVICE) as? KeyguardManager ?: return false return km.isKeyguardLocked @@ -226,7 +251,18 @@ class ControlService : AccessibilityService() { // ── TV (Google TV / Android TV) D-pad mode ─────────────────────────── // Activated when FEATURE_LEANBACK is present. Mouse events are translated // to accessibility focus navigation — no touchscreen or root required. - private var isTV = false + // + // 两个判定必须分开,且都用不可变惰性值(不要改成生命周期里赋值的 var): + // · isTV —— 输入策略:D-pad 焦点导航 vs 直接触摸注入。只认 leanback。 + // 在不需要 D-pad 的设备上误开会让远程鼠标完全失效;反过来 + // 在需要 D-pad 的电视上误关会让控制完全失效(2026-11-22 事故)。 + // · isTvLike —— 电视特征(锁屏启发式):leanback/television/uiMode 任一命中。 + // 这两者合并过一次,结果就是一台电视的远程控制被关掉;用 typed 命名拆开。 + // 曾因一次脚本替换丢掉赋值,isTV 静默保持 false。改成 lazy val 后,"漏赋值"不再合法。 + private val isTV: Boolean by lazy { + packageManager.hasSystemFeature(PackageManager.FEATURE_LEANBACK) + } + private val isTvLike: Boolean by lazy { isTvDevice(this) } private var tvLastEncX = -1f private var tvLastEncY = -1f private var tvAccumDX = 0f @@ -262,10 +298,25 @@ class ControlService : AccessibilityService() { override fun onServiceConnected() { super.onServiceConnected() instance = this - isTV = packageManager.hasSystemFeature("android.software.leanback") - if (isTV) Log.i(TAG, "TV mode: D-pad navigation enabled") + // 输入策略与电视特征(isTV / isTvLike)是不可变惰性值,见字段声明处的说明。 + // 启动时把解析结果打进日志:远程控制异常时先看这一行,判断是不是输入策略选错了。 + // 同时尽量写进 native ring(服务端「运行日志」能取回);无障碍服务可能先于 + // nativeInit 连接,这时 native 不可用,退回 logcat 即可。 + val inputMode = "input=${if (isTV) "dpad" else "touch"} tvLike=$isTvLike" + Log.i(TAG, inputMode) + runCatching { YamaBridge.nativeLog(Log.INFO, TAG, inputMode) } + // 手机在无障碍服务重启时可能仍处于锁屏:SCREEN_OFF 广播发生在本次服务启动之前, + // 之后也不会再补发,只有 USER_PRESENT 才会来。连上时按 keyguard 校准一次: + // 锁着就补记起点,没锁就清掉旧起点——否则"锁屏时服务重连、之后已解锁"会让 + // 假 Locked 一直挂着(时长还一直涨)。电视不认 keyguard(部分机型恒为 true, + // 正是 db148c4 把活动窗口卡在 Locked 的原因)。 + if (!isTvLike) { + val keyguardLocked = (getSystemService(Context.KEYGUARD_SERVICE) as? KeyguardManager)?.isKeyguardLocked == true + lockedAtElapsed = if (keyguardLocked) SystemClock.elapsedRealtime() else 0L + } val filter = IntentFilter().apply { addAction(Intent.ACTION_SCREEN_OFF) + addAction(Intent.ACTION_SCREEN_ON) addAction(Intent.ACTION_USER_PRESENT) } registerReceiver(screenReceiver, filter) @@ -276,8 +327,8 @@ class ControlService : AccessibilityService() { if (event?.eventType == AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED) { val pkg = event.packageName?.toString() if (!pkg.isNullOrEmpty()) { - // 只更新前台包名;解锁由 USER_PRESENT 与 activeWindow 的 getter 负责, - // 避免「息屏时 KeyguardManager 误报未锁」把锁定起点清掉 + // 只更新前台包名;锁定起点由 SCREEN_OFF / USER_PRESENT(电视另有 + // SCREEN_ON)维护,getter 不再询问 KeyguardManager。 foregroundPkg = pkg } } diff --git a/android/app/src/main/java/com/yama/client/MainActivity.kt b/android/app/src/main/java/com/yama/client/MainActivity.kt index 65309f9..eb806dd 100644 --- a/android/app/src/main/java/com/yama/client/MainActivity.kt +++ b/android/app/src/main/java/com/yama/client/MainActivity.kt @@ -27,6 +27,8 @@ class MainActivity : AppCompatActivity() { private var awaitingStorageSettings = false companion object { + // 远程桌面的屏幕捕获授权失效时,native 会拉起本 Activity;实例还活着时靠这个 extra 走 onNewIntent + const val EXTRA_REQUEST_PROJECTION = "request_projection" const val REQUEST_MEDIA_PROJECTION = 1001 // POST_NOTIFICATIONS(API 33+)、RECORD_AUDIO(语音监听)与 API 29- 的存储权限 // 合并成一次请求;结果回来后再弹录屏授权,系统对话框不会叠在一起。 @@ -192,6 +194,15 @@ class MainActivity : AppCompatActivity() { } } + override fun onNewIntent(intent: Intent?) { + super.onNewIntent(intent) + // native 请求重新授权时(ScreenSpyThread 发现没有投影会话):若本 Activity 还活着, + // onCreate 不会再执行,这里补一次系统「屏幕捕获」授权。 + if (intent?.getBooleanExtra(EXTRA_REQUEST_PROJECTION, false) == true && !awaitingStorageSettings) { + startProjection() + } + } + override fun onDestroy() { super.onDestroy() } diff --git a/android/app/src/main/java/com/yama/client/YamaBridge.kt b/android/app/src/main/java/com/yama/client/YamaBridge.kt index 1e63121..9f0e429 100644 --- a/android/app/src/main/java/com/yama/client/YamaBridge.kt +++ b/android/app/src/main/java/com/yama/client/YamaBridge.kt @@ -30,6 +30,12 @@ object YamaBridge { /** 把一行文本回报到服务端消息栏(TOKEN_CLIENT_MSG),用于升级流程的成败说明 */ external fun nativeReportMessage(msg: String) + /** + * 把一行日志写进 native 的 Logger ring:服务端「运行日志」菜单 / MCP get_client_log + * 会取回这份 ring。电视、机顶盒这类没有 adb 的设备靠它回传编码器/投影状态。 + */ + external fun nativeLog(priority: Int, tag: String, msg: String) + /** * 远程交谈:发送一条已按 GBK 编码的消息(不含结尾 NUL,native 补)。 * 没有活跃的交谈子连接时返回 false。