Files
SimpleRemoter/android/app/src/main/cpp/VideoHandlerAndroid.h
T
yuanyuanxiangandClaude Code 998c16edc5 Feature: support camera streaming on Android hosts
Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader
直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG
SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转
导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧
[TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。

服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24;
DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。
BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。

注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的
运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。

验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框
后 camera stopped,服务端稳定。

Model: deepseek-flash
Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-11-16 18:36:48 +01:00

177 lines
7.2 KiB
C++
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
// VideoHandlerAndroid.h - Android 摄像头管理(COMMAND_WEBCAM)
//
// 协议与 Windows 客户端一致(client/VideoManager.cpp、server/2015Remote/VideoDlg.cpp):
// [TOKEN_WEBCAM_BITMAPINFO][BITMAPINFO] 服务端据此打开视频窗口;
// 之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][fccHandler:4][帧数据]。
// 与 Windows 不同的是 BITMAPINFO 不在子连接建立时立即发,而是等第一帧到达、
// 从 JPEG 的 SOF 里读出真实宽高再发(HAL 物理旋转会让宽高互换)。
//
// 与 Windows 的区别只在编码:Windows 用 VFW 的 MJPEG/H.263 编解码器,Android 相机
// 原生输出 JPEG,fccHandler 用 WEBCAM_FOURCC_JPEG_DIRECT('JPGD'),服务端走
// turbojpeg 直解,不依赖目标机安装任何编解码器。
//
// 采集与编码在 Kotlin 侧(CameraCapture.kt,Camera2 → ImageReader(JPEG)),这里只
// 负责协议封装与 JPEG 广播;帧回调从 Java 线程进入(YamaBridge.nativeOnCameraJpeg)。
#pragma once
#include <atomic>
#include <cstring>
#include <mutex>
#include <vector>
#include "common/commands.h"
#include "common/logger.h"
#include "client/IOCPClient.h"
#include "ScreenHandler.h" // BmpInfoHeader(与 Windows BITMAPINFOHEADER 同布局)
#define LOGE_V(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_VIDEO", __VA_ARGS__)
// 由 main.cpp 实现(JNI → CameraCapture.start/stop)
bool StartJavaCamera(int* outWidth, int* outHeight);
void StopJavaCamera();
class AndroidVideoHandler : public IOCPManager
{
public:
explicit AndroidVideoHandler(IOCPClient* client) : m_client(client) {}
~AndroidVideoHandler() override { StopCapture(); }
// 打开相机并发送 BITMAPINFO。失败(无相机 / 无 CAMERA 权限)返回 false,
// 调用方应关掉子连接并给主控回一条消息。
bool StartCapture()
{
int w = 0, h = 0;
if (!StartJavaCamera(&w, &h) || w <= 0 || h <= 0) return false;
m_width = w;
m_height = h;
m_running.store(true, std::memory_order_release);
// BITMAPINFO 推迟到第一帧再发:HAL 可能把 JPEG 按 JPEG_ORIENTATION 物理
// 旋转(宽高互换),也可能只写 EXIF。以第一帧实际的 SOF 宽高为准,
// 服务端就不会因为尺寸对不上而丢帧黑屏。
LOGE_V("camera started %dx%d (bitmapinfo deferred to first frame)", w, h);
return true;
}
void StopCapture()
{
if (!m_running.exchange(false)) return;
StopJavaCamera();
}
void OnReceive(PBYTE szBuffer, ULONG ulLength) override
{
if (!szBuffer || ulLength == 0) return;
switch (szBuffer[0]) {
case COMMAND_NEXT:
// 服务端视频窗口已打开
m_dialogOpen.store(true, std::memory_order_relaxed);
LOGE_V("camera dialog opened");
break;
case COMMAND_WEBCAM_ENABLECOMPRESS:
case COMMAND_WEBCAM_DISABLECOMPRESS:
// JPEG 帧始终是压缩数据,两个开关都不需要改编码路径
break;
default:
LOGE_V("camera: unhandled cmd=%d", (int)szBuffer[0]);
break;
}
}
// Java 侧每帧 JPEG 进来时调用(CameraCapture 的 ImageReader 回调线程)
void SendJpeg(const uint8_t* data, size_t len)
{
IOCPClient* client = m_client;
if (!client || !m_running.load(std::memory_order_acquire) || !data || len == 0)
return;
// 第一帧:按实际 SOF 宽高发 BITMAPINFO(服务端收到它才会打开视频窗口),
// 这一帧本身也照发;之后的帧再等服务端回 COMMAND_NEXT。
if (!m_infoSent) {
int w = m_width, h = m_height;
if (JpegDimensions(data, len, &w, &h)) {
m_width = w;
m_height = h;
}
SendBitmapInfo();
m_infoSent = true;
LOGE_V("bitmapinfo sent %dx%d (jpeg %zu bytes)", m_width, m_height, len);
} else if (!m_dialogOpen.load(std::memory_order_relaxed)) {
return;
}
const size_t head = 1 + 1 + 4;
std::vector<uint8_t> pkt(head + len);
pkt[0] = (uint8_t)TOKEN_WEBCAM_DIB;
pkt[1] = 1; // isCompress
uint32_t fcc = WEBCAM_FOURCC_JPEG_DIRECT;
memcpy(&pkt[2], &fcc, 4);
memcpy(&pkt[head], data, len);
client->Send2Server((char*)pkt.data(), (ULONG)pkt.size());
}
int Width() const { return m_width; }
int Height() const { return m_height; }
private:
// 从 JPEG 的 SOF0/SOF2 段取真实宽高(跳过 APPn/EXIF 等段)。
// 用于兼容「HAL 按 JPEG_ORIENTATION 物理旋转导致宽高互换」的机型。
static bool JpegDimensions(const uint8_t* d, size_t n, int* w, int* h)
{
if (!d || n < 4 || d[0] != 0xFF || d[1] != 0xD8) return false;
size_t i = 2;
while (i + 9 < n) {
if (d[i] != 0xFF) { ++i; continue; }
const uint8_t m = d[i + 1];
if (m == 0xD8 || m == 0xD9 || (m >= 0xD0 && m <= 0xD7)) { i += 2; continue; }
if (i + 4 > n) return false;
const size_t segLen = ((size_t)d[i + 2] << 8) | d[i + 3];
if (segLen < 2 || i + 2 + segLen > n) return false;
const bool isSof =
(m >= 0xC0 && m <= 0xC3) || (m >= 0xC5 && m <= 0xC7) ||
(m >= 0xC9 && m <= 0xCB) || (m >= 0xCD && m <= 0xCF);
if (isSof) {
if (segLen < 7) return false;
const int hh = ((int)d[i + 5] << 8) | d[i + 6];
const int ww = ((int)d[i + 7] << 8) | d[i + 8];
if (ww <= 0 || hh <= 0) return false;
*w = ww;
*h = hh;
return true;
}
i += 2 + segLen;
}
return false;
}
// Linux/macOS 的 BmpInfoHeader 就是 Windows 的 BITMAPINFOHEADER(40 字节)。
// Windows 客户端发的是 sizeof(BITMAPINFO)=44 字节(含 1 个 bmiColors),
// 这里补 4 字节零保持一致,服务端按 biSizeImage 分配转码缓冲。
void SendBitmapInfo()
{
if (!m_client) return;
uint8_t buf[1 + sizeof(BmpInfoHeader) + 4] = { 0 };
buf[0] = (uint8_t)TOKEN_WEBCAM_BITMAPINFO;
BmpInfoHeader hdr{};
hdr.biSize = sizeof(BmpInfoHeader);
hdr.biWidth = m_width;
hdr.biHeight = m_height; // bottom-up,与 Windows 摄像头一致
hdr.biPlanes = 1;
hdr.biBitCount = 24; // 服务端解码成 BGR24
hdr.biCompression = 0; // BI_RGB:描述的是解码后的位图
// DIB 每行按 DWORD 对齐(DrawDib 与保存 AVI 都按这个 stride 解释)
const int stride = (m_width * 3 + 3) & ~3;
hdr.biSizeImage = (uint32_t)(stride * m_height);
memcpy(buf + 1, &hdr, sizeof(hdr));
m_client->Send2Server((char*)buf, (ULONG)sizeof(buf));
}
IOCPClient* m_client = nullptr;
std::atomic<bool> m_running{false};
std::atomic<bool> m_dialogOpen{false};
bool m_infoSent = false;
int m_width = 0;
int m_height = 0;
};