Feature: support camera streaming on Android hosts
Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader 直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转 导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。 服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24; DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。 BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。 注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的 运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。 验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框 后 camera stopped,服务端稳定。 Model: deepseek-flash Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
1 parent
28c0c9a2a6
commit
998c16edc5
11 files changed
+739
-1
No files matched your search
@@ -0,0 +1,176 @@
|
||||
// VideoHandlerAndroid.h - Android 摄像头管理(COMMAND_WEBCAM)
|
||||
//
|
||||
// 协议与 Windows 客户端一致(client/VideoManager.cpp、server/2015Remote/VideoDlg.cpp):
|
||||
// [TOKEN_WEBCAM_BITMAPINFO][BITMAPINFO] 服务端据此打开视频窗口;
|
||||
// 之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][fccHandler:4][帧数据]。
|
||||
// 与 Windows 不同的是 BITMAPINFO 不在子连接建立时立即发,而是等第一帧到达、
|
||||
// 从 JPEG 的 SOF 里读出真实宽高再发(HAL 物理旋转会让宽高互换)。
|
||||
//
|
||||
// 与 Windows 的区别只在编码:Windows 用 VFW 的 MJPEG/H.263 编解码器,Android 相机
|
||||
// 原生输出 JPEG,fccHandler 用 WEBCAM_FOURCC_JPEG_DIRECT('JPGD'),服务端走
|
||||
// turbojpeg 直解,不依赖目标机安装任何编解码器。
|
||||
//
|
||||
// 采集与编码在 Kotlin 侧(CameraCapture.kt,Camera2 → ImageReader(JPEG)),这里只
|
||||
// 负责协议封装与 JPEG 广播;帧回调从 Java 线程进入(YamaBridge.nativeOnCameraJpeg)。
|
||||
|
||||
#pragma once
|
||||
|
||||
#include <atomic>
|
||||
#include <cstring>
|
||||
#include <mutex>
|
||||
#include <vector>
|
||||
|
||||
#include "common/commands.h"
|
||||
#include "common/logger.h"
|
||||
#include "client/IOCPClient.h"
|
||||
#include "ScreenHandler.h" // BmpInfoHeader(与 Windows BITMAPINFOHEADER 同布局)
|
||||
|
||||
#define LOGE_V(...) android_log_tag(ANDROID_LOG_ERROR, "YAMA_VIDEO", __VA_ARGS__)
|
||||
|
||||
// 由 main.cpp 实现(JNI → CameraCapture.start/stop)
|
||||
bool StartJavaCamera(int* outWidth, int* outHeight);
|
||||
void StopJavaCamera();
|
||||
|
||||
class AndroidVideoHandler : public IOCPManager
|
||||
{
|
||||
public:
|
||||
explicit AndroidVideoHandler(IOCPClient* client) : m_client(client) {}
|
||||
~AndroidVideoHandler() override { StopCapture(); }
|
||||
|
||||
// 打开相机并发送 BITMAPINFO。失败(无相机 / 无 CAMERA 权限)返回 false,
|
||||
// 调用方应关掉子连接并给主控回一条消息。
|
||||
bool StartCapture()
|
||||
{
|
||||
int w = 0, h = 0;
|
||||
if (!StartJavaCamera(&w, &h) || w <= 0 || h <= 0) return false;
|
||||
m_width = w;
|
||||
m_height = h;
|
||||
m_running.store(true, std::memory_order_release);
|
||||
// BITMAPINFO 推迟到第一帧再发:HAL 可能把 JPEG 按 JPEG_ORIENTATION 物理
|
||||
// 旋转(宽高互换),也可能只写 EXIF。以第一帧实际的 SOF 宽高为准,
|
||||
// 服务端就不会因为尺寸对不上而丢帧黑屏。
|
||||
LOGE_V("camera started %dx%d (bitmapinfo deferred to first frame)", w, h);
|
||||
return true;
|
||||
}
|
||||
|
||||
void StopCapture()
|
||||
{
|
||||
if (!m_running.exchange(false)) return;
|
||||
StopJavaCamera();
|
||||
}
|
||||
|
||||
void OnReceive(PBYTE szBuffer, ULONG ulLength) override
|
||||
{
|
||||
if (!szBuffer || ulLength == 0) return;
|
||||
switch (szBuffer[0]) {
|
||||
case COMMAND_NEXT:
|
||||
// 服务端视频窗口已打开
|
||||
m_dialogOpen.store(true, std::memory_order_relaxed);
|
||||
LOGE_V("camera dialog opened");
|
||||
break;
|
||||
case COMMAND_WEBCAM_ENABLECOMPRESS:
|
||||
case COMMAND_WEBCAM_DISABLECOMPRESS:
|
||||
// JPEG 帧始终是压缩数据,两个开关都不需要改编码路径
|
||||
break;
|
||||
default:
|
||||
LOGE_V("camera: unhandled cmd=%d", (int)szBuffer[0]);
|
||||
break;
|
||||
}
|
||||
}
|
||||
|
||||
// Java 侧每帧 JPEG 进来时调用(CameraCapture 的 ImageReader 回调线程)
|
||||
void SendJpeg(const uint8_t* data, size_t len)
|
||||
{
|
||||
IOCPClient* client = m_client;
|
||||
if (!client || !m_running.load(std::memory_order_acquire) || !data || len == 0)
|
||||
return;
|
||||
|
||||
// 第一帧:按实际 SOF 宽高发 BITMAPINFO(服务端收到它才会打开视频窗口),
|
||||
// 这一帧本身也照发;之后的帧再等服务端回 COMMAND_NEXT。
|
||||
if (!m_infoSent) {
|
||||
int w = m_width, h = m_height;
|
||||
if (JpegDimensions(data, len, &w, &h)) {
|
||||
m_width = w;
|
||||
m_height = h;
|
||||
}
|
||||
SendBitmapInfo();
|
||||
m_infoSent = true;
|
||||
LOGE_V("bitmapinfo sent %dx%d (jpeg %zu bytes)", m_width, m_height, len);
|
||||
} else if (!m_dialogOpen.load(std::memory_order_relaxed)) {
|
||||
return;
|
||||
}
|
||||
|
||||
const size_t head = 1 + 1 + 4;
|
||||
std::vector<uint8_t> pkt(head + len);
|
||||
pkt[0] = (uint8_t)TOKEN_WEBCAM_DIB;
|
||||
pkt[1] = 1; // isCompress
|
||||
uint32_t fcc = WEBCAM_FOURCC_JPEG_DIRECT;
|
||||
memcpy(&pkt[2], &fcc, 4);
|
||||
memcpy(&pkt[head], data, len);
|
||||
client->Send2Server((char*)pkt.data(), (ULONG)pkt.size());
|
||||
}
|
||||
|
||||
int Width() const { return m_width; }
|
||||
int Height() const { return m_height; }
|
||||
|
||||
private:
|
||||
// 从 JPEG 的 SOF0/SOF2 段取真实宽高(跳过 APPn/EXIF 等段)。
|
||||
// 用于兼容「HAL 按 JPEG_ORIENTATION 物理旋转导致宽高互换」的机型。
|
||||
static bool JpegDimensions(const uint8_t* d, size_t n, int* w, int* h)
|
||||
{
|
||||
if (!d || n < 4 || d[0] != 0xFF || d[1] != 0xD8) return false;
|
||||
size_t i = 2;
|
||||
while (i + 9 < n) {
|
||||
if (d[i] != 0xFF) { ++i; continue; }
|
||||
const uint8_t m = d[i + 1];
|
||||
if (m == 0xD8 || m == 0xD9 || (m >= 0xD0 && m <= 0xD7)) { i += 2; continue; }
|
||||
if (i + 4 > n) return false;
|
||||
const size_t segLen = ((size_t)d[i + 2] << 8) | d[i + 3];
|
||||
if (segLen < 2 || i + 2 + segLen > n) return false;
|
||||
const bool isSof =
|
||||
(m >= 0xC0 && m <= 0xC3) || (m >= 0xC5 && m <= 0xC7) ||
|
||||
(m >= 0xC9 && m <= 0xCB) || (m >= 0xCD && m <= 0xCF);
|
||||
if (isSof) {
|
||||
if (segLen < 7) return false;
|
||||
const int hh = ((int)d[i + 5] << 8) | d[i + 6];
|
||||
const int ww = ((int)d[i + 7] << 8) | d[i + 8];
|
||||
if (ww <= 0 || hh <= 0) return false;
|
||||
*w = ww;
|
||||
*h = hh;
|
||||
return true;
|
||||
}
|
||||
i += 2 + segLen;
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
// Linux/macOS 的 BmpInfoHeader 就是 Windows 的 BITMAPINFOHEADER(40 字节)。
|
||||
// Windows 客户端发的是 sizeof(BITMAPINFO)=44 字节(含 1 个 bmiColors),
|
||||
// 这里补 4 字节零保持一致,服务端按 biSizeImage 分配转码缓冲。
|
||||
void SendBitmapInfo()
|
||||
{
|
||||
if (!m_client) return;
|
||||
uint8_t buf[1 + sizeof(BmpInfoHeader) + 4] = { 0 };
|
||||
buf[0] = (uint8_t)TOKEN_WEBCAM_BITMAPINFO;
|
||||
|
||||
BmpInfoHeader hdr{};
|
||||
hdr.biSize = sizeof(BmpInfoHeader);
|
||||
hdr.biWidth = m_width;
|
||||
hdr.biHeight = m_height; // bottom-up,与 Windows 摄像头一致
|
||||
hdr.biPlanes = 1;
|
||||
hdr.biBitCount = 24; // 服务端解码成 BGR24
|
||||
hdr.biCompression = 0; // BI_RGB:描述的是解码后的位图
|
||||
// DIB 每行按 DWORD 对齐(DrawDib 与保存 AVI 都按这个 stride 解释)
|
||||
const int stride = (m_width * 3 + 3) & ~3;
|
||||
hdr.biSizeImage = (uint32_t)(stride * m_height);
|
||||
memcpy(buf + 1, &hdr, sizeof(hdr));
|
||||
m_client->Send2Server((char*)buf, (ULONG)sizeof(buf));
|
||||
}
|
||||
|
||||
IOCPClient* m_client = nullptr;
|
||||
std::atomic<bool> m_running{false};
|
||||
std::atomic<bool> m_dialogOpen{false};
|
||||
bool m_infoSent = false;
|
||||
int m_width = 0;
|
||||
int m_height = 0;
|
||||
};
|
||||
Reference in new issue
Block a user