Feature: support camera streaming on Android hosts

Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader
直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG
SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转
导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧
[TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。

服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24;
DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。
BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。

注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的
运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。

验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框
后 camera stopped,服务端稳定。

Model: deepseek-flash
Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
yuanyuanxiangandClaude Code committed 2026-11-16 18:36:48 +01:00
1 parent 28c0c9a2a6
commit 998c16edc5
11 files changed
+739 -1

No files matched your search

+4
View File
@@ -13,6 +13,10 @@ enum FCCHandler {
ENCODER_MJPEG = mmioFOURCC('M', 'J', 'P', 'G'),
// 安装x264vfw编解码器: https://sourceforge.net/projects/x264vfw/
ENCODER_H264 = mmioFOURCC('X', '2', '6', '4'),
// Android 客户端直接发 JPEG(Camera2 ImageReader 输出)。服务端用 turbojpeg
// 解码,不经过 VFW ICM——目标机不需要安装任何编解码器。
// 值必须与 common/commands.h 的 WEBCAM_FOURCC_JPEG_DIRECT 一致。
ENCODER_JPEG_DIRECT = mmioFOURCC('J', 'P', 'G', 'D'),
};
/************************************************************************
+97
View File
@@ -5,6 +5,9 @@
#include "2015Remote.h"
#include "VideoDlg.h"
#include "afxdialogex.h"
// Android 客户端直接发 JPEG:用项目已在用的 libjpeg(HideScreenSpyDlg.cpp 的
// JPG_BMP 走同一套 API 与同一份库),不再引入 turbojpeg 的 tj* 运行时符号。
#include "../common/jpeglib.h"
enum {
@@ -194,6 +197,11 @@ void CVideoDlg::DrawDIB(void)
}
SysMenu->CheckMenuItem(IDM_ENABLECOMPRESS, MF_UNCHECKED);
memcpy(m_BitmapData_Full, szBuffer + nHeadLen, ulBufferLen - nHeadLen);
} else if (*(LPDWORD)(szBuffer + 2) == ENCODER_JPEG_DIRECT) {
// Android(Camera2)直接发 JPEG:不经过 VFW ICM,turbojpeg 直解
if (DecodeJpegFrame(szBuffer + nHeadLen, ulBufferLen - nHeadLen)) {
SysMenu->CheckMenuItem(IDM_ENABLECOMPRESS, MF_CHECKED);
}
} else { // 解码
////这里缓冲区里的的第二个字符正好是是否视频解码
InitCodec(*(LPDWORD)(szBuffer + 2)); //判断
@@ -210,6 +218,95 @@ void CVideoDlg::DrawDIB(void)
}
namespace {
// libjpeg 的默认 error_exit 会调 exit():一帧畸形 JPEG 就能结束整个服务端。
// 与 HideScreenSpyDlg.cpp 的 JPG_BMP 同一套 setjmp/longjmp 兜底。
struct VideoJpegErrorMgr {
jpeg_error_mgr pub; // 必须是第一个成员
jmp_buf jb;
};
void VideoJpegErrorExit(j_common_ptr cinfo)
{
longjmp(reinterpret_cast<VideoJpegErrorMgr*>(cinfo->err)->jb, 1);
}
void VideoJpegSilentMessage(j_common_ptr /*cinfo*/)
{
// 畸形/截断的 JPEG 可能被反复发送,保持静默避免刷屏
}
} // namespace
// Android 客户端(COMMAND_WEBCAM → Camera2 JPEG)的帧解码。
// BITMAPINFO 描述的是解码后的位图(BI_RGB / 24bpp / bottom-up),与 Windows
// 摄像头的 DIB 布局一致,DrawDib 和「保存 AVI」两条路径都不用改。
bool CVideoDlg::DecodeJpegFrame(const BYTE* data, UINT len)
{
if (!data || len == 0 || !m_BitmapInfor_Full || !m_BitmapData_Full)
return false;
const int dw = m_BitmapInfor_Full->bmiHeader.biWidth;
const int dh = abs(m_BitmapInfor_Full->bmiHeader.biHeight);
if (dw <= 0 || dh <= 0)
return false;
// 值初始化:longjmp 回来后要 destroy,不能是栈上的垃圾指针
struct jpeg_decompress_struct jds = {};
VideoJpegErrorMgr jem;
jds.err = jpeg_std_error(&jem.pub);
jem.pub.error_exit = VideoJpegErrorExit;
jem.pub.output_message = VideoJpegSilentMessage;
volatile bool created = false;
if (setjmp(jem.jb) != 0) {
if (created) jpeg_destroy_decompress(&jds);
return false;
}
jpeg_create_decompress(&jds);
created = true;
jpeg_mem_src(&jds, const_cast<unsigned char*>(data), len);
if (jpeg_read_header(&jds, TRUE) != JPEG_HEADER_OK) {
jpeg_destroy_decompress(&jds);
return false;
}
if ((int)jds.image_width != dw || (int)jds.image_height != dh) {
// BITMAPINFO 与相机分辨率在同一会话里固定;尺寸对不上宁可丢帧
Mprintf("[Video] JPEG %ux%u != bitmap %dx%d, frame dropped\n",
jds.image_width, jds.image_height, dw, dh);
jpeg_destroy_decompress(&jds);
return false;
}
jds.out_color_space = JCS_EXT_BGR;
if (!jpeg_start_decompress(&jds)) {
jpeg_destroy_decompress(&jds);
return false;
}
// BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算(见 Android 客户端
// SendBitmapInfo),这里逐行写回 bottom-up:第 0 行是图像最底部。
const int stride = (dw * 3 + 3) & ~3;
while (jds.output_scanline < jds.output_height) {
const int y = (int)jds.output_scanline;
JSAMPROW row = m_BitmapData_Full + (size_t)(dh - 1 - y) * stride;
if (jpeg_read_scanlines(&jds, &row, 1) != 1) {
jpeg_destroy_decompress(&jds);
return false;
}
}
if (!jpeg_finish_decompress(&jds)) {
jpeg_destroy_decompress(&jds);
return false;
}
jpeg_destroy_decompress(&jds);
return true;
}
void CVideoDlg::InitCodec(DWORD fccHandler)
{
if (m_pVideoCodec != NULL)
+3
View File
@@ -146,6 +146,9 @@ public:
void SaveAvi(void);
void InitCodec(DWORD fccHandler);
// Android 客户端直接发 JPEG(ENCODER_JPEG_DIRECT):turbojpeg 解到
// m_BitmapData_Full(bottom-up BGR24,与 Windows 摄像头一致)。
bool DecodeJpegFrame(const BYTE* data, UINT len);
CString m_aviFile; // 如果文件名不为空就写入
CBmpToAvi m_aviStream;