ea7b678b37
当前光学链路传 3MB 需要 1 小时,瓶颈不是解码慢而是无反馈重传浪费: 按 320B 分片、45FPS 反推,每轮约捕获 44%,收齐需 16.5 轮, 约 86% 的信道被已收到的重复分片占用。 docs/OPTICAL_V5_PLAN.md 给出完整改造方案: - 条带级喷泉码消除重传浪费,撕裂只损失 1/12 而非整帧 - MANIFEST 每 32~64 帧插播,消除平均 109 秒的启动空转 - 相机帧率三级锁定 + 手动短曝光(3px/模块下 33ms 自动曝光 会产生 8.7px 运动模糊,等于抹掉近 3 个模块,必然解不出) - 陀螺仪前馈跟踪四角单应,解决手持抖动丢锁 - 位阵列替代 QR,突破 v40 的 177 模块上限 scripts/wedge_*.py 是配套标定工具。方案里所有吞吐数字都建立在 「px/模块 的真实下限」这一未实测假设上,而合成实验显示该值仅因 对焦质量不同就能在 3.1~5.7 之间摆动,必须先实测: - wedge_gen.py 生成 7 档 pitch 的伪随机标定图 + 1:1 全屏查看器 - wedge_analyze.py 照片 → 实测 px/模块 → 对比度 → 误码率曲线 - wedge_selftest.py 合成相机模型端到端自检,无需真实硬件 标定同时暴露了方案的一个缺口:条带只有 CRC 没有内码,1750B 条带 约 14000 bit,1 bit 错即整条报废,要求原始 BER 低于 1e-5。 故需改为「内码纠错 + 外层喷泉码纠删」的级联结构,已记入文档。
434 lines
20 KiB
Markdown
434 lines
20 KiB
Markdown
# QFT5 光学链路方案(黑白 · 位阵列 · 陀螺仪稳定)
|
||
|
||
目标:
|
||
- **A**:相机 24 FPS 下,1 MB < 5 s(≥ 209.7 KB/s)
|
||
- **B**:相机 50~60 FPS 下,10 MB < 10 s(≥ 1048.6 KB/s)
|
||
- 相机帧率自动取系统最高值并锁死、稳定
|
||
- 手持抖动不导致丢锁重捕获
|
||
|
||
全程纯黑白(二值),不使用彩色或灰阶调制。
|
||
|
||
---
|
||
|
||
## 0. 选型结论:必须放弃 QR
|
||
|
||
| 方案 | B/画布 | @24fps | @60fps | 目标A | 目标B |
|
||
|---|---|---|---|---|---|
|
||
| QR 2×1 v40 @720p | 5 729 | 130 KB/s | 325 KB/s | 7.9 s ❌ | 32 s ❌ |
|
||
| QR 3×1 v40 @1080p | 8 593 | 193 KB/s | 463 KB/s | 5.3 s ❌ | 22.1 s ❌ |
|
||
| 位阵列 3.5 px/模块 @1080p | 15 571 | 350 KB/s | 839 KB/s | 2.9 s ✅ | 12.2 s ❌ |
|
||
| **位阵列 3.0 px/模块 @1080p** | **21 209** | 477 KB/s | **1143 KB/s** | **2.5 s ✅** | **9.0 s ✅** |
|
||
|
||
原因:QR 单符号上限 v40 = 177 模块。在 1080p 取景下相机能分辨约 330 模块/边,
|
||
单个 QR 只能用掉约 40% 的像素预算;横向排 3 个又受 16:9 宽度限制。
|
||
QR-L 本身还要付 finder/timing/format/RS 约 14% 的结构开销。
|
||
|
||
位阵列取消这三项限制:无版本上限、无 finder 图案、纠错交给喷泉码。
|
||
代价是不能再用 ZXing,需要自研采样解码器(见 §3.6,实际比 RS 解码更简单)。
|
||
|
||
**硬件前提(不满足则目标 B 无法达成,需在 App 内检测并提示):**
|
||
- 手机后摄支持 **1920×1080 ImageAnalysis @ 60 FPS**(用 `getOutputMinFrameDuration` 实测,非 flagship 常见只有 1080p30)
|
||
- 显示器 **≥ 60 Hz**,画布区可用宽度 **≥ 1824 逻辑像素**(3 显示 px/模块 × 608 模块)
|
||
- 取景需填满约 95% 画面 → 目标 B 建议使用支架
|
||
|
||
---
|
||
|
||
## 1. 需求一:相机帧率的获取、锁定与稳定
|
||
|
||
### 1.1 现有实现的三个缺陷
|
||
|
||
`MainActivity.chooseCameraFpsPlan()`(约 452 行):
|
||
|
||
1. **只读 `CONTROL_AE_AVAILABLE_TARGET_FPS_RANGES`,没有按目标分辨率校验。**
|
||
该表是相机级能力,与具体输出尺寸无关。1080p 常见只支持 30 FPS,而 720p 支持 60。
|
||
现在的代码会对 1080p 请求一个它根本达不到的 `[60,60]`,结果要么被拒(走 fallback
|
||
丢失全部控制),要么被静默降频。
|
||
→ 必须用 `StreamConfigurationMap.getOutputMinFrameDuration(ImageFormat.YUV_420_888, size)`
|
||
算出**该尺寸的真实上限** `1e9 / minFrameDuration`,再与 AE 表求交集。
|
||
|
||
2. **没有优先选固定区间。** 排序是 `upper` 降序,所以 `[15,60]` 会排在 `[30,30]` 前面被选中。
|
||
可变区间授权 AE 在光线不足时把帧率降到 `lower`——这正是"不稳定"的根源。
|
||
→ 必须优先 `lower == upper` 的固定区间。
|
||
|
||
3. **没有验证实际达成帧率。** 请求 ≠ 实际。
|
||
|
||
### 1.2 三级锁定策略
|
||
|
||
```
|
||
L1 固定 AE 区间 CONTROL_AE_TARGET_FPS_RANGE = [max, max]
|
||
↓ 实测不达标
|
||
L2 全手动曝光(推荐) CONTROL_AE_MODE = OFF
|
||
SENSOR_FRAME_DURATION = 1e9 / fps
|
||
SENSOR_EXPOSURE_TIME = 2~4 ms
|
||
SENSOR_SENSITIVITY = ISO 200~400(按实测亮度标定一次)
|
||
↓ 设备拒绝该组合
|
||
L3 回退设备默认 + 降级目标(告知用户目标 B 不可达)
|
||
```
|
||
|
||
**L2 是真正的"锁死"**,也是本方案的推荐路径:屏幕是自发光强光源,2~4 ms 曝光完全够用;
|
||
AE 关闭后帧间隔由 `SENSOR_FRAME_DURATION` 精确决定,不再受测光波动影响。
|
||
更重要的是——**短曝光同时是防抖的第一杠杆**(见 §2.1)。
|
||
|
||
标定流程:启动时用 AE 自动跑 10 帧,读回 `CaptureResult` 的
|
||
`SENSOR_EXPOSURE_TIME` × `SENSOR_SENSITIVITY` 乘积作为曝光量基准,
|
||
再按"曝光缩到 3 ms、ISO 等比放大并夹到设备 `SENSOR_INFO_SENSITIVITY_RANGE` 上限"求解,
|
||
之后切 `AE_MODE_OFF` 固定住。
|
||
|
||
### 1.3 必须关闭 / 必须开启
|
||
|
||
| 项 | 设置 | 理由 |
|
||
|---|---|---|
|
||
| `CONTROL_VIDEO_STABILIZATION_MODE` | **OFF** | EIS 会逐帧裁切+几何形变,直接破坏单应矩阵跟踪 |
|
||
| `CONTROL_AE_ANTIBANDING_MODE` | **OFF** | 50 Hz 抗闪烁会把曝光量化到 10 ms 整数倍,与 2~4 ms 短曝光直接冲突,并把帧率钉死 |
|
||
| `NOISE_REDUCTION_MODE` | **OFF / FAST** | 强降噪会抹平单像素级模块边界 |
|
||
| `EDGE_MODE` | **OFF / FAST** | 锐化会产生振铃,制造伪模块边缘 |
|
||
| `LENS_OPTICAL_STABILIZATION_MODE` | **ON** | OIS 是光学补偿,不改成像几何,纯收益 |
|
||
| `CONTROL_AF_MODE` | 锁定后 **OFF** + 固定 `LENS_FOCUS_DISTANCE` | 连续 AF 每次搜索都产生几帧模糊 |
|
||
|
||
现有代码用 `AF_MODE_CONTINUOUS_PICTURE`(MainActivity 约 306 行)并在稳定锁定时
|
||
还周期性重新触发对焦(约 272 行)——对着固定距离的屏幕,这是纯负收益,必须改掉。
|
||
|
||
### 1.4 闭环验证("稳定下来"的判据)
|
||
|
||
用 `CaptureResult.SENSOR_TIMESTAMP` 做差分,滑动窗口 60 帧:
|
||
|
||
```
|
||
p50(Δt) → 实际帧率
|
||
p95(Δt) / p50(Δt) > 1.30 → 判定"不稳定",降一档重试
|
||
丢帧率 = count(Δt > 1.5 × p50) / N
|
||
```
|
||
|
||
三档实测都不稳定时,把目标降到"尽力而为"模式并在 UI 明示。
|
||
实测帧率必须回传给 Windows 端(通过配对二维码之外的一次性握手,或让用户手动选档),
|
||
**Windows 显示帧率 = 手机实测相机帧率**(见 §3.3,无需更精细的同步)。
|
||
|
||
---
|
||
|
||
## 2. 需求二:防抖 / 锁定不丢失
|
||
|
||
现有实现是"轴对齐矩形 + `smoothToward` 平滑 + 连续 miss 逐级扩大 + 10 次 miss 全幅重搜"
|
||
(`QrAnalyzer.decodeOptical` / `LockRect`)。三个结构性问题:
|
||
|
||
- 轴对齐矩形无法表达旋转与透视,手一歪矩形就被迫变大,分析面积和解码成本同时上升;
|
||
- ROI 只在**解码成功后**才更新,一旦 miss 就完全没有状态推进(无航位推算);
|
||
- 恢复策略是"扩大并祈祷"。
|
||
|
||
### 2.1 第一杠杆:短曝光(量化)
|
||
|
||
1080p、65° FOV → 等效焦距 **f ≈ 1507 px/rad**。运动模糊长度 = ω × t_exposure × f。
|
||
|
||
| 手持角速度 | 曝光 33 ms(自动) | 8 ms | 4 ms | 2 ms |
|
||
|---|---|---|---|---|
|
||
| 3 °/s(平稳) | 2.60 px = 0.87 模块 ❌ | 0.63 px ✅ | 0.32 px ✅ | 0.16 px ✅ |
|
||
| 10 °/s(典型手持) | **8.68 px = 2.89 模块 ❌** | 2.10 px ❌ | 1.05 px ⚠️ | 0.53 px ✅ |
|
||
| 20 °/s(明显晃动) | 17.36 px ❌ | 4.21 px ❌ | 2.10 px ❌ | 1.05 px ⚠️ |
|
||
|
||
**在 3 px/模块下,自动曝光的 33 ms 会抹掉近 3 个模块——必然解不出。**
|
||
这解释了当前"识别率不高"的相当一部分。锁到 2~4 ms 后模糊降到 1 px 以内。
|
||
判据:`blur = ω · t_exp · f < 0.7 模块`。
|
||
|
||
### 2.2 第二杠杆:陀螺仪前馈(真正的"防抖")
|
||
|
||
60 FPS 下 10 °/s 的帧间像素位移 = **4.4 px**,看似很小,但连续 10 帧漂移 44 px,
|
||
远超 `smoothToward` 的跟随带宽——这就是丢锁的直接机理。陀螺仪可以**提前**算出这个位移。
|
||
|
||
```
|
||
SensorManager.registerListener(TYPE_GYROSCOPE_UNCALIBRATED, SENSOR_DELAY_FASTEST) // ~200 Hz
|
||
环形缓冲 (timestampNanos, ωx, ωy, ωz)
|
||
|
||
对每个相机帧 t:
|
||
1. 校验 SENSOR_INFO_TIMESTAMP_SOURCE == REALTIME,
|
||
使 ImageProxy.imageInfo.timestamp 与陀螺时间戳同域(elapsedRealtimeNanos)
|
||
2. 积分 [t-1, t] 区间的角速度 → Δθ = (Δθx, Δθy, Δθz)
|
||
3. 小角近似的图像位移:
|
||
dx ≈ -f · Δθy dy ≈ f · Δθx roll ≈ Δθz
|
||
(需按 sensorOrientation / 显示旋转做一次坐标系映射)
|
||
4. 用 dx, dy, roll 预推上一帧的 4 个角标位置
|
||
5. 只在预测点 ±12 px 的窗口内做角标模板匹配
|
||
```
|
||
|
||
效果:搜索窗从"全幅" 降到 4 个 25×25 px 的小窗,即使剧烈晃动也能保持跟踪。
|
||
陀螺仪对**旋转**敏感,而手持抖动在 30 cm 距离上 90% 以上的像素位移来自旋转而非平移,
|
||
所以纯陀螺前馈就足够,不需要 IMU 融合。
|
||
|
||
### 2.3 第三杠杆:模糊门控
|
||
|
||
在解码前用陀螺仪算曝光窗口内的模糊长度。若 `blur > 0.7 模块`,
|
||
**直接跳过该帧的采样解码**,只更新位姿预测。省下的 CPU 留给清晰帧。
|
||
这比"试着解、失败、扩大 ROI"的现有策略便宜一个数量级。
|
||
|
||
### 2.4 跟踪 4 角单应,不跟踪矩形
|
||
|
||
画布四角放**同心方环**基准标(比 QR finder 更抗透视,且可做亚像素质心定位),
|
||
四边中点再各放一个辅助标 → 8 个点解 8-DOF 单应矩阵 H。
|
||
|
||
- H 直接给出"画布坐标 → 图像坐标"的完整映射,倾斜/旋转/透视全部被吸收;
|
||
- 采样时用 H 逆映射,**不需要把图像旋正**,省掉一次全帧变换;
|
||
- 8 点冗余 → 遮挡 1~2 个标仍可解(最小二乘 + RANSAC 剔除)。
|
||
|
||
### 2.5 永不完全丢锁:三级恢复
|
||
|
||
```
|
||
L1 窄窗跟踪 预测点 ±12 px 每帧,成本 ~4 × 625 px
|
||
↓ 连续 3 帧失败
|
||
L2 陀螺预测窗 预测点 ±40 px + 放宽阈值 成本 ~4 × 6400 px
|
||
↓ 持续 0.5 s 失败
|
||
L3 全幅重捕获 降采样 1/4 的粗搜 + 精定位
|
||
```
|
||
|
||
关键是**永远保留最后一次有效的 H**,L3 也以它为先验起点。
|
||
现有的"10 次 miss 后 `lockRegion = null` 全量重来"必须删掉。
|
||
|
||
### 2.6 诚实提醒
|
||
|
||
目标 B(3.0 px/模块 @1080p60)在手持下几乎不可能长时间守住。
|
||
App 应持续统计陀螺 RMS,超阈值时明确提示"请靠稳桌沿或使用支架",
|
||
并在支架模式下自动切到更激进的参数档。目标 A(3.5 px/模块 @24fps)手持可行。
|
||
|
||
---
|
||
|
||
## 3. 需求三:QFT5 位阵列格式
|
||
|
||
### 3.1 画布布局
|
||
|
||
```
|
||
┌─◎──────────────────────────────────────◎─┐ ◎ = 同心方环基准标(4 角 + 4 边中点)
|
||
│ ▓▓░░▓░▓▓░ 帧序号条纹(上) ░▓░▓▓░░▓▓ │ 帧计数 8 bit,撕裂检测用
|
||
├──────────────────────────────────────────┤
|
||
│ 条带 0 ← 独立喷泉包(头 + 数据 + CRC)│
|
||
│ 条带 1 │
|
||
◎ 条带 … ◎ 共 12 条(@1080p 每条约 28 模块高)
|
||
│ 条带 11 │
|
||
├──────────────────────────────────────────┤
|
||
│ ▓▓░░▓░▓▓░ 帧序号条纹(下) ░▓░▓▓░░▓▓ │
|
||
└─◎──────────────────────────────────────◎─┘
|
||
```
|
||
|
||
@1080p / 3.0 px/模块 → **608 × 342 模块 = 207 936 模块/画布**
|
||
减去基准标、条纹、参考网格(约 4%)与喷泉冗余(15%)→ **净 21 209 B/画布**。
|
||
|
||
### 3.2 抗撕裂的水平条带设计(本方案的关键)
|
||
|
||
卷帘快门自上而下扫描,读出耗时 T_r ≈ 16~20 ms。期间显示器换页会在某一行产生撕裂:
|
||
上半部分是显示帧 k,下半部分是 k+1。
|
||
|
||
**如果画布是一个整体(如单个大 QR),撕裂帧 100% 报废。**
|
||
|
||
改成 12 条独立水平条带后,每条带自带头部(条带序号 + 喷泉种子 + CRC),于是:
|
||
|
||
- 撕裂线只穿过 **1 条**条带 → 只损失 1/12;
|
||
- 撕裂线上方的 11 条属于帧 k,下方的属于帧 k+1,**两边都是有效的新数据**;
|
||
- 效率 = (B − T_r·f_display) / B。@60 FPS、T_r=16 ms、B=12 → **92%**。
|
||
|
||
**推论:显示帧率直接设成相机帧率即可,不需要任何显示/相机同步机制。**
|
||
这消除了整个方案里最难工程化的一环。
|
||
|
||
(条带数 B 的选择:B 越大抗撕裂越好,但每条带的头部开销占比上升。
|
||
B=12 时头部开销约 0.9%,是合理平衡点。)
|
||
|
||
### 3.3 帧序号条纹(tear guard)
|
||
|
||
上下各一条 8 格黑白条纹,编码同一个 8-bit 帧计数。解码时先读这 16 个采样点:
|
||
|
||
- 上下一致 → 整帧属于同一显示帧,全部 12 条带可信;
|
||
- 不一致 → 存在撕裂,用二分法在条带边界上定位撕裂行,只丢弃跨越它的那一条。
|
||
|
||
成本:16 次采样。收益:把"撕裂帧全废"变成"损失 1/12"。
|
||
|
||
### 3.4 参考模块网格(局部阈值)
|
||
|
||
屏幕亮度不均、镜头暗角、moiré 会让全局阈值失效。
|
||
每 **16×16 模块**嵌入一对已知的黑/白参考模块(开销 0.78%),解码时:
|
||
|
||
```
|
||
读取所有参考对 → 得到稀疏的 (black_level, white_level) 采样点
|
||
→ 双线性插值出全画布的阈值面 threshold(x,y) = (black + white) / 2
|
||
→ 每个数据模块与其所在位置的插值阈值比较
|
||
```
|
||
|
||
这同时天然抵抗屏幕 PWM 调光造成的整体亮度波动。
|
||
|
||
### 3.5 喷泉码(条带级)
|
||
|
||
每条带 = 一个独立喷泉包:
|
||
|
||
```
|
||
条带头(12 B):magic(2) | sessionId(4) | blockId(2) | seed(4)
|
||
条带数据:~1 750 B
|
||
CRC32(4 B)
|
||
```
|
||
|
||
- 文件按 **块(block)** 切分,每块 64 个源分片;
|
||
- 编码包 = 块内随机子集的 XOR,参与集合由 `seed` 经约定 PRNG 还原;
|
||
- 前 64 个包用系统码(原始分片本身),信道好时零解码开销;
|
||
- 接收端每块维护 64×64 的 GF(2) 矩阵,高斯消元求解;
|
||
- 冗余 15%(即平均收到 1.15×N 个包即可解出)。
|
||
|
||
Windows 端可直接用 `raptorq` crate;Android 端建议自研分组 XOR + 高斯消元,
|
||
两端算法必须逐位对齐(提供跨语言测试向量)。
|
||
|
||
### 3.6 采样解码器(替代 ZXing)
|
||
|
||
比 RS 解码更简单,纯整数运算:
|
||
|
||
```
|
||
1. tear guard 检查(16 次采样) → 决定丢弃哪条带
|
||
2. 模糊门控(陀螺仪) → 可能直接跳过整帧
|
||
3. 从跟踪状态取单应矩阵 H
|
||
4. 读参考网格 → 插值阈值面
|
||
5. 对每个模块:用 H 逆映射取中心点采样,与阈值比较 → 1 bit
|
||
(只取中心单点,不做邻域平均——3 px/模块下中心点信噪比已足够,速度快 3 倍)
|
||
6. 逐条带校验 CRC32 → 通过的送入喷泉解码器
|
||
```
|
||
|
||
复杂度 O(模块数),@1080p 每帧 208 K 次采样。可用 NEON 向量化,
|
||
或直接在 `ImageProxy` 的 Y 平面上按行做(内存访问连续)。
|
||
实测预算:60 FPS 下约 12.5 M 采样/s,中端 SoC 单核即可,不需要 GPU。
|
||
|
||
**并行结构**:`analyze()` 回调只做"按 H 计算 ROI 并 memcpy Y 平面"然后立即
|
||
`image.close()` 返回;采样解码与喷泉解码交给 2~3 个 worker 线程。
|
||
注意现有 `GrayFrameBuffer` 是单实例、非线程安全的,必须改成 per-worker 实例。
|
||
|
||
---
|
||
|
||
## 4. Windows 发送端
|
||
|
||
### 4.1 显示管线(必须先修)
|
||
|
||
现状:`qr.rs` 生成 1024×1024 的 `ColorImage`(RGBA)= **4 MiB/帧**,
|
||
每帧 `texture.set()` 上传 GPU;`optical_cache.rs` 按 4 MiB/页 计算容量,
|
||
最多占用 **768 MiB** 内存。60 FPS 下这是 240 MB/s 的分配与上传。
|
||
|
||
改法:上传 **模块级纹理**(608×342 = 208 KB 灰度),用 `TextureOptions::NEAREST`
|
||
让 GPU 放大。绘制矩形边长取模块数的整数倍(608 × 3 = 1824 px),避免不均匀缩放。
|
||
|
||
- 纹理上传:4 MiB → 208 KB(**减少 95%**,且不随显示尺寸增长)
|
||
- 预编码缓存:768 MiB → < 20 MiB
|
||
- 60 FPS 变得毫无压力
|
||
|
||
### 4.2 换页时序
|
||
|
||
现有 `last_advance.elapsed() >= interval` 轮询会产生抖动。
|
||
改为**按 vsync 计数换页**:60 Hz 屏每 1 个 vsync 换一页 = 精确 60 FPS;
|
||
每 2 个 vsync 换一页 = 精确 30 FPS。保证每帧显示时长完全一致。
|
||
|
||
### 4.3 显示器体检
|
||
|
||
启动光学模式时检测:刷新率、画布区可用逻辑像素宽度、DPI 缩放。
|
||
不满足"≥60 Hz 且 ≥1824 px"时,明确提示目标 B 不可达并给出当前档位的预计耗时。
|
||
|
||
### 4.4 编码吞吐
|
||
|
||
60 FPS × 21 KB = 1.27 MB/s 的 XOR + 位阵列打包。Rayon 并行下可忽略。
|
||
|
||
---
|
||
|
||
## 5. 分阶段落地
|
||
|
||
| 阶段 | 内容 | 可验证指标 | 风险 |
|
||
|---|---|---|---|
|
||
| **P1** | Windows 模块级纹理 + vsync 换页 | 稳定 60.0 页/s,内存 < 50 MiB | 低 |
|
||
| **P2** | 相机帧率三级锁定 + 闭环验证 + 关 EIS/抗闪烁 + 锁 AF | p95/p50 < 1.30,实测帧率 = 标称 | 低 |
|
||
| **P3** | 手动曝光 2~4 ms + 陀螺仪前馈 + 模糊门控 | 10 °/s 晃动下不丢锁,模糊 < 1 px | 中 |
|
||
| **P4** | QFT5 画布格式 + 单应跟踪 + 采样解码器 | 单帧 208 K 模块解码 < 12 ms | **高** |
|
||
| **P5** | 条带喷泉码(两端对齐 + 跨语言测试向量) | 收包 1.15×N 即可还原 | 中 |
|
||
| **P6** | 1080p60 + tear guard + 参数调优 | 目标 A / B 达标 | 中 |
|
||
|
||
P1、P2 可以立刻做且零协议风险;P4 是主要工程量(估计是全部工作量的一半)。
|
||
|
||
**建议在 P4 之前先做一个离线验证台**:Windows 端把画布导出成 PNG 序列,
|
||
Android 端加一个"从相册读图解码"的调试入口,先在无相机噪声的条件下
|
||
把采样解码器和喷泉码调通,再接实时相机。这能省掉大量难以复现的现场调试。
|
||
|
||
---
|
||
|
||
## 5.1 P0 · 分辨率楔形标定(已实现)
|
||
|
||
上表所有数字都建立在一个未经实测的假设上:**px/模块 的真实下限**。
|
||
合成实验显示这个值仅因对焦质量不同就能在 3.1~5.7 之间摆动,
|
||
所以它必须先测出来,不能靠推算。工具已在 `scripts/` 下:
|
||
|
||
```bash
|
||
# 1. 生成标定图(尺寸填显示器的设备像素)
|
||
python scripts/wedge_gen.py --width 1920 --height 1080 --out out/wedge
|
||
|
||
# 2. 用浏览器打开 out/wedge.html,按 F11 全屏
|
||
# 页面左上角必须显示「缩放 1.000 ✅」,否则测量无效
|
||
|
||
# 3. 手机拍照:大致正立,四个黑色角标全部入画并尽量填满画面
|
||
# 建议在 2~4 个不同距离各拍一张
|
||
|
||
# 4. 分析
|
||
python scripts/wedge_analyze.py --spec out/wedge.json --photo IMG_0001.jpg
|
||
```
|
||
|
||
输出每条带的 **实测 px/模块 → 对比度 → 误码率**,并给出 BER=1e-3 的临界点,
|
||
以及按该临界点换算的画布净载荷与各帧率下的预计传输耗时。
|
||
|
||
`--analysis-width` 默认 1920,即把 12MP 原片降采样到 1080p,模拟真实的
|
||
ImageAnalysis 流;改成 1280 可直接对比 720p 分析流的能力差距。
|
||
|
||
自检(合成相机模型,无需硬件):`python scripts/wedge_selftest.py`。
|
||
|
||
### 标定结果如何反馈到本方案
|
||
|
||
| 实测临界 px/模块 | 结论 |
|
||
|---|---|
|
||
| ≤ 2.6 | 目标 B 有余量,可考虑 §5.2 的六边形点阵进一步加码 |
|
||
| 2.6 ~ 3.2 | 按本方案原样实施,目标 B 余量约 10% |
|
||
| 3.2 ~ 4.0 | 目标 B 不可达;目标 A 仍可达。需下调指标或提高分析分辨率 |
|
||
| > 4.0 | 光学链路能力远低于预期,应优先排查对焦/曝光(§1.2、§2.1) |
|
||
|
||
### 一个必须修正的设计细节
|
||
|
||
标定工具的误码率输出暴露了 §3.5 的一个缺口:**条带只有 CRC,没有内码**。
|
||
1750 B 的条带有约 14 000 bit,只要 1 bit 错就整条报废。
|
||
若要求带错率 < 13%(喷泉码 15% 冗余能承受的上限),
|
||
原始 BER 必须低于 **1e-5**——这对光学信道是很苛刻的。
|
||
|
||
因此条带内部必须加**内码**,形成"内码纠错 + 外层喷泉码纠删"的级联结构
|
||
(与 QR 内部用 RS 是同一思路)。粗估所需冗余 ≈ 48 × BER:
|
||
|
||
| 实测原始 BER | 内码冗余 |
|
||
|---|---|
|
||
| 1e-5 | 可省略 |
|
||
| 1e-4 | ~0.5% |
|
||
| 1e-3 | ~4.8% |
|
||
| 1e-2 | ~48%(此工作点不可用) |
|
||
|
||
`wedge_analyze.py` 已按此公式输出所需内码冗余,并计入净载荷估算。
|
||
|
||
---
|
||
|
||
## 6. 达标核算与回退
|
||
|
||
### 达标条件(目标 B)
|
||
```
|
||
1080p ImageAnalysis @ 60 FPS × 21 209 B/画布 × 92% 撕裂效率
|
||
= 1 143 KB/s → 10 MB / 9.0 s ✅(余量 10%)
|
||
```
|
||
余量只有 10%,任一环节退化都会掉出指标。必须全部满足:
|
||
手机支持 1080p60 分析、显示器 ≥60 Hz、3.0 px/模块下解码成功率 > 95%、使用支架。
|
||
|
||
### 达标条件(目标 A)
|
||
```
|
||
1080p @ 24 FPS × 15 571 B/画布(3.5 px/模块) × 96%
|
||
= 350 KB/s → 1 MB / 2.9 s ✅(余量 42%)
|
||
```
|
||
余量充足,手持可行。**建议把 3.5 px/模块设为默认档。**
|
||
|
||
### 回退阶梯
|
||
App 应根据实测能力自动选档,并在 UI 明示当前档位与预计耗时:
|
||
|
||
| 档位 | 分析分辨率 | px/模块 | 相机 FPS | 吞吐 | 适用 |
|
||
|---|---|---|---|---|---|
|
||
| 极速(支架) | 1080p | 3.0 | 60 | 1143 KB/s | 目标 B |
|
||
| 标准(手持) | 1080p | 3.5 | 24~30 | 350~438 KB/s | 目标 A |
|
||
| 保守 | 720p | 3.5 | 30 | 167 KB/s | 老设备 |
|
||
| 兼容 | 720p | 4.0 | 30 | 128 KB/s | 最低保障 |
|
||
|
||
### 何时不该用光学
|
||
仓库已有 `QFTSEND2` 扫码直传(`windows/src/sender.rs`:HTTP + Range 续传 + UDP 发现),
|
||
10 MB 在局域网下是亚秒级。光学链路应明确定位为**物理隔离场景专用**,
|
||
并在选择大文件时主动提示直传方案与两者的预计耗时对比。
|