H.266与神经编码之争：视频编码的“先进”真正拼什么

1. 先进这个词在视频编码圈里是带陷阱的做视频编解码这行最近两年总躲不开一个问题AI神经编码什么时候把 H.266/VVC 干掉朋友圈里每隔一阵就有文章说神经编码已全面超越 VVC真正把代码跑起来的人大多笑而不语。而在 JVET、MPEG 的会场里大家争论的其实是另一个问题——先进这个形容词放在 Codec 领域里从来就不是单指 BD-Rate 那个数字。如果你在一家做直播、点播或 RTC 的公司负责编码架构你早晚要面对这个选择题继续押注传统编码标准的演进还是提前切换到神经编码路线。这篇内容不是来下结论的而是把我自己过去一年多在 VTM、ECM 和神经编码工具上实际跑过的对比、踩过的坑、想明白的事摊开来聊一聊。看完你至少能搞清楚一件事H.266 和神经编码的竞争真正的主战场到底在哪里以及更先进这三个字该怎么理解才算不外行。1.1 效率先进和范式先进是两回事先说结论如果你把先进定义为压缩效率那神经编码在某些特定内容、特定码率区间上确实已经能跟 VVC 打平甚至更好但如果把先进定义为成熟度、可靠性、标准化程度那 H.266 依然甩开神经编码很远。这就像你问电动飞机和燃油飞机谁更先进——论能量转换效率和自动化程度电动方案赢但论航程、适航认证、机场配套燃油方案依然是唯一可用的选择。这种效率先进和工程先进的分裂是视频编码行业特有的现象。编解码器的终极考核从来不只是压缩率它还要考虑端到端系统里的嵌入难度、硬件友好度、专利许可、质量可控性。很多夸神经编码的文章特别喜欢拿某个预训练模型在某组测试序列上跑出的 BD-Rate 数字说事但对真实业务来说那个数字只是万里长征第一步。所以讨论谁更先进之前必须先分清语境。普通数码博主口中的先进指的是新指的是用了 AI而编解码工程师口中的先进指的是我能稳定地把它部署到线上并且收益大于代价。这两个定义之间隔着一道巨大的认知鸿沟。为了把这道沟讲清楚我们先看看 H.266 到底带来了什么。1.2 H.266 那笔账50% 增益是怎么来的H.266/VVCVersatile Video Coding是 ITU-T 和 ISO/IEC 联合视频专家组JVET在 2020 年定稿的新一代视频编码标准它的目标很直白相比上一代 H.265/HEVC在同等主观质量下节省约 50% 码率。这个数字不是拍脑袋吹出来的但也不是在所有场景下都能达到。实际在标准制定过程中VVC 主要靠几板斧从 HEVC 头上挤出这 30% 到 50% 的增益更灵活的块划分QTMT 多类型树取代 HEVC 的四叉树、更丰富的帧内预测模式从 35 种扩展到 67 种再加了 Planar 和多种角度组合、更精细的运动矢量精度从四分之一像素提升到十六分之一甚至更大范围、以及更强的环路滤波工具ALF、LUT 映射等等。这些工具每一个单拎出来可能只贡献个位数百分比的增益但叠加起来就非常可观。代价是编码器复杂度爆炸式上升用官方参考软件 VTM 编码一段 1080p 视频比用 HMHEVC 参考软件编同样内容耗时多出 5 到 10 倍是家常便饭。解码端也没好到哪去虽然比编码端压力小但依然比 HEVC 重不少这也是为什么 VVC 定稿好几年了硬件解码的普及速度远没有 HEVC 当年快。我还得泼一盆冷水VVC 对外宣传的 50%通常是在主观质量测试、特定分辨率、特定内容类型下的结果。如果只看 PSNR 这类客观指标或者测试序列里有大量快速运动、电影噪点、文字字幕这个数字会缩水到 30% 甚至更低。但不管怎么说VVC 依然是当前传统编码框架这个路线上的集大成者其地位类似燃油车里的最新一代发动机——不便宜、不简单但能力上限确实在那。2. 神经编码的底牌不是改良某个模块而是推翻整个框架如果说 H.266 是在既有框架里把每个零件打磨到极致那么神经编码做的事情完全不一样。它不是对 H.264/HEVC/VVC 某个模块的改良而是把传统编码器的整体设计思路扔掉了用深度神经网络从数据中学出一整套编解码方案。这种路线上的根本区别才是理解两种竞争关系的钥匙。2.1 分治流水线和端到端优化的根本区别传统视频编码器的结构本质上是分治帧内预测管空间冗余帧间预测管时间冗余变换管频域能量集中量化管压缩精度熵编码管无损算术压缩。每个模块都有十多年甚至几十年的理论研究支撑模块之间按固定顺序对接。工程师可以单独优化其中一个模块而不太影响其他模块但整体压缩率是局部最优的堆叠很难做到全局最优。神经编码的路线完全反过来。它把编码器和解码器都建模成神经网络把量化过程用一个可微的替代函数近似把熵编码的码率用熵模型来估计。训练的时候整个链路一起端到端反向传播编码器提取特征、熵模型估算码率、解码器重建图像然后统一对一个率失真损失求梯度。换句话说传统编码器是流水线上各干各的工人神经编码是把所有工人换成一只经过全局训练的八爪鱼所有触手为了同一个目标协同。这种范式的优势非常明显它不需要人去设计这几十个手工工具网络自己能从大量训练数据里学到最优策略。而且因为它直接优化率失真目标它在某些分布上比如它训练时见过的内容类型可以逼近甚至超过人为精心调校的传统编码器。这也是为什么很多科研论文里神经编码在特定测试集上能追平甚至超过 VVC 的原因之一。2.2 超先验和自回归上下文两个最重要的引擎神经编码在图像压缩上的突破关键节点是 Ballé 等人在 2018 年提出的超先验模型hyperprior。这个机制解决的是码率估计问题主网络负责压缩图像特征副网络超先验负责估计主特征的尺度和相关性把它一起编码进码流。有了超先验模型才真正学会什么信息重要、要用更多比特什么信息可以省掉这相当于传统编码器里的自适应量化控制但实现方式完全不同。下一大步是自回归上下文模型。超先验只能提供全局的粗略估计但像素或特征之间还有很强的局部相关性。Minnen 等人提出的自回归模型让解码器在重建某个位置时能根据已经解码的相邻位置的信息来逐步推理有点像传统编码里的相邻像素预测但把预测升华成了基于条件的概率估计。两者叠加就构成了现代神经图像压缩模型的主流骨架在这个骨架之上再叠加注意力模块、多尺度结构、残差连接就成了现在各类论文里 B 站画质吊打 VVC的底气来源。这里要说清楚神经编码的这些引擎说到底都是数据驱动的模式匹配它并没有显式地建模运动矢量块划分这些传统概念而是隐式地把这些信息学在了网络权重里。视频神经编码则会再加一个时间维度的条件模块——要么把前一帧的重建结果作为参考输入要么用运动特征做 warp——本质上是在网络内部自动完成传统编码器里帧间预测这件事。2.3 算力账单神经编码吃掉的资源比看起来多得多谈完了原理必须谈一谈实际部署时躲不开的算力账。传统编码器虽然复杂度高但它是确定性算法对算力要求是稳定的、可预测的神经编码则完全两样——编码端要在 GPU 上跑前向推理解码端要么同样跑 GPU/NPU要么把训练好的小模型塞进专用硬件。我用一个具体数字说明在同样的 1080p 序列上VTM 编码慢归慢但一台带 AVX-512 的服务器 CPU 还能扛神经编码方案要追平 VVC 的率失真性能通常需要一个中高端 GPU比如 RTX 3090 级别在编码端持续推理单路实时编码想都别想。解码端更尴尬软解需要在用户的 CPU 上跑推理框架硬解则需要芯片厂专门流片——而现在几乎没有哪家芯片厂大规模流片了纯神经解码器。这里有一个反直觉的事实神经编码的理论压缩效率确实高但每压一帧视频消耗的算力和能量折算成电费之后未必比省下那点码率的带宽成本划算。数据中心里跑传统编码器是CPU 密集、行为可预测跑神经编码则是GPU 密集、模型推理延迟抖动不可控。这种工程上的代价论文里基本不会写但在真实系统里是最致命的。3. 真正的战场不在压缩率数字标准化、生态和可控质量如果你以为下一代码解码器竞争比的是谁能在测试序列上压出更低的 BD-Rate那说明还没接触到行业真正的玩法。视频编码本质上是基础设施基础设施要赢拼的是标准化效率、生态覆盖能力和失败模式的可控性。这三个维度恰恰是神经编码现阶段最弱的地方。3.1 没有标准化的 Codec大概率是死 Codec很多人不理解为什么 H.266 讨论度高但普及慢也不理解为什么神经编码论文热闹但没人敢用在生产环境。根本原因在于标准化是视频编码的生死线。一个编码格式要真正落地需要硬解芯片支持、封装格式兼容、播放器适配、DRM 授权、CDN 转码链路改造、客户端回退策略……这一整套生态没有标准化组织牵头根本无法形成合力。H.266 虽然出生艰难但它的标准是公开的专利池在推进JVET 还有后续的增强压缩模型ECM在持续探索这意味着产业链上的每一环都能找到确定的实现规范。而神经编码目前是碎片化的腾讯、华为、字节、高校团队各有各的模型结构训练框架、熵编码实现、推理运行时各不相同。你今天用一个团队的开源模型部署上线了明天想换另一个团队的模型码流完全不兼容播放端全部要重新适配——这在标准化世界里是不可想象的灾难。所以我一直有个观点神经编码真正要进入主流大概率不是靠某个团队的模型性能碾压而是先形成一个标准化的神经编码规范现在 MPEG 那边已经在推 NVC即基于神经网络的视频编码探索让不同团队用统一工具链训练、统一格式封装、统一解码接口。这条路比单纯刷数据难得多但方向是对的。3.2 神经编码的失真长什么样为什么会让行业害怕传统编码器经过几十年的迭代它的失真模式大家已经非常熟悉块效应、振铃、模糊、色渗。这些失真虽然难看但它是稳定可预测的而且可以用环路滤波、后处理去补偿。神经编码的失真则是另一副面孔——它在低码率下倾向于把纹理抹掉把高频细节替换成平滑的假象运动区域会出现诡异的闪烁和时域不稳。我做过一个很直观的测试用一段有大量字幕和 UI 的屏幕录制视频分别用 H.266 和神经编码模型压到接近码率。传统编码器压完字幕区域虽然糊但字形骨架还认得出神经编码直接把这些高频文字脑补成了类似但完全错的字形个别帧还会在正确和错误之间反复跳动。这个后果在某些场景是致命的——医疗影像、监控取证、游戏录制、文档视频任何对可解释性有要求的业务都无法接受这种不可控的失真。如果用一个词形容传统编码器的失败是有限瑕疵神经编码的失败是错误自信。前者是压坏了但你能预判怎么坏的后者是模型一本正经地编造了看似合理但错误的内容。这种区别在影像取证或者自动驾驶数据回传里直接决定你敢不敢用。3.3 直播、硬编、码控、DRM这些决定生死的细节除了失真模式还有一堆没人聊但决定生死的细节。首当其冲的是码率控制。传统编码器有成熟的 CBR/ABR 算法能精确控制每一段 GOP 的码率波动神经编码的码控目前还比较粗糙大多靠调节 lagrange 参数影响整体码率精确到秒级的码率稳定很难做。直播场景里码率抖动直接带来卡顿和成本失控。其次是随机接入和拼接。传统编码有 I 帧、有闭合 GOP意味着你能在任意关键帧处切入、拼接、转场神经编码想要达到同样的随机接入能力需要在训练时专门设计帧间依赖结构代价是压缩效率下降。RTC 场景要求的低延迟级联参考帧数量严格限制、逐帧低时延编解码目前对神经编码也是很大的挑战。还有硬解普及性。H.266 刚出来的时候大家嫌芯片支持慢但路线图是明确的——新一代 SoC 一定会逐步加解码模块神经编码的问题在于模型迭代太快今天流片支持模型 A明年模型 B 已经换架构了芯片厂根本没法追。所以至少在三五年内纯神经解码器走进手机是极不现实的。DRM 也是类似的问题通用模型文件更容易被黑客提取权重做盗版分析传统二进制码流则有成熟的加密链路。4. 一线实测VTM、ECM 和 CompressAI 放在一起跑理论聊了一大堆终究要落到实测。我把目前能比较的两条路线放在同一台机器上跑过好几轮这里分享一下环境搭建、数据结果和踩坑记录给想自己做判断的同行一个参考。4.1 对比环境怎么搭我用的传统参考软件是 VTM 20.0 和 ECM 9.0JVET 的增强压缩模型可以理解为 H.266 的下一代预研版编译都很常规依赖 CMake 和一个 C 编译器就能搞定。配置上我跑的是 RandomAccess 配置QP 设 22/27/32/37这是 JVET 测试最常使用的组合方便横向对比 BD-Rate。神经编码侧我主要用了 CompressAI 这个开源库InterDigital 贡献PyTorch 实现里面集成了一系列经典模型——从最早的超先验 baseline 到带自回归上下文、注意力机制的改进版本。视频方向我额外试了一个简单的帧间预测扩展版本。需要说明的是CompressAI 主打图像压缩拿来做视频对比时需要自己写帧编码循环把每一帧作为图像压进去早帧做参考帧再补一个残差链路。数据集方面我建议不要只用标准测试序列最好加几段你自己业务里的代表性内容。我用的是标准序列 ClassB 的几段 1080p外加一段含大量文字滚动和快速运动的屏幕录制这样能看出极端场景下的差距。机器配置是双路 Intel Xeon 一张 RTX 3090系统是 Ubuntu 22.04。4.2 实测数据和直观感受先说客观数字。在标准测试序列上表现最好的神经编码模型带自回归上下文和注意力机制的版本BD-Rate 相比 VVC 大约高 10% 到 20%——也就是说在同等质量下神经编码平均要多花约 10%-20% 的码率劣势明显但在屏幕录制这类高细节内容上差距会缩小到个位数个别 QP 点甚至反超。ECM 则比 VTM 再压出约 10% 的增益不过编码复杂度又翻了一截。这个结果其实很符合论文之外的真实状况神经编码的通用能力还没有全面超越 VVC但在特定内容分布上已经具备竞争力。我测试的这类模型训练数据以自然图像为主所以你拿它压风景、人物表现不错压文字、UI、三维渲染画面高频细节处理就会露怯。主观感受上有个很意思的反差低码率下神经编码的画面往往更平滑没有传统编码那种明显的块状压缩痕迹第一眼反而觉得更干净但只要画面里有人脸、字幕或高速运动神经编码就会出现磨皮式细节丢失和运动区域的闪烁。换句话说它在讨好 IQA 指标的很多特性恰好是视频质量专家不看好的特性——业界已经有团队在专门研究感知一致性损失函数来解决这个问题但离成熟还远。4.3 跑神经编码时最容易踩的三个坑第一个坑是预训练模型和测试内容不匹配。很多预训练权重是在 ImageNet 类自然图像上训的你拿它压动画片、游戏画面或者桌面录屏性能会断崖式下跌。这事最坑的是你单看一帧觉得还行一放到视频序列里时间一致性崩得一塌糊涂。第二个坑是熵编码的累积误差。目前大多数神经压缩模型在训练时用的是某种连续近似来估计码率但实际部署时熵编码如算术编码是离散的。训练和推理的不一致会导致实际码流比理论估计偏大 3% 到 8%低码率下偏差更明显。也就是说论文里的 RD 曲线和真实编码出来的 RD 曲线中间隔着一道工程实现鸿沟。第三个坑是色彩格式和位深不一致。VTM 测试默认是 4:2:0 10bitCompressAI 很多模型是 4:4:4 8bit 的 RGB 输入你不做色度子采样对齐就直接比 BD-Rate结果完全是错的。这个坑我见过很多人踩包括我自己第一次比就因为这个得出了错误的结论。对比前务必统一输入格式老老实实把 RGB 转 YUV再按目标色度格式转换。5. 下一代 Codec 的真正竞争三种路线与我的选择跑完对比我相信很多人最关心的是那到底现在该押哪条路线我的判断是下一代视频编码的竞争不会演变成传统标准 vs 神经编码的二元对立更可能的是三条路线并行在不同场景里各自开花。5.1 纯神经路线还差什么纯神经编码要走通缺的主要是三样东西标准化互操作、硬解码落地、码率和质量可控性。标准化这块MPEG 的 NVC 探索实验已经在做预计未来几年会出一个初步的神经网络编码标准框架但按视频编码标准从探索到定稿到普及的节奏没有五到十年走不完。硬解码更不用说了新架构从验证到流片到大面积铺开是重资产周期。质量可控性反而是我最担心的点。我最近测试了一些最新研究里感知友好的神经编码模型在主观质量上确实更稳了但仍是基于训练数据的统计规律在生成内容遇到长尾场景依然存在不可预测的失败模式。传统编码的失败是有限且可解释的神经编码的失败是不可解释但概率不低的这在严肃的生产环境里很难被接受。5.2 混合编解码为什么是未来三五年最现实的路线我个人最看好的是混合路线传统编码框架负责基础压缩保证互操作、码控、硬解兼容AI 模块在关键环节做增强。这种模式已经有很多落地案例加一个基于神经网络的环路滤波替代传统 ALF在码率不变的情况下提升主观质量在解码端加一个 AI 超分后处理让低分辨率码流重建出更高清的画面还有基于深度学习的帧率上变换和去块效应。这种路线最大的好处是每一步都可以单独校验、单独回退、单独部署不需要推翻现有产业链。你在编码端加一个神经网络模块解码端放在云端 GPU 做增强码流格式可以保持传统兼容CDN、封装、播放全链路不用动。这个改造增量的思维和推倒重来的纯神经路线相比在商业上简直是小步快跑的优势。我自己在实际业务里已经这么试过了在 H.264 编码链路后面挂一个轻量级 AI 超分增强模块用于老旧视频素材的清晰度修复收益非常稳定用户几乎无感。这种组合说明传统编码器和神经模块不是非要你死我活完全可以共存互补。5.3 内容自适应与实例级编码被低估的变量还有一个经常被忽略的变量内容自适应的实例级编码。传统编码器要为所有内容准备一套通用策略但神经编码天然适合针对特定内容微调。比如一个直播平台大部分内容是游戏画面或主播摄像头你可以收集这类内容专门训练一个编码模型得到的效果往往显著优于通用模型。这个方法在论文里叫 content-adaptive coding 或者 instance-based optimization目前还处在可以做但成本不小的阶段——因为每次微调都要重新训练或至少做梯度更新算力成本不低。但如果能把微调过程做成端侧轻量适配比如用 LoRA 这类参数高效微调技术只需要传输极小的模型增量就能让一个基础模型快速适配某个频道的内容风格这个方向一旦跑通价值会非常大。我觉得未来真正的竞争可能不在谁的基线更强而在谁能更低成本地适配特定内容——这就像传统编码里的 rate control 演进到per-scene 优化一样是从通用到精细的必然趋势。5.4 从业者现在该做什么作为一线从业者我的建议很简单不要等到纯神经编码成熟了再开始学习那会错过好几年的积累期。现在就可以做几件事——把 CompressAI 这类开源库跑起来亲手感受神经编码的失真特性和算力消耗在自己业务里找沉降点超分、环路滤波、后处理做混合方案的试点持续跟踪 JVET 和 MPEG 的动态尤其留意神经编码标准化推进的节奏。对大多数公司来说继续把 H.266 路线吃透同时在边缘场景引入 AI 增强模块是最稳的杠杆。对想在技术上押注未来的人搞懂神经编码的训练原理、部署学思路以及它和传统系统的结合方式是最值得投入的时间。最后说一句体己话这个行业聪明人很多但容易被先进这个词绑架真正能做长期正确决策的人往往是把更先进和更可靠两本账一起算的人。H.266 和神经编码的这场竞争本质上是一百年稳定下来的工程体系和刚刚起步的新范式之间的漫长对话——胜负远未定局但对身处其中的我们来说参与对话本身就是最大的机会。