Quad Bayer与Binning：图像传感器像素合并技术深度解析

从你手里这台手机主摄写着4800万、6400万甚至一亿像素但打开默认拍照模式一看输出还是1200万或1600万左右估计不少人心里都嘀咕过厂家是不是在像素数上骗我其实背后就是两个词在起作用——Quad Bayer和Binning。一个是像素排列方式一个是信号合并策略两者经常混着出现但解决的完全是同一类问题在有限的传感器面积里既要高像素又要能拍清暗光画面。尤其现在传感器像素尺寸一路卷到0.6微米级别不谈这两项技术几乎没法理解主流图像传感器的设计逻辑。这篇文章会把Quad Bayer和Binning的底层原理掰开揉碎讲讲它们到底是怎么工作的、有什么本质区别、不同场景下怎么选顺便把我这些年实测中踩过的坑和判断技巧一并交代清楚。不管你是做手机影像方案、安防摄像头还是工业视觉选型这篇都值得看完再做决定。1. 先搞清楚这两项技术到底在解决什么问题1.1 小像素的暗光困局传感器最绕不开的物理规律图像传感器的核心指标说到底就两个感光面积和像素数。但这两个指标在物理上天生打架。镜头尺寸有限传感器尺寸也有限要把像素数做上去唯一办法就是缩小单个像素的面积。十年前主流手机主摄还是1.4微米像素后来一路缩到1.0微米、0.8微米如今一亿像素传感器已经把单像素压到0.64微米甚至更小。像素面积变小最直接的影响就是单个像素能收集到的光子数量大幅减少。光的本质是离散的光子而像素本质是一个个光子计数器——在一定曝光时间内进来的光子越多信号越强。当像素从1.4微米缩小到0.7微米面积缩到四分之一同样的光照下每个像素接收的光子数也大约缩到四分之一。这会导致什么后果光子到达像素的事件服从泊松分布它的涨落也就是散粒噪声跟信号强度的平方根成正比。信号降为原来的四分之一噪声却只降为原来的二分之一信噪比SNR就明显恶化了。换句话说暗光环境下小像素画面噪点会非常明显这就是所谓的小像素暗光困局。类比一下小雨天收集雨水拿一个大脸盆和一个小茶杯同样下十分钟雨脸盆里的水位稳定可测茶杯里的水面波动却大得离谱甚至风一吹就测不准了。像素也是一样越小越慌。要打破这个困局行业给出的主流答案不是把单像素做大而是分组合作——让多个小像素在必要时联合工作等效模拟出一个大像素。Quad Bayer和Binning正是这句分组合作在不同层面上的具体实现。1.2 像素排列的进化史从Bayer到Quad Bayer传统图像传感器的彩色成像靠的是在像素表面覆盖一层彩色滤波阵列CFAColor Filter Array最常见的就是Bayer排列。Bayer阵列以2x2为基本单元包含一个红色R、两个绿色G、一个蓝色B像素每个像素只感知一种颜色最终通过ISP的插值算法还原出完整彩色图像。RGGB这四种颜色的比例设计不是随意的它与人眼对绿色最敏感这一特性匹配所以绿色占据了一半的采样点。传统Bayer排列几十年来统治了几乎所有相机从单反到手机原理简单工艺成熟最重要的是相邻像素颜色不同颜色空间还原相对直接。问题来了当传感器像素数从1200万往4800万、一亿走的时候如果仍然用传统Bayer排列高像素模式下每个像素依然只记录单一颜色暗光合并时要把不同颜色的像素合并成一个大像素就涉及跨颜色通道的信号重组算法和画质都会出问题。Quad Bayer于是登场。它的基本单元从2x2四色扩展成4x4十六像素其中每四个相邻像素是同一颜色。也就是说在Quad Bayer排列下四个R、四个G、四个G、四个B各组成一个2x2的小方块汇总起来才是RGGB。这种设计让高分辨率模式下可以通过Remosaic算法还原出完整的Bayer数据又让暗光模式下能够把四个同色像素直接合成一个大像素一举两得。索尼、三星、豪威都有各自的名称——索尼和大部分手机厂商直接叫Quad Bayer三星叫Tetracell四合一和Nonacell九合一豪威则是四合一、十六合一都在做。名字不同底层逻辑都是把同色像素排成一组。2. Quad Bayer与Binning到底哪里不一样2.1 Binning是把相邻像素拧成一股绳从电荷到电压再到数字Binning概念其实比Quad Bayer早得多在CCD时代就是天文摄影和工业相机的标配功能。它的意思很直白读出时把相邻若干像素的信号合并成一个像素的信号输出。比如2x2 Binning就是把4个像素的信号加在一起当作一个大方块像素输出。Binning可以发生在三个不同层级。第一是电荷域CCD里可以在电荷转移过程中直接把相邻像素的电荷包合并这是最原始的binning噪声最低但灵活性差。第二是电压域CMOS传感器里先把像素电荷转换成电压再在列放大器或采样保持电路里做合并。第三是数字域也就是在ADC后面把数字信号相加实现最灵活但要占用更多带宽。对CMOS图像传感器来说目前主流做法是在数字域做binning因为实现简单、衬底灵活而且在信噪比上依然有实打实的收益。为什么因为四个像素的信号相加信号幅度变成四倍而多数随机噪声之间由于不完全相关合并不完全按四倍叠加通常只能按大约两倍的噪声幅度来计算净效果是信噪比提升约6dB——相当于等效曝光量提升了一倍这对暗光场景是质变。需要说明的是binning是工作模式不改变传感器的物理像素排列。任何传感器无论传统Bayer、Quad Bayer还是黑白工业相机只要硬件支持都可以做binning。对传统Bayer传感器做binning通常是跨颜色混合的比如RGGB四个像素合并成一个全彩像素相当于既降分辨率又做了一次色彩平均。而Quad Bayer传感器的优势恰恰在于四个同色像素天然相邻binning时没有跨颜色问题信噪比收益更纯粹。很多人会混淆Binning和下采样。下采样是先把全分辨率图像全部读出再在ISP端用算法缩小本质是数字缩放信号已经被读出噪声污染过一次而且处理带宽一点没省。Binning则是在传感器读出阶段就完成合并输出数据量直接变成四分之一带宽、功耗、帧率全都受益。对视频和高帧率场景来说这区别非常大。2.2 Quad Bayer并不等于Binning四合一只是它的默认模式之一Quad Bayer的设计思路从根本上说是一种可重构的像素布局。它把4个同色像素组成一个逻辑像素在暗光环境下这4个像素可以被当作一个2倍边长的大像素来读输出分辨率降为原来的四分之一单像素等效感光面积增大四倍——这就是人尽皆知的四合一4-in-1。但Quad Bayer远不止四合一这一个玩法。光线足够时传感器可以跳过合并逐像素读出全部数据输出完整的4800万、6400万甚至一亿像素。这时候就绕不开一个词Remosaic。因为Quad Bayer排列下相邻像素同色直接作为Bayer排列输出是错的必须先把Quad Bayer数据重排成真正的RGGB排列再做传统的去马赛克插值才能得到高像素彩色图像。Remosaic有硬件和软件两种实现路径。硬件Remosaic在传感器内部逻辑或配套ISP里完成需要一次额外读出或两次短曝光延时大一些但数据更真实软件Remosaic则是在后端算法里做重排列和插值实现简单但细节量和真实分辨率通常略逊一筹。前些年三星GM1和索尼IMX586同为4800万像素Quad BayerGM1被质疑是软件插值4800万根源就在于此——它本质上不提供原生的4800万硬件直出链路。还有一点必须强调Quad Bayer传感器的默认输出模式绝大多数场景下就是四合一模式。在手机上默认模式拍照用的是1200万/1250万像素只有专业模式、高像素模式或光线特别好时才切到4800万全分辨率。这不是偷工减料而是为了在输出分辨率和单帧信噪比之间找一个最优平衡。2.3 两种技术核心参数对比一张表看清差异维度Binning像素合并Quad Bayer像素排列本质读出阶段的信号合并操作像素排列方式本身不决定输出是否改变物理像素结构不改变是工作模式改变了CFA排列2x2同色成组分辨率损失2x2合并后降为四分之一默认模式四合一降至四分之一高像素模式可全输出信噪比收益四合一提升约6dB四合一模式同样提升约6dB硬件成本低老产品也能实现需要重新设计像素与CFA工艺彩色处理传统Bayer跨颜色合并有串扰同色合并色彩更纯粹典型场景安防、工业、天文、视频高帧率手机、无人机等以高像素暗光兼顾为主代表产品CCD时代打印机、工业相机、IMX415IMX586、IMX989、三星HM系列、OV48C这张表背后最核心的一句话是Binning是一个动作Quad Bayer是一个结构。Quad Bayer传感器完全可以不做binning全像素输出传统Bayer传感器也完全可以做binning但合并时会有跨颜色通道的交叉污染而Quad Bayer天然为binning而生四合一只是它的基础能力之一高像素和暗光画质都能兼顾才是它的最大价值。3. 实战选型什么场景该押注哪种方案3.1 手机影像选型Quad Bayer已是中高端主摄绝对主流对于手机、无人机这类消费影像设备传感器厂商为什么拼命推Quad Bayer最根本的原因是用户在两种完全相反的场景里都有刚需——白天要高清细节晚上要干净画面而传感器物理尺寸又不可能无限做大。Quad Bayer让同一颗传感器白天切4800万/1亿全像素夜晚切1200万/2500万四合一一颗传感器打两份工。以一个简单的计算为例0.8微米的4800万像素Quad Bayer传感器四合一后等效像素尺寸就是1.6微米感光面积等效提升四倍。这比一颗原生1200万1.6微米的传感器还要灵活因为前者白天有4800万细节后者完全没有。正因如此从IMX586时代开始四合一这个虚拟大像素的概念横扫手机市场此后IMX689、IMX989、三星HM系列一路把这一路线推到一英寸大底和两亿像素。不过选型时也别只看四合一、九合一的宣传数字。同样是四合一的4800万IMX586的单像素是0.8微米而OV48C是1.2微米两者四合一的等效像素分别是1.6微米和2.4微米暗光性能差了一档。像素尺寸、传感器尺寸、满阱容量Full Well Capacity这些参数比像素数的绝对值更能反映真实水平。另一个容易忽视的点是高像素模式全分辨率输出对镜头解析力要求极高。0.8微米像素对应的奈奎斯特频率已经超过300线对/毫米如果镜头喂不饱这个分辨率全像素模式拍出来的图不但没多出细节反而可能因为衍射和色散出现伪色和锯齿。选型时镜头模组必须和传感器匹配别单方面迷信底大一级压死人。3.2 安防与工业视觉选型Binning依然是简单粗暴见效快的利器和消费电子疯狂追求高像素不同安防监控、工业机器视觉、医疗内窥镜这类专业场景核心诉求往往是低照度下的可用帧率。这时候Binning反而比Quad Bayer更常被直接调用。以安防摄像机为例白天用4K全分辨率输出画面细节足够夜晚环境光不足如果仍以4K工作每个像素收到的光子太少噪点会淹没画面。这时把传感器切到2x2 Binning模式输出降到1080p但等效感光面积变大信噪比提升约6dB夜间画面立刻可用。更关键的是Binning同时把输出数据量降为四分之一后端ISP的处理压力、编码码率、存储成本全线下降这对动辄几十路、上百路的监控项目是实打实的成本优势。工业视觉里Binning的应用同样常见。高速检测项目对帧率极敏感传统方案要么降低分辨率要么裁切ROI但Binning可以在不牺牲视野的前提下以更低分辨率换更高帧率同时还能顺带提升信噪比。比如检测PCB板上微弱缺陷时1280x720模式下做2x2 Binning分辨率降到640x360帧率却能翻三四倍很多场景下反而更容易捕捉到瞬间缺陷。还要补充一个容易被忽视的趋势现在很多CMOS传感器已经把Binning逻辑直接集成在芯片内部也就是说传感器输出端就已经是合并完的数据后端主控完全不需要额外计算这就是所谓binning IC的常态化应用。选型时优先确认传感器是否支持芯片级binning、支持几档binning1x1、2x2、3x3甚至4x4比单纯看像素数重要得多。3.3 进阶方向不只是Quad Bayer还有HDR、九合一和双层晶体管Quad Bayer和Binning虽然在消费市场大放异彩但技术演进并没有停在四合一上。三星Nonacell九合一就是把2x2同色组扩展成了3x3一亿像素0.8微米传感器通过九合一输出1200万等效像素尺寸2.4微米暗光能力更进一步。豪威则在部分产品上做十六合一把高像素和极致暗光合并到一个传感器里。另一个和Quad Bayer高度绑定的能力是HDR高动态范围。不少Quad Bayer传感器可以利用四组同色像素做多重曝光其中一组用短曝光避免高光过曝一组用长曝光提亮暗部再通过算法融合成一张高动态范围图像。这种方案比传统传感器的时间域多帧HDR更省带宽移动物体也不容易拖影是当前手机传感器HDR的主流路线之一。索尼近年来还提出了双层晶体管像素技术把像素内的晶体管层移到光电二极管下方腾出的空间用来增大光电二极管的容积提升满阱容量、扩大感光面积。这个技术和Quad Bayer并不冲突未来大概率会融合在同一颗传感器上带来更大的动态范围和更干净的暗部。这意味着选型时除了看排列和binning能力还得关注像素结构本身的发展比如满阱容量、量子效率和暗电流指标。4. 常见误区与实测排查技巧4.1 误区一像素数越高画质一定越好这是我见过最多人踩的坑。像素数只决定极限解析能力的上限不等于实际画质。真正决定观感的是信噪比、动态范围、色彩还原、镜头解析力等一系列指标。一颗4800万像素的0.7微米小底暗光画质往往不如一颗1200万像素的1.4微米大底那4800万像素的价值只体现在光线充足时能把暗部细节拍得更清晰光线一差就原形毕露。所以我选型的原则是先确定最小可接受的像素尺寸再谈像素数。暗光要求高的合并后等效像素最好不低于2.0微米一般日间记录合并后1.4微米以上也够用只有对大幅打印、后期裁剪有强需求才需要认真考虑高像素全分辨率模式。4.2 误区二四合一等效像素原生大像素四合一后等效像素尺寸从0.8微米变成1.6微米听起来好像和原生1.6微米像素一模一样实际并不是。原生大像素的单个像素内部可以实现更优化的光电二极管设计填充因子、微透镜形状、相邻像素隔离都可以精细调校而四合一模式本质上还是四个小像素凑出来的像素间难免存在串扰和暗电流差异。实际拍摄中同样等效1.6微米原生大像素在过渡色阶、低光色彩饱和度和高光滚位方面通常更细腻。当然现在工艺进步已经把两者差距压缩得很小但对极致画质有要求的项目还是优先考虑原生像素尺寸就足够大的传感器别被等效两个字迷惑。4.3 实测技巧怎么判断设备到底走的哪条路判断一款设备到底是真四合一输出、真硬件binning还是单纯软件插值/缩放其实有迹可循。我最常用的办法有三个。第一看RAW文件元数据。用能输出RAW的相机或手机拍一张在电脑上打开文件观察每个像素通道的数据分布。如果是Quad Bayer传感器原生四合一输出RAW里的像素通道排列会呈现明显的2x2同色块如果经过Remosaic还原则排列接近传统Bayer。软件插值的特征更明显细节边缘会出现大量锯齿和伪色因为算法在无中生有造像素。第二对比不同模式下的码率和文件体积。同一场景全分辨率模式文件体积显著增加但细节没有同比例增加大概率是软件插值而非硬件直出。硬件Remosaic通常会带来与分辨率匹配的细节量文件体积涨幅也更真实。第三用光照梯度测试。拍一张从暗到亮的渐变灰卡观察过渡带噪点形态。硬件binning合并后噪点颗粒会明显变大变粗但不密集软件缩放则仍保留大量细密噪点因为并没有真正合并不相关噪声。4.4 选型避坑清单与常见问题速查问题判断方向解决思路像素数很高但暗光噪点爆炸像素尺寸太小合并后等效像素仍不足选合并后等效像素≥1.6微米的产品高像素模式细节不增反减镜头解析力不足或走软件插值检查镜组MTF改用硬件Remosaic方案夜间监控画面太暗未开启binning或binning档位不足切2x2/3x3 binning输出或换大像素底视频高帧率达不到要求输出带宽被全分辨率拖累启用传感器内binning降低后端压力高光死白暗部死黑传感器动态范围不足选支持多重曝光HDR的Quad Bayer产品画面泛红/边缘偏色跨颜色合并或CFA异常检查是否用传统Bayer硬做binning更换同色合并方案这些坑我在项目里基本都亲手踩过一遍。最典型的一个案例是帮朋友调试一台安防摄像头白天一切正常晚上就满屏彩色噪点一开始以为是ISP降噪参数没调好排查半天最后才发现是传感器切了夜视模式后Binning没生效后端做的是纯软件缩放。把传感器切回2x2 binning输出画面瞬间干净了一个量级连补光灯的功率都可以降下一档。5. 关于Binning IC和CMOS传感器选型的一点补充最后再单独聊一下热门搜索里反复出现的binning ic和cmos图像传感器这两个词。很多人以为Binning必须靠外部ISP或主控芯片做其实现在的CMOS图像传感器集成度已经非常高大量传感器内部就集成了完整的binning逻辑。这种传感器内binning的价值在系统设计阶段就能体现出来。以一颗800万像素传感器为例如果它内部支持2x2 binning那么系统可以只给后端ISP接一条1080p的数据通道后端不需要跑高分辨率算法也不需要大容量帧缓冲整个模组的成本和功耗都能明显降低。相反如果传感器不支持内部binning就只能在ISP里做下采样数据从传感器到ISP的传输带宽始终是全分辨率后端处理也白白消耗了大量算力。所以选型时一定要向供应商确认几个关键细节传感器内部是否支持Binning以及支持的档位1x1、2x2、3x3Binning是在数字域还是模拟域完成噪声特性和功耗差异如何在Binning模式下满阱容量、读出噪声和帧率的具体指标是多少是否支持在Binning模式下同时输出全分辨率画面用于双路高像素高帧率并行这些问题背后的本质是搞清楚整个imaging pipeline里谁在做像素合并以及合并发生在哪一步。合并靠前系统越省资源噪声控制通常也越好合并靠后系统越吃带宽但灵活性更高。理解了这一层你在选型时就不会被宣传页上那些花哨的技术名词牵着鼻子走。回到标题最核心的问题——Quad Bayer和Binning到底怎么选我的答案其实很务实消费影像手机、运动相机、无人机选Quad Bayer因为它是高像素与暗光兼顾的最优解四合一模式就是默认的Binning专业安防、工业和科学成像则优先确认传感器本身的Binning能力和触发方式它比排列方式更影响你的系统成本和低照度表现。两者本质上并不冲突Quad Bayer传感器同样可以做Binning而Binning的价值也不会因为有了Quad Bayer而消失。在我的项目经验里真正靠谱的图像传感器选型很少是某个单一技术决定胜负而是把像素尺寸、传感器尺寸、Binning支持、HDR能力、后端带宽这几个维度放到同一张需求清单里逐个打分。下次再看到一款新传感器宣传一亿像素、四合一的时候别急着兴奋先问一句它的默认输出是多少四合一后等效像素多少暗光信噪比实测多少这三个问题问下来你心里自然就有答案了。