为什么你们都在用多合一排列啊？

如果你了解成像用图像传感器，或者对移动影像感兴趣，那么你也一定对于多合一排列并不陌生，六七年前，这玩意儿还是刚在手机上大规模应用的新技术，但如今多合一排列不仅已经快成为成像用移动图像传感器的事实标准，甚至在一定程度上影响了现在成像用图像传感器的发展。

在展开聊聊历史之前，我们先需要简单回顾一下多合一排列（多像素合一排列）是什么东西。图像传感器像素的光电二极管只能感知光强不能分辨波长，所以需要滤色片来筛选入射光波长从而区分颜色，而单层彩色图像传感器最常用的滤色片形式为拜尔排列。而多合一排列就是从拜尔排列所发展而来，和拜尔排列一个颜色滤色片下只有一个像素不同，多合一排列是将相邻方形区域的多个像素的滤色片共用一个颜色，当然在部分实例中也可以反过来理解成把一个滤色片下的一个像素分成了多个。

其中四合一排列是多合一中最常见的一个种类，即让四个像素（2×2）共用一个滤色片颜色，不过因为不同图像传感器供应商对于这种排列往往有不同的称呼：以四合一排列为例索尼叫 Quad Bayer，三星叫 TetraCell、豪威叫 4-Cell、思特威叫 QCell、格科微叫 4 C Bayer 等，所以本文将其统称为四合一，类似地，3×3 的九合一，4×4 的十六合一同理。

但是和很多近年被广泛落地普及的新技术一样，在移动图像传感器中很热门的多合一排列真要深究其起源，翻来找去最后都能追溯到 CCD 时代——也没比标准拜尔排列晚多少。

1999 年，尼康推出了被评价为“游戏规则改变者”的数字单反（Digital SLR，即DSLR）相机：尼康 D1，虽然尼康 D1 号称采用了一块专门开发的 2.7MP 的 CCD 图像传感器，但当时参与研发，尼康第一开发部总经理柴崎清重（芝崎清茂）在事后采访中确认，其实这块图像传感器的实际分辨率高达 10.8MP——正正好好就是机身标称分辨率的四倍。根据柴崎清重的说法，在开发出 10.8MP 图像传感器后，为了在尼康 D1 上实现高灵敏度（指高感）和信噪比，在最终产品上选择以四个临近像素（2×2）为一组进行合并采样将分辨率降至 2.7MP 输出。所以可以推测为了在合并采样后的像素仍然符合单层彩色图像传感器常用的拜尔排列，尼康将用于合并的四个像素上使用了相同的滤色片颜色——即最初的四合一排列。

当然对于 CCD 来说，由于其是使用像素传递电荷包实现像素读出的，所以实现临近像素的合并采样并不困难，而 CMOS 的读出方式和 CCD 不同，通常需要根据设计时指定的读出模式适配读出电路设计，所以在早期 CMOS 图像传感器里很少专门在高像素传感器上使用四合一排列当低像素用。不过真要找这样的例子也不是没有：例如 2014 年 iPhone 6 上前摄使用的 IMX145 图像传感器，就是将一颗 5MP 的图像传感器通过四合一排列强制工作在 1.2MP 下以满足视频通话需要。

说到这里大家也可能发现，在四合一排列最初落地的实例中，使用四合一排列更多只是为了让实际高像素图像传感器通过合并采样降分辨率后，四个小像素合并的等效“大像素”在物理上仍能满足传统拜尔排列以方便后续成像管线处理。

所以这些四合一排列的图像传感器在设计时并没有考虑另行提供全分辨率输出模式——虽然业界也不是没考虑过这种可能性：例如诺基亚在 Nokia 808 PureView 在研发过程中曾考虑过使用四合一排列来分别实现广角端的默认低像素输出以及裁剪无损变焦（即如今的 in sensor zoom），但最终因为在画质评估模拟中不如直接使用标准拜尔的高像素图像传感器进行超采样而被放弃。

这一拖就给拖到了 2018 年，在华为 P20 Pro 所搭载的 IMX600 上，40MP 全分辨率这一规格才第一次出现在四合一排列的图像传感器里。而之后索尼半导体在年底发布的业界首款 0.8μm 小像素图像传感器 IMX586 更是凭借 48MP 30fps、12MP 100fps（4K 120fps）的越级规格把上可输出 48MP 高分辨率照片，下可无缝对接手机厂商 12MP 既有管线的四合一排列，带进了手机产品的“千家万户”，成为了一代传奇“劳模”——甚至直到现在索尼半导体还不忘更新 0.8μm 1/2” 型的产品线（LYTIA 600）。

而在 IMX586 之后，我们看到越来越多的手机厂商不仅仅在传感器预算最充足的主摄上使用多合一排列（四合一、九合一、十六合一等）图像传感器，在副摄上（超广、长焦）采用多合一排列的高像素图像传感器比例也开始变得越来越多。这股从手机上兴起的多合一“普及风暴“甚至又吹回了可换镜头相机领域：比如索尼的 α7S3 和奥之心的 OM-1 均采用了四合一排列的图像传感器（据说 FX5 的底也是）。

同时我们也观察到四合一排列也开始利用自身更高的物理像素数量探索更多的可能性：例如 M43 （4/3” 型）的 IMX299 和全画幅（2.7” 型） IMX510 （当然也包含 IMX586 在内的一大堆移动底）就支持通过让同色像素采用不同的曝光实现实现单帧 HDR；再比如 OM-1 上的图像传感器选择将同色的四个像素置于相同的微透镜（OCL/ML）下，实现全像素交叉对焦功能等（IMX689 首发）。

而在手机厂商们作为客户的旺盛需求和资金裹挟下，现在使用多合一的小像素传感器除了能提供更多功能，我们甚至还能观察到一个看似反直觉的现象：因为在像素小型化的研发过程中，图像传感器厂商为了尽可能保证像素性能，以及克服其他物理层面的限制（比如晶体管尺寸），小像素往往会使用更新更好更先进的制造工艺以及设计——这导致最终落地的像素性能并不全跟着像素尺寸的缩小而变差，部分规格甚至小像素还更有优势：例如三星 S5KGN5 的 1.0μm 像素满阱容量（FWC）高达 10ke- ——和 1.4μm 的 S5KGN2 相当；再比如索尼半导体 LYTIA 900 合并采样到 12.5MP 等效 3.2μm 的满阱容量 60ke- 甚至比全画幅 IMX810 的 6μm 像素还高。

这也让“把小像素合并采样当大像素用”在除了节约“重新造轮子”的研发成本以及增加功能以外还增加了一层动机：合并采样小像素当大像素用画质很可能比用真正的大像素要好。即便是前文提到通过下放小像素技术部分规格能和 1/1.12” 型 S5KGN2 扳手腕 S5KGN5 1μm 像素设计，三星在后来同分辨率和尺寸的 S5KGNJ 上通过把四个为 S5KHP5 设计的 0.5μm 像素拼成一个 1.0μm 像素用，然后满阱容量又提升了 40%。

没办法，移动图像传感器实在太挣钱了……

如今的多合一排列从当年为复用设计，把小像素当大像素用的“应急巧思“，逐渐演化为支持高分辨率输出，再到支持单帧 HDR、全向对焦等更多功能，乃至终端专为多合一排列定制专门的图像处理和压缩管线标准……现在的多合一排列已经不再是单纯作为标准拜尔排列的”附庸“，而是已经成为了成像用图像传感器中的一支不可被忽略的演进方向。