MediaTek与台湾学者联手破解夜间白平衡难题

这项由MediaTek公司、台湾大学和台湾阳明交通大学联合开展的研究发表于2025年1月8日的arXiv预印本平台，论文编号为arXiv:2601.05249v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你在昏暗的餐厅里掏出手机想要拍摄美食时，是否经常发现拍出的照片要么过于偏黄，要么偏蓝偏紫，完全不像肉眼看到的真实色彩？这个让无数人头疼的问题，其实有一个专业的名字叫做"夜间白平衡"。就像人眼能够自动适应不同光线环境下的色彩感知一样，相机也需要一套智能系统来判断当前光线的"颜色温度"，然后相应调整拍摄参数，确保白色物体在照片中依然显示为白色。

然而，夜晚的光线环境就像一个调皮的魔法师，总是给相机设置各种陷阱。路灯可能是暖黄色的，霓虹灯可能是冷蓝色的，而室内灯光又可能带着橙色调。更要命的是，夜间光线微弱，相机需要提高感光度，这就像把音响音量调到最大一样，不仅放大了有用的信号，也放大了噪音。在这种复杂环境下，传统的白平衡算法就像一个在黑暗中摸象的盲人，经常做出错误的判断。

研究团队发现，现有的解决方案就像用白天的地图在夜晚导航一样不靠谱。传统的统计方法假设场景中存在足够多样的颜色和稳定的灰色像素点，但夜间拍摄时，这些假设就像建在沙滩上的城堡一样站不住脚。而深度学习方法虽然在白天表现不错，但换到不同品牌的相机上就水土不服，就像一个只会说中文的导游突然要为外国游客服务一样束手无策。

面对这个挑战，研究团队提出了一个革命性的解决方案：RL-AWB框架。这就像是给相机配备了一个会学习的智能助手，它不仅掌握了夜间摄影的基本规律，还能根据每张照片的具体情况进行个性化调整。这个智能助手的核心是一个名为SGP-LRD的新算法，专门针对夜间场景设计，再加上强化学习技术让它能够像人类专家一样不断调优参数。

更令人兴奋的是，研究团队还发布了第一个多相机夜间色彩恒常性数据集LEVI，包含700张来自iPhone 16 Pro和Sony ILCE-6400两种不同相机的夜间照片。这就像是建立了一个夜间摄影的标准考场，让所有算法都能在相同条件下公平竞争，也为未来的研究提供了宝贵的测试平台。

一、夜间摄影的色彩挑战：为什么传统方法不再灵验

要理解这项研究的重要性，我们首先需要明白夜间摄影到底面临着怎样的挑战。这个问题就像在一个灯光昏暗、音响嘈杂的酒吧里试图听清朋友的话一样困难。

在白天，阳光就像一个标准的"白色光源"，虽然早晚会有些偏暖或偏冷，但总体来说相对稳定且均匀。相机的白平衡系统就像一个有经验的调音师，能够根据这些相对规律的光线特征，准确判断当前的"光线色温"，然后调整相应的参数让照片色彩自然。

但到了夜晚，情况就完全不同了。城市夜景中可能同时存在着暖黄色的路灯、冷白色的LED灯、彩色的霓虹灯，还有从窗户透出的各种室内灯光。这就像一个交响乐团中每个乐器都在演奏不同的曲子一样混乱。更糟糕的是，由于光线微弱，相机必须提高ISO感光度，这个过程就像把收音机的音量调到最大一样，在放大有用信号的同时也放大了各种噪音。

传统的统计色彩恒常性方法建立在几个关键假设之上。第一个假设是"灰度世界理论"，认为一个场景中所有颜色的平均值应该是灰色的。这就像假设一个班级里学生的平均身高应该是中等水平一样。第二个假设是场景中存在足够多的"灰色"像素点，可以作为判断真实光线颜色的参考。

然而，夜间环境让这些假设变得不再可靠。光线不足导致很多区域变得过暗，原本应该是"灰色"的像素点可能被噪音污染变得不可信。同时，人工光源的复杂混合打破了传统的色彩分布假设。这就像试图用专为平原设计的导航系统在崎岖山路上行驶一样，原有的规则不再适用。

深度学习方法虽然在一定程度上克服了统计方法的局限，但它们面临着另一个严重问题：跨设备泛化能力差。这些方法就像一个只在特定钢琴上练习的钢琴家，换到不同品牌的钢琴上就可能弹不好了。不同相机品牌的传感器特性、镜头特点、图像处理管线都有差异，这导致在一个相机上训练的模型在另一个相机上表现大打折扣。

研究团队通过大量实验发现，现有方法在跨设备测试时，错误率往往会大幅增加。这个问题在实际应用中尤为严重，因为相机厂商不可能为每一款新产品重新训练整套算法，而消费者更不可能为了更好的夜间拍摄效果而更换整个相机系统。

二、SGP-LRD算法：夜间摄影的智能色彩侦探

针对夜间环境的特殊挑战，研究团队开发了一个专门的智能算法SGP-LRD，这个名字代表着"带有局部反射差异的显著灰色像素"检测算法。如果把传统算法比作在明亮房间里寻找线索的侦探，那么SGP-LRD就像一个配备了夜视镜和放大镜的夜间侦探，专门擅长在昏暗环境中发现最可靠的色彩线索。

SGP-LRD的工作流程就像一个经验丰富的摄影师在夜间拍摄时的思考过程。首先，它会仔细观察整个画面，寻找那些最有可能是"真正灰色"的区域。但与传统方法不同的是，它不会简单地相信第一眼看到的结果，而是会进行多重验证。

算法的第一步是"显著灰色像素检测"。这个过程就像在一堆混杂的宝石中挑选真正的钻石一样精细。算法会分析每个像素点的局部对比度特征，因为真正的灰色表面在不同光线下应该呈现出特定的反射特性。它使用数学上的"角度误差"来衡量每个像素点与理想灰色的接近程度，就像用专业工具测量钻石的纯度一样精确。

找到候选的灰色像素后，算法并不会立即相信它们，而是要进行两层过滤验证。第一层是"局部方差过滤"，就像一个质检员用放大镜检查产品细节一样。在夜间环境中，纯粹的噪音像素往往表现出极小的颜色变化，这些"假灰色"需要被识别并剔除。算法会计算每个像素在RGB三个颜色通道上的方差，如果方差太小，说明这个像素可能是噪音产生的，而不是真实的场景信息。

第二层是"色彩偏差过滤"，这个过程就像一个经验丰富的调酒师通过观察酒的颜色来判断其质量一样。算法会计算每个候选灰色像素与整个场景主导色调的偏差程度。如果某个像素的颜色与场景整体色调差异过大，很可能是异常光源或反射造成的，需要被过滤掉。

经过这两层严格筛选后，算法得到了最可靠的"显著灰色像素"集合。但SGP-LRD的智慧还不止于此。它引入了一个"灰色像素置信度加权"机制，这就像一个经验丰富的摄影师会根据不同区域的光照条件给予不同的信任度一样。算法会根据每个灰色像素的亮度信息计算一个置信度分数，亮度适中的像素获得较高权重，而过暗或过亮的像素权重较低。

SGP-LRD最创新的部分是"像素级局部反射差异"计算。这个机制就像给每个像素配备了一个微型的环境感知器一样。算法为每个像素位置定义一个小窗口，分析该位置与周围邻居的反射特性差异。这种局部分析方法能够更好地处理复杂光照环境，因为真实的灰色表面应该在其邻域内表现出相对一致的反射特性。

通过这种精细的局部分析，算法能够更准确地区分真正的表面反射和由光源变化造成的色彩变化。这就像一个有经验的古董鉴定师不仅会观察物品的整体外观，还会仔细检查局部的纹理和细节来判断真伪一样。

最终，SGP-LRD将所有收集到的可靠信息整合起来，使用加权的明可夫斯基范数来估计场景的真实光源颜色。这个过程就像一个智能投票系统，每个可靠的灰色像素都根据其置信度投出一票，最终的光源估计结果是所有高置信度投票的加权平均。

三、强化学习框架：让算法像专家一样思考和调优

虽然SGP-LRD算法已经为夜间色彩恒常性提供了强大的基础，但研究团队意识到，即使是最好的基础算法也需要根据具体场景进行微调，就像一位经验丰富的调音师需要根据不同的音乐厅环境调整音响参数一样。这就是RL-AWB框架中强化学习部分的价值所在。

RL-AWB的强化学习组件就像一个永不停歇的学徒，跟着经验丰富的白平衡专家学习如何在不同场景下调整算法参数。这个"数字学徒"需要掌握两个关键参数：灰色像素选择的百分比N和明可夫斯基范数的指数p。这两个参数就像调音台上的两个关键旋钮，微小的调整就能带来显著的效果改善。

参数N控制着算法选择多少比例的像素作为灰色候选。当场景中灰色信息丰富时，可以选择较低的百分比来保证精确度，就像在一群优秀学生中只挑选最顶尖的一样。但当场景中灰色线索稀少时，就需要适当放宽标准，选择更多的候选像素来保证有足够的信息进行判断。

参数p则影响着算法对不同置信度像素的重视程度。较小的p值会让算法采用相对平均的策略，给所有候选像素相近的权重，这适合在信息质量普遍较高的场景中使用。较大的p值则会让算法更加"挑剔"，主要依赖置信度最高的那些像素，这在环境复杂、需要重点关注最可靠信息的场景中更有效。

强化学习智能体的设计就像训练一个专业的摄影助手一样精细。这个助手需要观察当前的拍摄环境，包括图像的色彩分布统计、当前的参数设置历史，以及最近几次调整的结果。基于这些观察，它需要决定如何微调这两个关键参数。

智能体的"观察能力"通过精心设计的状态表示来实现。研究团队使用RGB-uv直方图来捕捉图像的色彩分布特征，这就像给助手配备了一个专业的色彩分析仪。同时，系统还会记录最近的参数调整历史，让智能体能够了解之前的尝试效果，避免重复错误的调整方向。

智能体的"决策机制"采用了连续动作空间的设计。这意味着它不是从几个预设选项中选择，而是可以进行精细的参数微调，就像一个经验丰富的调音师能够进行毫米级的精确调整一样。每次调整都是相对的，基于当前参数值进行增减，这样可以实现平滑的优化过程。

为了让智能体学会正确的调整策略，研究团队设计了一个巧妙的奖励机制。主要奖励来自于色彩估计准确度的改善，就像给学生的成绩提升给予表扬一样。但系统还会考虑调整的"代价"，避免智能体做出过于激进的参数变化。这种平衡机制确保了算法既能追求更好的效果，又能保持稳定性。

研究团队还实现了一个两阶段的课程学习策略。第一阶段就像让学徒在一个固定的工作台上反复练习基本技能，智能体在单张图像上学习如何稳定地改善色彩估计效果。当基本技能掌握后，第二阶段开始让智能体处理多样化的场景，就像让已经掌握基础技能的学徒开始处理各种不同的实际工作任务。

这种渐进式学习方法的优势在于，智能体首先在相对简单的环境中建立信心和基础能力，然后再逐步适应更复杂的场景变化。整个过程就像培养一个专业技师一样，从基础训练到实际应用，每一步都建立在前一步的成功基础上。

四、LEVI数据集：夜间摄影算法的标准考场

在开发出优秀的算法后，研究团队面临着另一个重要挑战：如何公正地评估和比较不同算法的性能？这就像开发出新的运动训练方法后，需要一个标准的比赛场地来验证其效果一样。现有的夜间色彩恒常性数据集NCC虽然有价值，但只包含来自单一相机的图像，这就像只在一种特定类型的场地上进行测试，无法全面验证算法的适应性。

为了解决这个问题，研究团队精心构建了LEVI数据集，这个名字代表"低光晚间视觉照明"数据集。LEVI就像一个精心设计的综合性考试，不仅考查算法在不同光线条件下的表现，还要测试它们在不同相机设备上的适应能力。

LEVI数据集包含700张精心拍摄的夜间图像，这些图像来自两个截然不同的相机系统：iPhone 16 Pro和Sony ILCE-6400。选择这两款设备就像选择两种完全不同的画笔来测试画家的技能一样，iPhone代表了移动设备的便携性和自动化特点，而Sony相机则代表了专业摄影设备的精确性和可控性。两者在传感器特性、镜头设计、图像处理管线等方面都有显著差异。

数据集的构建过程就像一个精密的科学实验。每张照片都包含一个标准的麦克贝斯色彩检验板，这个色板就像化学实验中的标准试剂一样，为算法提供了绝对的颜色参考标准。研究团队手工标注了每张图片中色板的位置，确保算法能够准确获得真实的光源颜色信息。

拍摄条件的多样性是LEVI数据集的另一个重要特点。ISO感光度范围从500到16000，涵盖了从微弱夜间照明到极端低光条件的各种情况。这就像让运动员在不同的天气条件下进行训练一样，确保算法能够适应真实世界中可能遇到的各种挑战性环境。

除了基础的图像数据，LEVI还提供了丰富的元数据信息，包括焦距、光圈值、曝光时间和ISO设置等。这些信息就像医学研究中详细的患者病历一样，为研究人员提供了深入分析算法性能的重要线索。研究人员可以通过这些数据分析算法在不同拍摄参数下的表现差异，进而优化算法设计。

数据集中的场景选择也经过精心考虑，包括城市夜景、室内低光环境、混合光源场景等多种典型的夜间拍摄情况。每种场景都有其独特的挑战：城市夜景可能包含多种人工光源的混合，室内环境可能光线不足且分布不均，而混合光源场景则考验算法处理复杂光照条件的能力。

为了确保数据质量，研究团队对所有图像进行了标准化的预处理。这个过程就像准备标准化考试一样，所有图像都经过黑电平校正并转换为线性RGB格式，消除了不同设备间的基础差异，让算法能够在公平的条件下进行比较。

五、实验结果：算法性能的全方位验证

研究团队通过一系列精心设计的实验来验证RL-AWB框架的有效性，这些实验就像给新开发的药物进行临床试验一样严格和全面。实验设计考虑了多个维度：算法在单一数据集上的表现、跨数据集的泛化能力，以及与现有最先进方法的比较。

在单数据集性能测试中，RL-AWB展现出了令人印象深刻的效果。在NCC数据集上，RL-AWB的中位数角度误差为1.98度，显著优于传统统计方法和深度学习方法。这个结果就像一个新的导航系统在熟悉路线上的表现一样，不仅准确，而且稳定。更重要的是，RL-AWB在最困难的25%场景上的表现也很出色，这表明算法不仅在一般情况下有效，在极具挑战性的环境中也能保持可靠性。

在LEVI数据集上的表现进一步证实了算法的有效性。RL-AWB的中位数角度误差为3.01度，考虑到这是一个包含两种不同相机系统的更复杂数据集，这个结果是相当令人满意的。算法在最佳25%场景上的误差仅为1.43度，显示出在理想条件下的卓越性能。

然而，真正考验算法实用性的是跨数据集泛化测试。这就像测试一个在某个城市训练的导航系统能否在完全不同的城市中正常工作一样关键。当使用在NCC数据集上训练的模型测试LEVI数据集时，传统深度学习方法的性能出现了显著下降。例如，C5方法的中位数误差从训练时的2.46度激增到11.38度，这种性能恶化就像一个只在高速公路上练习的司机突然要在山路上驾驶一样困难。

相比之下，RL-AWB在跨数据集测试中表现出了卓越的稳定性。当在LEVI数据集上测试时，算法的中位数误差仅从训练时的1.98度增加到3.03度，这种轻微的性能下降是完全可以接受的。反向测试的结果更加令人印象深刻：使用LEVI训练的模型在NCC数据集上的中位数误差仅为1.99度，几乎与直接训练的效果相当。

这种强大的泛化能力来源于RL-AWB的独特设计理念。传统深度学习方法直接学习从图像到光源颜色的映射关系，这种映射往往与特定的相机特性密切相关，就像学会了某种方言的人到其他地区可能会遇到交流困难一样。而RL-AWB通过学习如何调整统计算法的参数，实际上学习的是一套更通用的"调优策略"，这种策略不依赖于特定的硬件特性。

算法的数据效率也是一个重要优势。在大多数实验中，RL-AWB只需要每个数据集5张训练图像就能达到优秀的性能，这就像一个快速学习者只需要看几个例子就能掌握新技能一样高效。这种高数据效率对实际应用具有重要意义，因为在实际部署中很难为每种新的相机型号收集大量标注数据。

研究团队还测试了算法在白天场景中的表现。虽然RL-AWB是专为夜间环境设计的，但在Gehler-Shi标准数据集上的测试显示，算法依然能够保持竞争力的性能。这种跨场景的适应性进一步证实了方法的通用性和实用价值。

定量分析显示，SGP-LRD基础算法相比传统方法已经带来了显著改进，而强化学习的加入进一步提升了5-10%的性能。这种改进看似不大，但在色彩恒常性这样的精密任务中，每一点改进都是有价值的，就像精密仪器的校准一样，微小的改进都能带来实际的应用价值。

六、技术创新点与理论贡献

RL-AWB框架的成功不仅在于其实际应用价值，更在于它为计算机视觉领域带来了几个重要的理论创新和方法学贡献。这些创新就像建筑学中的新设计理念一样，不仅解决了当前的问题，还为未来的研究提供了新的思路和方向。

首先，将强化学习引入色彩恒常性问题本身就是一个开创性的尝试。传统的色彩恒常性研究要么依赖统计方法的手工调参，要么使用深度学习的端到端训练。RL-AWB提供了第三条路径：将人类专家的调参经验转化为可学习的智能策略。这种思路就像把传统手工艺人的经验技巧转化为可复制的智能制造流程一样，既保留了专家知识的精髓，又具备了自动化的效率。

SGP-LRD算法在夜间色彩恒常性方面的创新也具有重要的理论价值。传统算法在设计时主要考虑白天场景的特点，而SGP-LRD从头开始重新思考夜间环境的特殊性。算法引入的多层过滤机制和局部反射差异分析，为处理低信噪比环境下的色彩估计提供了新的技术路径。这种针对性设计就像为极地探险开发专门装备一样，针对特殊环境的挑战提供定制化解决方案。

框架中的两阶段课程学习策略也为强化学习在计算机视觉任务中的应用提供了有价值的经验。第一阶段的单图像稳定训练和第二阶段的多图像适应性训练，这种渐进式学习模式有效解决了强化学习中常见的训练不稳定问题。这种方法论对其他需要精细参数调优的计算机视觉任务具有借鉴价值。

奖励函数的设计也体现了深刻的工程智慧。研究团队巧妙地平衡了性能改善和参数稳定性之间的关系，避免了算法陷入过度优化的陷阱。这种平衡机制就像自动驾驶系统中速度与安全的权衡一样，确保了算法在追求最佳性能的同时保持实用性。

状态表示的设计也体现了对问题本质的深刻理解。通过结合图像的色彩统计特征和参数调整历史，算法能够在没有真实光源标签的情况下做出智能决策。这种"无监督"的决策能力对于实际部署具有重要意义，因为在真实应用中往往无法获得准确的标准答案。

LEVI数据集的构建方法也为多设备评估标准的建立提供了范例。通过严格的标准化流程和丰富的元数据记录，LEVI不仅是一个测试平台，更是一个研究工具。数据集的开放发布将促进整个研究社区在夜间色彩恒常性方面的进展。

从更广阔的视角来看，RL-AWB代表了一种"混合智能"的设计理念：将领域专家的知识（体现在SGP-LRD算法中）与机器学习的适应性（体现在强化学习组件中）有机结合。这种设计思路在许多其他领域都有应用潜力，特别是那些既需要专业知识又需要适应性调整的任务。

算法的跨设备泛化能力也揭示了一个重要的设计原则：相比于学习特定的输入输出映射，学习通用的优化策略往往具有更好的泛化性。这个发现对于开发需要在多种设备或环境中部署的算法具有重要的指导意义。

七、实际应用前景与产业影响

RL-AWB框架的成功开发不仅是学术研究的胜利，更重要的是它为整个影像产业带来了实实在在的应用前景。这项技术就像为夜间摄影装上了智能大脑一样，有望从根本上改善消费者的夜间拍摄体验。

在智能手机市场，夜间拍摄能力已经成为各大厂商竞相追逐的核心卖点。从苹果的"夜间模式"到华为的"超级夜景"，每一项夜拍技术的突破都能带来巨大的市场影响。RL-AWB框架提供的智能白平衡调优能力，可以显著提升现有夜拍算法的色彩准确性。更重要的是，这套技术具有出色的跨设备适应性，意味着厂商可以更快速地将优化后的算法部署到不同型号的产品线中，而不需要为每款设备重新进行大量的参数调优工作。

对于专业摄影设备制造商来说，RL-AWB技术同样具有重要价值。专业摄影师在夜间拍摄时经常需要在后期处理中花费大量时间来校正色彩，特别是在处理混合光源环境下的照片时。如果相机能够在拍摄时就提供准确的白平衡，将大大减少后期处理的工作量，提高工作效率。这对于新闻摄影、活动拍摄等需要快速出片的场景特别有价值。

安防监控行业也是这项技术的重要应用领域。监控摄像头需要在各种光线条件下保持稳定的图像质量，特别是在夜间或光线复杂的环境中。准确的色彩还原不仅能够提供更好的视觉效果，还能为后续的图像分析和识别算法提供更可靠的输入数据。这对于人脸识别、车牌识别等应用具有直接的性能提升效果。

汽车工业中的自动驾驶系统也是潜在的受益者。自动驾驶车辆的摄像头需要在夜间准确识别道路标志、交通灯和其他车辆，而这些任务都高度依赖准确的色彩信息。RL-AWB技术能够帮助车载摄像头在复杂的夜间光照环境中保持色彩稳定性，从而提高整个自动驾驶系统的安全性和可靠性。

从产业链的角度来看，这项技术的推广应用还将带动相关产业的发展。图像传感器制造商可能会针对夜间拍摄需求开发更专业的传感器产品，软件开发商则可以基于RL-AWB框架开发各种专业的图像处理应用，硬件制造商也可能推出专门针对夜间拍摄优化的相机产品。

技术的标准化应用也值得期待。随着RL-AWB等先进算法的成熟，行业可能会建立统一的夜间白平衡评估标准，这将促进整个行业的技术进步。就像显示器行业的色彩标准一样，统一的夜间白平衡标准将使消费者能够更好地比较不同产品的性能，也会推动厂商持续改进技术。

从用户体验的角度来说，这项技术的普及应用将让普通消费者能够更容易地拍摄出专业级的夜间照片。无论是家庭聚会、夜景旅拍还是社交媒体分享，用户都能获得色彩自然、视觉舒适的照片，而无需掌握复杂的手动调节技巧或后期处理知识。

对于内容创作者和社交媒体用户来说，更好的夜间拍摄能力意味着更多的创作可能性。夜间的城市风景、餐厅聚餐、演唱会现场等场景都将成为更容易捕捉的素材，这将进一步推动视觉内容的多样化和质量提升。

说到底，RL-AWB框架代表了人工智能技术在解决实际问题方面的成功探索。它不是简单地追求算法的理论完美，而是真正关注用户的实际需求，通过技术创新来解决人们在日常生活中遇到的具体问题。这种以用户为中心的技术发展思路，正是当前人工智能领域最需要的方向。

这项研究的成功还展示了产学研合作的价值。MediaTek作为产业界的代表，提供了实际应用场景的需求和工程化的视角，而台湾大学和阳明交通大学则贡献了扎实的理论基础和创新算法。这种合作模式确保了研究成果既具有理论价值，又具备实际应用的可行性。

随着技术的不断成熟和成本的下降，可以预期RL-AWB及其衍生技术将逐步普及到各个价位段的设备中，让更多用户能够享受到先进技术带来的便利。这不仅是技术进步的胜利，更是让技术真正服务于人类生活的成功实践。

Q&A

Q1：RL-AWB技术是什么？

A：RL-AWB是MediaTek与台湾学者联合开发的夜间自动白平衡技术，它结合了专门的夜间色彩算法SGP-LRD和强化学习技术，能够智能调整相机参数，让夜间拍摄的照片色彩更加自然准确，解决了传统方法在夜间拍摄时色彩偏差的问题。

Q2：这项技术能解决什么实际问题？

A：主要解决夜间拍照时的色彩不准确问题，比如在餐厅拍食物时照片偏黄，在霓虹灯下拍照时色彩偏蓝等。这项技术让手机或相机能够像人眼一样自动适应复杂的夜间光线环境，拍出色彩自然的照片，而且在不同品牌相机上都能保持稳定效果。

Q3：普通用户什么时候能体验到这项技术？

A：由于MediaTek是全球主要的手机芯片制造商，这项技术很可能会首先集成到MediaTek的新一代芯片中，然后应用到搭载这些芯片的智能手机上。考虑到技术开发到商用的周期，普通用户可能在未来1-2年内就能在新款手机中体验到这项技术。