光学神经网络用光处理信息,可能带来高速、低能耗的计算。但真实器件很少与理想设计完全一致。仿真训练的模型遇到错位、像差和组件实际响应后,准确率会下降。11 月 18 日,斯坦福和洛桑联邦理工学院研究者发布论文,描述了一个直接从相机测量中学习光学网络的 Agent。关键发现是一套结构化实验闭环,不是证明语言模型普遍理解任何物理系统。研究论文
论文介绍“optics as code”。编程 Agent 提出程序与相位掩模,实验接口把它们显示到空间光调制器上,再返回相机图像,让 Agent 记录假设和观察。研究团队报告,最好的一次分类实验在带有前序会话笔记时,测试准确率达到 96.8%,高于最强无梯度基准的 52.5%,并接近经校准器件模型反向传播所得的 96.3%。这个结果值得关注,但只适用于一套实验设备和规定任务。论文全文与方法
实体装置会偏离理想模型#
实验使用的光学系统通过镜子在空间光调制器的多个区域之间反射激光。一些区域编码输入,另外两个显示可训练相位掩模。相机测量输出光强。对手写数字 0、1、2 分类时,系统把接收光最多的探测器区域作为预测类别。即使仿真从理想化的光传播模型开始,物理结果仍取决于设备实际几何结构和响应。
校准问题在论文中很明显。初始相位掩模在理想仿真里可以分类 98% 的测试数字,到了实物装置上只有 35%。轻微物理偏差会改变光路、光斑位置和探测器信号。传统方法会为每台特定设备测量并拟合数字模型,再通过校准模型训练。这次实验的校准基线用了大约 67,000 张相机图像,训练后在设备上的准确率达到 96.3%。
另一条路线是在器件上直接做无梯度试错。论文比较了近端策略优化和策略梯度。在这套装置里,准确率由 35% 提高到约 52%。这是有意义的基线,但不是所有无模型训练方法的集合,也不能代表所有光学网络。比较结果依赖设计、测量预算、搜索设置和实体装置。作者描述了优化设置,各方案采用相同初始掩模和实验预算。
真正的工程问题是,系统能否帮助理解仿真与实物之间的差异,而不只是搜索更高分。某个候选掩模可能改善一个类别,却没有解释原因。如果 Agent 查看空间测量结果,便可能建立更有用的器件认知。评价也因此不只问“结果好吗”,还要问哪些信息促成设计,以及另一轮实验能否检查推理。论文给 Agent 的信息不止一个标量奖励。实验装置和 Agent 接口
这个问题不仅与光学相关,因为物理系统普遍带有理想模型没有表达的缺陷。不过,光的传播有独特数学结构,Agent 也用到了先验的光学和编程知识。这项研究没有证明同样方案适用于任意仪器或物理过程。它说明的是,在受控实验里,精心设计的接口如何让模型从测量中学习一台具体设备。
实验接口把测量变成问题#
Agent 没有直接操作光学器件,而是在隔离的工作区里通过研究团队制作的软件交互。它可把相位掩模显示到空间光调制器、请求相机图像、评估候选掩模,并在练习数字上验证。每次请求都必须写出假设和预期结果。这样,测量就变成对 Agent 当前理解的检验,而不是又一次盲目调参以提高分数。
每张图像都会计入共同的测量预算。Agent 把观察记录在文件中,可传给后续会话使用。它仅运行在 CPU 上。任务禁止使用光传播数值模型,并阻止访问 GPU、网络和工作区以外的文件。这些限制很重要。它们排除了一些通过外部资料或仿真预先获得答案的路径,让相机测量成为学习装置的渠道。接口决定 Agent 能接触哪些证据。
研究者报告,Agent 注意到不同数字类别会改变聚焦光斑的位置,而不只是亮度。随后它把一张相位掩模切分为多个区块,测量响应,设计出“光斑路由器”,将不同类别的数字引向不同探测区域。论文说,这个设计的第一个版本使用约七分之一的测量预算,就超过了无梯度基准最后的准确率。这是一个有启发的具体设计过程,但不能据此断言每次运行都会发现同一物理原理。
在消融实验中,能观察到的信息影响表现。移除相机图像、探针工具,或取消每次请求都写假设的要求,都会影响系统能力。论文报告,增加“该如何决策”或“如何花预算”一类规则并没有提高准确率。作者据此认为,更好的观察比更多指令更有帮助。这是实验 Agent 接口的一条有用经验,但仅适用于当前接口和评价,并非提示词永远不起作用的普遍定律。
实验还允许后续会话使用前一轮的笔记和代码。笔记里不包括相位掩模和测试数据,而是记录设备观察。使用这些笔记的分类实验取得了最好结果。这带来一种可能性,Agent 学会一台设备后,可以把知识传给下一轮,减少重复表征工作。知识能否跨设备、装置或实验室迁移,是另一个问题。这项研究只提供了受限场景下的早期证据。
测量预算让取舍可见。分类任务有 51,200 次相机测量,编码任务有 25,600 次。一张图像约需 0.107 秒,因而分类任务全预算采集约需 1.5 小时,此外还有其他时间和费用。实验接口给实体试验设定上限。真实部署还要计算模型推理、设备准备、研究人员监督和重复测试。论文比较了数据量与校准训练时间,但没有给出多台设备部署的通用美元成本。
一次分类成功很强,但范围有限#
带有前序会话笔记的最佳一次运行,在 3,147 个、涵盖三个类别的保留测试数字上达到 96.8%。仅给任务描述、不带笔记时,最好的一次 Agent 运行达到 91.1%。无梯度基准在实物装置上维持约 52%。通过校准模型的反向传播达到 96.3%。对这套装置而言,Agent 的最好一次运行接近并略超校准参考值。
作者还报告了三次接收前序笔记或通用经验的分类运行,准确率分别为 89.2%、91.3% 和 96.8%,平均为 92.4%,标准差 3.9 个百分点。这个分布值得一并看待,它说明不同运行存在差异,而不是稳定地达到 96.8%。研究没有给新设备建立性能保证。
测量过程也有统计边界。测试集有限,准确率带有不确定性。作者估算,在 3,147 个样本上,若准确率为 50%,最大标准误差约 0.9 个百分点;最好的一次运行约为 0.3 个百分点。这是针对测试样本的抽样不确定性,不是新制造设备、环境条件或模型版本的运行差异。若要作更广泛的可靠性主张,还需要测量这些来源。
基准有意保持受控。每次 Agent 会话在没有人看着或输入的 headless 模式运行,并使用隔离工作区。它不能访问 GPU、网络或外部文件。测试数字保持封存。这些控制降低部分泄漏可能,也让比较更清楚,却不等于独立复现。这是一篇由实验和接口构建者撰写的 arXiv 预印本,结论应按该证据阶段来理解。
这个结果仍然重要。为每台实体设备各自校准数字模型,可能需要大量专业知识和数据。若 Agent 能从测量中探查并调节设备,就可能减少一部分工作。当前证据支持更窄的说法,在这套实验室装置中,Agent 通过精心设计的接口,以少于校准基线的测量训练了光学分类器,并在最好的一次运行中接近基线准确率。规模化和成本仍有待研究。
第二项任务试验了光的另一种用途#
论文还研究光学编码器。它不是直接分类数字,而是把 Fashion-MNIST 图像压缩成 16 个探测器信号,再由一个小型数字解码器重建图像。初始相位掩模为随机值,质量由保留测试图像的峰值信噪比衡量。这项任务检验相同的 Agent 和实验接口能否训练紧凑光学表征,而不只是把少数数字类别路由到对应探测器。
用前序笔记时,Agent 达到 16.1 dB。PPO 为 15.0 dB,随机初始设计为 13.8 dB。最好的 16.9 dB 来自经校准模型的反向传播,Agent 在一次运行中差 0.8 dB。这个结果说明该方法可能适用于同一装置上的另一项任务,但证据仍限于一个光学编码器和有限的保留图像。
光学编码器可能有用,因为光学处理后的信息常常还要交由电子设备传输、存储或继续处理。把图像压缩为更少的探测器输出,也许能降低后续步骤的成本。这篇论文并未证明商业收益。它测量的是重建质量并比较训练方法,没有做部署成本分析、生产吞吐测试或完整系统经济评估。
语言模型之间的比较也提供信号。论文称,在相同任务描述下,研究组测试中能力较强的 Claude Fable 5.2 优于 Opus 5.5 和 Sonnet 5。作者据此推测方法会受益于更强模型。这是对当前结果的合理解释,不是其他系统的保证。模型迭代迅速,而这次只测试少量模型和一个接口。
第二项任务也说明结论必须紧扣测量。分类器准确率与重建 PSNR 衡量不同结果。笼统说 Agent“让光学网络训练得更好”,却不说明任务和测量,会让人误解。准确报告应区分任务、基准和条件,才能让其他光学研究者判断结果是否适用于自己的设备与目标。
实验接口可能是更可复用的贡献#
作者称“optics as code”,用 Agent 编写并测试控制光学元件的程序。系统将元件表示为可解释的组件,如透镜、棱镜和像差。Agent 无需独立调整几十万个像素,可以先提出少量组件如何影响光场的物理假设,再到硬件上测试。论文报告,某些装置特征可以用远少于完整校准模型所需的测量次数加以表征。
这种表征是中间成果,不只是得到最终分数的手段。Agent 观察了光学平面在相机中的位置、相位掩模如何改变光路,以及实际位置与设计位置的偏差。它把观察写进笔记再指导设计。光学科学家可查看测量关系,判断推理是否符合已知光学。系统的价值部分来自可见的观察链,而不是不可解释的权重改动。
因此,接口对科研工具开发者很值得关注。每个探针与实体设备有明确关系;系统返回图像,并要求写出假设;共同预算使试验成本可见;笔记负责跨会话传承。这些选择塑造 Agent 能学到什么。一个只返回标量奖励的接口会形成不同的学习环境。论文的消融实验表明,这些额外观察在当前研究中发挥了作用。
实验室可以从中得到一条设计经验,让软件接口把仪器变得可理解。Agent 需要安全、有边界的动作与有意义的反馈;研究人员需要看见每项请求及其原因。实验接口可以执行预算、隔离文件、保留日志。这是论文启发的设计原则,并不代表论文提供了可直接连接任意实验室仪器的通用平台。研究展示的是为一套具体光学台设计的接口。
即使在规模不大的实验室,安全也重要。Agent 被限制在受控空间和预设测量工具里,不会无限制操控仪器,也无网络和外部文件访问。这令实验易于检查,更适合安全评估。若扩展到其他设备,需要界定哪些动作可以自动执行、怎样规定安全范围、何种测量须有人批准。这些问题属于部署设计,不单属于语言模型。
跨会话笔记的作用有潜力,但仍处早期。带着前一轮笔记的会话拿到了最好分类结果,表明 Agent 也许不必每台设备都从头认识。实验室需要检查设备更换、维护或重新校准后笔记是否仍有效。这些记录可能应与设备状态一同版本化。否则,曾经正确的测量会引导后来会话作出错误调整。只有能验证其有效性的记忆,才真正有用。
证据要区分单套设备与多台设备#
光学神经网络的吸引力,部分来自光并行传递信号和传播损耗低,有机会带来高速、低能耗计算。但每台组装好的设备都有自己的误差。一个实验室中有效的设计,换组件、重新放置或生产偏差后,可能需要再次校准。原位训练的研究动机,正来自这种设备间差异。
实验使用一台相位型空间光调制器、一面镜子、一台激光器和一部相机,两张掩模拥有数十万个像素。这个实体系统确实复杂,也限制了推广。结果没有说明同样方法能不作修改地适用于其他调制器、光路架构、波长、探测器布局或非线性材料。作者讨论了更广泛的可能性,实验证据仍绑定到当前装置。
封存测试集和共用比较接口有助于公平性。无梯度基准与 Agent 使用相同初始值、预算与验证流程,各方法都在保留数字上评分。这是仔细的实验设计。更有信心的依据应是独立团队在新设备上重复工作并增加任务种类。那样才能判断方法是否超越了一台有利条件的装置。
也需要扩大成本衡量。在此次实验中,校准模型用了约 67,000 张相机图像,而 Agent 方案用了更少测量。这是有用的数据效率比较。投入使用还要看模型推理、访问设备、设备准备和维护、重复测试以及专家审查的成本。论文没有提出普遍经济结论。要证明数千台设备可扩展,需要核算完整的校准与运作成本。
还要考虑语言模型变更。论文通过编码器实验推测,更强模型有助改进方法。如果依赖托管模型,更新可能改变行为。可复现的科研流程应该和设备状态、测量预算一起记载模型与推理设置。这是评估建议,并非作者报告的问题。它能帮助解释为何两个会话得到不同结果。
有说服力的后续研究,可以在多台实体设备上比较逐台建立校准模型与 Agent 探测。它应测量验收准确率、测量次数、耗时、失败率与所需专家参与;还可检验能否把笔记迁到相似设备。这会直接测试规模化动机。目前“有望规模化”仍是研究方向,不是部署结果。
最有说服力的是一条可检查的实验过程#
论文最强的贡献是一条读者可以检查的过程:从理想模型出发,测量其对硬件的偏差,提供探测工具,记录假设,再与受控基准比较。它不让每一步自动正确,却使重要环节更清楚。这对 AI 辅助实验是有用标准,因为最终准确率容易隐藏系统如何得到结果。
光学科学家可以检查探测是否有信息量,物理解释是否符合已知光学,以及比较是否公平。系统工程师可以研究实验接口边界与测量预算。科学 Agent 开发者可分析笔记和假设的效果。实验细节让不同角度的审查成为可能,论文方法容易读,也是其价值的一部分。
这并未消除复现的需要。研究只有少量实体运行、一套硬件、有限分类与编码任务。带笔记的三次分类运行从 89.2% 到 96.8% 不等,应该和最佳值放在一起阅读。读者可认可结果,同时追问它能否稳定重复。保留测试样本的不确定性,与不同设备和后续会话的变化,是不同问题。
若独立实验室能在不同设备上复现、维持训练测试隔离并报告总实验投入,我们会更支持。如果硬件稍有变化就需要重新校准,或结果高度依赖一次模型会话,我们会更谨慎。这些是具体的证据条件,能把评价连到未来实测,而非笼统赞美 AI 科学。
目前,“optics as code”是单套真实实验设备上的有前景方法。Agent 从相机图像学习,写出假设、接收反馈,并训练出接近校准模型基线的分类器。这是有意义的展示,却不是通用光学工程师,也不是能效生产硬件已成立的证明。区分这些说法,让前沿研究的结果和范围都清楚可见。
实验室助手应展示推理过程#
这项想法超出光学网络。许多科研仪器有可调参数,也会产生能够解释其响应的测量。Agent 可能提出参数改动、预测结果、执行受限测量,再修改模型。实际价值依赖可靠的实验接口、安全动作范围与专业人员可理解的结果。这是实验启发的研究方向,不是已在所有实验室验证的通用能力。
实验接口也会塑造激励机制。若系统优化验证准确率,它可能只追求该指标。封存测试集有助保护最终评价,作者也测试了接口组件。后续研究可以探索怎样选择真正反映物理行为、又不易被利用的指标。在本篇光学实验中,证据范围仍是分类和编码任务、图像观察与测量预算。
每个请求都要带假设,是一种值得注意的接口设计。它可以记录发起测量的理由和 Agent 对结果的理解。实验假设会错,只要能被否证,错误仍有用。记录预测与观测结果,可以让审查者看到 Agent 是更新理解,还是只换了参数。这有利于审计,也能让研究人员理解系统方法。
跨会话记忆也有科学责任。笔记要保存仪器显示了什么、条件为何、哪些结论仍为暂定。后续 Agent 可以用探测验证旧观察,人类团队也能判断机械重新对齐是否使其失效。这暗示应把物理研究记忆与仪器状态及会话元数据联系起来,而不只是留一段自由文本。这是未来系统实现启示,并非论文已解决的功能。
采用这类工具的第一个问题,不是能不能替代领域专家,而是它能否协助专家取得有效测量,检验定义清楚的想法。论文展示了一种协作方法,科学家仍负责解释证据并判断结果的意义。这种克制比自动发现的宽泛口号可信,因为它把系统与可观察工作连接起来。
关注结果时,实验台仍要入镜#
作者来自斯坦福和 EPFL,arXiv 论文是预印本,项目材料对基准提供了易读说明。研究采用真实光学设备,并与受控基准进行仔细比较。发布时的公开讨论不等于独立复现。应把它理解为实验参与团队的研究结果,仍需经历通常的审查与重复验证。
分类结果之所以醒目,是因为它跨越理想设计与不完美器件的落差。实验接口让 Agent 得到信息丰富的观察,而非单一分数;编码器任务也提示了第二类可能应用。这些都是关注该工作的理由,却不能把两项任务扩展成“所有光学处理器都能廉价免校准”。
更有力的后续工作会发布更多装置配置、测量日志和不同硬件单元上的独立运行。研究者可评估该方法学习的是稳定物理属性,还是只适应了一个会话;也可以比较专家校准数字模型与监督 Agent 所花的时间。这种比较会说明资源在哪些部分节省、哪些环节只是移到了别处。
论文把透明度当成技术功能。笔记、假设、相机图像和可见的测量预算,使人能检查 Agent 的处理路径。成熟的科研工具可保留这种可审查性,再增加实验管理、版本化校准和可重复测试集。具体方案依赖仪器,但原则一致:物理自动化应解释自己为什么采取动作,哪些证据改变了下一步。
如果该方法能在不同光学设备间重复,跨会话维持测得的收益,并报告完整部署成本,我们会改变判断、更加肯定。如果轻微错位就消除收益,或笔记无法迁移,我们会降低信心。这些条件可由研究者或技术负责人在把结论推广出本文实验台之前检查。
目前,这项研究提供了一个有用的前沿结果:受实验接口约束的编程 Agent,可以根据测量表征并训练真实光学网络。科学价值不只是“准确率达到 96.8%”。论文还说明 Agent 测了什么、如何理解装置、哪些控制塑造了结果。保留这条实验路径,才能把有前景的展示变成别人可评估的方法。