光学神经网络仿真包：从角谱衍射到可训练光学层

简介neuroptica-master 是一套面向光学神经网络研究的灵活仿真包支持在软件层面模拟衍射光学元件、马赫-曾德尔干涉仪等典型网络结构帮助研究者与工程师在无需搭建硬件的情况下评估设计、验证算法并探索高速低功耗计算的可能性。压缩包共39个文件以Python源码21个py为核心配合RST文档、YAML配置、Markdown说明、示例动图及License等整体约2.41MB文件分工与目录结构清晰。目前已有214人学习下载。仿真包内置多种光学组件波导、耦合器、相位调制器等、网络模型、优化算法和可视化分析工具并附有示例代码与逐步教程同时允许用户自定义组件和模型以扩展应用范围。无论是初学者入门还是中高级研究人员开展光学神经网络的设计优化与性能评估都能获得完整、可复用的仿真支撑。1. 光学神经网络仿真包先搞清楚它模拟的是什么做光学神经网络的人手上大多会同时握三样东西一叠衍射光学理论笔记、一个还没到货的光学平台以及一套怎么调都不太对劲的仿真代码。标题里这个“灵活仿真包”以 zip 形式分发解压即用就是冲着第三样东西来的——它把光场的传播、相位调制、干涉仪网格这些物理过程封装成可训练的计算层让你在 GPU 上跑一遍前向传播等价于让光真的走了一遍经过训练的光学系统。它能解决的核心问题是在花钱搭硬件之前先用数值手段验证网络结构、参数范围和噪声容忍度避免一上来就陷入“实验板子焊好了算法却跑不通”的窘境。适合做光学计算预研、光神经网络课题起步、以及想在 PyTorch 生态里做可微光学仿真的从业者。2. 仿真包的核心抽象光场传播怎么变成可训练的网络层2.1 角谱衍射数值上如何模拟一束光走完一段自由空间光学神经网络仿真包区别于普通深度学习框架的第一步是把“光传播”这个物理过程写成一个算子。常见实现是角谱法Angular Spectrum Method。给定输入光场复振幅 ( U_0(x, y) )传播距离 ( z ) 后的光场通过傅里叶变换、频域相位延迟、逆傅里叶变换三步得到。import torch def angular_spectrum_propagate(u0, wavelength, pixel_size, z): 角谱法自由空间传播 u0: 输入复振幅场形状 [B, 1, H, W]复数张量 wavelength: 波长米 pixel_size: 像素尺寸米 z: 传播距离米 B, _, H, W u0.shape # 频域坐标 fx torch.fft.fftfreq(W, dpixel_size).reshape(1, 1, 1, -1) fy torch.fft.fftfreq(H, dpixel_size).reshape(1, 1, -1, 1) FX, FY torch.meshgrid(fx, fy, indexingxy) # 频域传播因子 k 2 * torch.pi / wavelength H_f torch.exp(1j * k * z * torch.sqrt(1 - (wavelength * FX) ** 2 - (wavelength * FY) ** 2)) U0 torch.fft.fft2(u0) Uz torch.fft.ifft2(U0 * H_f) return Uz这段代码的逻辑核心是输入光场先做二维傅里叶变换分解成不同传播方向的平面波每个平面波在自由空间传播距离 ( z ) 后只发生相位变化幅度不变——这就是频域传播因子 ( H_f ) 的物理意义最后逆变换回空间域就得到传播后的光场。注意 ( H_f ) 里sqrt内的值当 ( (\lambda f_x)^2 (\lambda f_y)^2 1 ) 时会变成虚数对应倏逝波成分数值上应当截断或忽略否则高频噪声会被指数放大。2.2 可训练相位层与衍射层梯度从哪来、参数怎么流动仿真包的“灵活”主要体现在这一层。光通过一个相位调制器件比如空间光调制器 SLM或者衍射光学元件 DOE后复振幅的幅度不变、相位加上一个可学习分布。这在 PyTorch 里实现就是一个复数乘法import torch.nn as nn class PhaseLayer(nn.Module): def __init__(self, height, width, init_phaseNone): super().__init__() # 相位参数单位弧度初始可设为随机或自定义 if init_phase is None: init_phase torch.rand(height, width) * 2 * torch.pi self.phase nn.Parameter(init_phase) def forward(self, u0): # 复振幅乘上 exp(i * phase) phase_mask torch.exp(1j * self.phase) return u0 * phase_mask这段代码最关键的设计决策是相位参数不经过任何归一化约束直接作为可学习参数优化。好处是梯度可以自由流动坏处是训练过程中相位可能漂移到物理器件无法实现的范围比如 SLM 只能调 0 到 2π。我一般会在优化器 step 之后手动做一次模 2π 的投影保证仿真结果和真实硬件对齐。衍射层则是把多个相位层和传播算子串联在一起。一个典型的衍射神经网络结构是输入平面 → 自由空间传播 → 相位层1 → 自由空间传播 → 相位层2 → 输出平面。网络的可训练参数就是每一层相位分布而“权重”实际上体现在相位对光场的调制上。2.3 散射矩阵封装用 S 参数描述干涉仪网格除了自由空间衍射式结构另一大类光学神经网络是基于马赫-曾德尔干涉仪MZI网格的集成光路方案。仿真包对这类结构的封装方式是用散射矩阵S 参数。一个 MZI 由两个分束器和两个相移器组成可以用一个 2×2 的幺正矩阵描述整条光路就是这些 2×2 矩阵的连乘。def mzi_matrix(theta, phi): 单个 MZI 的散射矩阵 theta: 内部相移器参数 phi: 外部相移器参数 返回 [2, 2] 复数矩阵 import torch # 分束器矩阵 BS [[1, 1j], [1j, 1]] / sqrt(2) 的简化版本 bs torch.tensor([[1, 1j], [1j, 1]], dtypetorch.complex64) / torch.sqrt(torch.tensor(2.0)) phase_inner torch.diag(torch.exp(1j * torch.tensor([0.0, theta]))) phase_outer torch.diag(torch.exp(1j * torch.tensor([phi, 0.0]))) # 光路: BS - 内部相移 - BS - 外部相移 return phase_outer bs phase_inner bs这段代码的要点在于MZI 网格的散射矩阵是复数域上的幺正矩阵直接乘上输入光场的复数振幅矢量就能得到输出。训练时通过梯度下降更新 theta 和 phi本质上是在学习一个幺正变换——这和自由空间衍射网络不同它天然满足能量守恒不会出现衍射网络中那种能量被数值吸收导致梯度消失的问题。3. 下载后怎么跑起来环境构建与首个最小仿真3.1 环境Python 版本与依赖栈这类仿真包通常以 zip 形式分发解压后目录里会有源码、示例配置和依赖清单。我建议在干净的虚拟环境里安装避免和系统 Python 打架。创建环境后先装核心依赖再装仿真包本身python -m venv onn_env source onn_env/bin/activate # Windows 下用 onn_env\Scripts\activate pip install torch torchvision numpy scipy matplotlib pip install ./downloaded_package/ # 从解压目录安装 python -c import onn_sim; print(onn_sim.__version__)这里pip install ./downloaded_package/是本地安装方式适用于解压出来的包目录里有setup.py或pyproject.toml的情况。import onn_sim能跑通说明依赖没冲突。常见的一个坑是 PyTorch 版本太新、包内部用了旧版 API报AttributeError遇到这种情况优先把 torch 降到包的兼容版本范围。3.2 最小训练脚本MNIST 分类仿真包最常见的入门示例是 MNIST 手写数字分类——不是因为它实用而是因为它能最快验证“光学层 训练循环 梯度反传”是否打通。下面写一个最小训练脚本import torch import torch.nn as nn from onn_sim.layers import DiffractiveLayer, PhaseLayer from onn_sim.propagation import angular_spectrum class DiffractiveNN(nn.Module): def __init__(self, in_size28, num_phases3, wavelength532e-9, pixel10e-6): super().__init__() layers [] z 0.01 # 层间传播距离单位米 for _ in range(num_phases): layers.append(PhaseLayer(in_size, in_size)) layers.append(DiffractiveLayer(zz, wavelengthwavelength, pixel_sizepixel)) self.layers nn.ModuleList(layers) # 输出层最后的光场幅度 - 10 类 self.classifier nn.Linear(in_size * in_size, 10) def forward(self, x): # 输入是灰度图转为复振幅场 u x * torch.exp(1j * 0) for layer in self.layers: u layer(u) intensity u.abs() ** 2 return self.classifier(intensity.flatten(1))这个脚本的关键点在于输入图像被当作纯实振幅的初始光场x * torch.exp(1j * 0)表达的是“相位为零、幅度等于像素灰度”的假设这是仿真中最常用的编码方式。训练循环和普通 PyTorch 完全一致——交叉熵损失、Adam 优化器、mini-batch 迭代。注意这里每个DiffractiveLayer内部都要做两次 FFT 和一次逆 FFT计算量不小MNIST 的 28×28 图像还好换成大图就要考虑下采样。3.3 一个不依赖训练的最小传播仿真如果只想先验证仿真包的光学内核是否正确不需要训练。直接构造一个高斯光束看它传播一段距离后的光场分布import torch import matplotlib.pyplot as plt from onn_sim.propagation import angular_spectrum # 构造高斯光束 H, W 512, 512 x torch.linspace(-1e-3, 1e-3, W) y torch.linspace(-1e-3, 1e-3, H) X, Y torch.meshgrid(x, y, indexingxy) w0 100e-6 # 束腰半径 u0 torch.exp(-(X**2 Y**2) / w0**2) * torch.exp(1j * 0) # 传播 5cm u1 angular_spectrum(u0.unsqueeze(0).unsqueeze(0), wavelength633e-9, pixel_size4e-6, z0.05) intensity u1.abs().squeeze().numpy() plt.imshow(intensity, cmaphot) plt.title(Intensity after 5cm propagation) plt.colorbar() plt.savefig(propagated_beam.png)这个脚本的价值在于高斯光束的传播有解析解你可以拿仿真结果和解析公式对比来验证数值实现的正确性。仿真结果如果出现边缘振荡说明采样率不满足奈奎斯特条件需要增大像素数或减小传播距离。这一步是后续所有实验的“体检”花十分钟做一次能省掉后面很多玄学调参。3.4 参数速查像素尺寸、波长、距离怎么设参数典型值物理含义设置要点pixel_size4~20 μm单个像素代表的物理尺寸受限于器件像素间距不能随意取wavelength405/532/633 nm光源波长决定衍射尺度要和实验光源一致z0.1~10 cm传播距离太长导致光场扩散超出计算区域太短导致衍射效应弱H, W128~1024计算网格尺寸越大越准但显存翻 4 倍受 FFT 效率影响num_phases3~5衍射层数层数太少容量不足太多梯度消失4. 三个必调参数与边界条件像素数、波长、传播距离光学神经网络仿真里的“参数调优”和普通深度学习的调学习率完全是两码事。物理参数的取值边界不是由经验决定的而是由采样定理和计算区域硬性约束决定的。这三个参数调不好网络结构再先进也白搭。4.1 像素数FFT 网格大小的双重代价像素数决定了空间采样率它的下限由奈奎斯特条件决定上限由显存决定。角谱法中频域的最高频率是 ( 1/(2 \times pixel_size) )如果光场的高频成分超过这个值就会发生混叠。具体表现是仿真图像出现规则的条纹伪影而且这些伪影不会随训练收敛而消失——因为它不是噪声是丢信息的混叠。我把常见做法总结成一句话像素数要保证计算区域边长至少是光斑直径的 4 倍否则传播后光场溢出边缘边界反射会造成严重的能量泄漏。溢出时你会看到光场碰到边缘后反弹出干涉条纹这是角谱法没有做吸收边界的典型症状。解决办法是加一个孔径掩膜或扩大计算区域。实际训练中还有一重隐性代价FFT 的计算复杂度是 ( O(N^2 \log N) )每层传播要做两次 FFT。像素数从 256 翻到 512单次传播时间约为原来的 4 倍以上显存也近似 4 倍增长。所以参数设置顺序应该是先满足物理采样条件再考虑训练效率——而不是反过来先固定显存占用再凑像素数。4.2 波长决定衍射尺度的隐藏旋钮波长不只是光源属性它直接决定了相位层的调制能力。衍射网络的识别精度和波长强相关相同物理尺寸的相位单元在短波长下产生的相位延迟更大等效于神经网络的“权重范围”更大。反过来短波长带来的问题是衍射角更大光场在相同距离上扩散更严重需要更大的计算区域。这里有个容易被忽略的细节很多仿真包内部默认用双精度复数计算但光的波长在代码里是浮点数如果直接用 532e-9 这样的纳米级小数参与 2π 运算小数精度损失会被累加。更稳的写法是把波长换算成波数 ( k 2\pi / \lambda ) 参与计算或者以微米为单位0.532而不是纳米532e-9这样传播因子里的浮点误差更小。调波长时的经验法则是先固定其他参数用你做实验的真实光源波长不要为了“看起来效果好”乱调。仿真里最靠谱的验证方式是测一下不同波长下同一网络的相位掩膜是否相似——如果差异巨大说明网络在过拟合某个特定波长的伪影。4.3 传播距离层间距离的物理边界衍射层的传播距离 z 是衍射神经网络里最像“超参数”的物理量。z 太小光场还没充分衍射相位层的调制作用近似于逐点相乘网络退化成一个“点乘 线性分类器”容量受限。z 太大光场扩散出计算区域边缘能量丢失严重梯度传不回去。理论上的边界条件来自菲涅尔数 ( F a^2 / (\lambda z) )其中 ( a ) 是计算区域的半宽度。F 远大于 1 时系统处于近场区衍射效应弱F 接近或小于 1 时进入远场区光场充分扩散但信息可能混叠。仿真包里一个稳妥的起点是让 ( z ) 满足 ( z \approx a^2 / \lambda )这样衍射既不弱到没用也不强到溢出。我实际做课题时习惯把 z 设成可学习的参数——放在nn.Parameter里和相位一起参与梯度更新。这样训练初期网络自己找合适的距离后期冻结再转成固定值做硬件验证。但要注意z 参与学习和物理约束是冲突的z 要是被梯度推成负值就没有物理意义所以要在优化器 step 之后手动 clamp 到正数区间。5. 避坑指南光学神经网络仿真的五个经典翻车现场5.1 梯度消失训练 loss 卡死不动现象训练到第 10 个 epochloss 还在初始值附近波动完全降不下去。原因光场经过多个衍射层传播后高频空间频率成分被传播因子衰减到几乎为零梯度无法穿过这些“死区”回传到前面的相位层。这和深层 ReLU 网络的梯度消失机制不同——这里是物理衰减导致的不是激活函数问题。解决先用浅层网络2 个相位层跑通再逐层加深。检查每一层的输出能量如果某一层输出总能量比输入小两三个数量级说明 z 太大或计算区域不够。也可以把损失函数从输出光场强度改为“光场强度 对数能量惩罚项”强制网络保留足够的能量。5.2 复数梯度不更新Adam 对复数张量不友好现象相位参数更新量极小打印梯度发现全是nan或者接近零。原因PyTorch 的 Adam 优化器对复数参数的实部和虚部是分开处理的但相位层的参数只有一个实数列表表示弧度梯度是相对这个实数的。问题出在torch.exp(1j * phase)对 phase 求梯度时链式法则产生的是复数梯度而 PyTorch 自动把复数梯度转换成了共轭方向导致参数更新方向和预期相反。解决不要直接在复数操作链上挂nn.Parameter。最稳的做法是参数存实数前向传播时手动构造复数然后用torch.autograd检查梯度方向。在优化器 step 前加一句for p in model.parameters(): p.grad p.grad.real通常能解决共轭方向问题副作用是梯度的虚部信息被丢弃相位调制对这个应用来说是合理的。5.3 Zip 包解压后初始化报错路径含中文字符现象import onn_sim报错提示找不到某个数据文件但文件明明在解压目录里。原因仿真包内部用相对路径写死了数据文件的加载路径。zip 解压到中文目录名时Python 的路径编码在 Windows 上偶尔会出问题或者包内部用的是os.path.abspath(__file__)在解压后路径变化导致失效。解决把整个解压目录移动到纯英文路径下比如D:\onn_project\而不是D:\光学仿真包\。如果还不行检查包的配置文件里是否有绝对路径残留手动改成相对路径拼os.path.dirname(__file__)。5.4 伪加密 zip 的解压陷阱现象zip 解压时提示需要密码但下载页面没给密码或者解压到一半报 CRC 错误。原因这里要区分真加密和伪加密两种。伪加密是压缩包头部第 6 个字节的加密标记位被改写了实际上文件内容并没有加密很多系统自带的解压工具见到这个标记就直接要求输入密码。这是分发文件的人为了避免压缩包被随意篡改或网盘误杀故意为之。解决先试不带密码解压如果提示需要密码用 7-Zip 打开看文件列表如果列表能正常显示且文件旁边没有锁图标大概率是伪加密。用 7-Zip 的“修复压缩文件”功能或者某些支持忽略加密标志位的解压工具直接解压即可。如果是真加密每个文件都有独立密码那就要回到下载源找密码说明常规做法是密码写在 README 或下载页的注释里。5.5 能量不守恒仿真结果和理论对不上现象光场传播前后总能量不等于 1或者训练过程中能量越变越大。原因角谱法的传播因子在大传播距离下高频成分的指数项计算误差被放大。更常见的问题是没有处理倏逝波当 ( (\lambda f_x)^2 (\lambda f_y)^2 1 ) 时传播因子应设为零而不是保留虚数结果。SCILAB 里用set方法能改变散射矩阵的物理属性但大部分仿真包不会帮你做这个截断。解决修改传播函数在计算传播因子后加一步掩膜# 截断倏逝波成分避免高频指数放大 valid_mask (1 - (wavelength * FX) ** 2 - (wavelength * FY) ** 2) 0 H_f H_f * valid_mask同时每次传播后统计u.abs().pow(2).sum()并和输入对比能量偏差超过 5% 就要检查参数设置。6. 进阶用法把仿真包接上你的数据流做半实物验证仿真包跑到能出结果只是第一步真正有价值的用法是把它当作“硬件前仿真器”接入你的实验管线。这样做的好处是先用数值方法筛选网络结构再对照实物调参避免实验室里反复试错烧钱。我常用的进阶流程有三步。第一步用真实器件的参数约束仿真——把你手头 SLM 的像素间距、灰度级数、填充率喂给仿真包让相位层每训练一步就做一次量化取整操作def quantize_phase(phase, levels256): 把连续相位量化到 SLM 能实现的灰度级 # 0~2pi 映射到 0~levels-1 的整数灰度 phase_q torch.round(phase / (2 * torch.pi) * (levels - 1)) return phase_q / (levels - 1) * 2 * torch.pi量化操作本身不可导但可以用直通估计器Straight-Through Estimator来绕过——前向传播用量化后的相位反向传播假装量化不存在让梯度直接流回连续相位参数上。这一步做完仿真和硬件的差距会从“物理不同”缩小到“只是噪声和畸变的差异”。第二步做扰动分析。真实光学系统一定有噪声常见做法是在光场传播过程中注入高斯相位噪声或振幅噪声看网络精度掉多少。很多仿真包不内置噪声模型需要自己写# 在每一层传播后注入相位噪声 noise torch.randn_like(u) * noise_std # noise_std 设为 0.05~0.2 弧度 u u * torch.exp(1j * noise)这一步能快速定位网络结构对哪种噪声最敏感——如果 0.05 弧度的相位噪声就让准确率从 90% 跌到 60%这个结构就算仿真再好看也不能上硬件。第三步把输出层替换成真实的读出模型。仿真常用的输出是全平面强度最大值分类而实际实验通常用探测器阵列或者 CCD 积分。我一般会在最后的强度图上加一个光学传递函数模拟的模糊核再降采样到探测器分辨率的像素数量。这个细节决定了仿真结果能不能复现到实验台——很多时候理论和实验对不上就是因为输出端的光电转换过程被忽略了。用了一年多这类仿真包我最深的体会是仿真包的价值不是预测实验结果而是帮你把“光学设计问题”和“神经网络训练问题”解耦。网络结构有问题仿真阶段就能暴露物理实现有偏差半实物仿真阶段能暴露。把这两层问题在进实验室之前消化掉光学神经网络这条路才算真正走得通。希望这篇笔记能帮你少踩几个我踩过的坑。本文还有配套的精品资源点击获取