DBSCAN密度聚类在风电场景削减中的应用：从原理到实操

做风电调度优化这几年我慢慢发现一个问题场景集的质量往往比优化算法本身更决定结果的上限。同样的机组组合模型喂进去一千条原始风电-负荷曲线和喂进去十条精心削减后的代表性曲线求解速度和调度策略的可靠性完全是两个概念。但如何从上千条场景里挑出真正有代表性的那几条这件事很多朋友处理得比较随意——要么随机抽样要么直接拿K-Means硬聚类。直到我尝试把DBSCAN密度聚类引入场景生成与削减流程才发现这个思路在保留极端场景、避免人为指定场景数这两个点上确实有天然优势。这篇文章面向的读者是做新能源电力系统不确定性优化、储能调度、机组组合或者电网规划的朋友。我会从场景生成讲起重点拆解DBSCAN密度聚类在场景削减环节的完整落地流程包括参数怎么调、代表场景怎么挑、削减效果怎么评估以及我实际跑算例时踩过的几个坑。1. 先从调度员的痛点说起为什么场景削减不能拍脑袋1.1 不确定性建模在风电调度里的位置风电出力受风速影响波动性和间歇性都很强。电网调度里如果只用一个确定性预测值去做机组组合那么预测偏差带来的功率缺额就只能靠系统备用硬扛。备用留多了经济性差备用留少了风险高。所以现在主流做法是用随机优化或者鲁棒优化来处理不确定性而随机优化的第一步就是把风电和负荷的不确定性表示成一组带概率的场景。每个场景本质上是一条风电出力曲线加一条负荷曲线代表未来一天或几小时可能出现的一种运行态势。理论上场景数量越多对真实不确定性的描述越精确但计算负担也越大。两阶段随机机组组合问题里场景数一多决策变量和约束条件成倍增长求解时间往往从分钟级跳到小时级。场景削减就是干这个的从大量初始场景中挑出少量有代表性、且概率分布足够接近原始场景集合的子集让优化模型跑得动又不失准确性。1.2 低质量削减的代价我最早做削减的时候图省事直接从生成好的2000个场景里随机抽了10个结果调度方案在真实运行中出现了两次非计划减载。原因很简单随机抽样没有覆盖到风电出力的高波动区间导致系统爬坡能力预留不足。后来改用K-Means聚类削减问题依旧——K-Means需要预先指定聚成几类也就是人为决定最终保留几个场景。但几个场景才够本身就是一个应该由数据分布回答的问题。而且K-Means用均值作为簇中心离群点会被硬拉进某个簇那些真正的小概率极端场景比如台风天全网风电同时大幅跌落被均值平均掉之后调度模型根本感知不到这种风险。这些痛点正是我转向DBSCAN密度聚类的直接原因。2. 构建初始场景池从历史数据到上千条风电-负荷曲线2.1 数据准备先别急着生成把底子擦干净场景生成之前首要工作是数据清洗。风电出力历史数据里通常混着两类脏数据一类是通信故障或传感器异常导致的死值、跳变这类直接剔除或用相邻值插值另一类是弃风数据也就是风电场因电网调峰需要被限制出力时的数据这个特别容易被忽视。用被弃风限电的时段去拟合出力特性会系统性低估风电的真实可用出力生成出来的场景偏保守调度方案会多留很多无谓的备用容量。数据清洗完之后要确定场景的特征维度。比如做日前调度按小时级分辨率一天就是24个风电出力点加24个负荷点一个场景就是一个48维的向量。如果做日内滚动优化分辨率到15分钟那就是9696192维。维度越高后续聚类时对距离度量和计算效率的要求也越高所以我一般建议先保留24点级别必要时再做降维。2.2 生成方式蒙特卡洛采样和拉丁超立方实测对比初始场景生成最常用的方法是基于预测误差分布做采样。基本思路是先用数值天气预报和负荷预测模型得到一条基准的风电出力曲线和负荷曲线然后假设风电预测误差、负荷预测误差服从某个分布风电误差常用Beta分布或混合正态分布负荷误差常用正态分布在这个分布里反复采样把误差叠加到基准曲线上就能得到大量场景。普通蒙特卡洛采样实现简单但有个毛病样本在概率空间里的分布不均匀误差较小的中高概率区间容易被过度采样而尾部的极端情况可能很长时间都采不到。拉丁超立方采样Latin Hypercube Sampling, LHS解决这个问题的方式很朴素——把每个误差维度的累积概率分布等分成N份N为要生成的场景数保证每个区间都恰好抽取一个样本再随机配对组合。实测下来同样的场景数量LHS生成的场景集合对原始误差分布的覆盖度明显更好尤其是尾部事件不会丢。2.3 为什么风电和负荷要联合生成而不是拼在一起风电和负荷之间存在明显的日内耦合关系。早晚高峰负荷爬升时风电出力往往偏低凌晨负荷低谷时风电出力反而可能很高。这种反调峰特性直接影响系统的备用需求和爬坡压力。因此场景生成时不能先单独生成风电场景、再单独生成负荷场景最后简单拼接。正确做法是把历史样本里的风电-负荷对作为一个整体在协方差结构下联合采样保留两者之间的相关性。这个细节在聚类阶段同样重要。如果做场景削减时只对风电场景做聚类那么负荷维度的分布特征会被完全忽略如果分别聚类再组合又会破坏风电和负荷的相关性。所以我在实际流程里始终把风电-负荷联合场景作为聚类对象让密度聚类算法直接作用于48维或更高维的联合特征空间。3. DBSCAN为什么在这个问题上比K-Means好用3.1 K-Means在场景削减上的两个先天短板第一个短板是需要预设簇数K。场景削减的目标场景数K理论上应该取决于场景集本身的分布结构——如果数据天然呈现10个稠密区域那就保留10个场景如果只有5个稠密区域保留10个就是浪费。但K-Means要求你先把K定死很多情况下K只是拍脑袋定的10个或者20个缺少数据依据。第二个短板是均值簇中心对噪声敏感。风电-负荷场景里天然存在少量极端样本比如极低风速日、负荷尖峰日。K-Means会把这些点强行归入某个簇然后用簇内均值作为代表场景。一波操作下来代表场景变成了普通中带一点极端的四不像既不能典型代表簇内大多数场景也没法反映极端情况的强度。此外K-Means对特征空间里非球形簇、流形状簇的划分效果也一般而真实场景集中同一类运行状态未必是标准椭球形分布。3.2 DBSCAN原理核心点、边界点和噪声点DBSCANDensity-Based Spatial Clustering of Applications with Noise的思路很直观以密度定义簇。它有两个核心参数eps邻域半径判定两个样本是否挨得够近的距离阈值。min_samples最小样本数一个核心点在其eps邻域内至少需要包含的样本数。如果某个样本的eps邻域内样本数大于等于min_samples它就是一个核心点核心点eps邻域内的其他样本会被归入同一簇沿着核心点不断向外传播就能把密度相连的区域全部串起来。落在任何簇的eps邻域之外、自身又达不到核心点条件的样本被标记为噪声点标签-1。可以把它想象成公园里的人群三五个聚在一起聊天的人是一堆旁边不远处还有一群在跑步的人密度足够、靠得够近就算同一类孤零零坐在长椅上看手机的人身边没什么人就是噪声。DBSCAN不需要你在聚类前决定公园里一共有几堆人它只看密度——挤在一起的自然成团落单的自然被分出来。3.3 场景削减语境下密度聚类独特在哪场景削减的核心诉求是用少量场景代表原始场景集的概率分布这就要求保留概率质量大的高密度区域和概率小但后果严重的尾部区域。DBSCAN天然适配这个诉求第一不需要预设场景数。聚类结果有多少个簇很大程度上由数据分布和eps参数决定。当然eps和min_samples本身需要调但至少不用硬指定保留几个场景这比K-Means减少了一层主观性。第二自动识别离群场景。DBSCAN直接把稀疏区域的场景标记为噪声这反而给极端场景处理提供了明确依据——可以单独保留为低频极端场景而不是硬融进某个簇被平均掉。第三簇形状不受限制。风电-负荷场景在高维特征空间里的分布往往不是球形或凸状的DBSCAN基于密度连接天然支持任意形状的簇对场景分布的描述比K-Means更贴合实际。4. 场景削减的核心实操DBSCAN聚类与代表场景挑选4.1 第一步特征标准化否则聚类就白做了这一步是最大也最容易被忽略的前提。风电出力数据的量纲是MW数值通常在0到装机容量之间负荷数据的量纲也是MW但数值可能是风电的几倍甚至几十倍。如果直接把原始数值丢进DBSCAN算欧氏距离距离值会被负荷维度主导密度聚类的结果几乎等于只看负荷聚类风电维度的差异完全被淹没。正确做法是先做标准化或归一化。我习惯用StandardScalerz-score标准化因为DBSCAN基于密度和距离标准化后的特征具有相同尺度eps参数的含义也更清晰。如果风电和负荷的量级差异特别大也可以各自按额定容量做标幺化再拼接成联合特征向量。还有一种做法是先用PCA把48维降到10维左右再聚类。降维不仅能加速计算、削弱维度灾难对欧氏距离的干扰还能让K距离图更平滑、更容易选出合适的eps。4.2 第二步eps和min_samples怎么定别靠玄学这是DBSCAN场景削减里最核心也最需要经验的一步。我先给一个保守的起步值min_samples取2到5之间的整数就够用场景削减场景下样本点往往在几百到几千的量级min_samples取值不需要太大取太小容易把噪声也拉进簇里取太大则会把正常簇打碎成大量碎片。然后画K距离图来确定eps。具体做法对每个样本计算它到第min_samples个最近邻居的距离把这些距离值从小到大排序画成曲线。曲线通常有一个明显的拐点或肘部拐点对应的距离值就是一个比较合适的eps。拐点之后曲线变得平缓说明大部分样本的邻域密度开始趋于一致拐点之前急剧上升的部分说明那些样本处于稀疏区域属于潜在噪声。取拐点处的距离值作为eps聚类效果一般不会太差。如果发现聚类结果里簇的数量还是太多、每个簇的样本数少得可怜就把eps稍微调大一点允许密度较低的区域也并进同一簇。反过来如果聚类结果几乎把所有点都划为一整个簇说明eps太大了适当调小。这个调节过程没有一步到位的公式通常要跑两三轮但比瞎猜要可控得多。4.3 第三步聚类之后代表场景怎么挑DBSCAN聚类完成之后每个非噪声簇都包含一组原始风电-负荷场景。接下来的问题是从每个簇中选出一个代表场景。有人习惯直接把簇内均值作为代表场景但我不推荐。均值曲线往往是一条被磨平峰谷的光滑曲线它可能不对应任何真实可能出现的出力序列。比如凌晨时段风电出力在某些场景是满发、某些场景是零出力均值可能落在0.5附近但实际不可能出现半出力这种平稳状态。它还可能在时序上产生非物理的爬坡斜率扔给机组组合模型后会算出一个无法执行的调度方案。我更推荐的做法是在簇内找一个离簇中心最近的原始场景作为该簇的代表。计算方式很直接import numpy as np from sklearn.cluster import DBSCAN from sklearn.preprocessing import StandardScaler train_x StandardScaler().fit_transform(scenes) # scenes: 原始场景矩阵 labels DBSCAN(epseps_value, min_samplesmin_samples_value).fit_predict(train_x) representatives [] for cluster_id in np.unique(labels): if cluster_id -1: continue idx np.where(labels cluster_id)[0] cluster_center train_x[idx].mean(axis0) dist np.linalg.norm(train_x[idx] - cluster_center, axis1) rep_idx idx[np.argmin(dist)] representatives.append((cluster_id, scenes[rep_idx], len(idx)))这段代码有两个关键点一是距离计算用的是标准化后的特征空间因为聚类本身是在标准化空间里进行的二是取的是原始场景序列作为代表而不是标准化空间的均值向量这样选出来的曲线保证是历史上真实出现过的出力模式物理上可解释、可复现。4.4 第四步场景概率重分配以及噪声场景的去留聚类完成后每个簇内部包含的样本数是已知的。削减后每个代表场景的概率直接按簇内样本数占总样本数的比例来分配。这也是DBSCAN做场景削减很自然的一个优势——概率不需要额外计算频率统计就给出了场景概率。然后处理噪声点。加噪声点最常见的做法是直接丢弃但我不建议一丢了之。DBSCAN标记出来的噪声场景往往是那些既不属于任何高密度簇、又真实存在的小概率极端事件。比如我某个算例里噪声点集中对应着台风过境后风电出力骤降的时段——这种场景概率可能只有1%到2%但对日前调度来说恰恰是最需要校验系统爬坡和备用裕度的极端情况。所以我的习惯是把噪声点保留为一到两个低频代表场景概率按噪声点数量比例分配。如果噪声点数量特别多超过总样本的10%通常说明eps选小了先调参数而不是急着保留一大把噪声场景。5. 削减效果怎么量化评价指标与实测结果5.1 分布保真度KS检验和Wasserstein距离场景削减做得好不好不能光看场景数少了、求解快了还要看削减后的场景集在概率分布上有没有偏离原始场景集。最常用的评估是经验CDF对比与KS检验。具体做法是对风电出力和负荷分别统计原始场景集和削减后场景集的累积分布函数计算二者之间的最大竖距作为KS统计量。KS统计量越小说明削减后的场景集保留了原始分布信息。更精细一点的指标是1-Wasserstein距离用来衡量两组概率测度之间的传输代价。相比KS只看最大偏差Wasserstein距离对整条分布的偏差都敏感在场景削减效果评估里越来越常见。5.2 优化目标偏差把场景代入调度模型看结果分布检验只是中间指标最终还得看削减后的场景放进优化模型里调度方案和期望成本偏离大不大。我把原始2000个场景和削减后的10个场景分别代入同一个两阶段日前机组组合模型对比期望运行成本。差别在1%到3%以内通常就认为削减精度可以接受如果超过5%说明削减丢掉了关键结构信息需要回调聚类参数。另一个实用指标是相对贴近度计算公式不复杂削减后场景集到原始场景集的平均距离除以原始场景集自身的离散程度。这个值能直观反映削减后每个场景还代不代表一个紧凑的样本集合。5.3 一组参考实测结果我用自己的数据做过对比测试某风电场加区域负荷历史数据8760小时生成2000个联合场景目标是把场景削减到10个左右。用K-MeansK10削减KS统计量在风电出力维度为0.078。用DBSCANeps通过K距离图取0.35min_samples取3聚类后得到8个非噪声簇和1个噪声簇加上保留的噪声代表场景共9个场景。KS统计量降到0.053。代入调度模型后K-Means方案相对全场景集的期望成本偏差约2.8%DBSCAN方案约2.1%。实测下来DBSCAN的优势主要体现在极端场景保留上K-Means削减后的场景集在高峰负荷时段的最大爬坡需求被低估了8%而DBSCAN因为保留了一个低概率高负荷场景爬坡需求的估计几乎和全场景集一致。当然我也不会说DBSCAN在所有数据集上都一定碾压K-Means场景分布形态不同两种方法各有适不适合的问题关键评价流程是可以复用的。6. 实操中踩过的坑四个最容易翻车的地方6.1 忘记标准化聚类结果被负荷主导我第一次跑这个流程的时候就吃了亏。当时嫌麻烦没做标准化直接把风电和负荷数值拼起来聚类结果跑出来看着很规整但细看代表场景的风电部分几乎全是平均水平——因为负荷数值大在欧氏距离里的权重完全压过了风电维度。DBSCAN把不同负荷水平分开了却对风电波动视而不见。加了标准化重跑之后聚类结果立刻合理多了。这个坑出现频率极高每一步都要刻意检查。6.2 eps过小场景池被切得稀碎场景削减的目的是压缩场景数。如果eps设得太小密度簇会被拆成大量碎片出现几十个簇每个簇只有两三个样本削减后反而比不削减还热闹。我建议先用K距离图找到拐点然后在这个基础上稍微取大一点宁可让簇少一点、每个簇的样本多一点也不要让碎片簇泛滥。如果聚类后簇数仍然偏多比如超过了调度模型能接受的上限可以对簇中心再做一次聚合比如用层次聚类把相似簇合并而不是无脑把eps调大。6.3 代表场景选均值曲线导致物理不可行这个坑前面提过但值得单独强调。均值曲线在数学上很平均但物理上可能完全不可行——风电出力出现0.5的风速对应出力负荷在某小时内连续几十个爬坡斜率拿去仿真调度系统会给出很差的机组爬坡指令。代表场景一定要从原始样本里选离质心最近的原始样本是最靠谱的选择。如果数据集里确实没有特别居中的样本临时构造一条平滑曲线也要先做物理约束校验确保出力上下限和爬坡速率约束都满足。6.4 噪声点直接丢掉极端风险被抹除DBSCAN自动把稀疏区样本标为噪声有些朋友图省事一句噪声点不要了就给过滤掉。但在场景削减任务里噪声点往往意味着极端运行工况。丢掉它们调度模型的决策就会变得乐观备用容量或许会被低估。我的处理方式是区分情况如果噪声点比例在5%以内保留一个聚合的极端场景如果超过10%回过去调eps。特别注意不要因为极端场景概率小就忽略它随机优化里的约束风险往往就藏在概率小的那一端。这套流程跑顺之后最直观的感受是从拍脑袋选场景数变成了让数据分布告诉你能压缩到什么程度。如果你也在做含风电接入的调度优化手里正攒着一大批场景不知道怎么压缩建议拿一天的典型数据试一次DBSCAN先用K距离图定eps再保留噪声场景最后用KS统计量或期望成本偏差对比一下——大概率会发现原来场景削减也能做到少而精。