卫星集群的分布式计算框架

大家读完觉得有帮助记得关注和点赞摘要——大型卫星星座和分布式空间系统DSS的兴起需要通用框架来支持容错、自主的分布式空间应用。传统以地面为中心的指挥与控制无法扩展到由数十或数百颗卫星组成的系统这促使人们采用分布式计算。本文提出一个面向卫星集群的概念性分布式计算框架涵盖分布式状态、指挥与控制以及科学任务。作为首个验证步骤本文设计并实现了一个强最终一致的分布式状态服务使用无冲突复制数据类型CRDT具体为基于最后写入胜出寄存器LWW-Register的键值存储。该服务在空间态势感知SSA目录分发的背景下通过GoNetEm仿真的66星卫星星座进行评估。结果表明基于CRDT的方法将星地通信从66条消息减少为每次更新仅一次上行链路而树遍历的总消息数与直接上行链路相当。在并发更新下随着节点丢弃过时版本星间消息呈亚线性增长进一步降低网络开销。这些结果证明基于CRDT的分布式状态可作为卫星集群应用可扩展且容错的基础。索引词——分布式空间系统、分布式计算、无冲突复制数据类型。I. 引言进入太空机会的改善和技术进步引发了空间任务执行方式的转变。如今可以低成本建造大量卫星并将其送入太空。截至2024年底共有13672个有效载荷物体在轨运行[1]。随着发射节奏加快以促进由数十、数百甚至数千颗卫星组成的大型卫星星座的出现这一数字只会继续上升。要使这种增长带来的益处得以实现就需要一种高效且可扩展的方式来指挥和控制这些大型分布式空间平台。这些平台中实体数量庞大加之恶劣空间环境带来的约束迫使人们考虑与历史上空间领域已实施方案不同的新方法。这些发展加速了向多航天器系统MSS实施的转变MSS也称为分布式空间任务DSM其中许多卫星协作完成同一任务[2],[3]。MSS与传统的单体空间任务形成对比后者由单个航天器逐步完成任​​务目标[2]。传统任务规划、运行和数据处理无法在大型多航天器环境中扩展导致人类操作员和地面基础设施负担增加[4]。这种负担增加阻碍了MSS益处的充分实现。为克服这一负担控制与决策权可以从地面转移到卫星自身从而将卫星星座转变为卫星集群概念。卫星集群属于自动化多航天器系统A-MSS和分布式空间系统DSS的范畴[2]。DSS可视为A-MSS的子集而A-MSS本身又是MSS的子集。A-MSS与DSS的主要区别在于控制权如何分布。在DSS中控制权分布在系统中的所有航天器上从而带来若干优势例如更好的可扩展性、容错性和冗余性[2]。这使DSS成为更具挑战性的问题同时也使其成为实现容错、自主卫星集群的最理想方式这些集群可以作为一个单一实体被操作和交互。已有若干工作开始研究如何使DSS成为现实。这些研究的发现将为未来DSS任务的方法提供参考然而研究主要集中于任务特定的实现未能满足对通用框架的需求以更广泛地支持DSS和卫星集群[2],[5]–[8]。通用框架对于创建可复用解决方案是必要的可避免任务和空间应用设计者重复实现和工程化相同工具或组件。目前正在采取措施创建专门面向卫星集群任务的飞行软件解决方案尤其是法国国家空间研究中心CNES通过其KOSMOS飞行软件框架推动集群任务的努力[9],[10]。要使此类框架和系统成为现实需要回答一个根本问题如何将这些系统作为一个单一实体进行交互和操作。这个问题的答案在于分布式计算领域产生的算法和方法。分布式计算解决的是每个分布式实体仅对解决问题所需的众多参数拥有部分知识的问题。主要困难在于实体在无法即时获知所有其他实体当前状态的情况下合作实现共同目标[11]。这与DSS和卫星集群实现所面临的问题相呼应。在此背景下分布式应用首先需要一种共享信息和数据的方式然后需要一种分布式控制和决策手段之后才能考虑任何任务或科学目标。本文聚焦于实现一个强最终一致的分布式状态服务目标是支持后续依赖其信息共享功能的能力。空间态势感知SSA的各种功能即对在轨物体的检测、跟踪和编目为验证分布式空间应用解决方案提供了有用的目标领域并将用于评估所提出的分布式状态服务。因此本工作的主要贡献如下刻画实现DSS所需的关键能力和使能技术。提出一个分布式计算框架以支持卫星集群分布式应用的开发。设计、开发并评估一个用于SSA目录共享的强最终一致状态服务该服务减少了对星地通信的依赖。II. 背景与动机为卫星集群开发可靠的分布式计算框架首先需要定义和刻画DSS。可以通过多种方式做到这一点例如根据其能力或使能技术。这些知识随后可用于确定设计卫星集群分布式应用所需的基础。DARPA的OFFensive Swarm-Enabled TacticsOFFSET项目[12]确定了五个参数用于描述实现一般集群时的能力差距数量集群内卫星数量。集体复杂性集群成员之间交互所产生的复杂性。人-集群交互操作员指挥集群行动的难易程度和方式。异构性集群中可用平台和角色的多样性。个体复杂性集群中每个成员的复杂性。这些参数适用于卫星集群和DSS。给定DSS的能力差距可以根据上述参数来表述从而更容易识别能够填补这些差距并确保任务成功的解决方案。考虑到这些能力差距NASA Ames尝试根据若干相互构建的使能技术来刻画DSS[5]。这些使能技术定义如下网络在DSS中的航天器之间传递消息的能力。分布式状态对DSS状态的共享知识。指挥与控制将DSS作为单一实体控制的能力。规划利用可用信息创建DSS级命令。科学自主DSS可以在无需地面干预的情况下动态平衡和重新分配任务。首先需要一个通信网络来允许共享分布式状态。这使DSS的指挥与控制成为可能并为制定计划的方式提供信息。所有这些创建了一个系统科学任务可以在其上执行[5]。分布式计算可以提供在这些不同技术层内运行并填补集群能力差距的解决方案而这是此前工作未采用的方法。DSS和卫星集群的性质导致系统充满不确定性这些不确定性由异步、多控制流、缺乏共享内存和全局时间、故障、动态性、移动性等因素造成。分布式计算可以用“不确定性”一词来刻画并旨在围绕其提供解决方案[11]。在考虑分布式服务时CAP定理引入了一致性、可用性和分区容忍之间的权衡[13]。可以设计仅保证其中两项质量的服务。对DSS最重要的质量将取决于其任务和需求。然而一般来说空间环境和集群动态会导致卫星间通信中断[14]甚至卫星丢失因此分区容忍至关重要。这意味着DSS的CAP定理权衡主要是在可用性和一致性之间。本工作将关注数据可用性因为它是普遍理想的质量而数据同步代价高昂。III. 框架设计从应用角度看上一节提到的能力差距和使能技术可以组合并浓缩为三层形成一个构建在通信基础之上的分布式空间应用概念框架。图1展示了这一概念框架。必须选择分布式算法和方法来实现这些层。图1. 分布式空间应用的概念框架。该框架的主要假设是集群中每颗卫星之间都存在通信和传递消息的方式。这就是为什么通信被呈现为分布式应用构建于其上的基础。消息是最终到达还是根本不到达将取决于DSS的具体特征。在空间环境中自然预期会有一些通信损失。该框架的基础是分布式状态。要在卫星集群中完成任何操作或计算必须可靠地共享和复制信息和数据。如果没有关于集群状态的足够信息就不可能对系统进行可靠的控制和规划。因此可靠且容错的分布式状态对于任何分布式空间应用都至关重要。在此基础上是指挥与控制。属于这一层的服务允许将卫星集群作为单一实体进行控制。这意味着在人类操作员给定任务后集群将根据其当前状态和配置确定完成任务的最佳方式。这一层提供了可行操作卫星集群所需的自主性包括促进选择合适的领导者、根据收到的命令创建任务计划、调度等技术。一旦这两个基础到位就可以设计任务并完成科学目标。分布式应用必须同时考虑DSS自身特征和设计所施加的约束以及任务的需求和要求。IV. 强最终一致的分布式状态创建容错且可扩展的分布式应用的第一步是实现可靠的分布式状态机制。因此本文的主要贡献之一是设计和验证一个强最终一致的分布式状态。选择强最终一致性SEC是考虑到卫星集群的约束。空间环境要求服务能够抵御集群网络中不可避免会发生的分区[14]。为使集群服务和应用保持可用CAP定理[13]强制在一致性和分区容忍之间进行权衡。最终一致性提供了一种替代方法不要求节点与其他节点同步。相反操作异步执行且可能以不同顺序执行[15]。要实现最终一致性需要满足以下条件所有更新最终交付给所有正确节点所有正确节点最终收敛到等价状态以及所有方法执行终止。如果一个对象是最终一致的并且表现出强收敛即所有已交付相同更新的节点具有等价状态则该对象是强最终一致的[16]。SEC为CAP定理提供了一种解决方案同时对于不需要线性化顺序一致性即必须强制执行严格操作顺序的应用来说是可以接受的。无冲突复制数据类型CRDT是一类分布式数据类型可确保系统中所有节点的SEC[16]。CRDT操作异步发送可能以不同顺序到达节点负责调和冲突更新并最终应用所有更新。CRDT围绕一些数学性质设计这些性质确保强最终一致性同时在设计上不使用共识[16]。这些特性使CRDT非常适合航天器间通信无保证且数据不需要在所有节点上立即一致的情况。根据设计CRDT实现轻量需要很少消息并且对交付顺序和可靠性约束较少。CRDT寄存器是一种存储对象的内存单元支持assign操作更新其值和value操作查询其值[15]。非并发assign会覆盖较早的更新而并发更新不满足交换律[15]。最后写入胜出寄存器LWW-Register[17]为每个更新关联时间戳以创建赋值的全序通过让一个更新优先于另一个更新为普通寄存器的非交换性提供保障[15]。时间戳被假定为与因果顺序一致、全序且唯一。例如Lamport时钟满足这些要求。LWW寄存器非常适合作为DSS的分布式状态机制因为它们广泛用于分布式系统中的复制文件系统等应用其中寄存器存储的对象可以是文件或文件中的块[15]。V. 方法为验证使用CRDT创建可靠分布式状态本文实现了一个基于LWW-Register的键值存储以完成在卫星集群中分发SSA目录的任务。该目录表示为JSON对象列表由CelesTrak生成包含5个不同轨道物体在一年期间的一般摄动GP数据。A. 测试环境测试在基于Iridium星座的仿真66星卫星星座上进行。该星座为Walker Star类型[18]由6个轨道面组成倾角86.4度每个轨道面包含11颗卫星每天平均14.36圈。每颗卫星最多连接4个相邻节点。网络拓扑使用SatComTopology和SatGoNetEm生成[19]。图2给出了66星卫星星座的可视化表示其中卫星用蓝点表示星间链路ISL用绿线表示。图2. 66星卫星星座的无线通信拓扑。使用GoNetEm网络仿真器运行静态拓扑仿真[20]。GoNetEm使用Docker容器模拟节点此处为卫星并模拟它们之间的网络连接。容器提供Linux环境允许使用任意编程语言快速构建原型进行验证。用户可以定义网络连接和链路特性。无线网络通信配置为匹配图2所示的拓扑。此外每个节点都获得一条连接到特殊地面站GS节点的额外链路。每条链路可通过每个节点上的虚拟以太网接口访问。为模拟ISL条件链路配置为最大带宽200Kbps、延迟250ms每个接口125ms、抖动25ms、丢包率0.001%。带宽按照CNES对射频ISL的预期设置延迟考虑了传输延迟和卫星系统本身产生的延迟。GS链路配置相同。假设GS接触对卫星来说在功率和资源方面代价高昂并且不完全可靠。GS消息传播距离长容易受到大气扰动和GS跟踪误差的影响。因此任何GS消息交换次数的减少都被视为积极结果。相比之下ISL消息被认为更可靠因为卫星之间的相对位置固定且由于卫星间距离和无大气层传播消息所需功率更少。B. 实现本文用Python 3实现了文献[15]中基于操作的LWW寄存器CRDT伪代码规范并结合字典创建键值存储。目录数据中的对象ID指向一个LWW-Register对象允许更新或查询该对象收到的最新版本GP数据。CRDT更新消息封装在UDP数据包中发送。每个具有特定对象ID的更新包含该对象GP数据的不同快照来自同一来源且时间戳相同的每个更新都是相同的。如果传入时间戳大于或等于已存储时间戳LWW-Register就应用该更新。由于更新仅来自地面全序是平凡的因果一致性退化为“最高时间戳获胜”。当且仅当更新本地状态时才转发更新消息从而减轻ISL网络压力。图3展示了在66星卫星星座的6星子集图2中红框所示中单次更新在洪泛和树遍历分发方式下的消息传递过程。节点尚未收到的新消息用蓝色箭头表示而冗余的、已收到的消息用灰色虚线箭头表示。灰色虚线箭头表示的消息在接收时被丢弃。图3. 单次更新分发中的消息传递事件。C. 单更新测试场景在此场景中对某个被跟踪空间物体的GP数据进行一次更新该更新在地面发起必须传播到整个66星卫星星座。验证使用该场景的三种变体第一种仅使用星地通信另外两种使用基于CRDT的分布式状态并结合不同类型的ISL网络分发。测试期间跟踪消息的数量和类型。三种场景变体如下a)直接上行链路无ISL此用例作为基线比较模拟当前卫星星座中常见的“弯管”架构[21]。通信仅发生在地面站与每颗卫星之间。卫星之间不发生ISL通信。地面与卫星接触之间经过任意时间t。在现实世界中这将是地面站根据卫星绕地球运行方式联系下一颗卫星所需的时间。本测试中t设为5秒。b)CRDT 洪泛更新首先从地面发送到单颗卫星。执行更新后通过洪泛机制经ISL网络分发到整个集群。消息通过卫星可用链路转发给每个邻居但排除最初接收消息的链路。如果卫星尚未收到消息则转发否则丢弃。洪泛提供了一种简单形式的可靠广播。只要不存在网络分区新更新最终会到达每颗卫星。c)CRDT 树遍历同样更新首先从地面发送到单颗卫星。执行更新后通过应用树遍历的机制经ISL网络分发到整个集群。消息沿生成树遍历以到达集群中的每颗卫星。生成树使用简单算法构建启动时卫星向每个邻居发送查询。如果收到查询且接收卫星没有父节点则发送卫星被指定为其父节点然后接收卫星向其所有邻居发送查询。在当前实现中仅卫星1在测试开始时启动此过程。D. 多更新测试场景在此场景中对同一被跟踪物体的多次更新被发送到分布在整个网络中的1、5、10和20颗卫星。更新顺序发出发送之间无延迟版本号递增导致多个更新从不同入口点并发传播到ISL网络。消息传递使用树遍历。此场景旨在突出这种基于CRDT的方法在引入多个更新时的优势。VI. 结果与讨论本节介绍所执行验证测试的结果并讨论结果。表I给出了单更新场景每种变体传递的消息数量。消息分为GS或ISL。表I 单次目录更新的消息数量测试用例GS消息ISL消息总计直接上行链路无ISL66066CRDT 洪泛1177178CRDT 树遍历16566该表显示CRDT方法能有效减少单次目录更新所需的地面站消息数量。无需从地面更新星座中的每颗卫星只需更新一颗卫星新数据即可传播到整个集群。结果表明无论使用何种分发机制基于CRDT的分布式状态都有效而分发机制决定了完成更新所需的ISL消息数量。已知网络洪泛发送2E−N1条消息其中E是边数此处为ISL链路数N是节点数即卫星数。而使用树遍历的分发发送N−1条消息即可完全传播一条消息。实验结果与预期分析结果一致表明这些机制已被正确应用并可在类似卫星的环境中运行。最初构建树遍历机制使用的生成树交换了354条消息。如果实现更复杂或更鲁棒的算法这一数字会增加。生成树构建期间发送的消息最终未计入结果表因为生成树仅在启动时构建一次前提是网络拓扑不变。如果发生变化生成树将重建完成过程会产生354条消息的额外成本。虽然低地球轨道星座的ISL连通性随时间变化但在标称运行下预期变化较低。图4给出了多更新场景中完成指定次数同一被跟踪物体目录更新所发送的消息数量不包括初始树构建期间发送的消息。随着更新次数增加图线呈现亚线性增长因为已经持有较新版本的节点在收到过时更新消息时会将其丢弃。当更新注入速度快于网络完全传播速度时会出现这种行为因为已经收到较新更新的节点会丢弃任何较旧更新。如果更新之间经过足够时间单次新更新将在下一次地面上行之前传播到整个网络。因此单更新结果可作为每次更新所需消息数量的上界。图4. 并发更新下生成的消息。对于LWW寄存器如果最新更新到达所有节点则达到一致性。这样分布式状态是“自愈”的并且可以从集群内的故障和分区中恢复因为最新更新会覆盖同一被跟踪物体的任何较早更新。如果卫星网络本身为消息传递提供交付或时效保证那么基于CRDT的分布式状态将继承这些保证。这种分布式状态方法的一个实际好处是节省现实时间。由于卫星轨道周期导致地面接触窗口有限直接向所有卫星上行更新需要更多时间。通过每次更新仅需一次上行并且卫星可以通过ISL持续相互通信分布式方法完成分发显著更快即使考虑卫星网络内的传播延迟也是如此。在本测试背景下地面接触间隔设为5秒直接上行到所有卫星在330秒后完成而分布式用例在5秒内完成。在真实轨道力学下地面接触间隔要长得多使分布式方法的优势更加明显。另一个实际好处来自星地通信在功耗和可靠性方面的成本。减少所需地面接触次数可直接降低总功耗并提高任务数据分发的鲁棒性。关于未来工作应针对需要线性化顺序一致性的情况实现和测试分布式共识例如修改卫星集群现实世界属性的应用或需要操作按顺序到达才能安全执行的应用。随后应研究和实现后续框架层中的服务使卫星集群能够承担完整任务并完成真实科学目标。验证该方法的一个重要途径是在真实卫星软件以及最终硬件上在动态轨道环境中进行测试。CNES目前正在构建未来工作将用于测试的仿真环境、软件和硬件平台[9],[10]。最后应与现有集群方法例如NASA的Starling任务[6]中的方法进行比较以评估分布式计算方法对卫星集群和DSS飞行软件的完整收益。VII. 结论DSS和大型星座的兴起需要一个框架来支持容错且可靠的分布式空间应用。本文提出了一个概念性分布式空间应用框架涵盖分布式状态、指挥与控制以及科学任务并通过分布式状态层的实现和验证展示了其潜力。本文实现并评估了一个基于CRDT的强最终一致分布式状态用于SSA目录分发。与直接地面上行相比分布式方法需要更少的地面接触并且分发更新所需时间更少。当快速连续发出多个更新时收敛到所有卫星上的最新版本所需的ISL消息数量减少。这些结果表明基于CRDT的分布式状态是卫星集群任务数据分发的一种可行方法可显著减少地面接触需求和ISL流量。所提出的框架为构建容错分布式空间应用提供了基础其中分布式状态层可作为后续更高层服务的构建块。