首页/新闻资讯/正文详情

Service Mesh 速率限制:本地限流与全局限流的架构组合

发布时间:2026/11/21 0:26:02 来源:云帆数科 栏目:资讯中心
Service Mesh 速率限制:本地限流与全局限流的架构组合
Service Mesh 速率限制本地限流与全局限流的架构组合一、限流配在网关层但服务 B 被恶意重试搞垮了——因为网关限流看不见服务侧的实际负载速率限制Rate Limiting有两个典型的架构位置网关层入口限流和服务侧本地限流。网关层限流保护整体系统不被外部过载压垮基于请求的全局 QPS。服务侧限流保护单个服务实例不被内部调用方的异常行为如重试风暴压垮。二者缺一不可。如果只在网关做限流服务 A 调用服务 B 时如果出现无限重试Bug 导致网关看不到内部调用服务 B 被内部流量压垮。如果只在服务侧做限流外部突发流量到达网关后分散到服务实例——单实例的限流会触发大量 429 拒绝浪费了其他健康实例的容量。Service Mesh 在这两者的结合上有个独特优势Mesh 的 sidecarEnvoy同时承担了入口流量和出口流量的代理。可以在 sidecar 层面同时实现本地限流单 sidecar 级别和全局限流基于全局状态。二、底层机制与原理剖析两层限流的职责分工全局限流网关层 Envoy 集成保护的是集群的整体容量。QPS 1000 是集群最大承载量——网关把超过 1000 的请求拒之门外基于全局状态需要知道当前全集群已经处理了多少请求。需要外部状态存储Redis来记录全局计数特征Coarse-grained粗粒度基于外部 IP / API Key / 整体 QPS。响应用 429 Retry-After本地限流服务侧保护的是单个服务实例不被打垮。实例最大处理 500 QPS取决于 CPU/内存/数据库连接池基于本地状态不需要外部存储。Envoy 的local_rate_limitfilter 直接用令牌桶算法特征Fine-grained细粒度基于服务实例的实际容量。响应也用 429三、生产级代码实现# envoy-local-rate-limit.yaml # Envoy 本地限流配置 (EnvoyFilter) apiVersion: networking.istio.io/v1alpha3 kind: EnvoyFilter metadata: name: local-rate-limit namespace: production spec: workloadSelector: labels: app: agent-api configPatches: - applyTo: HTTP_FILTER match: context: SIDECAR_INBOUND listener: filterChain: filter: name: envoy.filters.network.http_connection_manager patch: operation: INSERT_BEFORE value: name: envoy.filters.http.local_ratelimit typed_config: type: type.googleapis.com/envoy.extensions.filters.http.local_ratelimit.v3.LocalRateLimit stat_prefix: http_local_rate_limiter # 令牌桶配置 token_bucket: max_tokens: 500 # 突发容量允许 500 个 token tokens_per_fill: 500 # 每次填充 500 个 token fill_interval: 1s # 每 1 秒填充一次 → 500 QPS # 返回 429 时的 header filter_enabled: runtime_key: local_rate_limit_enabled default_value: numerator: 100 denominator: HUNDRED filter_enforced: runtime_key: local_rate_limit_enforced default_value: numerator: 100 denominator: HUNDRED # 限流生效的请求条件仅对 /api/ 路径限流 request_headers_to_add_when_not_enforced: - header: key: x-local-rate-limit value: false# envoy-global-rate-limit.yaml # Envoy 全局限流配置集成外部 Rate Limit Service apiVersion: networking.istio.io/v1alpha3 kind: EnvoyFilter metadata: name: global-rate-limit namespace: production spec: workloadSelector: labels: app: agent-api configPatches: - applyTo: HTTP_FILTER match: context: SIDECAR_INBOUND listener: filterChain: filter: name: envoy.filters.network.http_connection_manager patch: operation: INSERT_BEFORE value: name: envoy.filters.http.ratelimit typed_config: type: type.googleapis.com/envoy.extensions.filters.http.ratelimit.v3.RateLimit domain: agent-api failure_mode_deny: false # 限流服务不可用时放行非安全场景 rate_limit_service: transport_api_version: V3 grpc_service: envoy_grpc: cluster_name: rate-limit-service # 基于 API Key 做全局限流 descriptors: - key: api_key value: # 动态填充 # 第二个 patch配置 rate-limit-service 的 cluster - applyTo: CLUSTER match: context: SIDECAR_OUTBOUND patch: operation: ADD value: name: rate-limit-service type: STRICT_DNS connect_timeout: 0.5s lb_policy: ROUND_ROBIN load_assignment: cluster_name: rate-limit-service endpoints: - lb_endpoints: - endpoint: address: socket_address: address: rate-limit-service.istio-system.svc.cluster.local port_value: 8081# rate-limit-service.py 全局限流服务——基于 Redis 的分布式限流 Envoy 通过 gRPC 调用此服务进行全局速率检查 import grpc import redis import time import logging from concurrent import futures from typing import Dict # 注需要安装 envoy_ratelimit proto 生成的 Python 代码 # pip install grpcio grpcio-tools logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) class GlobalRateLimiter: 基于 Redis 的全局限流实现 使用滑动窗口算法代替简单的固定窗口 - 固定窗口有边界突发问题窗口最后 1 秒 下一个窗口开始 1 秒 2 倍 QPS - 滑动窗口通过存储每次请求的时间戳来精确控制 def __init__(self, redis_host: str localhost, redis_port: int 6379): self.redis redis.Redis( hostredis_host, portredis_port, decode_responsesTrue, socket_connect_timeout2, socket_timeout2, ) # 限流规则从配置文件或管理 API 动态加载 self.rules: Dict[str, Dict] { # 按 API Key 限流 api-key: { free: {qps: 10, burst: 20}, pro: {qps: 100, burst: 200}, enterprise: {qps: 1000, burst: 2000}, }, # 按服务限流 service: { agent-api: {qps: 2000, burst: 3000}, agent-worker: {qps: 500, burst: 800}, }, } def check_rate_limit(self, domain: str, descriptors: list) - bool: 检查速率限制 参数: domain: 限流域如 agent-api descriptors: 限流描述符列表 [{key: api_key, value: sk-xxx}, ...] 返回: True: 允许通过, False: 触发限流 for descriptor in descriptors: key descriptor.get(key) value descriptor.get(value) if not key or not value: continue # 查找对应的限流规则 rule self._find_rule(key, value) if not rule: continue # 检查 Redis 中的滑动窗口计数 rl_key fratelimit:{domain}:{key}:{value} limit rule[qps] burst rule.get(burst, limit * 2) allowed self._check_sliding_window(rl_key, limit, burst) if not allowed: logger.debug(Rate limit hit: %s/%s QPS%d, key, value, limit) return False return True def _find_rule(self, descriptor_key: str, descriptor_value: str) - dict: 查找限流规则 if descriptor_key api_key: # 根据 API Key 的 tier 查找 # 生产环境从数据库查询 API Key 对应的 tier tier_map self.rules.get(api-key, {}) # 简化默认 free tier return tier_map.get(free, {qps: 10, burst: 20}) if descriptor_key service: service_rules self.rules.get(service, {}) return service_rules.get(descriptor_value, None) return None def _check_sliding_window(self, key: str, limit: int, burst: int) - bool: 滑动窗口限流检查 算法 1. 使用 Redis Sorted Set成员 请求时间戳微秒score 时间戳 2. 每次检查时删除窗口外的旧数据 3. 统计窗口内的请求数 4. 如果超过限制 → 拒绝否则 → 添加当前请求并允许 now_us int(time.time() * 1_000_000) # 微秒精度 window_us 1_000_000 # 1 秒窗口 pipe self.redis.pipeline() # 1. 删除窗口外的旧数据 pipe.zremrangebyscore(key, 0, now_us - window_us) # 2. 统计窗口内的请求数 pipe.zcard(key) try: _, current_count pipe.execute() except redis.RedisError as e: logger.error(Redis error in rate limiter: %s, e) # Redis 不可用时——放行取决于 failure_mode_deny 配置 return True current_count int(current_count) if current_count limit burst: return False # 触发限流 # 3. 记录本次请求 try: self.redis.zadd(key, {str(now_us): now_us}) self.redis.expire(key, 2) # 2 秒后自动过期 except redis.RedisError: pass # 记录失败不阻塞请求 return True # --------------------------------------------------------------------------- # gRPC 服务 # --------------------------------------------------------------------------- class RateLimitServicer: Envoy Rate Limit Service gRPC 接口实现 def __init__(self, limiter: GlobalRateLimiter): self.limiter limiter def ShouldRateLimit(self, request, context): 实现 Envoy RateLimitService.Check 接口 domain request.domain descriptors [] for desc in request.descriptors: for entry in desc.entries: descriptors.append({ key: entry.key, value: entry.value, }) # 全局限流检查 overall_code self.limiter.check_rate_limit(domain, descriptors) # 构建 gRPC 响应简化——实际需要导入 envoy proto 生成的代码 # response RateLimitResponse() # response.overall_code OK if overall_code else OVER_LIMIT # return response logger.debug(Rate limit check: domain%s allowed%s, domain, overall_code) return None # 实际返回 gRPC 响应对象 def start_server(limiter: GlobalRateLimiter, port: int 8081): 启动限流 gRPC 服务 server grpc.server(futures.ThreadPoolExecutor(max_workers10)) # rate_limit_pb2_grpc.add_RateLimitServiceServicer_to_server( # RateLimitServicer(limiter), server # ) server.add_insecure_port(f[::]:{port}) server.start() logger.info(Rate limit service started on port %d, port) return server if __name__ __main__: limiter GlobalRateLimiter(redis_hostredis.istio-system.svc) server start_server(limiter) try: import time while True: time.sleep(3600) except KeyboardInterrupt: server.stop(0)四、边界分析与架构权衡全局限流的 Redis 依赖如果 Redis 不可用全局限流失效。Envoy 的failure_mode_deny控制这种行为true安全优先——Redis 不可用时拒绝所有请求或 false可用优先——Redis 不可用时放行对于 API 计费场景推荐 deny防止免费用户绕过计费对于内部服务调用推荐 allow可用性优先本地限流的公平性多副本的本地限流在负载均衡不均时可能产生不公平——副本 A 被打到 500 QPS触发限流副本 B 只被打到 100 QPS大量容量浪费如果负载均衡算法是 Round Robin 或 Least Connection通常不会出现严重不均两层限流的协调本地限流的值应该是全局限额 / 副本数。如果全局限额 2000 QPS、3 副本每个副本本地限流 700 QPS略高于 2000/3666留 buffer优先触发本地限流延迟最低——不需要调 Redis全局限流作为兜底保护集群整体五、总结Service Mesh 的两层限流全局网关 Envoy Redis保护集群整体容量本地Envoy local_rate_limit filter保护单个实例。全局限流用滑动窗口算法基于 Redis Sorted Set避免固定窗口的边界突发问题。本地限流的值 全局限额 / 副本数 buffer。两层同时生效——本地优先触发低延迟全局作为兜底。Redis 不可用时根据场景选择 deny安全优先或 allow可用优先。

相关推荐

苹果设备iCloud激活锁免费绕过完整指南:iOS 15-16.6解锁教程
苹果设备iCloud激活锁免费绕过完整指南:iOS 15-16.6解锁教程

苹果设备iCloud激活锁免费绕过完整指南:iOS 15-16.6解锁教程 【免费下载链接】applera1n icloud bypass for ios 15-16 项目地址: https://gitcode.com/gh_mirrors/ap/applera1n 你是否因为忘记Apple ID密码而无法使用自己的iPhone?或者购买的二手… · 2026/11/21 0:26:02

YOLOv8在智能货架商品检测中的优化与部署实践
YOLOv8在智能货架商品检测中的优化与部署实践

1. 项目背景与核心价值 智能货架商品检测是零售行业数字化转型的关键环节。传统人工盘点方式效率低下且容易出错,而基于计算机视觉的自动化检测系统能够实时监控货架商品状态,为库存管理、动态定价和消费者行为分析提供数据支撑。 YOLOv8作为当前最先进… · 2026/10/5 4:59:03

Dify实战指南:7天从零构建智能内容创作助手工作流
Dify实战指南:7天从零构建智能内容创作助手工作流

你是不是也遇到过这样的场景:想快速搭建一个智能客服机器人,却发现要自己写代码调用大模型API、处理上下文、管理对话状态,还要考虑知识库检索和工具调用,一套流程下来,光是技术选型和环境搭建就耗去好几天。或者,你有一个绝佳的AI应用创意,却卡在如何将复杂的业务逻辑串… · 2026/10/16 1:53:46

户县草堂电工证保姆级教程:实操考试心里没底怕挂科?这份攻略帮你稳过
户县草堂电工证保姆级教程:实操考试心里没底怕挂科?这份攻略帮你稳过

户县草堂电工证保姆级教程:实操考试心里没底怕挂科?这份攻略帮你稳过 实操考试心里没底怕挂科?你不是一个人。尤其是像户县草堂电工证这种含金量高、实操要求严的特种作业证,很多学员担心自己动手操作不熟练、现场突发状况应对不了,最后直接凉在考试现场… · 2026/11/21 0:25:37

通化低压电工证年审怎么搞?怕考不过白交培训费的看过来
通化低压电工证年审怎么搞?怕考不过白交培训费的看过来

通化低压电工证年审怎么搞?怕考不过白交培训费的看过来 你是不是正准备报名通化低压电工证年审,却担心白交钱?别急,我来帮你梳理清楚,搞懂通化低压电工证年审到底怎么操作,还能让你知道这证是不是 全国通用 ,值不值得花这笔钱。 先说重点:… · 2026/11/21 0:25:37

棉湖电工证考试流程千万别踩坑,怕考不过白交培训费
棉湖电工证考试流程千万别踩坑,怕考不过白交培训费

棉湖电工证考试流程千万别踩坑,怕考不过白交培训费 怕考不过白交培训费?你不是一个人。我见过太多学员因为没搞清楚棉湖电工证考试流程,结果要么报名资料不齐被退,要么考试没通过,培训费打了水漂。 千万别踩坑… · 2026/11/21 0:25:37

通化低压电工证年审怎么办理?全国通用证书怎么考不挂科
通化低压电工证年审怎么办理?全国通用证书怎么考不挂科

通化低压电工证年审怎么办理?全国通用证书怎么考不挂科 实操考试心里没底怕挂科,特别是像你这样在南阳从事房建工程的电工,低压电工证年审不仅关系到你能不能继续干活,也直接影响你的职业发展。全国通用的证书一旦过期,不仅影响项目进度,还可能面临被停… · 2026/11/21 0:25:37

铜川市电工证考试实操怕挂科?考前押题帮你稳过
铜川市电工证考试实操怕挂科?考前押题帮你稳过

铜川市电工证考试实操怕挂科?考前押题帮你稳过 你是不是也像我一样,考前一想到实操考试,心里就发慌?手忙脚乱、操作失误,一个不小心就挂科,那滋味真的不好受。尤其是铜川市电工证考试,实操部分占了很大比重,很多人就栽在这块儿。不过别担心,… · 2026/11/21 0:25:37

工地太忙根本没时间复习考试?电工证2021复审怎么报名全攻略
工地太忙根本没时间复习考试?电工证2021复审怎么报名全攻略

工地太忙根本没时间复习考试?电工证2021复审怎么报名全攻略 工地太忙根本没时间复习考试?你不是一个人。眼下正是电工证2021复审的关键期,很多一线电工都在为 怎么报名… · 2026/11/21 0:24:36

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/20 16:18:19

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/20 18:25:07

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/20 17:56:32

电工证征求意见2026河南最新政策怎么应对?学历不高也能考!
电工证征求意见2026河南最新政策怎么应对?学历不高也能考!

电工证征求意见2026河南最新政策怎么应对?学历不高也能考! 你是不是也担心自己学历不高, 怕报不上名 ?尤其是像焦作水利工程这样的从业者,常年在一线作业,但证书却成了晋升、转岗、接项目的关键门槛。 2026河南最新政策… · 2026/11/21 0:00:17

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来
电工证征求意见怎么填?含金量高不高?济源电工朋友看过来

电工证征求意见怎么填?含金量高不高?济源电工朋友看过来 不知道去哪报名怕被中介坑,电工证征求意见填错了不仅白费钱,还可能影响后续考试和工作。最近很多济源的电工朋友都在问: 电工证征求意见怎么填… · 2026/11/21 0:00:17

房建企业特种工考前押题怎么找?别让培训费打了水漂
房建企业特种工考前押题怎么找?别让培训费打了水漂

房建企业特种工考前押题怎么找?别让培训费打了水漂 怕考不过白交培训费?房建企业特种工考试难度高、题型多,很多人报名后才发现没有合适的复习资料,最终考试落榜,白白浪费了时间和金钱。别担心,掌握【考前押题】的技巧,能让你事半功倍,顺利通过考试。… · 2026/11/21 0:00:17

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:45

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:25:54

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/20 10:26:03

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码