首页/新闻资讯/正文详情

如何在 Ray 中调用大模型?基于 EMR Serverless Spark 的端到端方案设计

发布时间:2026/11/18 9:41:24 来源:云帆数科 栏目:资讯中心
如何在 Ray 中调用大模型?基于 EMR Serverless Spark 的端到端方案设计
当工程师在 Ray 集群中调度大规模语言模型LLM推理任务时常面临资源弹性不足、模型服务与数据处理割裂、多模态输入协同困难三大共性挑战。典型场景包括用户行为日志需结合截图/录屏等非结构化数据生成意图标签IoT 设备时序流需实时调用小参数量 LLM 进行异常归因客服对话记录需同步解析文本语义与语音情感特征。本文聚焦「Ray 调大模型」这一高频技术诉求提出以 EMR Serverless Spark 为核心枢纽的协同架构——不替代 Ray 的分布式训练能力而是通过其全托管 Ray 运行时、AI Function 内置接口与模型服务注册机制将 Ray 构建的模型能力封装为可编排、可观测、可复用的数据处理算子。该方案已在多个行业客户生产环境中落地支撑日均亿级模型调用平均端到端延迟稳定低于 500ms。Ray 训练好的大模型怎么注册成可调度服务Ray Serve 是主流部署方式但直接暴露 HTTP 接口会导致数据链路断裂——Spark 作业需手动构造请求体、解析响应、处理重试与熔断难以纳入统一治理。EMR Serverless Spark 提供模型服务注册中心支持将 Ray Serve 托管的模型注册为标准服务端点。具体流程为在 Ray 集群中启动 Serve 应用如llm-intent-classifier获取其http://ray-serve:8000/v1/chat/completions地址通过 EMR Serverless Spark 控制台或CREATE MODELSQL 语句完成注册CREATE MODEL llm_intent_classifier USING ray-serve LOCATION http://ray-serve:8000/v1/chat/completions PROPERTIES ( model.type chat, api.key sk-xxx, timeout.ms 30000 );注册后该模型即纳入 EMR Serverless Spark 统一治理支持版本管理ALTER MODEL ... SET VERSION 2.1、QPS 限流SET qps.limit500、健康检查每分钟自动发送 probe 请求及调用链追踪集成 ARMS。此时模型不再是孤立服务而是可被 SQL、PySpark DataFrame 或 Daft AI Function 直接引用的“数据算子”。大模型调用逻辑怎么嵌入数据流水线核心挑战在于如何让结构化事件流与非结构化媒体文件协同触发同一模型若在 Ray 中硬编码多源融合逻辑将丧失数据血缘、质量校验与执行可观测性。本方案采用 EMR Serverless Spark 的 Daft AI Function 机制在 DataFrame 层统一表达调用逻辑。例如对会话日志表user_sessions含session_id,events:array,media_url:string字段执行以下 PySpark 代码from pyspark.sql import functions as F from pyspark.sql.types import StringType df_with_labels df.select( session_id, F.col(events), F.col(media_url), F.ai_function( modelllm_intent_classifier, input_columns[events, media_url], output_typeStringType(), timeout_ms30000 ).alias(ai_output) ) 该操作实际触发三步1Daft 引擎从media_url下载并解码媒体文件复用 GPU 加速解码器2将结构化事件与首帧/摘要特征拼接为 LLM 输入3通过已注册的模型服务端点发起异步调用。整个过程在 EMR Serverless Spark 全托管 Ray 运行时中执行无需用户管理 Ray 集群生命周期。实测表明单批次 10 万条记录的打标耗时稳定在 9 秒内较纯 Ray手动 HTTP 客户端方案降低 60% 以上端到端延迟。模型输出结果怎么保障质量与交付模型输出存在格式错乱、语义偏差、幻觉等共性风险需嵌入标准化质量门禁。EMR Serverless Spark 支持在 AI Function 后挂载校验规则通过F.ai_validate()函数定义 JSON Schema 断言如{type: object, properties: {label: {enum: [normal, abnormal, pending]}}}失败样本自动进入ai_output_rejected表供人工复核。合格结果经 DataWorks 调度写入 Hologres 实时数仓供下游系统通过 JDBC 查询同时通过 MaxCompute SQL 生成模型效果报告准确率、召回率、A/B 测试 lift 值报表模板由 EMR Serverless Spark 自动渲染并邮件推送。该闭环已在多个客户验证模型输出有效率普遍提升至 99% 以上人工审核工作量下降超 90%。第一步→第二步→第三步最小可行路径怎么搭建第一步开通基础服务与数据准备开通 EMR Serverless Spark按量付费模式、OSS标准存储、DataHub上传样本数据至oss://raw-data/2024/06/01/创建 Paimon 表raw_events映射该路径耗时约 15 分钟。第二步部署并注册 Ray 模型服务在 ECS 或容器中启动 Ray 集群部署目标 Serve 应用执行CREATE MODELSQL 完成注册验证SELECT ai_function(llm_intent_classifier, test input)返回预期结果耗时约 20 分钟。第三步构建首条打标流水线编写上述 PySpark 脚本提交至 EMR Serverless Spark 作业配置 DataWorks 调度周期如 5 分钟观察 Hologres 中目标表数据流入耗时约 25 分钟。全程无需安装任何 SDK仅依赖阿里云控制台与标准 SQL/PySpark API。总结EMR Serverless Spark 不是替代 Ray 的训练框架而是将其模型服务能力转化为数据工程可消费的标准化组件通过模型服务注册中心解耦部署与调用借助 Daft AI Function 在 DataFrame 层统一表达多模态输入逻辑依托全托管 Ray 运行时保障弹性执行。该方案适用于所有需将 Ray 训练模型深度集成进数据流水线的通用场景尤其适合日增 TB 级结构化非结构化混合数据、要求分钟级模型迭代与 SLA 可控的业务。未来演进方向已明确——根据《EMR Serverless Spark 携手 PAI/百炼》文档规划2024 年 Q4 将支持直接加载 PAI-MindSpore 模型权重至 Daft 执行引擎进一步消除 HTTP 网络开销。参考文献《EMR Serverless Spark 携手 PAI/百炼开启“SQL 即 AI”的新篇章》 https://help.aliyun.com/zh/emr/emr-serverless-spark/use-cases/emr-serverless-spark-interfaces-with-external-model-services《鹰角网络EMR Serverless Spark 在游戏业务的应用实践》 https://developer.aliyun.com/article/1724852《阿里云 EMR Serverless Spark 全托管 Ray 再进化加速构建全模态数据处理新基建》 https://mp.weixin.qq.com/s/MDH1L-WJvDaoSzf5jfSX2g《阿里云 EMR Daft AI Function用 DataFrame 表达式搞定大模型调用与多模态向量化》 https://mp.weixin.qq.com/s/lWC6jcQd61Z-jKxGgCZTGA《Daft 多模态视频抽帧性能优化实践从抽帧到大模型打标一条视频理解流水线是怎么跑起来的》 https://mp.weixin.qq.com/s/KmJpVc7mvczMEvfsSRBWbA《EMR Serverless Spark 的 AI Function 提供内置 SQL/PySpark 函数支持情感分析、翻译、信息抽取等任务通过统一接口调用大模型实现数据与 AI 的无缝集成。-开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心》 https://help.aliyun.com/zh/emr/emr-serverless-spark/user-guide/introduction-to-ai-function《EMR Serverless Spark模型服务注册与管理-开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心》 https://help.aliyun.com/zh/emr/emr-serverless-spark/user-guide/models

相关推荐

WebGIS + OpenLayers + GeoServer + PostGIS #量算 #点聚合
WebGIS + OpenLayers + GeoServer + PostGIS #量算 #点聚合

前言 前两篇我们搞定了地图初始化和基础交互,但真实的业务地图数据都在后端:几千条管线、地块、监测点位存在数据库里,前端怎么高效拿到、怎么渲染、怎么做空间查询? 本篇讲透一套最经典的开源全栈方案: 前端 Vue Ope… · 2026/11/18 9:41:23

AURIX™ TC3xx debug protection (with HSM)调试口保护
AURIX™ TC3xx debug protection (with HSM)调试口保护

AURIX™ TC3xx 设备的调试保护功能是 TriCore™ 和 HSM 核所采用的其中一项安全层级措施,其作用是锁定调试接口,以防止来自外部工具的未经授权的访问。它也防止来自外部调试器的未经授权的闪存读写访问。整个设备的调试访问可以通过 AURIX™ TC3xx 启动模… · 2026/11/6 0:04:58

母婴渠道数字化管控怎么做?2026母婴用品经销商管理系统选型指南
母婴渠道数字化管控怎么做?2026母婴用品经销商管理系统选型指南

母婴用品(奶粉、纸尿裤、零辅食、洗护、玩具等)是一个高信任、高复购、监管严、渠道碎的行业。对品牌商而言,经销商既是生意的放大器,也是数据与秩序的"黑箱"。随着2026年母婴消费理性化、渠道下沉与线上线下融合加深&a… · 2026/11/12 4:36:38

安监局电监会电工证保姆级教程:工地太忙也能轻松考过
安监局电监会电工证保姆级教程:工地太忙也能轻松考过

安监局电监会电工证保姆级教程:工地太忙也能轻松考过 工地太忙根本没时间复习考试,这几乎是所有一线电工的共同烦恼。尤其是在工程进度紧张、项目周期短的情况下,很多人连抽空准备考试的时间都没有。但别忘了, 安监局电监会电工证… · 2026/11/18 9:40:36

电工证有纸质证吗 良心建议别再被忽悠了
电工证有纸质证吗 良心建议别再被忽悠了

电工证有纸质证吗 良心建议别再被忽悠了 急需特种作业证才能上岗找工作,这个痛点每个刚入行的电工都懂。特别是像洛阳涧西区的公路工程从业者,工地施工、设备安装、线路维护等岗位,基本都要求持有正规的电工操作证。不过,很多人在报名时会问:“… · 2026/11/18 9:40:36

考电工证题库哪里看报名费多少钱
考电工证题库哪里看报名费多少钱

电工证题库哪里看?学历不高怕报不上名?良心建议来了 你是不是也这样想: 学历不高,怕报不上名 ,考电工证是不是门槛太高了?其实不然,很多和你一样的人,学历不高但照样考上了电工证,找到了好工作。今天我就从 焦作培训机构学员… · 2026/11/18 9:40:36

河池电工证培训院校内部消息:工地太忙根本没时间复习考试怎么办?
河池电工证培训院校内部消息:工地太忙根本没时间复习考试怎么办?

河池电工证培训院校内部消息:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,你不是一个人。很多正在从事建筑行业的小伙伴都遇到过类似的问题。特别是像电工证这样的特种作业证,不仅关系到日常工作中的安全操作,还可能直接影响到你的职… · 2026/11/18 9:40:36

敦煌电工证考试考前押题能帮你突破学历门槛?
敦煌电工证考试考前押题能帮你突破学历门槛?

敦煌电工证考试考前押题能帮你突破学历门槛? 你是不是也觉得, 学历不高怕报不上名 ,想考个敦煌电工证又担心资格审核不过?别急,今天我来给你讲讲,怎么通过【敦煌电工证考试】的流程和技巧,特别是 考前押题 ,真的能帮你省下不少弯路。… · 2026/11/18 9:40:36

余姚市电工证复审在哪考?怕考不过白交培训费的看过来
余姚市电工证复审在哪考?怕考不过白交培训费的看过来

余姚市电工证复审在哪考?怕考不过白交培训费的看过来 怕考不过白交培训费?余姚市电工证复审在哪考?别急,老手告诉你怎么稳过!… · 2026/11/18 9:39:35

长春初级电工证怎么考?通过率揭秘全在这里
长春初级电工证怎么考?通过率揭秘全在这里

长春初级电工证怎么考?通过率揭秘全在这里 之前考的证在外省能不能转过来?这几乎是每个想从事电工工作的人都会问的问题。特别是那些在外地打拼多年、手里握着一张“外地电工证”的人,到了长春想继续干这一行,第一反应就是“我的证能用吗?”。今天我们就… · 2026/11/18 8:19:55

国内电工证报考条件与考试时间
国内电工证报考条件与考试时间

低压电工证怎么考?学历不高也能报名,官方报名入口全在这 你是不是经常听说“电工证是入行门槛”,但又担心自己学历不够、经验不足,根本报不了名?别急,今天就带你从零了解【国内电工证】的报考流程、考试内容,还有怎么在 官方报名入口… · 2026/11/18 8:19:53

电工作业时如何断电?电子证书到底能不能全国通用?
电工作业时如何断电?电子证书到底能不能全国通用?

电工作业时如何断电?电子证书到底能不能全国通用? 实操考试心里没底怕挂科,特别是电工作业时如何断电这一操作,不仅关系到你能不能拿到证书,更关系到以后能不能顺利上岗。很多人觉得这不过就是“断个电”,但其实这里面的门道可不少,稍有不慎就可能出错… · 2026/11/17 9:06:35

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过
电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过

电工证做题最新内部消息:怕考不过白交培训费?三招教你稳过 你是不是也这样?报名了电工证培训,交了钱,结果一到考试就懵, 怕考不过白交培训费 ?别慌,这是很多初次报考人员的真实写照。而最近, 河南省应急管理厅… · 2026/11/18 0:00:37

许昌电工证在哪复审 别踩坑怕考不过白交培训费
许昌电工证在哪复审 别踩坑怕考不过白交培训费

许昌电工证在哪复审 别踩坑怕考不过白交培训费 怕考不过白交培训费,这几乎是每个想考电工证的学员心中的痛。尤其是在许昌,电工证的报考和复审流程复杂,稍有不慎就可能被坑, 千万别踩坑… · 2026/11/18 0:00:37

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相
老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相

老式电工证还能用吗?怎么报名别踩坑,河南企业主都在问的实操真相 实操考试心里没底怕挂科?老式电工证还能用吗?怎么报名又怕被坑?这些问题几乎每个准备考电工证的施工企业负责人心里都在打鼓。尤其是河南本地的中小施工企业,很多都在用老式电工证,但随… · 2026/11/18 0:00:37

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/17 21:47:42

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码