BAML 字符串 split 基准工作负载剖析：split-medium-literal-10k 的测试设计与实现原理

编程语言AI Agent编译器CLI人工智能【免费下载链接】bamlThe programming language for agents项目地址https://gitcode.com/gh_mirrors/ba/baml点击查看免费下载split-medium-literal-10k是 BAML 语言The programming language for agents性能基准套件 speedtest 中string类别下的一个工作负载workload用于衡量 BAML 虚拟机在中等长度字符串上反复执行split操作并统计分段数量的吞吐表现。本文以该工作负载文档为主体结合 speedtest 框架源码 与其执行链路讲解一个 workload 从 Markdown 描述、模板展开、三语言对照实现到被基准框架解析、打包、校验与计时统计的完整生命周期。读完本文你将掌握 BAML 基准工作负载的编写规范、$$var模板注入机制以及如何用speedtest run --filter单独复现这一项基准。工作负载总览测什么、怎么测工作负载文档 split-medium-literal-10k.md 定义了一个围绕字符串分割的微基准。其核心测量对象是被测数据一段中等长度的字符串由一个固定短句the quick brown fox jumps over the lazy dog and runs through the meadow通过|分隔符拼接 8 次得到共 8 个片段被测操作在 BAML、Python、TypeScript 三种语言中各自对同一字符串调用split并对结果长度求和迭代次数外层循环 10 000 次放大单次 split 的成本使计时结果稳定可测。该文档采用统一的四段式结构## eval-setup变量注入脚本、## BAML被测实现、## Python对照实现、## Typescript对照实现。这是 speedtest 全部工作负载共享的格式约定同目录下的 split-short-literal-100k.md、split-long-literal-1k.md、string-split-100k.md 均遵循同一骨架差异只在于字符串长度、分隔符与迭代次数。eval-setup一次注入三种语言共享同一份数据## eval-setup段是 workload 的数据准备区它是一段可被 Python 执行的脚本负责把同一份输入同时转成 BAML、Python、JavaScript 三种语言的字符串字面量import json chunk the quick brown fox jumps over the lazy dog and runs through the meadow src |.join([chunk] * 8) delim | baml_src json.dumps(src) baml_delim json.dumps(delim) py_src repr(src) py_delim repr(delim) js_src json.dumps(src) js_delim json.dumps(delim)这里有两个关键设计点分隔符|的选取|在正则语法中是或操作符选取它作为分隔符意味着如果任何实现尤其是 BAML 内置 split 的底层实现把参数误当作正则表达式处理会产生与预期完全不同的切分结果。这一选择让 workload 自带语义正确性探针配合基准框架的输出校验机制可以暴露实现错误。三种转义策略json.dumps产生双引号字符串供 BAML 与 JavaScript 使用repr产生带引号的 Python 字面量。两者对同一份文本的转义结果一致保证三端拿到完全相同的输入。这些变量如何进入各语言代码关键在于 loader 的模板机制。在 loader.py 中定义了一个自定义模板类class _DDTemplate(Template): Template using $$var instead of $var, so single $ is literal. delimiter $$它把模板定界符从$改为$$因此在 BAML/Python/TS 代码块中出现的$例如 Python 的$并不存在但 BAML 源码中可能出现单$字符不会被误认为模板变量。解析流程为parse_workload_md用正则^##\s([\w-])\s*\n\w*\n(.*?)按##标题切出各代码段见 loader.py若存在eval-setup段则在独立命名空间内exec执行它loader.py得到baml_src、py_src等变量对## BAML、## Python、## Typescript三段代码分别调用_DDTemplate(code).safe_substitute(namespace)完成$$var替换loader.py。由此split-medium-literal-10k.md 中的$$baml_src、$$baml_delim会被替换为实际字符串字面量最终参与编译与执行的是不含模板占位符的完整源码。BAML 实现内置 split 与 list 长度统计工作负载的 BAML 端实现如下function main() - int { let s $$baml_src; let delim $$baml_delim; let count 0; for (let i 0; i 10000; i 1) { let parts s.split(delim); count parts.length(); }; return count; }要点解读main函数声明返回int最终把 10 000 次循环的parts.length()累加值返回保证每轮迭代的结果被真实使用防止死代码消除影响测量s.split(delim)是 BAML 内置的字符串方法split以字符串字面量分隔符切分返回一个 listparts.length()取切分结果的长度累加到count循环采用 C 风格三表达式for步长i 1这是 speedtest 工作负载中常见的写法与 Python、TypeScript 的for循环一一对应。从仓库结构看BAML 的字符串内置函数定义位于 string.bamlbaml_builtins2crate 中baml_std/baml目录下的标准库声明字符串与 list 操作的运行时实现则落在bex_vm、bex_engine等 crate 的 Rust 代码中。若想追踪 split 的底层实现可从该标准库声明出发沿baml_compiler2_hir→baml_compiler2_mir的编译管线以及bex_vm的解释执行路径深入。Python 与 TypeScript 对照实现同一语义三方对齐Python 端s $$py_src delim $$py_delim c 0 for _ in range(10000): c len(s.split(delim)) print(c)TypeScript 端const s $$js_src; const delim $$js_delim; let c 0; for(let i0;i10000;i) c s.split(delim).length; console.log(c);两者在语义上与 BAML 完全对齐同一字符串、同一分隔符、同一迭代次数、同样的取分段数量并累加。唯一需要留意的是 Python 的str.split与 JS 的String.prototype.split在默认行为上的固有差异例如 JS 的 split 会保留末尾空串Python 默认不保留但由于本工作负载的输入是 8 个非空 chunk 拼接、且首尾均非分隔符两种语言都会得到 8三方输出可预期一致——这正是基准框架进行跨语言输出校验的前提。speedtest 框架如何执行这个 workload一个 workload 从 Markdown 变为测量数据要经过 runner.py 中的完整流水线加载与过滤load_workloads()递归扫描workloads/目录下所有.md文件并解析runner.py通过--filter string可按名称子串只保留本类别或本 workloadrunner.py写出临时文件把展开后的 BAML、Python、JS 源码分别写入临时目录下的三个文件runner.py打包调用baml-cli pack main --file baml_file -o output把 BAML workload 编译打包为独立二进制runner.py打包失败则该 workload 被 SKIP输出校验先运行打包后的 BAML 二进制取最后一行 stdout 作为期望值再运行 Python/Node/Bun 对照实现任何一方输出不一致即标记MISMATCHrunner.py。对本 workload 而言三方都应输出8000010000 次 × 每次 8 个片段计时默认采用自适应策略time_command_adaptive——先丢弃 3 次预热运行估算单次耗时后把总测量时间控制在--measurement-time默认 5 秒内采样数钳制在[5, 100]最后取中位数与标准差runner.py也可用--runs N改为固定 N 次采样结果落盘每次运行数据保存到结果目录默认~/.speedtest/并同步更新baselines/branch/latest供后续对比runner.py。命令行操作如何单独复现并对比这项基准speedtest 的 CLI 入口在 cli.py 中定义常用操作如下# 构建 baml-cli 与 baml_pack_host 后运行全部基准 speedtest run --build # 只跑 string 类别或精确到 split-medium-literal-10k speedtest run --filter string speedtest run --filter split-medium-literal-10k # 只测 BAML跳过 python/node/bun speedtest run --only-baml --filter split-medium-literal-10k # 用打 tag 的方式记录一次基准类似 git tag speedtest run --tag my-commit-xyz --filter split-medium-literal-10k # 对比两次基准 speedtest compare base my-commit-xyz # 列出全部 workload 名称 / 查看已有 baseline speedtest list speedtest baselinesrun命令的完整参数见 cli.py--build会先执行cargo build --release -p baml_pack_host -p baml_cli--baml指定 baml-cli 路径默认target/release/baml-cli--profile需要环境中有samply会用 profiling 构建产物采集 CPU 火焰图数据并随结果保存runner.py。注意运行前需先cargo build --release -p baml_pack_host -p baml_cli或在 run 时加--build。compare采用 critcmp 风格的终端差异视图compare.py按类别分组展示每个 workload 的 before/after 中位数耗时与百分比变化并用*标记在统计上显著的差异通过中位数与标准差的sig_marker判定同时以(src changed)提示两次对比间 BAML 源码发生了变化非常适合验证字符串 split 相关优化提交前后的性能回退或提升。同类别变体为什么要拆成多个 split 工作负载string类别下共有 8 个 workload见 workloads/string 目录其中 split 相关就有 4 个它们从三个维度覆盖 split 的性能面工作负载字符串规模迭代次数考察重点split-short-literal-100k短6 词100 000高频小字符串 split 的调用开销split-medium-literal-10k中8 片段\|分隔10 000中等负载下 split 长度统计的吞吐split-long-literal-1k长1k 次迭代1 000长字符串切分的内存与扫描成本string-split-100k短字面量内联100 000无模板注入、纯字面量场景split-medium-literal-10k.md 在其中扮演中等字符串 非平凡分隔符的角色它既不像 short 变体那样依赖极短输入的高频调用也不像 long 变体那样考验长串扫描而是用 8 片段的中等规模字符串与|分隔符检验虚拟机在真实度更高的输入形态下的 split 性能与正确性。将这类变体与 string-split-100k.md字面量直接内联、无 eval-setup对照还能进一步区分解释器对常量折叠的处理与模板注入后动态数据路径两种执行形态的差异。总结一份 workload 文档承载的三重价值回顾整个分析split-medium-literal-10k这份不足 50 行的 Markdown 文档实际承载了三重价值可复现的微基准通过eval-setup$$var模板机制把同一份测试数据精确注入 BAML、Python、TypeScript 三端任何人在同一环境下运行speedtest run --filter split-medium-literal-10k都能得到可比的结果跨语言语义校验以|作为分隔符、以固定输出80000作为期望值让 BAML 的 split 实现与 Python/JS 的标准库行为直接对拍任何切分语义偏差都会以MISMATCH暴露性能回归哨兵借助 speedtest 的 baseline 与 compare 机制这个 workload 可以作为字符串处理优化的持续性性能看板条目配合--profile还能进一步定位 split 热路径上的 CPU 开销。如果你要新增一个字符串相关的 BAML 内置函数最直接的实践路径就是照抄本文档的骨架写一个新 workload放进 workloads/string 目录再用speedtest run --filter验证——模板解析、打包、校验与计时都会自动接好。赞分享编程语言AI Agent编译器CLI人工智能【免费下载链接】bamlThe programming language for agents项目地址https://gitcode.com/gh_mirrors/ba/baml点击查看免费下载相关推荐BAML 字符串 split 性能基准string-split-100k 工作负载全解析BAML 字符串 split 性能基准string split 100k 工作负载全解析 导读 string::string split 100k 是 BAM编程语言AI Agent编译器CLI人工智能BAML 基准测试 Workload 深度解析string::split short literal 100k 与字符串 split 性能测试BAML 基准测试 Workload 深度解析string::split short literal 100k 与字符串 split 性能测试 本篇文章以仓库编程语言AI Agent编译器CLI人工智能BAML 字符串拼接基准测试深入解析从 concat-loop-10k 工作负载到 speedtest 基准框架BAML 字符串拼接基准测试深入解析从 concat loop 10k 工作负载到 speedtest 基准框架 本文以仓库中 string::concat编程语言AI Agent编译器CLI人工智能上一篇如何通过开源协作机械臂OpenArm构建可复现的AI物理研究平台下一篇如何用Surya轻松搞定90语言文档智能识别5分钟从零到精通创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考