在 Dart 中使用 xberg 进行 TextRank 抽取式摘要：基于 Rust 内核的确定性文本概括实战

后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载本文以 xberg 仓库中 Dart 端到端测试夹具 summarization_extractive_smoke.md 为核心骨架讲解如何通过 Dart 绑定调用 Rust 内核的抽取式extractive摘要能力给定一段多段落的纯文本文档仅需配置strategy: extractive与max_tokens即可在本地获得确定性的 TextRank 摘要结果全程纯 Rust 实现、无需任何外部服务。读完本文你将掌握 xberg 摘要功能的完整调用链、SummarizationConfig配置语义、DocumentSummary输出结构以及 TextRank 在图上的打分原理。一、摘要能力在 xberg 中的定位xberg 是一个以 Rust 内核为核心的跨语言文档智能引擎支持从 106 种格式、140 种文件扩展名中抽取文本、元数据、图片、表格与结构化数据并提供 CLI、REST API 与 MCP Server 等使用方式。文档摘要summarization是抽取流水线中的一项后处理post-processor能力当ExtractionConfig.summarization被设置为Some(...)时摘要后处理器会在ProcessingStage::Middle阶段运行并把结果写入ExtractedDocument::summary字段。从源码结构看摘要能力分为两层后端实现位于 crates/xberg/src/text/summarization/textrank.rs提供纯 Rust 的 TextRank 抽取式摘要llm.rs提供基于 LLM 的生成式摘要受summarization-llmcargo feature 控制。后处理器接线位于 crates/xberg/src/plugins/processor/builtin/summarization.rs负责根据配置分发到不同策略、填充结果并记录 token 统计。本文关联文档演示的正是第一条路径——TextRank 抽取式摘要。它不需要任何外部服务或模型下载在 WASM、Android 等受限目标上同样可以编译运行且结果完全确定。二、端到端调用示例Dart 绑定关联文档给出的 Dart 示例是理解整套调用方式的钥匙。该示例读取一个多段落纯文本文档《战争与和平》节选文本配置max_tokens: 80与strategy: extractive随后打印摘要结果import dart:io; import package:xberg/xberg.dart; import package:xberg/src/xberg_bridge_generated/frb_generated.dart show RustLib; Futurevoid main() async { await RustLib.init(); try { final input await createExtractInputFromJson(json: {kind:uri,uri:https://example.com/text/book_war_and_peace_1p.txt}); final config await createExtractionConfigFromJson(json: {summarization:{max_tokens:80,strategy:extractive}}); final result await XbergBridge.extract(input, config: config); stdout.writeln(result.results[0].summary); } finally { RustLib.dispose(); } }逐步拆解这段代码初始化 Rust 运行时await RustLib.init()加载由 flutter_rust_bridge 生成的动态库后续所有调用都依赖它结束时通过RustLib.dispose()释放资源见finally块。构造提取输入createExtractInputFromJson以 JSON 形式构造ExtractInput示例中kind: uri表示从 URL 拉取文档。除 URI 外还可使用kind: bytes直接传入文件字节。构造提取配置createExtractionConfigFromJson接受与 REST API 相同的 JSON 配置结构。这里的summarization对象即SummarizationConfig的序列化形式。执行提取XbergBridge.extract(input, config: config)返回ExtractResultresults[0].summary即DocumentSummary对象。输出摘要stdout.writeln打印DocumentSummary其toString默认输出摘要文本。配置参数说明summarization配置对象对应 Rust 端 crates/xberg/src/core/config/summarization.rs 中的SummarizationConfig包含三个字段字段类型默认值说明strategyextractive|abstractiveextractive摘要策略。extractive为纯 Rust TextRank确定性、无外部依赖abstractive为 LLM 生成式摘要需要summarization-llmfeature 且必须配置llm字段max_tokensu32可选后端默认值TextRank 为 150 词摘要最大长度按空白分隔的 token 计数。不传时由后端选择默认值llmLlmConfig可选None生成式摘要专用extractive策略下被忽略abstractive策略下必填注意SummarizationConfig使用了#[serde(deny_unknown_fields)]意味着传入未定义的字段会直接报错因此配置 JSON 中不要拼写多余键。输出结构DocumentSummary摘要结果对应 crates/xberg/src/types/summary.rs 中的DocumentSummary字段类型说明textString摘要正文纯文本散文strategySummaryStrategy产生该摘要的策略序列化为extractive或abstractivesnake_casetoken_countu32可选摘要的近似 token 数按空白分词统计对应地SummaryStrategy枚举有两个变体Extractive与Abstractive其中Extractive是默认值。这也解释了夹具断言results[0].summary.strategy extractive为何成立。三、后处理器的触发条件与行为摘要并不是每次提取都会运行它由一个后处理器插件SummarizationProcessor驱动crates/xberg/src/plugins/processor/builtin/summarization.rs其行为要点如下触发条件should_process返回config.summarization.is_some()即只有在配置了summarization时才执行未配置时process直接返回summary字段保持为None。空文档保护若result.content.trim().is_empty()后处理器直接跳过不产生摘要。策略分发根据summarization_config.strategy分发——Extractive走纯 Rust TextRankAbstractive走 LLM。失败信号抽取式摘要无法产出结果时如文本过短无法成图不会静默失败而是向result.processing_warnings推入一条 source 为summarization_extractive的警告生成式摘要失败则推入 source 为summarization_abstractive的警告调用方可以据此区分没摘要和摘要失败。该处理器的processing_stage()固定为ProcessingStage::Middleestimated_duration_ms依据词数线性估算word_count / 200 50可用于调度与预算。相关的单元测试覆盖了配置后填充摘要未配置不产出空内容跳过无输出时告警等场景参见同文件的mod tests。四、TextRank 抽取式摘要的底层原理后端核心位于 crates/xberg/src/text/summarization/textrank.rs算法是经典的句子级 TextRank全过程无外部依赖、完全确定。整体流程如下分句以.、!、?、\n作为句子边界切分文本split_sentences若文本为空返回None若只有一句话则原句直通返回。停用词与分词根据result.detected_languages的第一个语言代码选择停用词表crates/xberg/src/stopwords/ 内置多语言词表语言未知或未检测到时回退到英语。分词规则为按非字母数字字符切分、转小写、剔除停用词与长度小于 2 的 tokentokenize。建图每个句子是一个顶点两两计算 TF-IDF 余弦相似度作为边权相似度低于MIN_EDGE_SIMILARITY1e-6的边不连pagerank_scores。TF-IDF 中 IDF 使用平滑公式ln((n1)/(df1)) 1。PageRank 迭代对列随机矩阵执行阻尼幂迭代power_iteration。关键超参数在源码中以常量定义阻尼系数PAGERANK_DAMPING 0.85、收敛容差PAGERANK_TOLERANCE 1e-4、最大迭代 64 次、无出链的悬挂节点分数按均匀分布回灌。句子选择按 PageRank 分数从高到低挑选句子在不超过max_tokens默认DEFAULT_MAX_TOKENS 150预算的前提下尽量多选最后按原始文档顺序重新排序拼接select_top_sentences。因此摘要中的句子顺序忠实于原文可读性好。性能上还有两个保护性上限单次最多考虑MAX_SENTENCES 256个句子超过部分截断保证算法在大文档上的时间可控。确定性与语言回退的实证textrank.rs 的测试给出了几个值得注意的性质确定性同一输入两次调用summarize输出完全一致summarize_is_deterministic这正是文档中deterministic, no external services required的依据主题聚焦在包含无关句子的混合段落上摘要会命中与机器/深度学习相关的句子summarize_picks_relevant_sentences语言回退传入未知语言代码xx时自动回退到英语停用词表summarize_unknown_language_falls_back_to_english预算约束max_tokens按空白分词计数超预算句子会被排除summarize_respects_budget、token_count_uses_whitespace_split。这些测试连同后处理器测试共同构成了 summarization_extractive_smoke.json 所声明的断言基础。五、测试夹具如何验证该能力关联文档本质上是 alef 生成的 Dart 端到端测试夹具其数据来源是 fixtures/summarization/extractive_smoke.json测试代码生成于 e2e/dart/test/summarization_test.dart。理解夹具结构有助于在本地复现与扩展输入kind: uriURI 指向一个模拟服务mock server托管的book_war_and_peace_1p.txt纯文本文档响应头content-type: application/octet-stream正文来自../test_documents/text/目录下的战争与和平节选。配置summarization: { strategy: extractive, max_tokens: 80 }。断言调用extract后校验四点——不报错not_error、results[0].mime_type为text/plain、results[0].summary.text非空、results[0].summary.strategy等于extractive。运行时测试通过环境变量MOCK_SERVER_URL/SUT_URL默认http://localhost:8008或本地启动 mock server 获取夹具 URL随后以$mock_url占位符替换真实地址。若要在本地运行该测试可参考 e2e/dart/ 目录下的pubspec.yaml与dart_test.yaml配置 Dart 环境并先运行 mock server 脚本e2e/run-with-mock-server.sh。六、REST / CLI 场景下的同一配置SummarizationConfig与DocumentSummary都标注了utoipa::ToSchema说明该结构直接映射到 REST API 的 OpenAPI 契约MCP servercrates/xberg/src/mcp/server.rs同样支持摘要后处理。因此上面 Dart 示例中的 JSON 配置可以直接平移到 REST 请求体或 CLI 参数{ summarization: { strategy: extractive, max_tokens: 80 } }无论走哪条调用路径strategy: extractive都代表同一份确定性、无外部依赖的本地摘要实现——这是 TextRank 后端相对生成式方案最核心的工程优势可复现、低延迟、无网络依赖适合批量流水线与离线环境。七、小结与实践建议本文围绕 xberg 的 Dart 抽取式摘要示例串联了从ExtractionConfig配置、XbergBridge.extract调用、SummarizationProcessor后处理到 TextRank 图算法的完整链路。实践中的关键要点抽取式摘要只需strategy: extractive默认值可省略与可选max_tokens纯本地运行、结果确定适合离线与批量场景生成式摘要需启用summarization-llmcargo feature 并配置llm字段且max_tokens之外还涉及 token 用量统计写入llm_usage文本过短单句、空内容时抽取式摘要可能直接透传或不产出注意读取processing_warnings以区分无摘要与失败需要进一步阅读的实现入口配置结构、后处理器、TextRank 算法、输出类型、夹具定义与生成的 Dart 测试。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg C FFI 实战用 TextRank 抽取式摘要在纯 Rust 核心上生成确定性文档摘要xberg C FFI 实战用 TextRank 抽取式摘要在纯 Rust 核心上生成确定性文档摘要 本篇基于 xberg 的 C 语言绑定讲解如何通过 F后端AI 应用NLP基于 xberg 的 C 实战用 TextRank 抽取式摘要处理多段落纯文本文档基于 xberg 的 C 实战用 TextRank 抽取式摘要处理多段落纯文本文档 本篇指南聚焦 xberg 文档智能引擎中一个具体而典型的场景——在 C 后端AI 应用NLPxberg C 绑定下的抽象式Abstractive文档摘要基于 FFI 的 LLM 摘要配置与调用实战xberg C 绑定下的抽象式Abstractive文档摘要基于 FFI 的 LLM 摘要配置与调用实战 本文以 xberg 仓库中为 C 语言生成的摘要后端AI 应用NLP上一篇G6 圆形容器 comboCircleCombo入门实践用 circle-combo 搭建多层兴趣小组组合图下一篇USBGuard规则配置入门3步生成安全策略避免系统锁定创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考