VoltAgent 接入 Inference 模型提供商：使用 OpenAI 兼容适配器配置 inference/＜model＞ 模型路由

人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载Inferenceinference.net是一家提供多厂商开源模型托管与统一推理 API 的模型提供商在 VoltAgent 中通过inference/model形式的模型字符串即可接入。本文以 website/models-docs/providers/inference.md 为核心结合 VoltAgent 模型注册表源码完整讲解环境变量配置、默认 Base URL 覆盖、可用模型清单以及如何利用模型路由、类型安全的模型 ID 和运行时选型编写可运行的 Agent 代码。Inference 在 VoltAgent 模型注册表中的定位VoltAgent 内置了一个由 models.dev。在注册表源码中Inference 被登记为独立的提供商条目见 model-provider-registry.generated.tsidinferencenameInferencenpmai-sdk/openai-compatibleapihttps://inference.net/v1env[INFERENCE_API_KEY]dochttps://inference.net/models其中npm字段决定了该提供商使用的适配器类型——Inference 属于 OpenAI 兼容适配器ai-sdk/openai-compatible因此任何符合 OpenAI Chat Completions 协议的客户端都能通过统一格式调用其 API。快速开始用模型字符串创建 Agent和 VoltAgent 中其他 80 提供商一样接入 Inference 不需要额外安装依赖只需在创建 Agent 时把model指定为inference/modelimport { Agent } from voltagent/core; const agent new Agent({ name: inference-agent, instructions: You are a helpful assistant, model: inference/google/gemma-3, });运行时VoltAgent 的模型路由器会根据inference/前缀查表读取注册表中该提供商的适配器与 API 配置检查所需的INFERENCE_API_KEY环境变量随后完成模型实例的构建与调用。官方文档明确说明At runtime, VoltAgent checks required environment variables and reports the exact one thats missing.——即如果缺少密钥VoltAgent 会明确报出缺失的变量名方便快速定位问题。环境变量配置使用 Inference 提供商只需配置一个环境变量INFERENCE_API_KEYInference 平台颁发的 API 密钥是模型路由时被校验的必需变量对应注册表条目的env: [INFERENCE_API_KEY]。在部署到 Next.js、Cloudflare Workers 等平台时需要按对应方式注入该变量如.env文件、平台 Dashboard 或wrangler.toml可参考仓库中的 with-nextjs、with-cloudflare-workers 等示例工程。默认 Base URL 与覆盖方式Inference 的默认 Base URL 为https://inference.net/v1如果你使用的是自建网关、代理或兼容端点可以通过设置INFERENCE_BASE_URL环境变量覆盖默认地址。VoltAgent 注册表条目中的api字段https://inference.net/v1即默认端点INFERENCE_BASE_URL提供运行时覆盖入口。更精细的自定义场景例如需要追加自定义请求头可以通过 ai-sdk 的LanguageModel直接传入VoltAgent 在模型字段中接受任意 ai-sdk 模型实例。例如使用createOpenAICompatible手动构造带额外头部、自定义 Base URL 的模型import { Agent } from voltagent/core; import { createOpenAICompatible } from ai-sdk/openai-compatible; const inferenceProvider createOpenAICompatible({ name: inference, baseURL: process.env.INFERENCE_BASE_URL ?? https://inference.net/v1, apiKey: process.env.INFERENCE_API_KEY, headers: { X-Client-Source: voltagent-docs, }, }); const agent new Agent({ name: custom-inference-agent, model: inferenceProvider(google/gemma-3), });该写法与 模型总览 中Custom headers一节展示的createOpenAICompatible用法一致适合需要细粒度控制请求头的场景。可用模型清单VoltAgent 注册表为inference提供商收录了 9 个模型见 model-provider-types.generated.ts模型 ID模型家族/类型google/gemma-3Google Gemma 3文本/多模态meta/llama-3.1-8b-instructMeta Llama 3.1 指令微调meta/llama-3.2-11b-vision-instructMeta Llama 3.2 视觉指令meta/llama-3.2-1b-instructMeta Llama 3.2 轻量指令meta/llama-3.2-3b-instructMeta Llama 3.2 轻量指令mistral/mistral-nemo-12b-instructMistral Nemo 12B 指令osmosis/osmosis-structure-0.6bOsmosis 结构化输出小模型qwen/qwen-2.5-7b-vision-instructQwen 2.5 视觉指令qwen/qwen3-embedding-4bQwen3 嵌入模型以上模型覆盖了文本对话、视觉理解vision-instruct 系列、轻量部署1B/3B以及嵌入embedding等多种用途可直接在model字段中使用。其中qwen/qwen3-embedding-4b这类嵌入模型可用作 VoltAgent 记忆/检索场景的向量模型。具体模型规格与计费可查阅 Inference 官方模型页文档地址见注册表条目doc: https://inference.net/models。注模型清单由注册表生成脚本自动维护实际可用模型以 Inference 平台为准调用前建议核对模型 ID 是否与平台当前列表一致。类型安全的模型 ID 与运行时路由VoltAgent 提供了ModelRouterModelId类型可在编译期对inference/...这类模型字符串做自动补全与校验import type { ModelRouterModelId } from voltagent/core; const modelId: ModelRouterModelId inference/google/gemma-3;模型路由器还支持运行时动态选型例如根据请求上下文如租户或业务分级在不同模型间切换const agent new Agent({ name: runtime-inference-router, model: ({ context }) { const tier (context.get(tier) as string) || fast; return tier fast ? inference/meta/llama-3.2-1b-instruct : inference/meta/llama-3.1-8b-instruct; }, });借助这类机制可以把成本敏感的吞吐型任务路由到meta/llama-3.2-1b-instruct等轻量模型把关键分析任务路由到google/gemma-3等更强模型实现按需分配。小结在 VoltAgent 中接入 Inference 提供商的关键点可概括为四步设置环境变量INFERENCE_API_KEY必要时同时设置INFERENCE_BASE_URL覆盖默认端点https://inference.net/v1在Agent的model字段使用inference/model字符串无需安装额外依赖从注册表收录的 9 个模型中选择合适 ID可用ModelRouterModelId获得类型提示需要自定义头部/网关时用ai-sdk/openai-compatible的createOpenAICompatible构造LanguageModel直接传入。该接入方式与 VoltAgent 内置模型注册表的整体设计一致——零导入的模型字符串、注册表驱动的环境变量映射、类型感知的模型 ID 与运行时路由让多提供商接入保持统一且可维护。赞分享人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载相关推荐VoltAgent 接入 GitHub Models基于模型路由器的 OpenAI 兼容提供商实战指南VoltAgent 接入 GitHub Models基于模型路由器的 OpenAI 兼容提供商实战指南 本篇围绕 VoltAgent 内置的 github m人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音DataEase 完整部署指南15分钟搭建专业级数据可视化平台DataEase 完整部署指南15分钟搭建专业级数据可视化平台 还在为复杂的数据可视化工具部署而烦恼吗DataEase 作为一款开源 BI 工具让数据可视人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音VoltAgent 接入 Moonshot AI中国用模型路由将 Kimi-K2 系列接入 OpenAI 兼容适配器VoltAgent 接入 Moonshot AI中国用模型路由将 Kimi K2 系列接入 OpenAI 兼容适配器 在基于 VoltAgent 构建 A人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音上一篇【亲测免费】 DankDroneDownloader无人机固件下载与管理的利器下一篇hpp-fcl高性能碰撞检测库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考