首页/新闻资讯/正文详情

零代码、单命令:ingestr —— 让数据迁移像复制粘贴一样简单

发布时间:2026/9/25 8:19:13 来源:云帆数科 栏目:资讯中心
零代码、单命令:ingestr —— 让数据迁移像复制粘贴一样简单
在数据驱动的时代数据迁移和集成几乎是每个开发者和数据团队都会遇到的日常任务。无论是将生产数据库同步到数据仓库还是在不同系统之间搬运数据传统方案往往意味着编写大量代码、配置复杂的ETL工具或者支付昂贵的SaaS费用。今天要介绍的开源工具ingestr正是为了解决这个痛点而生。什么是 ingestringestr 是一个命令行工具允许你用单行命令将数据从任何数据源复制到任何目标无需编写任何代码。它的核心理念极其简单指定一个来源、指定一个目标剩下的交给 ingestr。ingestr ingest\--source-uripostgresql://...\--source-tablepublic.some_data\--dest-uribigquery://...\--dest-tableingestr.some_data就这么简单。一行命令数据就从 PostgreSQL 飞到了 BigQuery。为什么需要 ingestr在 ingestr 出现之前数据 ingestion 领域的工具生态存在明显的空白付费工具大多以 UI 驱动UI 驱动的工作流对自动化数据管道很不友好。开源替代品如 Airbyte同样以 UI 为主而且还需要自己维护一套基础设施。库级别的方案如 dlt虽然灵活但最终你还是得写代码来搞定 ingestion。ingestr 的团队在 2024 年初开始构建这个项目目标是打造一个有主见的、最简单的数据摄入方式。你只需要告诉它源和目标在哪里它就会帮你把数据搬过去。事实证明这个方向是对的——ingestr 目前已经在 GitHub 上收获了超过 3,700 颗星被数百个组织内部使用。核心特性✨ 零代码单命令ingestr 最核心的价值就是零代码。你不需要写 Python 脚本、不需要配置 YAML 文件、不需要学习复杂的 DSL。只需要一条命令数据就能从源端流向目标端。➕ 增量加载ingestr 支持三种增量加载模式Append追加新数据Merge合并更新DeleteInsert删除后插入这意味着你不需要每次都全量同步整个表只需摄入新增或变更的数据大幅提升效率并降低成本。 单命令安装安装 ingestr 非常简单。推荐使用 uvpipinstalluv uvx ingestr或者全局安装uv pipinstall--systemingestr传统的 pip 安装也可以但速度会慢一个数量级。 Python SDK除了命令行ingestr 还提供了 Python SDK可以直接在 Python 代码中调用importingestr ingestr.ingest([{id:1,name:Ada},{id:2,name:Grace}],dest_uriduckdb:///tmp/warehouse.duckdb,dest_tablemain.people,)支持 pandas DataFrame、Polars DataFrame、PyArrow Table 等多种数据格式数据通过 Arrow IPC 流高效传输。从 Python 到 Go性能的重构ingestr 最初是用 Python 构建的原型只花了一个周末就做出来了。但随着用户规模的增长和数据集变大Python 版本的性能瓶颈逐渐显现Python 本身在处理大量数据时速度有限。底层依赖的 dlt 在早期版本中性能也不够理想。因此ingestr 团队决定从零开始用 Go 重构目标是打造更快、更可靠、更好用的数据摄入工具。重构后的 v1 版本在性能和可靠性上都有了质的飞跃。支持的生态ingestr 支持极为丰富的数据源和目标数据库PostgreSQL、MySQL、SQL Server、BigQuery、Snowflake、Redshift、DuckDB、ClickHouse、MongoDB、Oracle、SQLite、Trino 等 20 多种。对象存储与文件S3、GCS、本地 CSV、JSONL、Parquet 等。SaaS 平台GitHub、Salesforce、Shopify、Slack、Stripe、Notion、Google Sheets、HubSpot、Zendesk 等数十个平台。消息队列Kafka、Kinesis 等。无论是传统关系型数据库、云数据仓库还是现代 SaaS 应用ingestr 基本都能覆盖。典型使用场景ingestr 可以解决多种数据迁移和集成需求从遗留系统迁移到现代数据库提升分析能力将应用数据库与数据分析平台同步支持批量或增量同步数据库备份确保数据安全快速搭建测试或开发环境轻松克隆现有数据库支持需要实时数据更新的应用场景由于 ingestr 是轻量级的 CLI 工具你可以轻松地把它放进cronjob、GitHub Actions、Airflow或其他调度器中快速获得内置的数据摄入能力。总结ingestr 是一款理念清晰、使用简单、生态丰富的开源数据摄入工具。它用最朴素的方式——一条命令——解决了数据迁移中最常见的问题。如果你正在寻找一个零代码、轻量级、可自动化的数据迁移方案ingestr 值得一试。GitHubhttps://github.com/bruin-data/ingestr文档https://bruin-data.github.io/ingestr/社区Bruin Data Community Slack

相关推荐

小龙虾App下载官网:安卓/iOS最新官方版免费获取
小龙虾App下载官网:安卓/iOS最新官方版免费获取

上周有个做移动端开发的朋友问我:"有没有那种能在手机上跑的AI助手,不依赖云端,数据全放本地?"我当时能想到的方案不多——要么是Ollama之类的本地模型方案,要么就是各种套壳App。后来他在群里丢了一个叫Ope… · 2026/9/21 4:29:43

【C/C++】Jemalloc + Jeprof实战:从编译配置到线上服务内存泄漏追踪
【C/C++】Jemalloc + Jeprof实战:从编译配置到线上服务内存泄漏追踪

1. Jemalloc与内存泄漏排查基础 内存泄漏是C/C开发者最头疼的问题之一,特别是对于长期运行的线上服务。想象一下你的程序就像个漏水的水桶,虽然每次只漏几滴,但时间一长整个房间都会被淹掉。这就是为什么我们需要像Jemalloc这样的内存分配器来… · 2026/9/24 16:23:53

[技术综述] 基于溯源图与知识图谱融合的APT攻击检测:前沿方法与实战挑战
[技术综述] 基于溯源图与知识图谱融合的APT攻击检测:前沿方法与实战挑战

1. 溯源图与知识图谱融合:APT检测的新范式 在网络安全领域,APT(高级持续性威胁)攻击因其隐蔽性和长期潜伏特性,一直是防御方最头疼的问题。传统的基于规则或特征匹配的检测方法,面对APT攻击时往往力不从心。… · 2026/9/22 17:18:14

华为Atlas 300V 24G推理加速卡部署YOLO实战指南
华为Atlas 300V 24G推理加速卡部署YOLO实战指南

1. 先回答热搜:Atlas 300V 24G是不是运算加速卡1.1 从昇腾310P看这张卡的“加速”属性这段时间后台一直有人问两个问题,一个是“atlas 300v 24g 是运算加速卡吗”,一个是“atlas 部署yolo”。这俩问题其实可以合成一篇文章来回答,… · 2026/9/25 8:19:02

Atlas 300V 24G推理卡部署YOLOv8全流程实战指南
Atlas 300V 24G推理卡部署YOLOv8全流程实战指南

去年年底团队接了一个工业质检项目,要在工控机里跑实时的目标检测,核心硬件换成了 Atlas 300V 24G 这张推理卡。当时有不少人私信问我,这卡到底是不是运算加速卡,能不能跑 YOLO,部署起来麻不麻烦。刚好这阵子项目进入稳… · 2026/9/25 8:19:02

PDF图片转Word用什么软件?电脑/网页/手机全覆盖实用攻略
PDF图片转Word用什么软件?电脑/网页/手机全覆盖实用攻略

日常办公、学习中,大家经常遇到一个难题:拿到图片型PDF、扫描件PDF,普通转换根本没用,转完依旧是无法编辑的图片,手动打字费时又费力。这里先科普一个关键知识点:图片类PDF必须依靠OCR文字识别技术&#xf… · 2026/9/25 8:18:56

IT技术岗转网络安全值得吗?成本、路线与就业全景解析
IT技术岗转网络安全值得吗?成本、路线与就业全景解析

我经常在后台收到类似的提问:干了几年IT技术岗,到底要不要转网络安全?说实话,每次看到这种问题,我都能大概猜到提问者的处境——现有工作不算差,但天花板感越来越明显;网络安全听起来热门、有技… · 2026/9/25 8:18:44

Moto 中 Amazon Managed Prometheus(amp)服务的模拟实现与实战指南
Moto 中 Amazon Managed Prometheus(amp)服务的模拟实现与实战指南

Mock测试 【免费下载链接】moto A library that allows you to easily mock out tests based on AWS infrastructure. 项目地址: https://gitcode.com/gh_mirrors/mo/moto 点击查看 免费下载 Amazon Managed Prometheus(AMP,AWS 的托管 Prom… · 2026/9/25 8:18:31

平头哥倚天720/730/750三代CPU规划解读:微架构迭代与ARM服务器落地实践
平头哥倚天720/730/750三代CPU规划解读:微架构迭代与ARM服务器落地实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 8:18:31

数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)
数值优化(Numerical Optimization)学习系列-03-共轭梯度方法(Conjugate Gradient)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战
创维E900V22D刷机全攻略:S905L3SB芯片兼容性解析与救砖实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:31

MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX
MQTT协议原理与Broker服务器搭建实战:从Mosquitto到EMQX

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/25 1:00:37

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码