首页/新闻资讯/正文详情

dolphindb 分布式表

发布时间:2026/9/23 15:36:10 来源:云帆数科 栏目:资讯中心
dolphindb 分布式表
DolphinDB 分布式表是存储在分布式文件系统DFS中、数据按分区策略分散在多节点磁盘上的持久化表支持 PB 级海量数据存储与自动并行计算 。‌‌核心定义与特点‌存储机制‌数据落盘持久化分布在不同数据节点的磁盘上通过dfs://路径标识逻辑上统一访问物理上分片存储。‌关键优势‌水平扩展至 PB 级容量、多副本高可用、查询自动触发 MapReduce 并行计算、支持事务 ACID 特性v1.30.6。‌适用场景‌海量时序数据如 IoT、金融行情、需长期持久化且单节点内存无法承载的大规模数据分析。‌‌创建与管理流程‌创建分布式数据库‌使用database()函数指定dfs://路径及分区方案RANGE/VALUE/HASH/COMPO。db database(dfs://my_db, COMPO, [RANGE, 2024.01.01..2024.12.31, HASH, [INT, 10]])‌定义表结构并建表‌基于内存表 Schema 调用createPartitionedTable分区表或createDimensionTable维度表。schema table(1:0, tsdevice_idvalue, [TIMESTAMP, SYMBOL, DOUBLE]) pt db.createPartitionedTable(schema, sensor_data, tsdevice_id)‌数据写入‌通过append!批量追加、流表订阅subscribeTable或loadTextEx导入文件。pt.append!(dataTable) // 或流式写入subscribeTable(..., handlertableInsert{loadTable(dfs://my_db, sensor_data)})‌查询访问‌使用loadTable加载元数据后直接执行 SQL系统自动进行分区裁剪与分布式计算。t loadTable(dfs://my_db, sensor_data) select avg(value) from t where ts 2024.01.01 group by device_id ‌‌:ml-citation{ref1,8 appearanceaggregated datacitationList}关键设计原则‌分区策略‌推荐复合分区COMPO通常第一层按时间VALUE/RANGE便于裁剪第二层按业务键HASH均衡负载单分区数据量建议控制在 1-10GB。‌查询优化‌必须携带分区列条件如时间范围以触发‌分区裁剪‌避免全表扫描列式存储下仅查询必要列。‌更新支持‌支持update、sqlUpdate及upsert!操作基于 MVCC 实现快照隔离但需注意 TSDB 引擎更新时的内存消耗 。‌‌与内存表区别特性内存表分布式表‌存储位置‌单节点内存多节点磁盘 (DFS)‌数据持久性‌重启丢失自动持久化‌容量限制‌受内存大小限制PB 级扩展‌计算模式‌单机串行/并行自动分布式 MapReduce‌主要用途‌实时计算、中间结果海量历史数据存储与分析

相关推荐

计算机毕业设计之旅游网站设计与实现
计算机毕业设计之旅游网站设计与实现

随着当今社会的发展,时代的进步,各行各业也在发生着变化,本系统旅游网站这一方面,利用网站旅游已经逐步进入人们的生活。传统的景点信息管理,网络以及计算机为解决当前的问题提供了新的方向新的可能。首先用户可以根据… · 2026/9/23 15:33:36

百度网盘下载速度提升终极指南:3步告别龟速下载
百度网盘下载速度提升终极指南:3步告别龟速下载

百度网盘下载速度提升终极指南:3步告别龟速下载 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 还在为百度网盘的慢速下载而烦恼吗?baidu-wangpan-pars… · 2026/7/27 13:27:50

计算机毕业设计之老年人微信购物小程序
计算机毕业设计之老年人微信购物小程序

近年来,科技飞速发展,在经济全球化的背景之下,互联网技术将进一步提高社会综合发展的效率和速度,互联网技术也会涉及到各个领域,而老年人微信购物小程序在网络背景下有着无法忽视的作用。微信小程序的开发是一个不断优… · 2026/9/17 9:15:27

wp-calypso Upload Drop Zone 组件实战:基于 DropZone 与 FilePicker 的 ZIP 文件上传区域
wp-calypso Upload Drop Zone 组件实战:基于 DropZone 与 FilePicker 的 ZIP 文件上传区域

wp-calypso Upload Drop Zone 组件实战:基于 DropZone 与 FilePicker 的 ZIP 文件上传区域 【免费下载链接】wp-calypso The JavaScript and API powered WordPress.com 项目地址: https://gitcode.com/gh_mirrors/wp/wp-calypso Upload Drop Zone 是 wp-cal… · 2026/9/23 15:36:07

DeepSeek私有化部署实战:中小制造企业AI质检系统从0到1搭建指南
DeepSeek私有化部署实战:中小制造企业AI质检系统从0到1搭建指南

简介:这份PDF文档面向中小制造企业的技术负责人、AI工程师与数字化转型实践者,围绕如何将DeepSeek私有化部署并落地为AI质检系统展开,从环境准备、数据收集与预处理、模型选型与微调,到系统架构设计、开发集成、测试优化及现场部署… · 2026/9/23 15:36:01

程序员健康管理:从颈椎保护到科学作息全方案
程序员健康管理:从颈椎保护到科学作息全方案

1. 项目概述这个标题直指一个当下普遍存在却常被忽视的问题——高强度计算机从业者的健康危机。作为一名经历过连续72小时加班、最终因急性胃炎住院的程序员,我深知这个群体面临的健康挑战有多严峻。张雪峰事件不是个案,而是整个行业的缩影:我… · 2026/9/23 15:36:01

搞定7m视频分类只需3步:保姆级教程解决配置卡死难题
搞定7m视频分类只需3步:保姆级教程解决配置卡死难题

搞定7m视频分类只需3步:保姆级教程解决配置卡死难题 还在为配置环境就卡半天而头疼?别急,这篇保姆级教程专治各种疑难杂症。 概念速懂:视频分类不是乱分… · 2026/9/23 15:36:01

PEPO:多模态思维链优化的轻量协同范式
PEPO:多模态思维链优化的轻量协同范式

1. PEPO不是新模型,而是一套可插拔的协同优化范式很多人第一次看到“PEPO框架”这个词,下意识会以为又出了个类似LLaVA、Qwen-VL的新多模态大模型——其实完全不是。PEPO(Policy-Enhanced Prompt Optimization)本质上是一套运行时… · 2026/9/23 15:36:00

居家小酌选酒指南:温润不燥的微醺体验
居家小酌选酒指南:温润不燥的微醺体验

1. 居家小酌的现代生活场景深夜加班回到家,卸下一身疲惫后倒上半杯威士忌;周末午后阳光正好,开瓶白葡萄酒配上一本书;冬日寒夜里温一壶黄酒暖身助眠...这些场景正成为都市人品质生活的标配。但你是否遇到过这样的困扰:… · 2026/9/23 15:35:54

3招搞定手机怎么下载微信面试难题实战项目解析
3招搞定手机怎么下载微信面试难题实战项目解析

3招搞定手机怎么下载微信面试难题实战项目解析 面试被问“手机怎么下载微信”背后的原理,90%的人答不上来。别笑,这看似弱智的问题,实则是考察你对移动应用分发机制、安全校验及网络协议理解的试金石。我带过不少校招新人,他们背了八股文,却连一个A… · 2026/9/23 0:00:03

你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型
你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型

你有新短消息请注意查收:3个新手避坑指南搞定消息系统选型 面试被问“高并发下如何保证消息不丢失”,你张口就是“用Redis”,结果面试官追问“如果Redis宕机了怎么办”,你瞬间卡壳。这种场景太常见了,很多新手在背八股文时,只记住了技术名词… · 2026/9/23 0:00:29

Win7无线热点配置工具源码解析:解决API失效的3个实战技巧
Win7无线热点配置工具源码解析:解决API失效的3个实战技巧

Win7无线热点配置工具源码解析:解决API失效的3个实战技巧 Win7无线热点配置工具在Win10/11上跑不动?不是你的问题,是版本升级后 API 全变了。很多老项目里的 netsh wlan… · 2026/9/23 0:00:36

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码