1. 主数据管理1.1. 存储数据只是解决问题的一部分1.2. 主数据管理(MDM)可以理解为一套技术、工具和流程使用户能够创建和维护一致且准确的主数据列表1.3. 涉及从内部和外部数据源及应用程序中为业务中的每个人、地点或事物创建单一的主记录1.4. 可以使用这些主记录来构建更准确的报告、仪表盘、查询和机器学习模型1.5. 大多数MDM产品都有非常成熟的工具来清理、转换、合并和验证数据以执行数据标准1.6. 允许构建层次结构可以使用这些层次结构来改进报告和仪表盘1.7. 将要管理的数据复制到MDM产品中1.8. MDM会清理和标准化数据并为潜在被管理的每个实体比如客户创建一个主记录1.8.1. 会自动删除大多数重复项但有些工作将不得不手动完成需要有人审查可能重复的记录1.9. 主记录会被复制回数据湖或数据仓库1.9.1. 此主记录也被称为“金源”或“可信事实的最佳版本”1.10. 如果正在创建星型模式经过主数据管理的记录将成为维度表然后与未经主数据管理的事实表连接1.11. 主数据管理是一种重要方法专注于管理核心业务实体以确保跨多个系统和流程的数据准确性、统一性和一致性2. 数据虚拟化和数据联邦2.1. 数据虚拟化又称为逻辑数据仓库、虚拟数据仓库或去中心化数据库2.2. 一种允许通过创建数据的逻辑视图来访问和组合来自各种来源和格式的数据而无须复制或移动实际数据的技术2.3. 提供了所有数据的单一访问点支持实时数据合并并减少了传统数据合并方法所需的时间和成本2.4. 数据联邦和数据虚拟化是非常相似的术语经常可以互换使用如果混淆它们也不太可能出错2.4.1. 两者之间存在着细微的差异。数据联邦涉及一个由较小的、完全或部分自治的子组织组成的伞状组织这些子组织控制其全部或部分操作2.5. 与数据虚拟化一样数据联邦创建了来自多个数据源的统一数据视图2.6. 数据虚拟化是一个更宽泛的概念包括数据联邦以及数据转换、缓存、安全性和治理2.7. 更好的数据虚拟化工具提供了有助于提高性能的功能2.8. 数据虚拟化可以取代数据仓库或ETL/数据移动2.9. 数据虚拟化作为数据仓库的替代方案2.9.1. 采用数据虚拟化方案不需要将数据复制并存储在一个中心位置2.9.2. 数据虚拟化解决方案的主要优势在于它能快速推向市场2.9.3. 构建时间比构建数据仓库要短得多因为不需要设计和构建数据仓库以及ETL来复制数据也不需要花费大量时间进行测试2.9.4. 复制数据如数据仓库的做法意味着更高的存储和管理成本、需要构建和维护更多ETL流程以及更多的数据不一致性问题因此使用虚拟化可以节约大量成本2.9.5. 数据虚拟化支持联合查询(federated queries)可以发出单个查询来从多个数据源和多种格式数据中检索数据并将结果合并成一个单一的结果集2.10. 虚拟化作为ETL或数据移动的替代方案2.10.1. 如果计划对数据进行聚合或转换然后多次查询结果或者如果经常需要连接来自多个来源的数据集并需要高性能那么移动数据是好的选择2.10.2. 数据虚拟化提供了全面的数据沿袭确保可以清楚地了解数据从源到表现层的路径2.10.3. 可以无缝包含额外的数据源不需要修改转换包或暂存表2.10.4. 数据虚拟化软件通过统一的SQL接口呈现所有数据2.11. 可能选择数据虚拟化的原因2.11.1. 存在数据移动的法规限制2.11.1.1. 中国数据主权法规规定位于中国的数据必须留在中国只能由当前位于中国的人查询2.11.2. 公司外部的终端用户希望访问客户数据2.11.2.1. 与其向公司外部的终端用户发送数据副本不如让他们使用虚拟化软件来查询数据2.11.2.2. 数据管理员能够控制谁访问哪些数据并了解他们访问了多少数据2.11.3. 数据仓库之外的数据库中存在频繁更改的参考数据2.11.3.1. 与其一次又一次地将这些数据复制到数据仓库中不如使用虚拟化在查询外部数据库的数据时与数据仓库数据联接2.11.4. 如果想要查询来自不同数据存储的数据并将其合并在一起2.11.4.1. 虚拟化软件通常支持许多数据源数据虚拟化可以处理这种情况2.11.5. 希望用户通过虚拟沙盒进行自助分析2.11.5.1. 虚拟沙盒是一个安全且隔离的环境用户可以在其中探索、分析和操作数据而不会影响底层的生产数据或系统2.11.6. 想快速构建一个解决方案来迁移源数据2.11.6.1. 与使用传统ETL工具将源数据复制到中央位置然后从中创建报告不同可以直接使用虚拟化软件创建报告2.11.6.2. 虚拟化软件将针对源数据运行查询并自动完成集中化处理2.11.6.3. 这意味着可以更快地构建解决方案因为*不必使用ETL工具3. 数据目录3.1. 数据目录是一个集中化的存储库通常托管在云中用于存储和组织有关企业的所有数据源、表、模式、列和其他数据资产的元数据3.2. 作为用户发现、理解和管理数据的单一事实来源这些数据可能位于应用数据库、数据湖、关系数据仓库、运营数据存储、数据集市以及其他任何形式的数据存储中3.3. 包含3.3.1. 关于数据源的信息3.3.2. 如果位于关系数据库(RDW)内则包含表和模式信息以及列信息3.3.3. 如果在诸如数据湖等对象存储中则包含文件属性存储位置、文件夹名称、文件名3.3.4. 数据沿袭数据是如何从其源头传递过来的包括数据经历的任何转换、聚合和合并的信息3.3.5. 数据治理和合规性细节例如数据质量、所有权和政策3.3.6. 搜索和发现工具供用户搜索、过滤和查找相关数据3.4. 数据目录通过提供对数据环境的可见性来帮助更有效地管理数据3.4.1. 反过来又促进了团队之间更好的协作和更明智的决策3.5. 还有助于确保数据质量、安全性和合规性因为它可以更轻松地跟踪数据沿袭、执行数据政策并保持对数据资产的清晰理解3.6. 包括Informatica的企业数据目录(EnterpriseData Catalog)、Collibra数据目录和微软的Purview4. 数据市场4.1. 数据市场有时也称为数据交换平台是一个在线平台数据提供商和数据消费者在此买卖和交换数据集4.2. 旨在帮助数据消费者如企业、研究人员和开发人员发现、评估和购买用于分析、机器学习、商业智能和决策制定等目的的数据4.3. 提供商通常包括收集或生成有价值数据集的组织、政府和个人4.4. 数据市场通常包括一个数据目录4.5. 数据市场应该具备健全的安全措施以保护用户数据、确保遵守数据保护法规并维护敏感信息的机密性4.6. 数据市场其他常见的功能和工具包括4.6.1. 数据集的评分和评价4.6.2. 推荐其他可能喜欢的数据集4.6.3. 购买者个人资料方便重新订购、收藏列表等4.6.4. 协作和社区4.6.5. 培训和支持4.7. 从数据提供者的角度来看数据市场为他们提供了一种将数据资产货币化、创造新的收入来源的方式4.8. 对于那些收集了大量数据但缺乏分析和变现能力的组织来说这可能特别有利4.9. 随着对数据驱动见解的需求与日俱增以及越来越多样化的数据集数据市场的受欢迎程度也在不断提高
企业数字化 ERP 产品动态
相关推荐
哈希与加密的本质区别：不可逆摘要 vs 可逆保密 1. 别再把哈希和加密混为一谈：一个被踩烂却没人讲透的底层认知陷阱我见过太多人，在写用户密码存储逻辑时，随手hashlib.sha256(password.encode()).hexdigest()一扔，就以为万事大吉；也见过在传输敏感配置时，… · 2026/9/26 9:41:46
基于LoRa1276-C1-915的无线应急灯：SX1276通信、状态监测与低功耗设计实战 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 9:41:46
RK3576 I3C配置实战：从I2C切换到I3C的DTS调试与踩坑复盘 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 9:41:46
Linux PCI驱动框架解析：从设备匹配到probe/remove的完整生命周期 1. 为什么搞驱动要先啃PCI这块硬骨头做Linux驱动开发的朋友早晚会撞上PCI。不管你是写网卡驱动、显卡驱动、NVMe硬盘驱动，还是各类采集卡、加速卡、FPGA板卡的驱动，底层几乎都是PCI或PCIe接口。说白了，PCI就是CPU与外部高速设备之间最通用的一… · 2026/9/26 10:25:36
用 Claude Code 斜杠命令模板系统，把重复工作变成一条命令 用 Claude Code 写代码大半年，我最大的体会是：它强是强，但如果你每次都靠临时对话让它干活，你会发现自己像在伺候一个"记性差又话多"的同事。直到我把常用任务都沉淀成一套 claude-code-templates，把重复工作… · 2026/9/26 10:25:36
Cortex 自定义域名配置指南：使用 AWS Route 53 为你的 API 绑定专属子域名 后端云原生模型推理服务MLOps人工智能 【免费下载链接】cortex Production infrastructure for machine learning at scale 项目地址： https://gitcode.com/gh_mirrors/co/cortex 点击查看 免费下载 本指南面向部署了 Cortex 机器学习生产集群的用户，完… · 2026/9/26 10:25:36
Windows原生Socket服务器搭建指南 Windows原生服务器教程
在Windows环境下，搭建原生服务器通常涉及使用系统自带的工具或API进行网络服务开发。以下是几种常见的方法和步骤。 1. 使用原生Socket API搭建服务器
Windows提供了Berkeley Socket API，可用于创建网络服务器。以下是一个简单的… · 2026/9/26 10:25:18
Uber Go 编码规范实战：避免参数语义不明确（Avoid Naked Parameters） 文档 【免费下载链接】uber_go_guide_cn Uber Go 语言编码规范中文版. The Uber Go Style Guide . 项目地址： https://gitcode.com/gh_mirrors/ub/uber_go_guide_cn 点击查看 免费下载 本篇指南脱胎于本仓库 src/param-naked.md，属于 Uber Go 编码规范… · 2026/9/26 10:25:18
数据库课后习题答案别硬背：当测试用例集刷，效率翻倍 简介：万常选版《数据库原理与设计》课后习题答案资源，覆盖第2至6章及第9章，适合正在学习关系模型、数据库建模、关系数据理论与模式求精的本科生、自学者作为复习与自测材料。压缩包共7个文件，含3个doc参考答案、2个sql示例脚本、… · 2026/9/26 0:00:21
OpenClaw 替代品？Hermes Agent 踩坑实录：macOS 飞书接入 TaoToken 配置 /* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/26 0:00:40
向下兼容与向上兼容：接口设计中的兼容性策略与工程实践 一次版本升级事故，是很多团队绕不过去的坎。线上环境里，服务端明明已经上线了新版接口，老的移动端还在照着旧文档传参数。请求一到网关，校验直接拒绝，用户操作失败，客服群炸了锅，开发群里开始互… · 2026/9/26 0:00:46
