从冰山模型到数由空间：数据要素化流通基础设施解读

简介《数据要素化新阶段的数据基础设施白皮书》面向数据要素、数据流通与数据基础设施领域的研究者、政策制定者及企业实践者系统梳理国家数据基础设施的理论、政策与实践路径。内容围绕数据要素化新阶段的新要素、新空间、新设施、新产业与新要求展开重点讨论“数由空间”“数由器架构”、隐私计算、区块链、数据空间等技术如何支撑大规模高通量流通与全流程动态安全并给出城市、行业、企业及跨境数据基础设施的实践参考。资源包共1个PDF文件约3.06MB便于直接查阅与引用。目前已有44人学习下载。读者可从中获得国家数据基础设施总体框架、数据可信流通利用架构、流通数据冰山模型、公域数据耗尽等判断以及面向“数据自由”的愿景与技术路径适合用于政策研究、方案设计与项目论证时对照参考。1. 数据要素化新阶段一份白皮书把数据自由摆上桌面2024年11月一份名为《数据要素化新阶段的数据基础设施白皮书》的研究成果对外发布由某高校数据要素研究实验室与某数据安全企业牵头、联合多家机构共同编写。它在业内传开的原因很朴素把数据自由这个偏愿景的词第一次拆成了工程师能对着看的组件——流通数据的冰山模型、数据冷链的技术对位、数由空间的三层架构。数据要素化推进到今天争论重心已经从要不要流通挪到怎么在流动中保证安全这份白皮书正站在这个转折点上说话。2. 冰山之下市场流通数据只占两成这个比例改写了什么2.1 一张冰山图里的二八分账白皮书给出的第一组事实是把互联网上的数据按可流通性切开。全部数据中可流通的部分大约占两成不可流通的部分约占八成。这两成里还有一层折扣真正能在万维网上被搜索引擎抓取到的公共网站数据只占可流通数据的4%左右剩下96%的可流通数据并不在公开网页上。而占大头的不可流通数据里深网中90%以上是私域数据暗网中约6%是非法数据。数据分层占比典型内容现阶段可获取性可流通数据约20%公开网页、开放数据集高但仅4%在万维网深网数据不可流通部分的主体邮件账户、政务资源、医疗与学术数据需授权90%以上为私域暗网数据不可流通部分的小头非法交易信息约占6%不可用且违法这张表最值得琢磨的不是数字本身而是它揭示的结构错位过去十几年数据产业的主战场恰好是那20%里最容易拿到的一小块。做采集的爬公开网页做交易的上架开放数据集做标签体系的围绕公开语料设计。而企业真正压箱底的东西——生产线的工艺参数、医院的影像与随访、金融机构的客户行为序列——几乎全部躺在那80%里从未进入过流通环节。从行业角度看这意味着数据要素化要解决的核心矛盾不是把已有流通做得更快而是把从未流通的部分安全地放出来。白皮书把这一点摆在第二章开篇其实是在给整份文档定调后面所有的技术组件、架构设计、场景实践服务对象都是那80%。如果读者只记住一个数字记住20%比记住任何架构图都更有用因为它直接决定了预算该往哪投。2.2 2028年这个时间点是怎么推出来的第二个事实与供给侧的枯竭有关。白皮书判断大模型等人工智能技术对数据的需求量极大预计到2028年公域数据资源面临耗尽。支撑这个判断的一个细节是某国际公司的数据交易平台因隐私风险下线了多个开源数据集而这些数据此前被用于大模型训练。这条信息的分量在于它同时指向两个方向。一方面是量的收缩——高质量公域语料的池子见底靠再抓一遍互联网来提升模型能力的路径正在失效另一方面是合规的收紧——即便数据已经公开一旦涉及个人信息平台方也会选择下架而不是继续供给。两头夹击之下公域数据的边际获取成本不是缓慢上升而是阶梯式跳涨。对做模型训练的团队来说这是可以立刻感知的同一批语料的清洗成本在涨可用的增量在减数据配比的调优空间越来越窄。对做数据服务生意的团队来说这是生意模型的切换点——靠搬公域数据赚差价的模式天花板已经看得见能不能拿到授权明确的私域数据才是下一轮的入场券。白皮书把2028写进正文本质上是在给行业一个倒计时的锚点留给只做公域的窗口大概还有三四年。2.3 生产方式的两个转向从爬取到生成从公域到私域围绕这个倒计时白皮书描述了数据生产方式的两次拓展这也是全书里最接近方法论的部分。第一个方向是向广度拓展即从互联网爬取数据转向物联网自动生成数据。可穿戴设备、智能家电、道路监控、工业互联网感应装置持续产出非结构化数据已经成为当前数据来源的主流。白皮书顺手给了两个规模数字全国移动电话用户总数超过17亿户重点工业企业关键工序数控化率超过62%。这两个数字说明的不是设备多而是数据产生的节奏变了——从人去抓变成机器自己吐从批量、周期性变成连续、实时。第二个方向是向深度拓展即从公域数据转向私域数据。原先因为涉及国家秘密、企业秘密、个人隐私而被封存的海量数据正在成为人工智能高价值数据集的重要来源。这里的难点不在有没有而在敢不敢用和用了怎么证明合规。白皮书对此的回应是把可信安全流通技术抬到主流技术的位置数据空间、隐私计算、区块链、数联网。两个转向叠加对数据基础设施提出了很具体的要求。广度转向要求接入层能扛住高并发、多协议、异构格式的持续写入深度转向要求流通层能在不出域的前提下完成计算。这两件事在传统的数据中台架构里是分开做的一个偏ETL一个偏安全网关中间靠人肉流程衔接。白皮书的潜台词是这种拼接方式撑不住下一阶段的数据量级。2.4 落到从业者头上数据源清单要重写把这些事实翻译成行动最先要改的是数据源清单。过去写清单的逻辑是哪些数据公开可得现在要改成哪些数据授权可得、以什么方式可得、得完之后能不能证明合规。这三问对应三种能力授权谈判能力、可信流通技术选型能力、存证与审计能力。第二件要改的是标注与合成的预算结构。白皮书明确指出专业化的数据标注与合成技术是海量非结构化数据变成高质量数据集的关键核心技术。这句话在工程上的含义是非结构化数据的价值不取决于采集量而取决于加工深度。同样一段监控视频只做切片存储是负债做了目标检测标注和场景合成才是资产。很多团队在这上面的血泪经验是采集预算花完了标注预算没留最后数据躺在对象存储里既占成本又不产出。第三件容易被忽略的是数据资产的登记与地图化。白皮书在架构章节里把数据资产登记数据资产地图作为基础能力平台的组成部分这不是为了好看。当数据从部门自用变成跨主体流通第一道坎就是我有什么、在哪、谁能用。没有这张地图后续的撮合、定价、审计全部无从谈起。踩过坑的团队通常会发现真正拖慢项目进度的不是隐私计算跑得慢而是找不到那份数据到底在哪个业务系统的哪张表里。3. 数据冷链车厘子自由怎么翻译成数据自由3.1 冷链三段与数据流通三段的对位白皮书用了整整一章做类比把数据可信流通比作物流冷链。这个类比之所以成立是因为两者面对的是同一个问题易腐的东西要跨越长距离途中还要保持品质。冷链环节作用对应的数据流通组件冷库恒温恒湿存储基础中的基础数据沙箱隔离环境内计算冷藏车运输途中维持条件解决最后一公里隐私计算密态传输与计算保温盒便携交付末端保鲜使用控制策略随数据流转、实时判定冷链保鲜真空预冷、气调、辐照、臭氧脱敏、加密、数字身份等安全保障这张对照表的价值不在于比喻巧妙而在于它提示了一条判断标准评价一套数据流通方案要看它是否同时具备存得住、运得走、末端不失效三段能力。市面上不少方案只做了中间一段——隐私计算平台搭起来了但前端的沙箱环境没有后端的交付策略没有结果数据能算不能用算完的结果无法合规地交到需求方手里。使用控制是这张表里最容易被低估的一环。它的机制是预先设置数据使用条件形成控制策略依托策略实时监测使用过程动态决定数据操作的许可或拒绝。下面这段策略示意可以说明它到底在控制什么# 使用控制策略示意策略随数据一起流转由执行点实时判定 policy_id: uc-demo-001 subject: # 谁可以用 role: analyst org_verified: true # 必须已通过接入认证 object: dataset: sample-dataset-v3 sensitivity: L3 # 分级结果来自分类分级环节 purpose: model_training # 用途限定超出即拒绝 constraints: max_uses: 3 # 使用次数上限 expires_at: 2025-06-30 # 到期自动失效 environment: sandbox # 仅允许在沙箱内执行 output_policy: no_raw_rows # 输出只允许模型参数不允许原始行 audit: record_to: trusted_ledger # 全流程存证供审计与仲裁字段的逻辑顺序是主体—客体—用途—约束—审计。subject 段解决你是谁、有没有通过认证object 段把数据分级结果直接写进策略purpose 段做用途绑定constraints 段是真正干活的部分——次数、时效、环境、输出形态四类约束合起来才构成数据可用不可拿走。最后一个 audit 段决定这套策略事后能不能被验证缺了它纠纷出现时就没有后悔药可吃。实际部署时最容易翻车的地方在 output_policy约束太松原始行可能被带出约束太紧模型训练拿不到任何有效梯度。这一项通常需要按场景单独调没有通用解。3.2 100倍资源消耗效率差才是卡脖子的地方如果说冰山模型讲的是为什么必须流通那么这一组数字讲的是为什么现在流通不起来。白皮书给出的对比很直接当前采用隐私计算方式传输和计算密文数据资源消耗是明文传输的100倍传输和计算效率不及明文传输的十分之一。这组数字需要拆开看。100倍的成本意味着同样一笔预算明文环境能跑一百次的作业密态环境只能跑一次。十分之一的效率意味着原本分钟级的任务变成小时级原本可以近实时响应的场景直接出局。把两者叠加结论是密态计算目前只适合高价值、低频次、非实时的场景——比如联合建模、跨机构风控评分、医学影像联合训练而不适合支撑实时风控、实时推荐这类高频业务。正因为如此白皮书给出的三步走目标才显得务实争取用三年左右时间把数据安全流通利用技术的资源消耗降到明文传输计算的三倍左右传输计算效率达到明文传输计算的五分之一。从100倍到3倍从1/10到1/5这两个目标都是数量级上的改善但离等价于明文仍有明显差距。换句话说即使三年目标全部达成密态流通依然是贵一点、慢一点的路径它的定位仍然是为高价值数据服务而不是全面替代明文流通。对技术选型的启示是不要把密态计算当成默认选项。一个数据流通方案里应该先判断数据的分级L1、L2 级别的数据走常规加密传输即可只有到了 L3 以上、涉及敏感个人信息或核心商业秘密的才进入隐私计算通道。把所有数据都塞进密态通道成本会先崩效率随后崩最后项目在预算评审阶段就被砍掉这是很典型的翻车路径。3.3 从静态安全到动态安全安全单元为什么一直是外挂的白皮书对现状的诊断里最有穿透力的一段是关于计算架构的。现代计算产业架构由五部分组成——控制器、运算器、存储器、输入设备、输出设备近八十年里形态从大型机一路演进到云平台和智能汽车但这五部分的构成没有变。问题就在这儿这套架构里没有安全单元。安全功能都是外挂的。由此造成的结果是计算与安全在技术、产品、产业、管理上全方位脱节一边是操作系统、计算芯片、存储芯片的产业另一边是认证、隔离、密码的产业两条线各自演进接口靠标准勉强对齐。反映到数据流通上就是安全措施总是事后加装——先把数据汇聚起来再在外面套一层加密和权限先把链路建起来再在链路上加一层隧道。这种外挂式安全在静态场景下够用因为数据不动防护点固定。但到了大规模、高通量、快速率的流动态外挂层就成了瓶颈每加一层延迟就多一段每多一个跨域环节就要重新协商一次策略。白皮书因此把新阶段的要求概括为从静态安全到动态全过程安全——不是数据停下来才安全而是在流动过程中持续安全。这个转变对架构设计的影响是结构性的。静态安全时代安全是边界上的一个设备动态安全时代安全要下沉到数据流转的每一个环节包括采集端、汇聚端、加工端、交付端。白皮书在架构章节里把动态安全防护作为数由空间的一个独立层与接入点、能力平台并列原因也在这里安全不再是某个模块的属性而是贯穿三层的横切能力。3.4 基础设施化成本曲线怎么降下来冷链的类比还有后半段。白皮书回顾了过去五六年车厘子自由是怎么实现的一方面支持冷链技术持续突破另一方面促进冷链技术快速基础设施化。技术创新和应用普及相向而行结果是原本成本居高不下、仅供高端食品运输的冷链成本大幅下降适用于几乎所有食品运输高端水果随之平民化。这里的因果链条值得抄下来技术突破带来可用性基础设施化带来成本下降成本下降带来普及普及反过来摊薄基础设施成本。数据流通要走的是同一条路。当前阶段相当于冷链的早期——技术能用但只有少数高价值场景用得起。要走到普及阶段中间必须经过基础设施化这一跳也就是把隐私计算、区块链、数据空间这些技术从项目制的定制交付变成标准化的、可复用的、按需取用的公共能力。判断一个地区或行业的数据流通是否真的进入了基础设施化阶段有个简单的检验方法看新建一个数据流通场景需要多久。如果每次都要重新搭环境、重新谈接口、重新做安全评估那就是项目制如果接入方只需要部署一个标准接入终端、挂上统一目录、走一遍认证就能开始那才算基础设施。白皮书给出的答案是把接入做成数由器这样的标准化终端思路与冷链把冷藏车做成标准装备是一致的。4. 数由空间拆解三层架构与四类场景的落地差异4.1 数由器把可信接入做成一个标准化终端在白皮书的架构里数由空间由数由器、基础能力平台、管理服务平台三层构成再辅以动态安全防护和统一服务对接。其中最具体、最可落地的就是数由器。它的定位是数据基础设施的接入终端负责把来自多方的数据源安全、稳定地接入整个空间同时承担数据场景发现和供需撮合。功能上以数据资产地图、数据交易、数据交付为核心技术栈上分三类以零信任、可信根为核心的身份认证与访问控制以数据脱敏、分类分级、API网关为核心的数据安全以隐私计算、差分隐私为核心的数据安全流通再往外是以数据合规数字证书、区块链为核心的审计监管。这个分层方式透露了一个设计取舍把接入这件事标准化是解决流通链路成本高的关键。白皮书在问题描述里点得很准——当前很多企业面临的是一次交易一次建链路每次交易都要重新协商接口、重新做安全评估、重新签协议效率极低且成本高。数由器的思路是把这些重复动作固化到终端里链路一次建好、多次复用。另外值得注意的是数由器与外部权威设施的对接区块链、数据合规流通数字证书、数据交易所。这意味着接入终端的输出不只是数据本身还包括一份可验证的流通过程记录。对用数方来说这份记录是合规证明对数源方来说它是免责依据。在跨主体流通里这类记录的价值往往高于技术本身因为纠纷发生时法庭和监管看的是证据链不是架构图。4.2 基础能力平台六类组件怎么分工第二层是基础能力平台作用是为整个空间提供技术支撑和共性能力。白皮书把它拆成可信管控、资源互通、共性服务三组加上贯穿全流程的数据安全保障。可信管控组包含三件使用控制通过预设条件形成策略并实时监测隐私计算含多方安全计算、联邦学习、可信执行环境、密态计算等方案数据沙箱提供应用层隔离环境供需求方在受控区域内分析处理。资源互通组同样三件数据标识为数据资源分配唯一标识符实现全生命周期可追溯语义发现自动分析数据深层含义及关联性做跨来源智能索引元数据智能识别把元数据从一种格式转换为另一种格式。共性服务组则是接入认证、可信存证、资源目录。这个三分法的实用价值在于它对应了数据流通的三个失败点。第一是不敢给对应可信管控第二是找不到对应资源互通第三是重复建对应共性服务。很多平台项目失败不是因为技术不行而是三组能力只做了一组——最常见的是只做了可信管控把隐私计算平台搭得很完整但既没有资源目录也没有标识体系结果数据在平台里躺着需求方根本不知道有什么可申请。共性服务里的资源目录还藏着一个设计细节白皮书强调它按照统一接口标准建设提供数据、服务等资源的发布与发现能力可同时被多个可信数据空间使用。这句话的意思是目录不是每个空间各建一份而是可以共享的。这直接决定了跨空间互认能不能实现——如果每个城市、每个行业各建一套目录互通时就要做N次映射成本随空间数量平方增长。4.3 四类角色与权责边界可信数据空间里定义了四类参与角色各自的权责边界清晰与否直接决定了运营能不能持续。角色主要权责常见问题数据提供方决定访问、共享、使用权限按约定分享收益授权范围写得过宽或过窄数据使用方按协议加工使用数据资源与产品服务超用途使用输出未做约束数据服务方提供开发应用、供需撮合、托管运营与提供方、运营方责任划分模糊监管方指导、监督、规范空间内各项活动介入时点滞后缺乏过程数据四类角色里最容易被含糊处理的是数据服务方。它既不是数据的所有者也不是最终使用者做的是开发和撮合。一旦出现数据泄露或超范围使用责任怎么分白皮书把它的职责写清楚但实际运营中通常还要靠合同细则补齐。从行业实践看凡是把服务方的责任条款写得笼统的空间后期纠纷率都偏高。监管方的定位也值得注意。白皮书把它列为空间的参与角色之一而不是外部监管者这意味着监管需要拿到过程数据——这正是可信存证和全流程审计存在的意义。如果存证体系只记录谁访问了不记录访问后做了什么监管介入时依然拿不到有效信息。4.4 城市、行业、企业、跨境四类场景的差异白皮书在实践章节给了四类落地场景这是整份文档里最接近案例的部分。城市数据基础设施面对的是多源异构、跨部门协调的问题典型场景是交通优化——把路网流量、信号配时、公共交通刷卡、网约车轨迹放在一起做调度。这类场景的特点是数据量大、实时性要求高、参与方多难点在协调而非技术。金融行业的场景更强调联合风控与联合建模参与方是银行、保险、征信机构数据敏感度高但参与方数量可控适合用隐私计算做点对点联合建模。医疗行业的场景围绕医学模型落地影像数据不出院是硬约束联邦学习是主要路径难点在标注质量与样本异质性。跨境场景的核心矛盾是规则差异技术方案要能适配不同法域的合规要求白皮书把这一块放在最后也说明它的成熟度相对最低。四类场景的共同点是都需要接入点能力平台存证这三件套差异在于合规约束的强度和参与方的数量。做方案选型时先判断自己落在哪一类再决定技术组合比直接照搬架构图更靠谱。5. 四处易误读读快了容易踩的坑5.1 误读一把数据自由理解成数据无限制流动误判点看到数据自由这个词第一反应是数据应该像水一样自由流动谁都能取用。为什么容易这么理解类比的力量太强。车厘子自由是消费者想买就买容易让人顺推成数据想用就用。加上流通共享开放这些词在政策文本里高频出现读快了就会跳过前面的限定条件。真实含义是什么白皮书在讲数据自由之前先讲了数据冷链——冷链的作用不是让商品随便放而是让易腐品在受控条件下安全抵达。数据自由的前提是可信安全流通技术的支撑自由的对象是涉敏涉密、不宜直接在互联网上流通的数据方式是可信安全地、低成本地、大规模快速率高通量地流通。三个限定词缺一不可。怎么看把自由换成可达更准确。目标不是取消管控而是把管控从不许动升级为可以动、动得清楚、动完可查。判断一个方案是否符合这个方向看它有没有全流程存证和事后审计能力没有这两样的自由都是裸奔。5.2 误读二认为隐私计算是万能钥匙误判点既然要安全流通那就上隐私计算把所有数据都塞进密态通道。为什么容易这么理解隐私计算的技术叙事很完整——多方安全计算、联邦学习、可信执行环境、密态计算每一条都有论文和开源实现支撑。技术供给充足容易让人以为问题已经解决。真实约束在哪白皮书给出的100倍资源消耗和不足十分之一的效率是硬约束。这两个数字意味着密态通道的经济性只在高价值场景成立。另一个常被忽略的约束是效果——密态计算中的近似处理、噪声注入、梯度压缩都会损失精度模型效果与明文训练相比通常有差距差距大小取决于场景和数据分布。怎么看按数据分级决定技术路径。低敏数据走常规加密传输与访问控制中敏数据走沙箱隔离高敏数据才进隐私计算。一个可操作的经验法则是先算这笔流通的经济价值如果价值覆盖不了百倍资源成本就不该走密态路线。硬上的结果通常是试点跑通、推广停摆。5.3 误读三把三数一链当成又一套技术栈误判点看到白皮书里的三数一链以为又是一个厂商自定义的技术组合无非是把几个产品打包换个名字。为什么容易这么理解行业里这类命名太多了很多所谓架构只是把已有产品重新归类。加上三数一链本身的表述偏概括不细看确实像包装。实际含义它对应的是数据流通的四类基础能力——数据可信管控、资源交互、价值创造加上区块链提供的信任底座。这个组合的用意不在技术新颖而在能力覆盖。前面提过平台项目最常见的失败是只做了一组能力三数一链的价值恰恰在于强制你把三组能力都补齐再谈上链存证。怎么看不要记名字记能力清单。可信管控、资源交互、价值创造、信任保障四类能力逐项自查有没有使用控制、有没有隐私计算或沙箱、有没有资源目录、有没有标识体系、有没有存证。缺哪项补哪项比争论命名有意义。5.4 误读四以为2028年公域数据耗尽就是没数据可用误判点公域数据要耗尽了大模型训练是不是要断粮了。为什么容易这么理解这个判断本身有冲击力容易被简化成数据危机。加上各家模型厂商都在抢数据焦虑会被放大。实际情况白皮书紧接着就给了出路——向广度拓展到物联网生成的数据向深度拓展到私域数据。耗尽的限定词是公域不是数据。真正的变化是数据供给的重心从公开语料迁移到授权语料从文本为主迁移到多模态为主从抓来就能用迁移到标注合成之后才能用。怎么看把它当成一次供给结构切换而不是总量危机。切换期的赢家不是手里语料最多的一方而是拿到高质量授权数据、并且有标注合成能力把它变成可用数据集的一方。这也解释了为什么白皮书把标注与合成技术提到关键核心技术的高度——公域耗尽的另一面是加工能力的价值上升。6. 三步走与五年窗口基础设施化的路径判断白皮书给出的时间表值得单独拎出来因为它是整份文档里少数带有明确阶段目标的部分。阶段时间尺度目标可验证指标技术攻关约三年关键技术突破多路线并行试点资源消耗降至明文约3倍效率达明文约1/5技术收敛攻关之后淘汰低效路线形成推荐标准收敛到一至两条达标技术路线技术推广五年内全国范围建设三类基础设施横向打通、纵向贯通、协调有力这张表里最关键的判断是技术收敛。它承认了一个现实当前的技术路线不是太少而是太多多方安全计算、联邦学习、可信执行环境、密态计算各自都有适用边界也各自都有成本缺陷。指望它们在短期内同时达到工程可用且经济可行不现实。所以路径是先并行试、再收敛、最后统一标准推广。对厂商来说这意味着未来两三年是路线卡位期选错路线可能等不到推广阶段对甲方来说这意味着现在不适合大规模锁定单一技术栈更适合小规模试点加观察。另一个值得注意的判断来自架构层面。白皮书把数据空间定位为物理空间、网络空间、计算空间之后的第四种空间形态这个说法的分量在于它把数据基础设施从又一个IT项目提升到了新型基础设施的位置。基础设施的特征是共用、标准化、成本可摊薄一旦按这个逻辑推进单个企业自建全套能力的性价比会下降接入公共设施、保留核心能力在本地会是更常见的选择。从行业角度看未来五年最可能出现的分化不在技术侧而在运营侧。技术上大家都用相似的组件差异在谁能把接入成本压下来、谁能把存证体系做成真正可用的证据、谁能让数据提供方在第一次流通之后愿意来第二次。这些都不是算法问题是机制设计问题。白皮书在共性服务和角色权责上的篇幅比在算法原理上多得多其实已经给出了倾向。我自己的习惯是每拿到一份这类白皮书先把里面的效率数字和阶段目标抄成一页纸贴在工位上。理由是架构图会过时命名会换但100倍到3倍三年攻关、五年推广这类硬指标不会骗人——它们决定了接下来几年什么能做、什么只能等。之前有个项目急着把全部数据搬上密态通道测算下来资源成本是原方案的四十多倍预算会上一句话就被否了返工重做了两个月。从那以后我每次做数据流通方案都强制走一遍分级—算账—选路这三步先看清数据落在哪一级再算密态成本能不能被业务价值覆盖最后才谈技术选型。这份白皮书里对数据分级、成本对比、三步走路径的论述正好能把这三步填实图表目录和四类场景的实践章节也在其中需要的可以直接取来对照自己的场景看一遍。希望帮到你。本文还有配套的精品资源点击获取