可视化关系分析底座：.ANB图表建模、导入规范与路径查找

简介面向安全调查、金融审计与数据分析从业者的 IBM i2 Analysts Notebook 8 中文培训教材围绕话单、银行流水等复杂数据的可视化处理讲解数据导入、图表绘制、关系网络与时间线分析的核心方法适合希望系统掌握该工具的初中级读者入门与查阅。压缩包共 1 个 doc 文档约 25.9MB内容按入门概念、基本绘图、基础功能、功能演练和数据接口等章节组织文档结构清晰并保留目录与版本修订记录兼顾软件操作与案件分析场景。文档以话单关系分析、基础查找定位、案件串并、人员物品动态关系、银行账户交易分析、手机串号与活动轨迹跟踪等演练为主线并补充搜索查找、图表布局和数据接口配置技巧便于读者按章节对照练习、梳理调查分析思路。目前已有 1593 人学习可作为培训授课或自学查阅的参考材料。1. 从一张 .ANB 说起先搞清楚“表达”再谈“计算”大多数人第一次接触这类可视化分析软件会下意识把它当成高级画图工具拖几个方框、连几条线、导出一张图交差。真做过案件串并的人往往得出相反结论——一张关系图能不能成立九成取决于导入那一刻字段被怎么理解剩下的才是算法。工作图表以 .ANB 扩展名保存里面存放的是整个分析过程的实体、链接、属性和布局状态不是一张静态图片它既能被完整版本打开继续编辑也能被只读阅读器打开给别人看。这个“可编辑的图模型 可分发的结果”的双重身份决定了它必须先解决建模问题什么算一个实体什么算一条链接两个实体凭什么被认定是同一个。把这些想清楚之后路径查找、合并实体、时间序列分析才有意义想不清楚工具给出的每个结论都似是而非。值得把这套底座机制拆开看一遍因为它是所有可视化分析的公共结构换任何一个工具都不必从零开始。2. 图表即模型ANB 文件里存的不只是图形2.1 实体、链接、唯一标识工作图表里的三层身份先把三个容易混淆的东西分开实体类型、实体、标签。某个具体的手机号是一个实体它的实体类型是“手机”这个号码的机主是一个实体实体类型是“人员”。而在画布上显示出来的“王波”“机主”这些文字叫标签。标签是给人看的可以改、可以重复、可以随时重写实体类型是给分类用的决定了这个对象归在哪一类下面。真正承担机器判定职责的是第四样东西——唯一标识。它不显示在画布上但在一个工作图表的范围内唯一区分一个分析目标同一个图表里唯一标识的值不允许重复。分析人员一般拿身份证号、车牌号、手机号、银行账号这类天然唯一的数据项来充当它。这就是整个模型的锚点标签是表象唯一标识是主键。为什么非要单独设一个隐藏的主键因为导入是分批的。五份话单可能分五次导入同一批号码会在不同文件里反复出现靠标签匹配会立刻失控“张三”“张三 ”“张 三”会被当成三个人。常见的实现思路是每次导入新记录时先拿唯一标识去图里查一遍命中就复用已有实体、把新属性合并进去未命中才新建节点。这就是为什么同一个号码在多次导入后仍然只有一个图标而不是散落一地的重复点。用一段伪代码把这个判定过程写出来会更直观# 伪代码导入时按唯一标识做实体去重常见的实现思路 graph {} # key: 唯一标识 value: 实体对象 def upsert_entity(uid, entity_type, label, attrs): if uid in graph: node graph[uid] # 命中已有实体只合并属性不新建节点 node[attrs].update({k: v for k, v in attrs.items() if v}) return node, False # 未命中以唯一标识为主键创建新实体 node {uid: uid, type: entity_type, label: label, attrs: attrs} graph[uid] node return node, True # 两批话单里出现同一个号码第二次只会做属性合并 upsert_entity(18601157118, 手机, 7118, {运营商: 某运营商}) upsert_entity(18601157118, 手机, 7118, {开户地: 某地})上面这段的关键在于graph这个字典的键。它对应的就是唯一标识而不是标签。参数uid必须来自原始数据里那些真正具备唯一性的列随便拿一列“姓名”当 uid 是最常见的建模错误因为姓名天然可重复。attrs只做增量合并、不覆盖已有非空值是为了避免后导入的残缺记录把前面完整的属性冲掉。真实软件里的实现当然比这复杂得多还要处理类型冲突、链接端点解析但“以唯一标识为键做 upsert”这个骨架是不会变的。理解了这一层就能解释一个反直觉现象为什么有些图看起来一模一样导出的结果却对不上。差别往往不在画面上而在那些不显示的标识里——有一批实体的标识被错误地设成了同一列导致本该分离的两个对象被压成了一个。2.2 调色板19 套默认本体比自定义更值得先摸清调色板是实体类型、链接类型、属性类别和属性项目的集合。软件安装完成后默认提供 19 套覆盖人际、通联、资金、物品、地点等常见维度。用户可以新建自己的调色板比如某个业务条线建一套专用的把常用的类型和属性预先装进去。新建出来的调色板四项内容全是“否”意思是空壳需要一项一项往里加。很多人把调色板理解成“皮肤”或“主题”这是最大的误会。它实际上是本体ontology——一套预先约定好的词汇表。它决定了三件事新建实体时能从哪些类型里挑、连一条链接时能选哪些关系名、给实体加属性时能填哪些字段。换句话说调色板是导入规范和手工绘图共同的上游约束。上游没定义的类型下游根本选不出来。这解释了一类高频困惑为什么图里明明有内容某些分析菜单却是灰的。常见的实现思路是分析功能需要知道自己在处理什么类型的图——如果当前实体的表现方式、或者链接的方向性不满足某个分析的前提对应入口就会被禁用。调色板定义的链接类型里是否带方向、是否带可累加的数值直接影响到路径类、汇总类功能是否可用。所以先摸清 19 套默认调色板里各有哪些类型比急着自建一套要划算得多默认那 19 套是照着通用分析场景配的类型之间的搭配关系已经调好了。自建调色板真正有价值的场景是某个垂直业务有大量默认词汇表覆盖不到的专有对象。这时候建一套专用调色板把该业务常用的实体类型、链接类型、属性类别一次性装进去后续所有图都从这套词汇里长出来一致性才有保障。反过来如果只是嫌默认类型名字不好听就另起一套最后会得到一堆彼此不兼容的图跨图对比时字段全对不上。2.3 七种表现方式同一个实体为什么要有七个壳同一个实体在图表里可以有七种壳图标、主题行、事件框架、方框、圆形、椭圆形、图片。用得最多的是前三种分工也很明确。图标是点状的一般用在关系分析里。它的几何本质是一个点布局算法把它当质点处理算的是点与点之间的距离和连线交叉。主题行是横向长条一般用在时间序列分析和活动轨迹分析里它的几何本质是一条有时间刻度的线段实体被摆在这条线上的某个时刻位置。事件框架刻画的是事件发生的时空要素和内容本身就是一个带时间轴和地点槽位的复合结构也可以拿来画活动轨迹。为什么要分这么多壳因为布局算法必须知道自己在排什么形状。把一堆主题行丢进关系型布局里算法仍然按质点算坐标主题行就会互相压住反过来把图标塞进时间序列布局里图标在时间轴上没有长度事件持续的时间就表达不出来。壳不是装饰它是告诉布局算法“请按这种方式对待我”的类型标记。方框、圆形、椭圆形和图片属于低频但必要的补充典型场景是需要往图里插入一张人物照片或一段现场示意时使用。有一个细节值得留意表现方式和实体类型是两回事。同一个“手机”类型在关系分析里是图标在通联时序里可能要被放进事件框架。切换表现方式不改实体本身只改它在当前图里的呈现几何。这也意味着同一个人可以在同一张图里出现两次而代表两个不同角色——常见做法是给它两个不同的唯一标识比如一个用身份证号一个用“某身份序号”否则唯一标识冲突第二次就只是复用第一个节点。3. 导入规范异构数据怎么被压进同一张关系图3.1 五个嫌疑人五份话单为什么一定要建两个规范教材里那个话单关系分析的场景很有代表性手上有 5 个嫌疑人的通话清单其中 4 个人的话单格式一致剩下那一个人的格式不一样。目标是从中找出与这 5 人都存在共同关系的未知号码以及与某个指定号码通话次数最多的陌生号码。直觉做法是写一个通用导入把所有列都映射一遍。这个做法会在第一次导入时就翻车。因为导入规范是“列位置到字段”的固定映射——第 3 列是主叫、第 4 列是被叫、第 5 列是开始时间、第 6 列是时长。一旦第二份文件的表头顺序变了第 4 列可能就变成了时长导入不会报错它会安安静静地把时长当成被叫号码建一批实体出来。等你在图上看到一堆以“00:03:12”为标签的“手机”时已经晚了。正确的处理是给每种格式各建一套导入规范一份给 4 个格式一致的文件用另一份单独给格式不一致的那个用。两套规范的差别可能只在列顺序和一两个字段的有无上但必须分开。这不只是“规范一点”的问题它直接决定了后面所有分析能不能成立——关系图里的边是错的时候找共同联系人这个动作本身就没有意义。顺带说一个容易忽略的点导入规范是可以保存下来复用的。这意味着“摸清一次格式、建好一次规范、以后同类文件直接套”是可行的而不必每次从零配置。真正浪费时间的是每次都在临时映射里手工点点完还不保存。3.2 字段映射到底在映射什么一套导入规范要做四件事缺一件都会出问题第一指定每条记录产生什么。大多数话单是一行一条通话记录这一行同时产生一条链接和两个端点实体主叫、被叫。也有格式是一行一个号码那只产生实体不产生链接。第二指定唯一标识取哪一列。这一步如果跳过软件只能退而用标签做区分去重能力立刻消失参见 2.1 的讨论。第三指定链接的方向和类型。“主叫 → 被叫”是有方向的方向定反了后面查“谁主动联系谁”就会全反。第四指定哪些列作为可累加的数值属性。通话次数、通话时长、转账金额这类字段在合并实体时需要被加总前提是它们被标成了数值型属性而不是普通文本。用一段配置结构把这四件事表达出来比文字描述更清楚# 一条话单记录的导入规范结构示意非某产品真实配置文件 call_record_spec { source: 个人话单.XLS, row_semantics: one_call, # 一行 一条通话 entities: [ {role: caller, type: 手机, uid_column: 主叫号码, # 唯一标识取自主叫号码列 label_column: 主叫号码}, {role: callee, type: 手机, uid_column: 被叫号码, # 唯一标识取自被叫号码列 label_column: 被叫号码}, ], link: { from: caller, to: callee, # 方向主叫指向被叫 type: 通话, numeric_props: [通话次数, 通话时长], # 可累加的数值字段 time_prop: 开始时间, # 供时间序列与最早路径使用 }, }这份结构里最值得注意的是numeric_props和time_prop。前者决定了后面“合并实体”时数值能不能被加总第 4.3 节会展开后者决定了这张图能不能切到时间序列分析、最早路径查找能不能用。也就是说导入阶段的一个字段类型设定会沿着处理链一路影响到几个月后的分析结论。这不是过度设计是把类型约束前移到入口用一次配置换后面所有分析的正确性。反过来看那些“分析不出来”的疑难杂症相当一部分根因在导入时间列被当成了普通文本图就没有时序可言数值列被当成了字符串合并时就不会求和只会取其中一个值。这类问题在画面上没有任何征兆属于典型的黑匣子故障。3.3 从 iBase 查询创建与导入规范的分工数据进来的路子不止一条。教材里列了五种手工绘制、通过建立导入规范导入、通过 iBase 查询创建、来自 iBridge、来自 iXv重点掌握前三种。这三条路的分工其实很清晰。手工绘制适合少量的、边分析边补的实体典型场景是分析过程中突然想到“还应该有个地点节点”随手加一个。它的价值在于不打断思路不适合批量。导入规范处理的是文件形态的数据Excel、文本、导出报表都属于这一类。它的核心工作量在于把异构的表格列对齐到同一套本体上前两节讨论的就是这块。从数据库查询创建走的是另一条路不经过文件直接从结构化记录库里按查询条件拉子集进图。这条路的意义在于数据不落盘、图上的对象和库里的记录保持着可追溯的关系。案件串并这类场景里图上的一个节点往往需要能反查回原始记录走这条路比走文件导入更顺。这三条路并存带来一个实际问题同一批数据可能一部分走导入、一部分走查询图里就混了两种来源的对象。这时候唯一标识的作用就更关键了——它是跨来源判重的唯一依据。如果两条路给同一个对象填的唯一标识不一致比如导入用手机号、查询用内部记录编号图里就会出现两个节点指向同一个真实对象后面的合并和路径查找全都会被污染。实际操作中要么统一约定唯一标识取哪个字段要么在合并阶段显式处理这类重复。4. 分析动作的底层语义三态、路径与合并4.1 显示、隐藏、变灰三态其实是两个开关图表里的对象有三种状态显示、隐藏、变灰。多数人把它们理解成“看得见 / 看不见 / 看不太清”这是一层意思但不是关键。关键差别在另一句描述里隐藏的项目不参与实际的布局和分析灰色状态的项目参与分析和布局。也就是说隐藏和变灰不是同一个开关的两个档位而是两个相互独立的开关一个是“是否呈现”一个是“是否参与计算”。变灰的对象仍然被算法算进去只是视觉上压暗隐藏的对象被彻底摘出计算布局会重新排布以填补它留下的空位。这个差别在实操中的后果非常具体。假设你想“临时把一批无关号码藏起来看看图会变成什么样”如果你用了变灰那些号码仍然在拉扯布局图上剩下的节点位置不会重新收敛你看到的是一张被压暗但拓扑没变的图只有用隐藏布局才会真正按剩余节点重排你才能看出这批节点自己形成的结构。工具条上那几个按钮的语义也就顺下来了“隐藏选取项目”把选中的藏起来“隐藏未选取项目”把没选中的藏起来与前者互逆这个反直觉的设计经常被用错“全部显示”把隐藏和变灰的都恢复“显示/隐藏”那个更细的控制是在隐藏和变灰两态之间来回切。理解成“参与计算 / 不参与计算”的双开关模型这几个按钮就不需要死记了。提示判断该用隐藏还是变灰问一句“我希望布局重新算吗”。要重算就用隐藏只想弱化视觉就用变灰。4.2 路径查找最早路径和最短路径差在哪这两个功能经常被混用因为它们都叫“找路径”返回的都是图上的一串节点和边。但它们的评价标准完全不同用错了会得出方向相反的结论。最短路径的标准是边数最少。它在图上做一次广度优先搜索返回跳数最少的那条链。这个标准不关心时间也不关心边的方向之外的其他属性——十年前的转账和昨天的转账在它眼里是一样的。最早路径的标准是时间上最早走通。它要求每条边带时间属性这就是 3.2 里time_prop存在的意义沿着边的方向做一次按时间排序的搜索找出“从起点出发按时间先后能最早抵达终点”的链路。它回答的是“最先是怎么连上的”而不是“最少经过几层”。用两段代码把差别写出来比解释十遍都清楚from collections import deque def shortest_path(graph, start, target): 最短路径BFS按边数最少评价完全忽略时间属性 visited {start} queue deque([[start]]) while queue: path queue.popleft() node path[-1] if node target: return path # 先到先得即跳数最少 for nxt, _ in graph.get(node, []): if nxt not in visited: visited.add(nxt) queue.append(path [nxt]) return None def earliest_path(graph, start, target): 最早路径只在时间不早于当前时刻的边上扩展取最早抵达 best {} # node - 抵达时刻 best[start] float(-inf) queue deque([(start, float(-inf), [start])]) result None earliest_arrival float(inf) while queue: node, arrive_at, path queue.popleft() if node target and arrive_at earliest_arrival: earliest_arrival, result arrive_at, path for nxt, (t, wt) in graph.get(node, []): # 关键约束只能沿时间向前走不能回到过去 if t arrive_at and t best.get(nxt, float(inf)): best[nxt] t queue.append((nxt, t, path [nxt])) return result两段的差别集中在earliest_path里那句t arrive_at。它强制路径在时间轴上单调前进——到达某节点的时间必须不早于上一跳的时间。这一条约束把图从“静态拓扑”变成了“时序可行域”有些边在拓扑上连着但时间上接不上最早路径会直接把这类边排除掉。best字典记录的是“已知最早抵达某节点的时刻”用来剪掉更差的到达方式这一点和 Dijkstra 的松弛思路是同构的只不过松弛的是时间而不是距离。最短路径返回的链路可能根本走不通——比如 A 三年前给 B 转过账、B 昨天给 C 转了一笔拓扑上 A 和 C 只隔两跳时间上却根本构不成一条资金流。这时候用最短路径去解释“钱是怎么走的”就错了得用最早路径。4.3 合并实体链接数值为什么不会自动加总合并实体是把选定的多个实体压成一个被合并的那些实体原有的关系会统计合并到保留的那个上。这在案件串并里非常常用——同一个人在几个案子里用了不同的化名各建了一个节点最后要并成一个。问题出在“统计合并”这个词的默认行为上。如果你直接选几个实体、执行合并链接是并过来了但链接上的数值比如通话次数不会被累加只保留其中一个。要让数值真正合起来得先去图表空白处的图标属性里找到操作惯例勾上“加总链接标签数值”这个选项然后再合并。这是一个非常典型的翻车点图看起来并对了节点少了、边也连上了可边上的数字是错的而且是错得很隐蔽的那种错——它不报错也不显示异常只是少算了一部分。后续所有基于“通话次数最多”的判断都可能被这个少算带偏。为什么设计成默认不加总从取舍角度看是合理的合并的操作对象可能是两个真的同一个对象该加总也可能是两个恰好名字相同的不同对象不该加总。默认加总会让后一种情况产生虚假的强度默认不加总则让前一种情况需要多一步设置。工具选择了保守的那一侧把加总变成一个显式意图。理解了这个取舍就知道这个选项不是可有可无的偏好设置而是一个必须显式表态的语义选择。4.4 十二种布局8 加 4 背后的两类图模型布局一共 12 种其中关系型 8 种、时间序列型 4 种。这个 8 比 4 的划分不是随手分的它对应两类不同的图模型。关系型布局处理的是无时间约束的拓扑图节点是点边是线算法目标是减少交叉、突出聚类、让强连接的对象彼此靠近。这类布局的评价指标是几何的比如边交叉数、节点间距方差。时间在这里不参与计算。时间序列型布局处理的是带时间轴的图节点要按时间落位事件的持续长度要用线段的长度表达重叠的事件要错开显示。这类布局的评价指标是时间轴的单调性和可读性几何交叉反而是次要的。这就回到 2.3 的结论表现方式和布局必须配套。图标配关系型布局主题行和事件框架配时间序列型布局。选错了不是“图不好看”是算法按错误的几何假设在算坐标结果在结构上就是错的。还有一个常被问的问题关系分析和时间序列分析能不能互相切换。能但切换会改变布局的分组方式和节点的呈现几何之前手工调过的位置往往保不住。常见的做法是在图还小的时候就把分析类型定下来别等到手工摆了上百个节点之后再切。5. 常见问题排查五个答疑背后是同一类设计约束答疑清单里列了 8 个问题表面上分散在复制、菜单、规范、切换、导出上实际上背后是同一件事这个软件把很多原本隐含的操作意图变成了显式选项而显式选项一旦被当成默认行为忽略就会出问题。挑五个最容易踩的写。5.1 复制出来的东西和预期不一样现象选中几个对象右键复制粘出来的内容和用“复制选取范围”粘出来的不一样有时候少了边有时候多了一层嵌套。原因这两个命令复制的东西不同。“复制”复制的是当前被选中的那些对象本身“复制选取范围”复制的是选区框住的整个范围包括范围内可能没被显式选中的元素。当你用矩形框圈选时视觉上框住了但焦点对象可能只是其中一部分两个命令取到的集合就不一致。解决在操作前先确认选择方式。要精确复制几个对象就用逐个点选或 CTRL 加选然后走“复制”要整块搬走一个局部图就用矩形框选然后走“复制选取范围”。另外有个操作细节是血泪经验不按 CTRL 直接在空白处右键原来选中的对象会立刻失焦得重新选一遍所以空白处右键前必须先按住 CTRL。5.2 分析菜单是灰的点不动现象图里明明有节点有边分析菜单里某一项却始终灰色。原因这类功能的可用性受前置条件约束常见的有三种。一是当前分析类型与功能不匹配某些功能只在关系分析下可用二是选中对象的类型或表现方式不满足要求比如路径类功能需要明确的链接方向三是当前调色板里没有定义功能依赖的链接类型或属性类别。解决按顺序排查——先看当前处在哪种分析类型下再看选中了几个什么类型的对象最后看调色板里有没有对应定义。多数情况下是第二条选中的东西不对。5.3 导入规范建好了下次却找不到现象这次辛苦配好的字段映射关掉软件再打开新建导入时又要从零配一遍。原因导入规范在配置过程中有“保存”和“直接执行”两条路径。点执行不等于保存规范只存在于当前会话里会话结束就没了。解决配置完成后先显式保存一次规范再执行导入。对于会反复用到的格式比如每月固定格式的话单这一步值得做成固定动作——一次配置长期复用比每次临时点要省太多。5.4 合并完实体链接上的数字变小了现象把三个化名节点合并成一个节点数对了边也连上了但边上标的通话次数明显比三家加起来少。原因链接数值的加总默认是关闭的合并时只保留了其中一个值。参见 4.3 的讨论。解决合并之前先去图表空白处的图标属性在操作惯例里勾上“加总链接标签数值”再执行合并。已合并的如果发现数值不对只能撤销重做这个操作没有后悔药。5.5 切到时间序列后切不回来现象为了看时序把分析类型切成时间序列看完想切回关系分析图上的节点位置全乱了。原因两类布局用的是两套坐标计算方式切换时节点的几何会被重算。关系型布局算的是拓扑距离时间序列布局算的是时间轴位置两者不共享坐标系。解决切换前先想清楚这一步是不是必须的。如果只是想看时间先后的链路用最早路径比切换布局更划算。确实要切就在图规模还小的时候切切完手工微调的代价才可控。6. 设计取舍为什么这类工具宁可“笨”一点把前面几节连起来看会发现这套设计反复在做同一个选择把隐含意图变成显式选项哪怕多一步操作。唯一标识不显示在画布上却要求分析人员手工指定取哪一列——多一步。链接数值不默认加总要合并就得先去勾选项——多一步。布局分 8 加 4 两类选错了图就排不出来——多一步。显示和变灰拆成两个独立开关得先想清楚要不要重算布局——又多一步。如果只从易用性角度评价这些设计全都“不够聪明”。一个更讨喜的版本应该是自动猜唯一标识、自动累加数值、自动选布局、自动判断你想隐藏还是想变灰。市面上确实有工具这么做而且初次上手体验更好。但这类工具的使用场景决定了它不能这么做。分析结论是要被拿去支撑判断的一旦自动推断错了用户看不出错在哪因为推断过程被藏起来了。显式选项的价值不在于它更好用而在于它让每一个会影响结论的假设都暴露在操作者眼前——你选了哪一列当唯一标识、你有没有勾加总、你用的是哪类布局这些都是可以被复核的。一个可以被追问“你当时为什么这么设”的工具比一个“它自己就是这么算的”的工具更适合用在需要交代过程的场合。代价当然也有。显式选项意味着学习成本前移新手第一次用会觉得处处卡壳也意味着操作者的错误不会被工具兜住选错了就是错了。这就是为什么这类软件的标准培训教材里答疑部分能占到整整一章——不是因为功能难是因为每个显式选项都是一次判断判断就会出错。验证这些设计的实际影响有一个很土但有效的办法拿一批已知答案的数据跑一遍。比如构造五个号码、其中一个跟另外四个都通过话看工具能不能把它找出来再故意把唯一标识设成姓名列看重复节点会不会冒出来。两次结果一对比唯一标识和加总开关的作用就非常具体了比读十页文档都管用。从那以后我每次拿到一份新格式的数据都强制自己先做三件事再开始画图把唯一标识对应的那一列标出来、把数值列和时间列的类型确认一遍、把导入规范存下来。这三步花不了几分钟但能省掉后面几个小时的返工。希望帮到你。本文还有配套的精品资源点击获取