首页/新闻资讯/正文详情

认识向量数据库

发布时间:2026/11/11 16:26:17 来源:云帆数科 栏目:资讯中心
认识向量数据库
一、什么是向量核心概念向量就是把万物变成一串数字让计算机能理解和比较它们。Embedding将文字、图片、声音等非结构化数据转换为高维浮点数组实际维度通常是 768BERT、1536OpenAI、1024其他模型存储大小每个维度是一个 float324字节一条 768 维向量约占 3KB生活比喻物体毛茸茸有爪子体型小会喵会汪猫0.90.80.70.950.0狗0.850.70.50.00.9汽车0.00.00.80.00.0关键直觉相似的物体 → 相似的向量不同的物体 → 差异大的向量二、向量搜索的核心原理三步流程Embedding把查询也变成向量“猫的图片” → [0.12, -0.34, …]距离计算算查询向量与所有存储向量之间的距离Top-K 排序返回距离最近的前 K 个结果三种距离计算方式方式公式直觉特点相似判断欧氏距离 (L2)空间中两点直线距离直观适合绝对位置比较数值越小越相似余弦相似度两向量方向夹角忽略大小只看方向适合文本数值越大越相似 (0~1)内积 (Dot)向量直接相乘速度最快需归一化数值越大越相似三、索引算法——从百万向量中秒级搜索暴力搜索的问题逐个比较 O(N)100万向量 100万次计算 → 太慢三大索引策略ANN 近似搜索1. IVF 倒排索引聚类思想先对向量做 K-means 聚类分成 nlist 个区域查询时只搜最近的 nprobe 个区域比喻先找城市再找街道不用遍历全国每栋楼速度提升10~100x2. HNSW 图索引导航思想每个向量是图的一个节点和邻近向量连边多层图上层粗筛下层精找比喻先看省际高速再走城市道路找到目的地速度最快目前主流选择3. PQ 量化压缩压缩思想把长向量切成 M 个段每段用码本量化压缩128维 → 8个字节比喻用简写代替全名省内存粗筛后再精算内存节省10~50x注意这些索引都是近似搜索 (ANN)牺牲 1-2% 精度换来 10-100 倍速度四、向量数据库 vs 传统数据库维度传统数据库 (MySQL等)向量数据库 (Milvus等)查询方式精确匹配 WHERE name‘张三’相似度搜索 找Top-K个最近向量存储内容结构化数据行列向量元数据高维浮点数组附加信息索引类型B-Tree / HashHNSW / IVF / PQ返回结果确定性的要么找到要么找不到近似的返回最相似的K个有距离分数擅长场景事务/关联/统计语义搜索/推荐/RAG搜索猫只返回name含猫的行猫(0.98) 狗(0.85) 老虎(0.80)核心直觉传统数据库 字典查找精确翻到那个词条向量数据库 在地图上找最近的邻居按距离排序二者不是替代关系而是互补实际项目常传统DB 向量DB配合使用五、向量数据库里存的是什么数据结构一条记录 向量(核心) 元数据(辅助信息) ID(标识)Collection类似MySQL的表├── id1 vec[0.12,-0.34,...] meta{title:深度学习入门, author:李明, tags:[AI,教程]} ├── id2 vec[0.09,-0.31,...] meta{title:神经网络基础, author:王芳, tags:[AI,入门]} ├── id3 vec[0.85, 0.12,...] meta{title:烹饪技巧大全, author:陈大厨, tags:[美食,生活]} └── id4 vec[0.88, 0.15,...] meta{title:烘焙新手指南, author:林甜, tags:[美食,烘焙]}技术规格维度768(BERT) / 1536(OpenAI) / 1024(其他模型)存储大小每个维度 float32 (4字节)一条向量 768 × 4 3KB规模估算100万条向量 ≈ 3GB 原始数据压缩后更小搜索流程搜索AI入门教程 → Embedding成向量 → 找到 vec 最接近的 id1, id2 → 返回对应文章六、RAG——向量数据库最火的应用问题背景没有RAG的大模型凭记忆编容易出错幻觉问题RAG流程在线查询阶段用户提问 → Embedding(问题变向量) → 向量搜索(在DB中找Top-K) → 拼装Prompt(问题检索文档) → LLM生成(基于事实回答)离线数据准备阶段提前做公司文档 → 切分Embedding → 存入向量数据库 → 随时可查询核心价值大模型不再瞎猜而是基于真实文档生成回答 → 准确性大幅提升七、主流向量数据库产品专用向量数据库产品类型特点适用场景Milvus开源 | 云原生多种索引、分布式、亿级规模企业大规模部署Pinecone商业 | 全托管零运维、API即用、自动扩缩容快速上线/小团队Weaviate开源 | 模块化内置多模态、GraphQLREST、混合搜索多模态/研究Faiss库(非DB)Meta出品、纯搜索库、GPU加速研究场景传统数据库的向量扩展产品类型特点适用场景pgvectorPostgreSQL扩展SQL向量搜索已有PG团队的低成本选择Redis VSSRedis 7.2扩展低延迟缓存能力实时推荐场景选型建议快速验证Pinecone / pgvector大规模生产Milvus / Weaviate已有PG基础设施pgvector趋势传统DB纷纷加向量能力PG/Redis/Elasticsearch专用DB在性能和规模上仍有优势

相关推荐

数字孪生与智能调度在交通物流枢纽的应用
数字孪生与智能调度在交通物流枢纽的应用

1. 项目背景与核心价值城市群交通物流枢纽的数字化升级正在成为区域经济发展的关键引擎。最近参与了一个东部沿海城市群的综合交通枢纽规划项目,深刻体会到传统基建向"数字孪生智能调度"转型的迫切性。这个规划方案的核心在于用数字技术重构物理枢纽的运营… · 2026/9/18 4:17:05

《Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction》
《Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction》

原文链接:[2606.26812] Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction author{Li, Xilai and Li, Xiaosong and Tan, Haishu and Ye, Tao and Li, Huafeng and Wang, Hongbin} Abstract 多通道图像融合(… · 2026/9/20 1:15:24

AI与业务流程重组:如何实现技术落地与业务对齐
AI与业务流程重组:如何实现技术落地与业务对齐

1. 项目概述:当AI遇上业务流程重组业务流程重组(BPR)引入AI技术后常出现"技术自嗨"现象——算法效果惊艳但业务部门不买单。去年我主导的某制造业订单系统改造就踩过这个坑:用强化学习优化的排产模型准确率提升12%&… · 2026/11/2 0:23:29

阆中市报考电工证官方回应:工地太忙根本没时间复习考试怎么办?
阆中市报考电工证官方回应:工地太忙根本没时间复习考试怎么办?

阆中市报考电工证官方回应:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,这种场景几乎每天都在上演。尤其是在阆中市这样的建筑大市,电工证作为特种作业操作证,是从事电气作业的硬性门槛。但很多一线施工人员,特别是像我这样在开封水… · 2026/11/11 16:25:23

温岭学电工证怎么考?上岗必备流程全解析
温岭学电工证怎么考?上岗必备流程全解析

温岭学电工证怎么考?上岗必备流程全解析 不知道去哪报名怕被中介坑?温岭学电工证这事儿,真不是谁都能轻松搞定的。我认识的不少工友,要么是被各种培训机构忽悠交了钱拿不到证,要么是报名流程搞错了,耽误了上岗时间。今天我就从郑州劳务班组负责人的角度… · 2026/11/11 16:25:23

高级电工证可以补考?真实经历告诉你怎么避坑
高级电工证可以补考?真实经历告诉你怎么避坑

高级电工证可以补考?真实经历告诉你怎么避坑 不知道去哪报名怕被中介坑?我当初考高级电工证时也踩过坑,差点多花了两三千块,还好后来遇到一个靠谱的培训机构,顺利拿证还省了冤枉钱。今天我就结合自己的真实经历,说说高级电工证可以补考这事,以及它背后… · 2026/11/11 16:25:23

重庆学个电工证官方回应实操考试内容全解析
重庆学个电工证官方回应实操考试内容全解析

重庆学个电工证官方回应实操考试内容全解析 实操考试心里没底怕挂科,这几乎是每个准备考电工证的学员心里的共同想法。特别是像重庆这样的大城市,竞争激烈,大家都想一次性通过,但偏偏实操考试最让人头疼。最近官方回应了关于实操考试的最新政策,明确指出… · 2026/11/11 16:25:23

电工证考完了怎么申请全国通用的复审延期怎么办理
电工证考完了怎么申请全国通用的复审延期怎么办理

电工证考完了怎么申请全国通用的复审延期怎么办理 你是不是也担心学历不高报不了电工证?别急,电工证的报考条件其实没有你想象中那么高门槛,只要你是年满18周岁,具备初中及以上学历,身体健康,就能参加考试。而且电工证是 全国通用… · 2026/11/11 16:25:23

煤矿电工证有几种真实经历告诉你怎么选证不踩坑
煤矿电工证有几种真实经历告诉你怎么选证不踩坑

煤矿电工证有几种真实经历告诉你怎么选证不踩坑 怕考不过白交培训费?煤矿电工证有几种,很多人连基本分类都搞不清,选错了证就等于白忙活,还可能影响工作。我认识一个学员小王,他就是因为没搞明白煤矿电工证有几种,结果报了低压电工证,后来到煤矿上岗时… · 2026/11/11 16:24:23

电工证丢失还能补吗?千万别踩坑,丢了证等于失业
电工证丢失还能补吗?千万别踩坑,丢了证等于失业

电工证丢失还能补吗?千万别踩坑,丢了证等于失业 你正在找工作,但手里的电工证突然丢了,这下怎么办?别急,先别慌, 电工证丢失还能补吗 ?答案是肯定的,但 千万别踩坑 ,补办流程如果不了解,可能会耽误你上岗、甚至影响到你的收入。… · 2026/11/11 12:18:07

电力电缆作业证直播报名入口与办理流程良心建议
电力电缆作业证直播报名入口与办理流程良心建议

电力电缆作业证直播报名入口与办理流程良心建议 你是不是也担心学历不高报不了名?别急,今天就给你讲讲 电力电缆作业证直播 的报名流程和那些你必须知道的干货, 良心建议 在这里,别错过。 电力电缆作业证直播报名需要什么条件?… · 2026/11/10 17:46:39

英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑
英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑

英德电工证报考费多少钱,怕考不过白交培训费?看完这篇别再踩坑 怕考不过白交培训费?英德电工证报考费多少钱,你真的了解吗?现在市面上培训机构五花八门,价格参差不齐,很多人一不小心就花了冤枉钱,结果还考不过。别急,今天就来给你说清楚英德电工证的… · 2026/11/10 17:11:43

_中职电工证最新政策解读
_中职电工证最新政策解读

中职电工证在哪考?工地太忙根本没时间复习考试的救星来了 工地太忙根本没时间复习考试,这是很多正在备考 中职电工证 的建筑工友的真实写照。你不是不想考,而是真的没时间。但别担心,这期内容是 新乡初次报考人员… · 2026/11/11 0:00:52

昆明电工证培训价格值不值得考?老电工告诉你真相
昆明电工证培训价格值不值得考?老电工告诉你真相

昆明电工证培训价格值不值得考?老电工告诉你真相 之前考的证在外省能不能转过来?这个问题是很多在外地打工、换城市生活、或者是想在昆明发展的朋友最关心的。尤其是现在云南发展快,很多企业都在招持证上岗的电工,如果你手头有证但不在本地,那这个证是不… · 2026/11/11 0:00:52

特种电缆张工网上查询全攻略:外省证如何转过来
特种电缆张工网上查询全攻略:外省证如何转过来

特种电缆张工网上查询全攻略:外省证如何转过来 之前考的证在外省能不能转过来?这是很多特种作业从业者最关心的问题,尤其是像特种电缆张工这类证书,直接关系到日常工作是否合规、能否顺利晋升。很多小伙伴因为证书归属地的问题,陷入职业发展的瓶颈,甚至… · 2026/11/11 0:00:52

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/10 20:19:29

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/10 19:22:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/10 17:00:47

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码