一、引入大家设想这样一个场景在传统的数据库中存入了不少的图片。但图片的名字不记得了或者说只能记得图片上的内容比如过生日吹蜡烛、湖边野营等等。那么这时候查找相关的图片的困难是相当大的。这和在相册里翻找一张过去的照片的难度是一样的。正所谓有需求就有解决方案。传统的的数据库和相册中只能通过搜索进行模糊的如日期、大小等进行搜索。而向量数据库的引入则从根本上解决了这类问题。图片等 非结构化数据 嵌入 非传统的关系型数据库 如何“像”二、向量数据库人类查找图片的过程其实是一个相似度查找的过程。大家有没有这种经历找一张图片结果发现一张和其类似的图片点击了进去。也就是说人类是通过一定的相似特征来定位要查找的图片的然后才会具体限制更多的条件来定位是否准确。那么人类的查找方式是不是也可以被数据库系统借鉴呢这就使用到了前面反复提到的向量。向量可以表示特征那么用不同的向量来表征不同的图片不就可以用来搜索图片了吗而且向量是一种数据在搜索里可以被精确的匹配或者说找到匹配的概率。通过概率来返回查找的类似图片。这就会大大的缩小查找的范围。那么什么是向量数据库呢向量数据库是一种专门为存储、管理和高效检索高维向量数据而设计的数据库系统。看到名字没有它是一个检索系统。向量数据库存储的不是传统的数据本身而是首先要把传统数据向量化将其转为高维空间向量并将语义相似的数据向量存储在相近的位置。然后建立索引形成一个高效的检索系统最后再利用相似性搜索技术将用户的查询数据与系统内的向量数据进行匹配然后得到“距离最近”或者说“最像”的数据。也就是说向量数据的检索是通过计算向量间的距离来判断相似度的如余弦相似度、欧氏距离等等。三、索引算法和查找算法既然向量数据库是一个检索系统而向量数据又不是传统的字符串或数字。那么索引组织的算法就不能使用传统的索引算法。在向量数据库中使用的是HNSW、IVF-PQ等算法。同样其查找算法也有所不同。索引算法向量数据库的索引算法包括暴力搜索FLAT直接存储原始向量不做索引。数据索引精确但效率太低。只适合于小数据量的向量存储倒排文件索引IVF有过网页检索经验的可能会好理解。通过聚类缩小范围然后再精确定位。通用检索常用乘积量化PQ一种压缩算法降低内存占用及加快计算速度。适合于内存有限或计算速度有要求的场景分层可导航小世界HNSW基于图的高性能算法有点类似于跳表。对速度和召回率要求高且内存充足的情况DiskAnn一种磁盘存储优化索引算法适合海量数据且内存不再是主要的限制条件查找算法精确查找一般使用Brute-Force KNN方式无它遍历向量计算距离返回距离最近的所有向量近似查找ANN Search听名字就知道最近查找只要相似度足够高就可以。它可以使用IVF也可以使用HNSW更多的往往是混合一起使用。粗查阶段使用IVF或PQ算法细查阶段使用HNSW算法向量数据库的索引和查找算法都是建立 在近似最近邻ANN探索的基础之上。在精确率和效率间进行平衡实现了海量数据库的毫秒级响应四、AI和大模型中的应用向量数据库出现的并不晚但真正发力则是在AI应用的发展才开始的。了解AI一些技术的都知道AI处理数据的过程其实就是向量数据不断被运算加工的过程。AI的向量数据从低维到高维成海海量的存在而这也恰恰是向量数据库的优势所在。它可以认为是专门为AI发展而创建的数据库。它解决了AI和大模型中的记忆问题让AI能够始终保持对数据的长期记忆和准确快速的检索的能力。在AI中最主要的应用就是RAG前面分析过不再赘述为大模型提供了外部知识库有效的解决了大模型的幻觉问题。进而可以为AI Agent提供记忆相关的一系列支持。另外它还可以作为智能客服和AI机器人的知识库解决客户的提问问题。五、扩展分析需要说明的是向量数据库是无法替换传统数据库的。它们应用的场景不同只是应对不同的应用场景罢了。那么在向量数据库还有哪些其它的常见应用场景呢推荐系统电商网站中经常为客户提供类似的喜欢产品就是典型的应用多模态搜索就象本文开头提出的图片内容搜索或文字对应商品等等都可以实现但是无论是在AI还是在传统行业的应用向量数据库有自己的优势也有自己的不足。作为一种较新数据库技术其系统的应用时间短导致与现有系统的整合有很大的复杂性增加了成本。而且这种数据库的更新删除处理相对麻烦还需要进一步的发展。最后就是这种向量数据库的对检索的支持是一种精度与速度的平衡取舍的过程不能用传统的数据库查找来对比。六、常见向量数据库正如前面分析一样向量数据库有一个发展的过程。所以它会有专业的向量数据库和传统数据库支持向量数据的扩展专用向量数据库这种向量数据库是专门用来处理向量数据的数据库提供了相关的专业的设计和向量检索组织常见的有Chroma、Milvus、Pinecone、Weaviate等传统数据库向量化扩展可以认为是为了适应向量化数据的存储一些原有的传统数据库增加了相关的插件可以对向量数据进行处理。常见的有PostgreSQL数据库中的pgvector、Elasticsearch、MongoDB及Redis等七、总结新技术的出现一个重要的原因是出现了新问题新的应用场景传统的技术解决不了。正如经典力学解决不了量子力学的问题一样。所以不要总是把新出现的技术当成对旧技术的替代也很有可能是一种扩展或者新领域。
企业数字化 ERP 产品动态
相关推荐
华为EC6109U机顶盒刷机教程:U盘强刷安卓7.0与WIFI优化指南 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:50:19
linodewordpress最佳实践 Linode上WordPress从零搭建实战避坑指南 不会写代码也能独立搞定网站,这事儿在十年前听起来像天方夜谭,但现在真不是。我见过太多上海这边的独立开发者和小企业主,明明有想法、有预算,却卡在“怎么把网站弄出来”这一步。其实,用… · 2026/9/27 5:50:19
嵌入式Linux应用开发:岗位边界、Ubuntu环境与Qt5实战路线解析 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 5:50:13
100m网站空间服务费对比评测:小白建站省钱实操指南 100m网站空间服务费对比评测:小白建站省钱实操指南 自己不会代码想做网站,却总被那些花里胡哨的“套餐”绕晕?别急,今天咱们不聊虚的,直接上干货。很多老板以为买个100M的空间就能万事大吉,结果上线没俩月,网站打不开、排名掉底,一问才知道,… · 2026/9/27 6:30:26
QRCode4cj二维码库架构解析:检测-解码-编码三段式设计全解 QRCode4cj二维码库架构解析:检测-解码-编码三段式设计全解 【免费下载链接】qrcode4cj 一维码/二维码扫描库。 项目地址: https://gitcode.com/Cangjie-TPC/qrcode4cj
📦 QRCode4cj 是一个用仓颉语言开发的一维码/二维码扫码库,支持 Q… · 2026/9/27 6:30:26
VMware Workstation Pro免注册下载与合规交付指南 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:30:20
省市设备合作的服务范围,第一次沟通该怎么核? 先把准备服务的机构地点、能到场的人,以及设备展示、部署、巡检和问题处理各由谁接手写清楚,再讨论合作区域。只说“本省有渠道”,机构开课后遇到现场问题时,仍可能找不到具体负责人。
第一次沟通可以拿两种情况走一遍。一家机构… · 2026/9/27 6:30:20
郑州高端网站建设团队揭秘3种性能优化方案 郑州高端网站建设团队揭秘3种性能优化方案 网站做好了没人访问,这往往是老板们最头疼的坑。很多老板以为只要页面漂亮,客户就会上门,结果上线三个月,后台数据惨淡。问题出在哪?不是设计丑,是网站太卡,打开要五秒,手机加载更慢。搜索引擎直接把你判死… · 2026/9/27 6:30:13
Windows 64位下Tesseract 5.5.0安装配置与OCR识别调优实战 /* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/9/27 6:30:13
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现 简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01
汕头网站建设制作厂家避坑指南:5大注意事项救急 汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习 简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现 简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01
汕头网站建设制作厂家避坑指南:5大注意事项救急 汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习 简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01