首页/新闻资讯/正文详情

MyScaleDB:SQL+向量驱动的AI数据库

发布时间:2026/11/22 16:15:28 来源:云帆数科 栏目:资讯中心
MyScaleDB:SQL+向量驱动的AI数据库
文章目录一、引言二、MyScaleDB 基本介绍三、MyScaleDB的实际应用 - Science Navigator3.1 数据存储3.2 数据管理与检索3.3 系统调优和维护四、展望AI 数据库支撑的大模型 大数据 Agent 平台参考资料一、引言RAG 的出现使得 LLM 能从大规模的知识库中精确地抽取信息并生成实时、专业、富有洞察力的答案。伴随而来的是 RAG 系统的核心功能向量数据库也得到了迅速发展按照向量数据库的设计理念我们可以将其大致分为三类专用向量数据库关键字和向量结合的检索系统以及 SQL 向量数据库。专用向量数据库以 Pinecone/Weaviate/Milvus 为代表的专用向量数据库一开始即为向量检索设计打造向量检索性能出色不过通用的数据管理功能较弱。关键字和向量结合的检索系统以 Elasticsearch/OpenSearch 为代表的关键字和向量检索系统因其完善的关键字检索功能得到广泛生产应用不过系统资源占用较多关键字与向量的联合查询精度和性能不尽人如意。SQL 向量数据库以 pgvectorPostgreSQL 的向量搜索插件和 MyScale AI 数据库为代表的 SQL 向量数据库基于 SQL 并且数据管理功能强大。不过因为 PostgreSQL 行存的劣势和向量算法的局限性pgvector 在复杂向量查询中精度较低。MyScale AI 数据库MyScaleDB基于高性能的 SQL 列式存储数据库打造自研高性能和高数据密度的向量索引算法并针对 SQL 和向量的联合查询对检索和存储引擎进行了深度的研发和优化是全球第一个综合性能和性价比大幅超越了专用向量数据库的 SQL 向量数据库产品。二、MyScaleDB 基本介绍得益于 SQL 数据库在海量结构化数据场景长期的打磨MyScaleDB 同时支持海量向量和结构化数据包括字符串、JSON、空间、时序等多种数据类型的高效存储和查询并将在近期推出功能强大的倒排表和关键字检索功能进一步提高 RAG 系统的精度并替代 Elasticsearch 等系统。经过近 6 年的开发和数次版本迭代MyScaleDB 已于近期开源欢迎所有开发者和企业用户在 GitHub 上 Star并开启使用 SQL 构建生产级 AI 应用的新玩法MyScale Vector Database Benchmark 项目地址https://github.com/myscale/vector-db-benchmarkMyScaleDB 的特点1. 完全兼容 SQL精度提升、成本降低借助完善的 SQL 数据管理能力强大高效的结构化、向量和异构数据存储和查询能力MyScaleDB 有望成为第一款真正面向大模型和大数据的 AI 数据库。2. SQL 和向量的原生兼容性自从 SQL 诞生半个世纪以来尽管其中经历了 NoSQL、大数据等浪潮不断进化的 SQL 数据库还是占据了数据管理市场主要份额甚至 Elasticsearch、Spark 等检索和大数据系统也陆续支持了 SQL 接口。而专用的向量数据库尽管为向量做了优化和系统设计但其查询接口通常缺乏规范性没有高级的查询语言。这导致了接口的泛化能力较弱例如 Pinecone 的查询接口甚至不包括指定要检索的字段更不用说分页、聚合等数据库常见的功能。接口的泛化能力弱意味着其变化频繁增加了学习成本。3. 支持结构化、向量和关键字等数据联合查询在实际 RAG 系统中检索的精度和效果是制约其落地的主要瓶颈。这需要 AI 数据库高效支持结构化、向量和关键字等数据联合查询综合提高检索精度。例如在金融场景中用户需要针对文档库查询 “某公司 2023 年全球各项业务的收入情况如何”“某公司”“2023 年” 等结构化元信息并不能被向量很好的抓取甚至不一定在对应的段落中有直接的体现。直接在全库上执行向量检索会得到大量的干扰信息并降低系统最终的准确性。另一方面公司名称年份等通常是可以作为文档的元信息被获取的我们可以将WHERE year2023 AND company ILIKE %company_name%作为向量查询的过滤条件从而精准的定位到相关信息大幅提升了系统的可靠性。在金融、制造业、科研等场景中MyScale 团队都观察到异构数据建模和关联查询的威力很多场景下甚至有 60% 精度到 90% 的提升。MyScale 团队则认为经过系统性优化的 SQL 和向量系统是可以既保持完整的 SQL 支持又保证向量检索高性能的而他们的开源评测的结果已经充分论证了这一点。三、MyScaleDB的实际应用 - Science Navigator在实际复杂 AI 应用场景中SQL 和向量结合可以极大增加数据建模的灵活性并简化开发流程。例如MyScale 团队与北京科学智能研究院合作的Science Navigator项目是一个创新的学术论文搜索和对话 agent 平台其核心优势之一在于充分利用了 MyScale AI 数据库的强大功能。MyScale 不仅支持高效的向量搜索和 BM25 关键词搜索还提供了全面的 SQL 支持这一特性为 Science Navigator 的数据管理带来了巨大的灵活性和效率。Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索Science Navigator 1.0https://www.bohrium.com/玻尔空间站AI For Science领域的Hugging Face提供高水平的文献阅读、计算和实验平台3.1 数据存储平台的数据基础包括 2 亿篇论文的元数据和 300 万篇 arXiv 论文的全文内容。通过专门开发的 PDF 解析工具Science Navigator 能够精确提取论文中的文本、图片、表格和数学公式。这些结构化和非结构化数据都被统一存储在 MyScale 中既保留了原始格式又转换为向量形式以支持高效搜索。在该项目中利用 MyScaleDB 对于海量的科学文献数据做检索和智能问答其主要的 SQL 表结构就有 10 多个其中多张表结构建立了向量和倒排表索引并利用主键和外键做了关联。系统在实际查询中也会涉及结构化、向量和关键字数据的联合查询以及几张表的关联查询。在专用的向量数据库中这些建模和关联是难以实现的也会导致最终的系统迭代缓慢、查询低效和维护困难。Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引Science Navigator 主要表结构示意图加粗体的列建立了向量索引或倒排索引3.2 数据管理与检索得益于 MyScale 的 SQL 支持Science Navigator 能够将各种复杂的论文元数据存储在同一个数据库系统中。这包括论文之间的引用关系、各个学术刊物的详细信息、作者与论文之间的关联等。这种集中化的数据存储方式大大简化了数据管理流程同时提高了查询效率。如上图所示Science Navigator 在 MyScale 用多张关系型表格存储相关的论文数据其中的 paper_table 保存了论文元数据text_table 保存了 PDF 解析出来的全文数据我们对其中的文本以及文本转成的向量创建了关键字倒排索引和向量索引。对于从 PDF 中解析出来的图像我们将 embedding 保存到了 image_table 中并创建向量索引。对于作者元数据的 author_table我们只针对作者姓名创建关键字倒排索引。对于论文之间的引用关系它们被直接保存在关系型表格 citation_table 中。Science Navigator 的搜索功能充分利用了 MyScale 的混合搜索能力。用户可以同时使用向量搜索和关键词搜索结合 SQL 查询来精确定位所需的学术资源。例如可以轻松实现基于论文内容相似度、发表年份、引用次数等多维度的复杂查询。在对话功能方面MyScale 的 SQL 支持使得 Science Navigator 能够快速检索和组合各类相关信息为用户提供全面而准确的回答。系统可以轻松关联论文内容、作者信息、引用网络等数据生成深入的学术见解。3.3 系统调优和维护为了持续优化性能Science Navigator 利用 MyScale 存储和分析用户交互数据。聊天历史、大模型调用轨迹等信息都被记录在 MyScale 中。通过 SQL 查询和分析这些数据平台能够洞察用户行为模式优化搜索算法和对话模型。MyScale 的 SQL 支持还为 Science Navigator 提供了强大的数据管理和分析能力。平台管理员可以使用熟悉的 SQL 语法进行复杂的数据操作和分析如跟踪热门研究主题、分析作者合作网络、评估期刊影响力等。总的来说MyScale 对 SQL 的全面支持结合其在向量搜索和关键词搜索方面的优势使 Science Navigator 成为一个功能强大、灵活高效的学术研究助手。它不仅提供了先进的搜索和对话能力还为整个学术生态系统的数据管理和分析提供了强大的支持。四、展望AI 数据库支撑的大模型 大数据 Agent 平台机器学习 大数据驱动了互联网和上一代信息系统的成功而在大模型的时代背景下MyScale 团队也致力于提出新一代的大模型 大数据方案。以高性能的 SQL 向量数据库为坚实的支撑MyScaleDB 提供了大规模数据处理、知识查询、可观测性、数据分析和小样本学习的关键能力构建了 AI 和数据闭环成为下一代大模型 大数据 Agent 平台的关键基座。MyScale 团队已经在科研、金融、工业、医疗等领域探索这套方案的落地。参考资料长文本杀不死RAGSQL向量驱动大模型和大数据新范式MyScale AI数据库正式开源Science Navigator — 使用 MyScale 实现亿级向量与结构化数据的毫秒级检索

相关推荐

2026国内主流热计量表生产厂家盘点 供热工程靠谱品牌推荐
2026国内主流热计量表生产厂家盘点 供热工程靠谱品牌推荐

随着国内智慧供热、节能改造、供热分户计量政策持续深化,热计量表作为供暖能耗统计、分户收费、管网能耗优化的核心设备,被广泛应用于市政集中供暖、小区分户计量、工业余热回收、商业楼宇供热等场景。热计量表的测量精度、低温稳定性、抗垢抗干扰能力、… · 2026/11/22 23:17:19

KV260视觉套件与Vitis AI模型量化实战指南
KV260视觉套件与Vitis AI模型量化实战指南

1. KV260视觉套件与Vitis AI初探KV260视觉入门套件是AMD赛灵思面向边缘视觉应用推出的开发平台,搭载了Zynq UltraScale MPSoC芯片,集成了ARM Cortex-A53处理器和可编程逻辑单元。这个火柴盒大小的开发板却能跑通复杂的计算机视觉算法,关键在于… · 2026/11/22 6:22:32

AI安全实战系列(三):(待解决问题)Lab03 RAG Exploitation RAG 检索增强攻击
AI安全实战系列(三):(待解决问题)Lab03 RAG Exploitation RAG 检索增强攻击

随着大模型应用快速落地,RAG(Retrieval-Augmented Generation,检索增强生成)架构已经成为企业知识库、智能客服、AI Agent 等场景中的核心技术。然而,RAG 并不是简单地“接入知识库即可安全运行”,其在数据… · 2026/11/22 9:14:44

电工证补办多少费用在哪考最靠谱
电工证补办多少费用在哪考最靠谱

电工证补办多少费用在哪考最靠谱 实操考试心里没底怕挂科,尤其是对新手来说,第一次面对实操考试真的会紧张得睡不着觉。很多人担心,自己是不是真的能通过考试?如果补办电工证,又需要多少钱? 在哪考… · 2026/11/23 1:35:11

高级工电工证图片怎么查?良心建议告诉你备考避坑指南
高级工电工证图片怎么查?良心建议告诉你备考避坑指南

高级工电工证图片怎么查?良心建议告诉你备考避坑指南 你是不是也像我一样, 急需特种作业证才能上岗找工作 ,可又不知道从哪儿下手?别急,我来给你一个 良心建议 ,先搞懂 高级工电工证图片 怎么查,再一步步帮你理清备考流程,不走弯路。… · 2026/11/23 1:35:11

合肥低压电工证培训书怎么考?学历不高怕报不上名?电子证书也能顺利拿到!
合肥低压电工证培训书怎么考?学历不高怕报不上名?电子证书也能顺利拿到!

合肥低压电工证培训书怎么考?学历不高怕报不上名?电子证书也能顺利拿到! 你是不是也担心自己学历不高,考不上低压电工证?别急,合肥低压电工证培训书的报考门槛其实没有你想象的那么高。只要你符合基本的年龄、健康条件,准备好相关材料,就能顺利报名参… · 2026/11/23 1:35:11

海安电大电工证官方回应:学历不高怕报不上名?这些细节你必须知道
海安电大电工证官方回应:学历不高怕报不上名?这些细节你必须知道

海安电大电工证官方回应:学历不高怕报不上名?这些细节你必须知道 学历不高怕报不上名?这是很多想考【海安电大电工证】的学员最担心的事。我之前也遇到过这种情况,很多人觉得自己文化程度不够,连报名都够不上资格。但其实,官方回应早就说得很清楚,报考… · 2026/11/23 1:35:11

国家电工证怎么复审 低压电工证复审流程全解析 上岗必备
国家电工证怎么复审 低压电工证复审流程全解析 上岗必备

国家电工证怎么复审 低压电工证复审流程全解析 上岗必备 你是不是也担心学历不高,国家电工证复审根本报不上名?别急,先听我给你讲讲真实案例,再教你怎么应对。我认识一个朋友,初中毕业,在信阳浉河区干了七八年电工,直到去年才知道,国家电工证复审其… · 2026/11/23 1:35:11

电工证申办沧州地区多久拿证?实操考试心里没底怕挂科怎么办
电工证申办沧州地区多久拿证?实操考试心里没底怕挂科怎么办

电工证申办沧州地区多久拿证?实操考试心里没底怕挂科怎么办 你是不是也在为“电工证申办沧州地区多久拿证”这个问题头疼?实操考试心里没底怕挂科,这是不少准备考电工证的小伙伴的真实写照。别急,今天就用一个真实的案例,带你看清电工证申办全过程,帮你… · 2026/11/23 1:34:10

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定
平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定

平价的电工证查询保姆级教程:别被中介坑,一步步教你搞定 你是不是也经常在网上看到“平价的电工证查询”这样的关键词,但又不知道去哪报名,怕被中介坑?特别是像你这样的平顶山学员,既想考个正规电工证,又怕花冤枉钱走弯路。别担心,这篇保姆级教程就是… · 2026/11/22 0:00:42

麻阳考电工证在哪里考内部消息你知道吗
麻阳考电工证在哪里考内部消息你知道吗

麻阳考电工证在哪里考内部消息你知道吗 不知道去哪报名怕被中介坑, 内部消息 告诉你,麻阳考电工证不一定要去外地,本地其实也有正规渠道,但很多人因为不了解流程和资质,反而被坑了钱还考不到证。今天我就从一个干了这么多年特种作业培训的“老江湖”角… · 2026/11/22 0:00:43

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程
揭阳普宁电工证换证怎么操作?良心建议帮你理清流程

揭阳普宁电工证换证怎么操作?良心建议帮你理清流程 之前考的证在外省能不能转过来?这是很多已经在外地工作、现在想回揭阳普宁发展的电工朋友最关心的问题。如果你也是其中之一,那这篇文章就是为你们量身定制的,从换证流程到避坑建议,良心建议全给你讲透… · 2026/11/22 0:00:43

工地太忙根本没时间复习考试?泗阳电工证快速办理内部消息全在这了
工地太忙根本没时间复习考试?泗阳电工证快速办理内部消息全在这了

工地太忙根本没时间复习考试?泗阳电工证快速办理内部消息全在这了 工地太忙根本没时间复习考试,尤其是像你这样在信阳水利工程一线打拼的老电工,天天跟钢筋水泥打交道,哪还有空去背那些考试题?更别提现在办证流程越来越复杂,稍有不慎就可能耽误项目进度… · 2026/11/23 0:00:44

低压电工证复证材料千万别踩坑!这些材料你准备好了吗?
低压电工证复证材料千万别踩坑!这些材料你准备好了吗?

低压电工证复证材料千万别踩坑!这些材料你准备好了吗? 证书过期了不知道怎么复审延期?你不是一个人!现在不少电工朋友都在为低压电工证复证材料发愁,怕流程复杂、怕材料不全、怕耽误工作。其实,只要准备充分,复审一点都不难。今天就来带你一步步搞清楚… · 2026/11/23 0:00:44

上海哪里考电工证便宜真实经历分享:实操考试心里没底怕挂科
上海哪里考电工证便宜真实经历分享:实操考试心里没底怕挂科

上海哪里考电工证便宜真实经历分享:实操考试心里没底怕挂科 实操考试心里没底怕挂科,这是很多准备考电工证的朋友的共同心声。尤其是在上海这样的大城市,报考渠道多、价格不一,很多人在报名前都会犹豫到底该去哪家机构,费用多少才算合理。我自己在驻马店… · 2026/11/23 0:00:44

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/22 20:41:13

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/21 15:19:30

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/22 23:39:58

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码