时间:2026-01-21 17:42
人气:
作者:admin

说实话,我第一次接触向量数据库的时候,是有点抗拒的。
那会儿各种文章都在说:
结果我真正打开文档一看,全是:
名词密度高到让我一度怀疑:
这是不是又一个“包装得很厉害的老技术”?
直到后来我在项目里真的开始用它、调它、踩坑、看源码,才慢慢意识到一件事:
向量数据库真正有价值的地方,不在概念,而在它对「存储 + 检索」这件事做了极其激进的工程优化。
这篇文章,我不打算从“是什么”讲起,而是想换个更工程化的视角:
一个向量,从进数据库到被检索出来,中间到底经历了什么?
在传统数据库里,我们处理的是:
它们的共同特点是:
可比较、可排序、可精确匹配。
而向量完全不是这么回事。
一个 embedding,通常是:
你没法说:
这个向量 = 那个向量
你只能说:
这两个向量,有多像
而“有多像”,通常意味着:
到这里,其实问题已经很清楚了。
向量数据库的本质问题只有一个:
如何在“巨量高维浮点向量”中,快速找到“足够相似”的那几个?
注意我用的是“足够相似”,而不是“最相似”。
这个细节,后面会反复出现。
刚开始我也以为,向量数据库的“存储”阶段应该很简单:
不就是一堆 float 数组写到磁盘上吗?
后来才发现,这个想法太天真了。
假设你有:
那光原始数据就是:
1000万 × 768 × 4 bytes ≈ 30GB
这还没算索引、元数据、缓存。
所以第一个现实问题就是:
向量数据库不可能只存“原始向量”。
几乎所有成熟的向量数据库,都会在某个阶段引入向量压缩。
但这里有一个经常被忽略的点:
向量压缩不是为了省钱,而是为了“让检索跑得动”。
常见思路包括:
它们的共同目标只有一个:
用更少的 bit,保留“相对距离关系”。
这也是为什么你会看到很多向量数据库文档里反复强调一句话:
压缩后,相似度计算仍然“足够准确”。
这里的“足够”,非常工程化。

「全量暴力搜索 vs ANN 搜索」复杂度对比图
如果你向量数量很少,事情其实很简单。
比如 1 万条向量,你完全可以:
但问题是,真实世界里几乎没人这么玩。
一旦数据量上来,全量计算就直接不可接受了。
这也是向量数据库真正开始和传统数据库分道扬镳的地方。
说句实话,如果你追求的是绝对精确,那向量数据库本身就是错的。
因为它几乎都建立在一个前提之上:
我不追求最优解,我追求一个足够好的近似解。
这就是所谓的 ANN(Approximate Nearest Neighbor)。
我当时第一次意识到这一点的时候,其实挺震惊的。
因为这意味着:
换来的,是速度和可扩展性。

“全部向量” → “候选集” → “TopK”
如果你把向量数据库当成一个黑盒,很容易迷失在各种算法名词里。
但如果换个角度想:
索引的核心目的,其实只有一个:
尽可能少地看向量,但还能找到差不多对的那几个。
所有 ANN 索引,本质上都在做这件事。
HNSW 是我个人觉得最“反直觉但又最工程化”的一种索引结构。
它不是树,也不是 hash,而是一张图。
更准确地说,是多层小世界图。
你可以这样理解它:
搜索的时候:
这里面有个很重要的工程思想:
先用很便宜的计算,缩小搜索范围;
再用更贵的计算,做精细判断。
这个问题我后来想了很久,最后得出的结论其实很朴素:
向量数据库快,不是因为算得快,而是因为算得少。
它通过:
把原本“必须算 1000 万次”的事情,变成:
只算几千次,甚至几百次。
哪怕每次计算稍微复杂一点,整体还是赚的。

「内存 / 缓存 / 磁盘」分层访问示意图
很多人会以为,向量数据库主要瓶颈在 CPU。
但在真实系统里,内存布局和缓存命中率反而非常关键。
一些非常工程但很少被写进文章的事实:
这也是为什么很多向量数据库会强调:
内存越大,体验越好
不是营销,是事实。
我们把流程串起来看一次。
当你发起一次向量检索请求时,大致会发生:
注意一个细节:
真正算“精确相似度”的向量,数量其实很少。
这就是整个系统能跑起来的关键。
我一开始也尝试过:
能不能在 MySQL / PostgreSQL 里直接存向量?
答案是:
能,但体验非常差。
原因并不复杂:
向量数据库并不是“多了个字段类型”,
而是从存储到检索路径全部重新设计过的一套系统。
如果你只是:
你未必真的需要一套完整的向量数据库。
但一旦你遇到:
那你会非常清楚地感受到:
这些“看起来很复杂的设计”,
本质上都是被工程现实逼出来的。
如果让我用一句话总结向量数据库,我会说:
它不是一项“新技术”,而是一堆老思想在 AI 场景下的极限工程化。
这些思想其实并不新,但在大模型时代,被推到了一个前所未有的规模。
如果你已经开始在真实项目里用向量数据库,大概率会遇到一个现实问题:
理论都懂了,但怎么把向量、检索、模型训练这几件事真正连起来,反而更麻烦。
尤其是在做 RAG 或大模型应用时,向量数据库往往只是链路中的一环,前后还牵扯到:
在这种情况下,很多团队会选择先用一些已经把训练和工程流程封装好的工具,把整体链路跑顺,再逐步替换成更定制化的方案。
比如像 LLaMA-Factory online这样的工具,已经把模型微调、数据处理、实验配置这些容易出错的工程细节做了封装,对于想快速验证思路、减少重复造轮子的团队来说,会是一个相对省心的起点。
它解决的不是“算法更先进”,而是一个很现实的问题:
让工程师把精力放在真正需要思考的地方,而不是反复踩同样的工程坑。