从性能到成本：超大规模向量检索选型逻辑转变观察

执行摘要：本报告基于Pinterest放弃HNSW转向量化SPANN架构的代表性案例，观察超大规模向量检索技术路线的演进逻辑：随着数据规模从数亿扩展至数百亿级，内存成本取代纯检索性能成为架构选型的核心约束。报告梳理向量检索产业链上下游现状、主流索引技术竞争格局与量化压缩生态，并对磁盘式倒排索引、成本导向选型等趋势作出判断，供产业与技术决策参考。

产业现状与技术格局

一、向量检索的应用演进：从百万级到百亿级

向量检索技术伴随非结构化数据搜索与深度学习嵌入表示的普及而兴起。在应用早期，典型场景以推荐系统召回、图像搜索、语义搜索为主，数据规模普遍在百万至千万级向量。这一阶段的核心诉求是检索精度与查询延迟，工业界普遍采用全内存方案即可满足业务需求，硬件成本在整体系统开支中占比有限。

随着大模型与多模态应用的爆发，向量数据的生成规模出现量级跃迁。以内容平台为例，图片、视频、文本的多模态嵌入使得单平台的向量规模从数亿快速膨胀至数百亿级（参考素材中 Pinterest 的场景即为数亿至数百亿级）。当数据规模跨越这一阈值后，检索系统的选型考量发生了结构性变化：内存容量、单位数据存储成本、水平扩展能力取代单纯的性能指标，成为架构决策中的主导因素。

二、HNSW 图索引的长期主导地位及其成因

在中小规模场景中，HNSW（分层可导航小世界图）长期占据主流地位，其主导地位的成因可归纳为三点：

1. 性能优势显著。HNSW 通过多层图结构实现近似最近邻搜索，在召回率与查询延迟之间提供了业内领先的平衡，能够稳定支撑毫秒级在线服务。

2. 工程生态成熟。主流向量数据库与检索框架普遍将 HNSW 作为默认索引类型，文档、调参经验、运维工具链完善，迁移与选型成本低。

3. 与全内存架构天然契合。在数据可全量驻留内存的规模区间内，HNSW 的图遍历访问模式能够充分发挥内存带宽优势，无需额外的 I/O 优化设计。

这三大优势相互强化，形成了长达数年的技术路径依赖：性能导向的选型逻辑下，HNSW 几乎成为超大规模之外的“默认答案”。

三、超大规模场景下的瓶颈显现

然而，当向量规模进入百亿级区间，HNSW 的架构前提开始动摇。其瓶颈的核心在于内存驻留成本：HNSW 要求全量向量及其图结构驻留内存，以保证图遍历的随机访问性能。这一设计在千万级数据下无足轻重，但在百亿级数据下，仅向量原始数据的内存开销就构成沉重负担；叠加图邻居结构的额外存储，内存成本随规模近似线性甚至超线性增长，成为系统中名副其实的“内存大户”。此外，图索引的分片与水平扩展复杂度也随规模上升，进一步加剧了大资源池的运维压力。

Pinterest 的选型转向是这一瓶颈的典型案例：其在数亿至数百亿级场景下放弃 HNSW，转向微软提出的 SPANN 磁盘式倒排索引架构，并引入向量量化压缩。SPANN 通过聚类分区，仅将部分中心向量驻留内存、其余向量存放磁盘，大幅降低了资源开销；向量量化则进一步压缩了存储密度。该方案以可控的精度损失换取了成本与可扩展性的显著改善。

四、格局研判：性能导向向成本导向的路径迁移

Pinterest 案例具有行业风向标意义，它揭示出超大规模向量检索的选型逻辑正在发生根本转变——从“以性能换体验”转向“以架构换成本”。这一转变并非否定 HNSW 的技术价值，而是不同规模区间下约束条件变化所致的理性选择：在中小规模场景，HNSW 的性能与生态优势依然稳固；在百亿级场景，磁盘式索引与量化压缩的组合正在成为新的候选路径。可以预见，向量索引技术格局将从“单一路径主导”走向“按规模分层选型”的多格局并存阶段。

五、技术演进脉络

综上，本章梳理了向量检索从中小规模到百亿级的应用演进路径，分析了 HNSW 主导地位的技术与生态成因，以及其在大规模场景下因内存成本而暴露的瓶颈。下一章将围绕 SPANN 等新型架构的成本模型展开量化分析。

产业链结构：上游基础设施

向量检索系统的成本结构，首先取决于产业链上游的基础设施供给。本章从硬件层、软件层两个维度梳理上游格局，并重点分析内存成本在系统总拥有成本（TCO）中的占比变化。

一、硬件层：内存与存储的成本分化

超大规模向量检索对上游硬件的需求集中在两类资源：一是承载索引结构与热点向量的 DRAM 内存，二是承载全量向量的 SSD 与 HDD 存储。过去十年，DRAM 单位容量价格长期高于 NAND 闪存约一个数量级，这一价差构成了向量检索架构演进的底层经济约束。

在亿级以下数据规模，全量向量驻留内存的方案（如主流图索引 HNSW）可以接受；但当数据规模攀升至数十亿、数百亿级时，内存容量需求线性膨胀，硬件采购与运维成本迅速超过算力本身，成为系统 TCO 中的主导项。与此同时，NVMe SSD 的吞吐与时延持续改善，使“内存放索引骨架、磁盘放向量主体”的混合分层方案在工程上具备可行性。

二、软件层：向量数据库与索引算法开源生态

索引算法层面，开源生态呈现图索引、倒排索引、量化压缩三条主线并存的格局：

向量数据库层面，开源项目（Milvus、Qdrant、Weaviate 等）与云厂商托管服务共同构成供给主体。开源生态加快了磁盘式架构与量化技术的扩散，使头部互联网公司能够以较低迁移成本替换原有内存密集型方案。

三、典型案例：Pinterest 从 HNSW 转向 SPANN

Pinterest 在数亿至数百亿级向量检索场景中，放弃了长期主流的 HNSW，转向微软提出的 SPANN 磁盘式倒排索引架构，并引入向量量化压缩。其核心动因是 HNSW 要求全量向量驻留内存，在大规模数据下内存成为成本“大户”；而 SPANN 通过聚类分区，仅让部分向量驻留内存、其余放置磁盘，显著降低资源开销。这一案例印证了上游硬件价差如何传导至应用层的架构选型。

四、上游结构示意

五、小结

上游基础设施的供给结构正在重塑下游选型逻辑：内存与存储之间持续存在的单位成本价差，叠加 SSD 性能提升与开源磁盘式索引方案的成熟，使超大规模向量检索从“性能优先、全量驻留内存”逐步转向“成本与可扩展性优先、内存磁盘分层”。可以预期，内存成本在系统 TCO 中的占比将从主导项下降为可优化的变量之一，上游厂商的存储产品与软件生态的配合度将成为产业链竞争的新焦点。

产业链结构：中游与下游

中游：检索引擎与数据库服务商

超大规模向量检索产业链的中游由两类主体构成：一类是以专用向量数据库为核心产品的数据库服务商，另一类是将向量检索能力内嵌于通用数据库或搜索引擎中的平台型厂商。中游企业的商业本质是向下游应用方提供索引构建、分布式管理、查询优化等检索基础设施服务，其核心竞争力体现在三方面：索引算法的效率、资源成本的控制能力，以及与主流开发框架的集成度。

值得注意的是，中游的技术路线正在发生结构性分化。以 HNSW 为代表的内存图索引长期占据主流，其优势在于低延迟与高召回率，但代价是全量向量必须驻留内存。当数据规模从千万级上升至百亿级时，内存成本呈线性攀升，成为产品定价与毛利率的直接约束。以微软提出的 SPANN 为代表的磁盘式倒排索引架构，通过聚类分区将部分向量驻留内存、其余下沉磁盘，配合向量量化压缩，大幅降低资源开销。这一技术路线的兴起，意味着中游厂商的产品设计目标正从单点性能最优转向单位查询成本最优，检索能力正在从“内存密集型奢侈品”转变为“成本敏感型基础品”。

下游：推荐、搜索与多模态应用

下游应用方是向量检索价值变现的最终环节，主要集中于三类场景：

• 推荐系统：以向量化用户行为与物品表征，实现个性化召回，是电商、内容平台的核心基础设施；
• 语义搜索：将文本、图像映射为向量后进行相似度匹配，支撑站内搜索、企业知识库、RAG 等应用；
• 多模态应用：融合图文、音视频的统一向量空间检索，是大模型时代增长最快的需求来源。

下游需求的规模与结构，直接决定了中游的技术选型方向。数亿至数百亿级的向量规模，已不再是少数头部平台的特例，而正在成为中大型平台的常态配置。

头部平台的示范效应：Pinterest 案例

Pinterest 在数亿至数百亿级向量检索场景下，放弃了长期主流的 HNSW，转向磁盘式 SPANN 架构并引入量化压缩，核心动因是 HNSW 全量向量驻留内存带来的高昂成本。这一迁移的产业意义在于：

1. 验证了磁盘式方案的工程可行性，为观望中的中大型平台提供了可参照的技术路径；

2. 改变了中游的产品评价标准，单位查询成本、存储效率开始与召回率、延迟并列成为核心指标；

3. 加速了索引技术的多元化，图索引、倒排索引、量化压缩的组合方案成为新的竞争焦点。

头部平台的技术决策具有强示范效应，其迁移往往引发中游产品路线的连锁调整，类似 Yann LeCun 在 ECCV 2026 演讲中对生成式模型局限的系统性反思推动世界模型路线获得关注一样，技术社区的共识形成正在越来越快地传导至产业选型层面。

产业链传导逻辑

小结

中游与下游的互动构成本章观察的核心：下游应用的规模化使成本约束成为刚性，中游则以磁盘式架构与量化技术予以回应，而 Pinterest 等头部平台的实际迁移为这一转变提供了事实锚点。产业链的选型逻辑正从“性能优先”加速过渡到“性能与成本并重”，这一趋势将在下一章的成本测算中得到量化验证。

案例分析：Pinterest的架构迁移

Pinterest 的向量检索架构迁移，是当前超大规模检索领域最具代表性的选型转向样本。其从全量内存驻留的 HNSW 图索引，转向 SPANN 磁盘式倒排索引并叠加向量量化压缩，清晰地呈现了行业选型逻辑从「性能优先」向「成本与可扩展性优先」的转变轨迹。本章从动因、路径与成本收益三个维度拆解这一案例。

4.1 迁移动因：内存成本成为核心约束

Pinterest 的向量检索规模达数亿至数百亿量级。在这一规模下，主流的 HNSW 图索引暴露出结构性成本问题：HNSW 依赖全量向量常驻内存以维持图遍历的低延迟与高召回，而数百亿向量的原始数据加上索引结构，意味着内存需求随数据量线性乃至超线性增长。内存是服务器资源中单价最高的组件之一，当向量库规模持续扩张时，内存开支在总持有成本（TCO）中的占比不断攀升，成为名副其实的「内存大户」。

问题的关键在于边际成本曲线：HNSW 的性能优势在中小规模下显著，但其资源开销与数据总量强绑定，无法通过架构手段将大部分数据移出内存。对于 Pinterest 这类数据持续增长的业务，这意味着每一条新增向量都直接转化为内存账单的增量，扩展模型在成本维度不可持续。

SPANN（微软提出的空间分区近似最近邻检索架构）提供了不同的资源模型：通过聚类将向量空间划分为大量分区，仅将各分区的中心点（质心）驻留内存，全量向量存储在磁盘。查询时先在内存中定位少量相关分区，再从磁盘读取候选集完成精排。这一「内存放索引骨架、磁盘放数据主体」的分层设计，从根本上将内存需求与数据总量解耦。

4.2 迁移路径：分区检索与量化压缩的组合

Pinterest 的方案并非简单的索引替换，而是两项技术的叠加：

其一，SPANN 磁盘式倒排分区。 以聚类分区替代图遍历，将检索范式从「在内存图中游走」改为「定位分区—磁盘读取—局部精算」。这牺牲了部分单次查询延迟的确定性，但换来了内存占用数量级的下降。

其二，向量量化压缩。 对存储与传输的向量施加量化，进一步压缩磁盘存储体积与磁盘 I/O 带宽需求，同时降低精排计算量。量化带来的精度损失，通过 SPANN 的多分区召回冗余机制予以补偿——每次查询读取多个候选分区，以更宽的候选集对冲单向量的信息损耗。

这一组合体现了典型的工程折衷思维：在可接受的召回率与延迟区间内，最大化压缩单位数据的资源占用，而非追求单点性能极限。

4.3 成本收益逻辑

从选型逻辑看，这一迁移的收益结构呈现三个特征：

成本维度收益最大。 内存占用从「全量向量」降至「分区质心 + 少量缓存」，存储从内存单价降级至磁盘单价，再经量化进一步压缩。在数百亿规模下，这种资源层级的下移带来的成本节约是数量级层面的。

性能让步可控。 磁盘 I/O 必然引入延迟，但通过分区剪枝与量化精排的组合，延迟与召回的损失被控制在业务可接受区间。对于推荐场景，「够快且够准」比「极快且极准」更具经济价值。

扩展性显著改善。 新增数据主要落盘而非扩内存，容量扩展的边际成本曲线趋于平缓，使架构能够匹配业务数据的长期增长预期。

4.4 案例的产业含义

Pinterest 的实践揭示了一个正在成形的行业共识：当向量检索从亿级走向百亿级，内存驻留架构的经济模型难以支撑，检索基础设施的选型标准正从单指标性能（延迟、召回率）转向资源效率、单位成本与扩展弹性的综合权衡。可以预期，磁盘式架构与量化技术的组合将在超大规模场景中获得更多采用，而全内存图索引将收缩至中小规模、延迟敏感型场景。这一分化标志着向量检索正在从技术竞赛阶段进入工程化、成本化运营阶段。

需要说明的是，本案例所依据的为公开参考素材中的事实与数据，具体成本数字 Pinterest 未完整披露，上述分析侧重架构层面的逻辑推演，而非精确财务测算。

数据与竞争格局

超大规模向量检索领域的技术选型，正在经历从“性能优先”到“成本与可扩展性优先”的结构性转变。这一转变不仅重塑了主流索引架构的竞争位势，也深刻影响着开源社区与云厂商之间的博弈格局。

一、三大架构的横向对比

当前主流向量检索架构可归纳为三类：以 HNSW 为代表的图索引、以 IVF 为代表的倒排量化索引、以 SPANN 为代表的磁盘式混合倒排索引。三者在性能、成本与可扩展性维度各有取舍。

Pinterest 的实践为这一对比提供了具有说服力的实证。在其数亿至数百亿级向量检索场景下，Pinterest 放弃了长期主流的 HNSW，转向微软提出的 SPANN 磁盘式倒排架构，并引入向量量化压缩。其核心动因在于：HNSW 将全量向量驻留内存，在大规模数据下内存成本成为“大户”；而 SPANN 通过聚类分区，仅让部分向量驻留内存、其余存放磁盘，大幅降低了资源开销。

二、选型逻辑转变的产业逻辑

Pinterest 的案例并非孤立的工程决策，而是反映了行业拐点的到来。当向量规模从千万级迈向数十亿级，图索引“用内存换性能”的路线在成本侧遭遇硬约束——内存价格与数据增长之间的剪刀差，使得纯性能指标不再是唯一考量。产业选型的评价体系正从单一的 QPS/召回率，扩展为“性能—成本—可扩展性”的三维权衡。

这一转变对技术路线的影响是深远的：

• 磁盘式与量化技术重获重视：SPANN 类架构与向量量化压缩的组合，代表了“以工程手段换取数量级成本下降”的路线，在大规模场景中性价比优势明显。
• 图索引退守高价值场景：HNSW 并未被淘汰，在延迟敏感、规模可控的在线服务中仍是首选，但其适用边界正在被明确划定。
• 架构融合趋势显现：头部系统开始采用混合策略——分层索引、量化压缩与磁盘检索组合，以适配不同规模与预算的业务需求。

三、竞争格局：开源社区与云厂商的双线博弈

围绕向量检索，开源社区与云厂商形成了既协作又竞争的复杂态势。

开源侧：HNSW、IVF、SPANN 等核心算法均以开源形式发布，围绕它们形成了众多开源向量数据库项目。开源生态降低了技术门槛，加速了算法迭代与方案选型，也使架构优劣能够接受大规模生产环境的公开检验——Pinterest 的选型决策本身就建立在开源算法的可复现验证之上。

云厂商侧：云厂商依托托管服务将向量检索能力产品化，其竞争焦点已从“是否支持向量检索”转向规模、成本与生态整合能力。云厂商积极吸收开源社区的最优架构（如 SPANN 源自微软研究院），同时通过托管服务、Serverless 计费等方式将成本优势转化为商业壁垒。

博弈的核心逻辑在于：开源社区掌握算法创新的话语权，云厂商掌握规模化落地与商业化的通道。算法以开源形式快速扩散，而将算法转化为低成本、高可用的托管服务，则成为云厂商差异化竞争的主战场。在这一格局下，成本效率正取代纯性能指标，成为衡量商业竞争力的新标尺。

四、小结

从 Pinterest 抛弃 HNSW 转向量化 SPANN 的案例可以看到，超大规模向量检索的竞争维度已经多元化。HNSW、IVF、SPANN 三类架构并非简单的替代关系，而是在性能、成本、可扩展性三维空间中的不同定位。开源社区与云厂商的双线博弈，将持续推动架构创新向成本效率方向演进——谁能以更低的单位检索成本交付可接受的召回质量，谁就能在下一个规模量级的竞争中占据先机。

趋势判断与展望

选型逻辑的结构性转变

超大规模向量检索的选型逻辑正在发生可观察的转变：从以召回率与查询延迟为核心指标的“性能导向”，转向以总体拥有成本（TCO）与横向可扩展性为核心的“成本导向”。这一转变最具代表性的信号，是 Pinterest 在数亿至数百亿级向量检索场景下，放弃长期主流的图索引 HNSW，转向微软提出的 SPANN 磁盘式倒排索引架构，并引入向量量化压缩。

其技术经济逻辑十分清晰：HNSW 将全量向量驻留内存，在检索性能上表现优异，但随数据规模线性增长的内存开销成为“大户”级成本负担。SPANN 通过聚类分区、部分向量驻留内存、其余下沉至磁盘的分层设计，以可控的延迟损失换取数量级的资源成本下降。当业务规模跨过某个临界点后，“够用的性能 + 可负担的成本”开始优于“极致的性能 + 难以承受的账单”，选型天平随之倾斜。

判断一：成本导向将成为超大规模场景的主导逻辑

向量数据库的竞争要素正在从索引算法的召回率、延迟等单点性能指标，扩展到内存占用、磁盘带宽、单位查询成本、扩缩容平滑性等系统级指标。驱动因素有三：

其一，规模效应。数亿到数百亿向量并非所有业务的常态，但对推荐、检索类头部平台而言已成现实，此量级下内存驻留方案的成本曲线陡峭。其二，压缩技术成熟。量化压缩在保持可用召回精度的前提下大幅降低存储密度，使磁盘式架构的精度代价进一步收窄。其三，基础设施供给变化。高速本地盘、NVMe 与对象存储的普及，降低了磁盘式架构的工程门槛。

判断二：磁盘式架构与量化压缩或成超大规模主流，但需持续跟踪落地验证

从公开案例看，“磁盘式倒排 + 量化压缩”的组合在超大规模场景展现出清晰的成本优势， Pinterest 的实践是这一路线的首批大型验证之一。但需要保持审慎：

• 性能边界尚待充分暴露。磁盘式架构在高 QPS、长尾延迟、冷启动等工况下的表现，公开数据仍有限，尚不足以支撑普适性结论。
• 迁移成本与生态惯性。HNSW 生态成熟、工具链完善，中等规模场景仍具合理生命力；已建成的内存式系统不会短期内被替换。
• 分层架构的工程复杂度。内存与磁盘的混合管理、缓存策略、分区再平衡等，对工程团队提出了新要求，落地效果高度依赖运维能力。

因此，更稳妥的表述是：磁盘式与量化路线方向明确、案例初现，能否成为主流取决于未来一至两年内更多生产环境的公开验证数据。

展望：分层格局与算法—成本协同

未来向量检索市场大概率呈现分层格局：中小规模与低延迟敏感场景延续图索引为主的内存方案；超大规模场景向磁盘式与量化压缩路线迁移；两者之间出现混合分层架构作为过渡带。与此同时，行业底层逻辑与 LeCun 在 ECCV 2026 演讲中对抽象表示空间预测的论述形成呼应——当模型转向在抽象空间而非原始像素层面进行学习与检索时，向量本身的信息密度与压缩潜力也可能被重新定义，为更激进的压缩路线提供理论空间。

对产业观察者的启示在于：评估向量检索方案时，应将“单位向量的存储与查询成本”“规模增长下的架构弹性”纳入与召回率、延迟同等重要的指标体系，并持续跟踪磁盘式架构在实际生产环境中的验证进展——这将是判断本轮选型逻辑转变是否确立的关键观察点。