向量数据库 测试结果

一、不同维度最大 QPS 对比

·测试目标：检索不同维度的数据集，向量索引选择 HNSW 类型，在召回率达到 99% 的情况下，获取最相似的 Top10的文档，对比某开源向量数据库与腾讯云向量数据库的 QPS 数据。

·测试规格：向量数据库 4CPU、8GB内存、节点数量为 3。

·测试数据集：数据量级100w，128、768、960三档维度的数据集。

·测试结论：数据集128维与768维某开源向量数据库与腾讯云向量数据库的 QPS 对比测试数据，如下所示。通过如下对比视图，可看出腾讯云的 QPS 性能具有显著优势。通过该项测试，可得出如下结论：

·在不同维度的数据集下，HNSW 索引都可以达到99%以上的召回率。

·在数据量相同的情况下，随着向量维度的增加，检索时资源开销增加，腾讯云向量数据库 QPS 会有所降低。

·同一数据集，与某开源自建向量数据库对比，腾讯云向量数据库的 QPS 有36%到279%的提升。对比视图，如下所示。

二、不同召回率下的 QPS 对比

·测试目标：检索100w数据量级，向量索引类型为 HNSW，设置不同的查询参数 ef（指定寻找节点邻居遍历的范围），分析召回率的变化，对比 QPS 数据。

·测试规格：向量数据库 P.MEDIUM（4CPU、8GB内存）、节点数量为 3。

·测试数据集：chinese100w-768-angular，数据量级100w，768维度的数据集。

·测试结论：测试数据，如下表所示。分析可得出如下结论。

·同一数据集，召回率要求越高，即 ef 参数设置越大时，QPS越低。 不同召回率 QPS 的对比视图，如下所示。

·同一数据集，在其他配置不变的情况下，若需提高召回率，可适当增加查询参数 ef。

三、不同数据规模 QPS 对比

·测试目标：检索不同数据规模的数据集，在召回率达到95%的情况下，获取最相似的 Top10的文档，分析不同数据量级的 QPS 数据。

·测试规格：向量数据库 P.LARGE（8CPU、16GB内存）、节点数量为 3。

·测试数据集：chinese100w-768-angular、chinese500w-768-angular、chinese1000w-768-angular 768维度不同数据量级的数据集。

·测试结论：测试数据，如下表所示。分析可得出如下结论。

·向量维度相同时，随着数据规模量级增加，检索时资源开销增加，QPS 有所降低。具体对比视图，如下所示。

·从数据中可以看出，数据量越大，达到相同召回率时，需要设置的查询参数 ef 就会越大，检索过程中便需要遍历更大的搜索范围。因此，在实际应用HNSW 索引时，需要根据业务规模和召回率要求，提前测试并设置合理的 ef 参数。