微软开源Bing搜索背后的关键算法

微软今天宣布开源了一项 Bing 搜索背后的关键算法 —— SPTAG,它使 Bing 能够快速将搜索结果返回给用户。

仅在几年前,网络搜索很简单,用户输入几个关键词然后浏览结果页面。现如今,这些用户可能会在手机上拍照并将其放入搜索框中,或使用智能助手提问,而无需亲自触摸设备。他们也可能会输入一个问题并期待一个实际的答复,而不是一个可能答案的页面列表。

SPTAG (Space Partition Tree And Graph,空间划分树和图)是分布式近似最近邻域搜索(ANN)库的核心,为大规模矢量搜索场景提供高质量矢量索引构建、搜索和分布式在线服务工具包。

利用 SPTAG 算法作为开源 Python 库的核心,Bing 能够在几毫秒内搜索数十亿条信息

640?wx_fmt=png

当然,矢量搜索本身并不是一个新想法,但微软所做的是将这一概念应用于深度学习模型

首先,团队采用预先训练的模型并将数据编码到矢量中,其中每个矢量代表一个字或像素。然后使用新的 SPTAG 库生成向量索引。随着查询的进入,深度学习模型将该文本或图像转换为向量,该库紧接着就能在索引中找到最相关的向量。

微软表示,SPTAG 库迄今已对超过 1500 亿条数据进行了编目,包括单个单词、字符、网页代码段和完整查询。

“Bing 每天处理数十亿个文档,现在的想法是将这些条目表示为向量,并搜索这个 1000 亿以上向量的巨大索引,以便在 5 毫秒内找到最相关的结果”。

通过将矢量搜索应用到深度学习模型,微软让 Bing 搜索引擎能更快地向用户提供更相关的结果。

例如在 Bing 上搜索“巴黎的塔楼有多高?”,搜索引擎会告诉你埃菲尔铁塔高 324 米(1063 英尺),尽管在搜索关键词中并没有出现“埃菲尔”(Eiffel)这个单词。

Bing 团队期望开源 SPTAG 可用于构建可识别基于音频片段所说语言的应用,或用于让用户拍摄植物照片并识别属和物种的服务。

该库现已开放使用,并提供构建和搜索这些分布式矢量索引的所有工具。

码云极速下载地址
https://gitee.com/mirrors/sptag

开源让世界更美好↓↓↓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/315896.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Stern-Brocot Tree

Stern-Brocot Tree 0.简介 Stern-Brocot Tree,俗称SB树(滑稽)。它能够表示出所有的最简分数,如下图。 1.一些规律 显然,对于两个相邻的最简分数 可以得到另一个最简分数 这样就可以在Stern-Brocot Tree上表示出所有…

FWT(快速沃尔什变换)

文章目录引入:or卷积and卷积xor卷积IFWT模板:例题:引入: FFT/NTT是用来解决∑ijkA[i]B[j]\sum_{ijk}A[i]B[j]∑ijk​A[i]B[j]的式子 而FWT是用来解决Ci∑j⊕kiAjBkC_i\sum_{j⊕ki}A_jB_kCi​∑j⊕ki​Aj​Bk​ ​ FWT是一种用于处…

教你自制.NET Core Global Tools

点击上方蓝字关注“汪宇杰博客”命令行是程序员装逼利器,.NET Core也可以写命令行程序,但是如何分发给其他程序员使用,一直是个问题。现在,有了.NET Core Global Tools,可以很方便的解决分发问题,我们来看看…

三点间LCA

三点间LCA 1.直接上题——jzoj5883. 【NOIP2018模拟A组9.25】到不了 Dscription wy 和 wjk 是好朋友。 今天他们在一起聊天,突然聊到了以前一起唱过的《到不了》。 “说到到不了,我给你讲一个故事吧。” “嗯?” “从前,神和凡人…

CF1208F Bits And Pieces(未解决)

CF1208F Bits And Piecesa 题意&#xff1a; 给定 n 个数的数组d,找到i<j<ki\lt j\lt ki<j<k 的 i,j,k&#xff0c;使得 di∣(dj&dk)d_i|(d_j \& d_k)di​∣(dj​&dk​)最大 题解&#xff1a; 一开始以为是01字典树&#xff0c;看了题解说是SOSdp&…

微软拥抱开源,Win10为啥要引入真Linux4.X内核?

来源 | 异步 | 文末赠书2019 年微软 Build 开发者大会在雷德蒙德召开。继将 Bash shell、原生 OpenSSH、WSL 引入 Windows&#xff0c;以及在微软商店提供 Ubuntu、SUSE Linux 和 Fedora 等发行版&#xff0c;微软又宣布了一个重大的决定 —— 将完整的 Linux 内核引入 Windows…

文件快速输入输出

某考试中出题人给出的毒瘤文件快速输入输出。 namespace io {const int SIZE (1 << 21) 1;char ibuf[SIZE], *iS, *iT, obuf[SIZE], *oS obuf, *oT oS SIZE - 1, c, qu[55]; int f, qr;// getchar#define gc() (iS iT ? (iT (iS ibuf) fread (ibuf, 1, SIZE, …

F.孤独(牛客小白月赛39)

F.孤独&#xff08;牛客小白月赛39&#xff09; 题意&#xff1a; 给定一棵树&#xff0c;寻找一个路径&#xff0c;将断掉所有与这个路径上的点相连的边&#xff0c;使得剩下的最大连通块的大小最小 题解&#xff1a; 这题有点印象&#xff0c;感觉做过&#xff0c;至少这…

分布式 - 分布式系统的特点

20世纪60年代&#xff0c;IBM研发了System 360架构大型机&#xff0c;与同时期的波音707、福特汽车誉为商业三大成就&#xff0c;凭借其卓越的性能和良好的稳定性&#xff0c;开启了大型机的时代&#xff0c;诞生了非常多的集中式系统&#xff0c;采用单机架构&#xff0c;有非…

[WC2011][BZOJ2115] Xor

BZOJ2115 Xor 题目描述&#xff1a; 题目大意&#xff1a; 给定一张 n 个点 m 条边的无向带权连通图&#xff0c;求一条从点 1 到点 n 的路径&#xff0c;使得经过的边权异或和最大。 路径可以经过重复点和重复边&#xff0c;当一条边被重复经过时也会相应地被 xor 多次。 s…

.NET Core 3.0 可回收程序集加载上下文

.NET诞生以来&#xff0c;程序集的动态加载和卸载都是一个Hack的技术&#xff0c;之前的NetFx都是使用AppDomain的方式去加载程序集&#xff0c;然而AppDomain并没有提供直接卸载一个程序集的API&#xff0c;而是要卸载整个AppDomain才能卸载包含在其中的所有程序集。然而卸载整…

ADPC2-G 希望

希望 题意&#xff1a; 有A&#xff0c;B两棵树&#xff0c;对于一个1到n的全排列a[i],让树A中的点i和树B的节点a[i]连一条边&#xff0c;希望指数&#xff1a;两棵树和新加入的边构成的图中&#xff0c;环长为m的环的个数。数组a[]可以任意交换位置&#xff0c;且任意&#…

[BeiJing2011][bzoj2460] 元素

[BeiJing2011][bzoj2460] 元素 无需多言。 直接贪心&#xff0c;从大到小放到线性基里即可。 #include<bits/stdc.h> using namespace std; const int MAXN100005; typedef long long ll; ll ans0; struct node{ll x,y; }a[MAXN]; int compare(node x,node y) { retu…

.Net Core中依赖注入服务使用总结

一、依赖注入引入依赖注入的目的是为了解耦和。说白了就是面向接口编程&#xff0c;通过调用接口的方法&#xff0c;而不直接实例化对象去调用。这样做的好处就是如果添加了另一个种实现类&#xff0c;不需要修改之前代码&#xff0c;只需要修改注入的地方将实现类替换。上面的…

ADPC2-D 分配颜色

ADPC2-D 分配颜色 题意&#xff1a; n*m的表格&#xff0c;一开始都是红色的&#xff0c;现在可以进行p次操作1和q次操作2 操作1&#xff1a; 把某一行的同学进行取反操作&#xff1a;即红色变为蓝色&#xff0c;蓝色变成红色。 操作2&#xff1a; 把某一列的同学进行取反操作…

[BZOJ3944] Sum

[BZOJ3944] Sum 题目描述&#xff1a; solution 裸的杜教筛。 唯一的坑点在于卡常。 似乎ans1和ans2都杜教筛超时了。 然而用杜教筛求出ans2&#xff0c;并用求出ans1不超时&#xff1f;&#xff01;&#xff1f;。 ​ ​ ​ #include<bits/stdc.h> using namespac…

SuperSocket 2.0 Preview1 发布,.NET Socket服务器框架

今天&#xff0c;SuperSocket的作者发布了2.0版本的第一个预览版。SuperSocket 2.0 是一个经过全新设计的&#xff0c;第一个完全基于.NET Core的版本。作者正在积极尝试提供更简单易用的API的同时&#xff0c;尽量保证与老版本相似的原汁原味的开发体验。新的版本中亦删除了一…

Codeforces Round #735 (Div. 2)

Codeforces Round #735 (Div. 2) 题海题目知识点ACherryBCobbCMikasaDDianeEYou

[LG P2519][BZOJ2298][HAOI2011]problem a

[LG P2519][BZOJ2298][HAOI2011]problem a 题目描述 一次考试共有n个人参加 第i个人说&#xff1a;"有ai个人分数比我高&#xff0c;bi个人分数比我低。" 问最少有几个人没有说真话(可能有相同的分数) 输入输出格式 输入格式&#xff1a; 第一行一个整数n&…

跟我学: 使用 fireasy 搭建 asp.net core 项目系列之一 —— 开篇

fireasy 面世都有六个年头了&#xff0c;至今依旧是默默无闻&#xff0c;知道它的人可能仅限于本人朋友圈内的人士。本人也在写一本关于如何使用该框架的书籍&#xff0c;但苦于事务繁忙&#xff0c;至今也才写了一半&#xff0c;可以说最为实用最为核心的部分&#xff0c;仍然…