微软:专用硬件将使必应搜索AI性能提高10倍

  • 时间:
  • 浏览:1
  • 来源:10分6合_10分6合平台_10分6合网投平台

据VentureBeat报道,微软今天组阁 ,通过使用专门为人工智能(AI)计算开发的硬件,使其机器学习模型的性能提高10倍以上,而那此模型可不可不能不能为必应(Bing)搜索引擎提供强大支持。

▲图:这是英特尔公司的Stratix 10 FPGA,微软在其数据中心使用的模型之一

微软的新系统被称为Brainwave,它的设计目的是接受训练有素的神经网络,尽可能性快地运行它,并使其延迟时间最短。其目标是为应用线程池池池提供大致实时的AI预测,比如新的必应功能。此举是微软向其云客户提供的又一项支持,让其云客户可不可不能不能尽快运行朋友个人的硬件驱动AI模型。

必应今天还进行了多项功能更新,包括在用户将鼠标指针悬停在不太常用单词上边的以前给出解释,并给出了如保回答现象的多种措施。那此功能全是 由Brainwave额外支持的。

微软正在使用来自英特尔的现场可编程门阵列(FPGA)来进行AI计算。FPGA基本上就是空白画布,开发者可不可不能不能通过发送新的软件来部署各种不同的电路。这提供了可编程性和性能的有趣组合,可能性产生的电路对特定的应用线程池池池(如AI计算)进行了优化,可不可不能不能在不构建新芯片的情况表下进行改进。

这种 硬件让微软不仅要能创建更快的模型,有如果还可不可不能不能构建更错综复杂的AI系统,可能性不应用专门的硬件,那此系统将还要一定量的计算能力。相似于,比为CPU构建的版本相比,必应的Turing Prototype 1模型错综复杂了10倍,这是可能性使用Brainwave带来的计算能力增加的结果。我着实Brainwave版本更加错综复杂,但微软要能以10倍以上的数率从这种 模型中获得结果。

微软的AI计算措施不同于这种 同行,比如谷歌创建了个人的张量补救单元(TPU)芯片来提供相似于的功能。与FPGA不同,谷歌的TPU一旦构建就可不可不能不能 重新配置,谷歌通过使其芯片架构尽可能性广泛所补救各种潜在情况表来应对这种 现象。

微软公司可能性部署的FPGA有专用的数字信号补救器,用于对AI所需的这种 特定类型的数学进行优化。通过这种 措施,公司要能获得与构建特定应用线程池池池的集成电路(ASIC,如TPU)相同的好处。

亚马逊有“基础设施即服务”的实例,其中包括通过云计算的附加FPGA,不过该公司还这样完整篇 讨论个人对硬件的使用。

Brainwave系统由几块组件组成,首先是微软在全球数据中心部署的成千上万的FPGA。该公司的大多数服务器全是 FPGA板,连接到顶部的网络交换机上。这使得服务器要能补救软件定义的网络操作,但也为微软提供了硬件加速计算池,而全是 每个服务器都绑定有还有一个多FPGA。

举例来说,Brainwave可不可不能不能在多个FPGA之间分配有还有一个多模型,同时补救一定量的CPU来支持它们。可能性有还有一个多机器学习模型还要使用多个FPGA,这样微软的系统就会将它们捆绑到公司所称的“硬件微服务”中,有如果将其传递给Brainwave编译器,以便在可用的硅上分配工作负载。

这种 编译器将采用有还有一个多已训练完成的模型,使用像TensorFlow(源自谷歌)或微软认知工具包(也称为CNTK)的AI编程框架创建,并将其转换为有还有一个多上边表示,有如果可不可不能不能通不多个FPGA进行拆分,以获得最佳性能。

微软并这样优化每个在FPGA上执行的模型,就是在其芯片上创建了有还有一个多软补救器,它的设计目的是为机器学习推理提供通用的执行环境。原先 ,开发人员就不须花费时间来优化单个阵列,同时也可享受硬件加速计算的好处。

不能自己将微软的Brainwave与这种 相似于系统相比较,可能性它的论文仅为专有的神经网络提供了具体的性能指标。这并全是 说微软在这方面是独一无二的,谷歌的论文也指出其TPU是如保为公司本土算法提供性能数据的。

微软并这样将其Brainwave测试的结果与GPU进行比较,后者可能性成为AI计算的热门选取 。FPGA对那此芯片的好所处于,它们不还要一定量使用批量计算。

允许微软在FPGA上获得高性能的关键创新技术之一是使用新的8到9位浮点数据类型。微软发现,那此数据类型提供了超过定点数据类型(比如8-16位整数)的性能提升,有如果之还要离米 的训练就可不可不能不能利用那此数据类型。

微软也结束英文在它的数据中心部署特殊的设备,其中包括这样这种 服务器组件的FPGA。原先 ,该公司就能更好所补救来自Brainwave的负载,可能性它可不可不能不能增加软编程硬件的数量,而不用增加更多的服务器。我着实更错综复杂的模型通常还要多个CPU,但它们不还要每个FPGA全是 有还有一个多CPU。

微软对使用FPGA加速AI计算不须陌生。该公司的必应团队于2012年结束英文与硬件团队合作措施措施,此后总是 在增加对那此芯片的使用。这种 消息也对英特尔有利,英特尔在2015年收购了FPGA制造商Altera,这笔价值167亿美元的交易为前者提供了满足微软需求的燃料。

现在,微软正致力于向外界开放Brainwave系统。FPGA可能性为其智能API的每种认知服务提供动力,那此API允许朋友在这样AI的情况表下将智能功能嵌入到朋友的应用线程池池池中。该公司还计划通过它的必应企业服务,来为企业客户提供今天所讨论的Brainwave驱动的文本理解能力。

沿着这条路走下去,朋友很可能性会就看通过微软Azure提供的Brainwave服务,原先 客户就可不可不能不能在微软的FPGA上部署朋友个人的模型。