来自 成员单位 2019-10-09 11:19 的文章
当前位置: 买球app > 成员单位 > 正文

选拔人工智能的办事负荷近日变得无处不在,向

采用人工智能的工作负载如今变得无处不在,其中有的工作负载在世界上运行最快的计算机上运行,从而改进高性能计算。随着组织规划未来的发展,需要解决人工智能工作负载的编程、软件需求、硬件需求和培训需求等问题。在2019年,行业专家和人工智能专家将继续创造创新的解决方案。

人工智能正变得无处不在,全球最快的计算机上也在运行人工智能负载,这也在改变HPC(高性能计算,High Performance Computing)。不过,人工智能将如何影响编程,软硬件以及和训练需求?

买球app 1

本文作者认为,AI可能是HPC历史上最大的变革推动者,至于为什么,他给出了AI在2019年对HPC产生最大影响的十大原因。

以下是人工智能在2019年对高性能计算产生最大影响的十种方式:

买球app 2

  1. 张量:人工智能计算的通用语言

10、 Tensors:人工智能计算的通用语

向量代数的应用催生出为向量计算设计的计算机。Cray公司早期推出的超级计算机就是一种向量超级计算机,它将应用程序表达为向量和矩阵代数问题,这反过来又加强了计算机的设计,以确保向量计算的快速运行。多年来,这种强化循环强烈定义了高性能计算。张量代数可以被接受为广义矩阵代数,因此它是超级计算机数学能力的自然演化,而不是一场革命。任何支持矩阵运算的机器都可以进行张量运算。如今的CPU的用户采用编译器,加速采用Pythons,加强库和优化框架的支持,获得对向量和张量的高性能支持,所有这些都允许软件开发人员使用高性能环境中的向量和张量。

向量代数的使用催生了为矢量计算设计的计算机。来自Cray的早期超级计算机是矢量超级计算机,它带动了应用程序以矢量和矩阵代数问题的方式表示,这反过来又推动了计算机的设计,确保矢量计算能更快运行。多年来,这种循环定义了HPC。

张量技术在硬件、软件和人们的思想上都在高性能计算应用中留下了深刻的印象。

张量代数可以视为广义矩阵代数,因此它是超级计算机能力的自然演化,而不是一场革命。任何支持矩阵运算的机器都可以进行张量运算。今天,CPU通过通用编译器,加速Pythons,增强库和优化框架的支持就可以支持矢量和张量的高性能计算。

2.语言:高级程序设计

正如向量之前对HPC的硬件、软件以及想法的影响,张量也正在深刻的改变着我们。

Fortran程序在消耗周期方面占据了高性能计算的主导地位,C和C ++程序几乎耗尽了高性能计算中的其他资源。通常通过C接口、扩展和库来支持加速器周期。尝试使用新语言来破坏这种情况已经失败,因为现有语言具有适合构成高性能计算的应用程序的用户、代码和支持。

9、语言:高级编程语言

人工智能为新用户带来了新的需求,这将扩展与高性能计算相关的语言,并不会改变大多数使用Fortran代码的物理学家的活动,但使用MATLAB和Python的数据科学家需要根据他们的需求量身定制解决方案。

Fortran编程语言在HPC领域占据主导地位,再加上C和C ++语言几乎统治了HPC市场。通常通过C语言接口来扩展来支持加速器。尝试使用新语言来打破现有的格局已经失败,因为现有语言已经形成了一个生态,包括HPC的应用程序、用户、代码等。

Python以及其他生产力语言和框架似乎将成为越来越多的高性能计算周期的主人。他们的实际数字运算程序仍将用C/C ++/Fortran编写,但人工智能程序员既不会知道,也不会关心它。

AI带来了新的需求,这将扩展与HPC相关的语言。他们不会改变使用Fortran的大多数物理学家的活动,但使用MATLAB和Python的数据科学家需要根据他们的需求量身定制解决方案。

3.以不同方式思考:通过利用机会重新思考方法来替换遗留代码

Python以及其它框架和编程语言,似乎正成为HPC越来越重要的部分。不过他们实际运行的程序仍将用C/C++/Fortran编写,但AI程序员既不会知道,也不关心它。

高性能计算是一种传统技术,人工智能相对来说是一种新技术。显然,随着人工智能的成熟,它将创造自己需要支持的重要遗产。就目前而言,当这两种技术结合时,它将鼓励有关重新实现遗留代码的对话,这在某些情况下可能已经过期。其借口可能是为代码添加一些人工智能功能,但现实将是一些有益的努力以及一些严重的时间浪费。

8、以不同方式思考:通过重新思考的方法来替换遗留代码

4.可移植性和安全性:虚拟化和容器

HPC非常传统,相对而言人工智能是新的。就目前而言,当两者相互作用时,它将重提有关实现遗留代码的问题,在某些情况下这些代码可能早就该实现了。说法可能是“让我们为这段代码添加一些人工智能功能”,但现实将是努力可能成为浪费时间。还记得Java热潮的早期许多“转换为Java”的努力吗?

可以安全地在机器上运行吗?这是虚拟化和容器试图解决的安全性和可移植性问题。当然,安全性来自于良好构建的硬件和软件的安全功能。对于许多人来说,虚拟化和容器似乎是最好的组合。

就像那些早期疯狂的Java时代一样,急于将代码重写为新形式的人既有成功的也有失败的。投资回报率将是关键,但预测创新的结果往往是错误的。

容器已引起许多开发人员对虚拟机的关注,因为在部署、修补、云计算多功能性方面,它们被视为比虚拟机更灵活,并且可以节省虚拟机许可成本。

7、可移植性和安全性:虚拟化和容器

在面向高性能计算或人工智能的会议上谈论容器技术似乎并没有太大的进展,这并不奇怪。例如,Python和Julia在精心配置时可以更好地扩展,而容器可以帮助部署。

安全性和可移植性的具体问题是,“我可以在我的机器上安全地运行吗?”和“它能在我的机器上运行吗?”,这是虚拟化和容器试图解决的问题。当然,安全性来自于良好的硬件和软件特性。对于许多人来说,虚拟化和容器似乎能确立这种组合。

容器提供了一种为用户提供良好调整环境的自然方式,高性能计算行业将在2019年看到越来越多的容器使用,部分原因是由于人工智能用户的兴趣。毫无疑问,高性能计算会对其实例施加压力,这是需要优化的生态系统。这个领域正在进行这方面的大量工作,高性能计算的社区将帮助所有人实现这一目标,以满足对容器的渴望。

容器已引起许多开发人员的关注,因为它们比虚拟机更灵活、可部署、可升级、具备云多功能性,并且可以节省虚拟机授权许可成本。

5.规模问题:大数据

在任何HPC或AI的会议上谈论容器似乎只能站着说说。但这正在改变,例如Python和Julia在配置时可以更好地扩展,容器可以帮助部署。

哪里有人工智能,哪里就有大数据。人工智能社区的主要关注点是在使用非常大的数据模型中获取意义。采用的高性能计算应用程序需要大量文件,许多高性能计算运行中心已经有很多基础设施可以很好地处理大数据问题。

容器为用户提供了良好的环境,2019年将看到HPC领域越来越多的容器使用,部分原因是AI用户的对此表现出的兴趣。毫无疑问,这会对HPC带来挑战,因为这需要优化的生态系统。如今,这个领域正在进行这方面大量的精细工作,HPC社区将帮助实现这一目标,满足大家对容器的渴望。

所有高性能计算中心都将大数据作为新系统的主要要求考虑在内,人工智能工作负载是大数据需求的主要动力。

6、规模问题:大数据

内存的价格高昂,但人们已经看到内存容量与flop/s的比率多年来一直在下降。这是影响大数据发展的趋势。围绕内存的新功能提供了扭转这一趋势的希望,并支持人们需要的大型机器中的大数据模型。这些新的内存技术提供了内存和本地存储器的扩展。

只要有人工智能,就有大数据。人工智能的重点是利用数据模型从大量的数据集中找到价值。许多HPC中心已经有很多基础设施可以很好地处理大数据问题。

高性能计算对于人工智能的发展发挥重要作用。组织希望把数据放在离处理器更近的地方,这是最适合做真实数据可视化的处理器,是高性能计算影响人工智能/机器学习的最大方式之一。使用和理解大数据的概念,以及可视化数据和分析,是相互交织的。

买球app,所有HPC中心都将大数据作为新系统的主要需求,AI工作负载是大数据需求的主要动力。

  1. 人工智能采用云计算

由于存储器的高成本,我们看到存储器大小与FLOP/s的比率多年来一直在下降。这对大数据发展不利。与持久内存相关的新功能带来了一些希望,并支持大型机器中的大数据模型。这些新的内存技术提供了主内存和本地存储的扩展。

人工智能开发人员可能比高性能计算开发人员更多地接受云计算。虽然应用在云中的高性能计算已经出现,但是针对人工智能应用的高性能计算将加速云中的高性能计算。

我今天写的是人工智能如何影响HPC,但我还得指出HPC对可视化的热爱将对AI产生的影响。将数据放在最接近处理器的位置是最适合进行实际数据可视化的处理器,是HPC影响AI / ML的最重要的方法之一。当然,使用和理解大数据以及可视化数据和分析是相互交织的。

7.硬件:,专注于库和框架的交互式功能

5、大量计算:云计算

人工智能的工作量并不大。这意味着少数库接口和框架支配 “人工智能加速器”需要作为卖点。

人工智能开发人员可能已经比HPC开发人员更多地接受了云计算。虽然HPC“在云中”已经出现,但AI应用的高性能计算需求将加速“云中的HPC”。

交互性是一个长期存在的请求,通常在高性能计算系统中一直处于“次要地位”,被人工智能程序员直接置于前沿和核心。高性能计算这种变化的速度还有待观察,但2019年这一领域的创新将是值得注意的,即使是零散的和有些隐蔽的。交互性也可以称为“个性化”。

4、硬件:交互式能力,为库和框架提供性能

高性能计算支持更多的硬件多样性、交互性支持以及针对性能优化的额外库/框架抽象,以支持人工智能工作负载。高性能计算社区对性能的关注将有助于说明基础设施的额外融合将有利于数据中心部署。没有人愿意放弃性能,如果不必这样做,高性能计算社区的专业知识将有助于商品化人工智能/机器学习的性能,从而导致社区之间更多的硬件技术融合。

人工智能的计算量并不大。这意味着少数库接口和框架主宰着“AI加速器”作为其卖点。

8.人员融合:用户多样性和对高性能计算的兴趣增加

交互能力是一个长期存在的要求,它一直被HPC系统“搁置”,现在被AI程序员将其放置在“前端和中心”。这种变化对“HPC”的改变速度还有待观察,但2019年该领域的创新即使分散且有些隐秘也会引人注目。交互性也可称为“个性化”。

人工智能将注入许多不同背景的新人才。人工智能将以前所未有的规模给高性能计算带来民主化。在过去的几年中,“高性能计算的民主化”这个短语用于描述高性能计算如何被工程师和科学家群体的访问。数学和物理问题可能推动了早期的超级计算工作量,但最近越来越多的用户发现,在医学、天气预报和风险管理等领域,高性能计算工作量是不可或缺的。

HPC更多的硬件多样性、交互性支持以及为性能优化的附加库/框架抽象,以支持AI工作负载。HPC社区对性能的关注将有助于说明基础设施的更多融合将有利于数据中心部署。没有人愿意放弃性能,只要他们不必这样做,HPC社区的专业知识将有助于商业化AI / ML的性能,从而带动社区之间更多的硬件技术融合。

人工智能的用户群体比高性能计算要广泛得多,给高性能计算的民主化带来了全新的维度。如今,高性能计算专家和人工智能专家正在联合起来进行开发。

3、人员融合:用户多样性和对HPC兴趣的增加

9.新投资:推理

AI将吸引许多具有不同背景的新人才。AI将以前所未有的规模为HPC带来民主化。过去几年,“HPC民主化”用于描述HPC(以前只有大型组织的人才可以使用)如何被小的工程师团体和科学家群体使用。数学和物理问题可能推动了早期的超级计算发展,但最近更多的用户发现HPC性能在医学、天气预报和风险管理等领域不可或缺。

机器学习通常被认为是由称为“训练”的学习阶段和称为“推理”的实施阶段组成。似乎需要更多的周期来进行推理,而不是进行训练,特别是当人们看到机器学习无处不在地嵌入到周围的解决方案中时。

AI带来了比HPC更广泛的用户群,为HPC的民主化带来了全新的应用。将AI增加到发展HPC的列表中,我们继续为追求世界上最高性能的计算添加更多理由, HPC专家和AI专家正在结合,以产生我们都能感受到的兴奋。

有了如此巨大的市场机会,让人觉得整个世界都在试图从这一推理市场中获得更大的份额。推理已经在处理器、FPGA、GPU、DSP和大量定制ASIC上实现。功率、延迟和总体成本是关键因素,这些因素为人们提供了一系列具有不同卖点的选项。高性能CPU加上低延迟、易于重新编程和可预测延迟的FPGA似乎是补充当前CPU主导的推导世界的合理选择。时间会证明一切。

2、新投资:推理

人们将发现推理工作负载将对包括高性能计算在内的所有计算产生重大影响。

机器学习通常可以被认为是由“训练”的学习阶段和 “推理”的“做”阶段组成。看起来我们需要更多的循环进行推理而不是更多循环进行训练,特别是当我们看到机器学习无处不在地嵌入到身边的解决方案中时。市场分析师估计,推理硬件市场是训练硬件规模的5-10倍。

10.应用程序的融合:不是在“重新思考”之后进行更换

有了这么大的市场机会,毫不奇怪,所有人都希望进入市场更大的推理市场。推理已在FPGA,GPU,DSP和众多定制ASIC处理器上运行。功耗,延迟和总体成本都是卖点。高性能、低延迟、易于重新编程的FPGA似乎是补充当前CPU主导的推理市场的合理选择,时间会证明。

扩展工作负载多样性,并将看到各种工作负载进行融合。那些有远见的人已经证明,当高性能计算机和人工智能结合在一起时,有许多机会。从将系统集成到能够预测极端天气的模式,再到气候或天气预报系统。现在出现了各种想法。生成对抗网络是许多人高度重视的一类机器学习系统,生成对抗网络无疑将有助于融合高性能计算和人工智能/机器学习工作。

跟着市场的选择,您将看到推理工作负载将对包括HPC在内的所有计算产生重大影响。

虽然现在很少有应用程序结合高性能计算和人工智能技术,而基于该领域的早期结果,很容易预测这是高性能计算应用程序的未来,并将构成高性能计算因人工智能而面临的最大变化。

1、应用程序的融合:不是在“重新思考”之后进行替换 ,“融合”两全其美,扩展工作负载多样性并看到不同工作负载的融合

理解这十种方式

那些有远见的人已经证明,HPC和AI结合时有很多机会。鼓舞人心的研究范围从拥有一个中立的网络学习到“ 像蒙特卡罗模拟一样 ”,具有非常好的结果,只需要一小部分计算需求; 将系统整合到能够预测极端天气的模式,如飓风,或天气预报系统。生成对抗网络是一类机器学习系统,许多人都非常重视,GAN无疑有助于融合HPC和AI / ML。

计算的故事在某种意义上并没有改变:它完全取决于整个系统对用户的作用。虽然需求发生变化,但完整系统由硬件和软件组成的事实并没有改变。很容易被单一技术分散注意力,最好的系统会在最有帮助的地方小心地应用新技术。

虽然现在很少有应用结合HPC算法和AI技术,基于早期的结果,我很容易预测这是HPC应用的未来,并且将因为AI带来HPC最大的变化。

结论:人工智能将使用高性能计算,并将永远改变

理解这十种力量

事实上,人工智能可能是高性能计算历史上最大的变革推动者。高性能计算不断发展,因为已经通过自己的工作负载来实现,并且它也将在人工智能中发展。

计算在某种意义上并没有改变:它完全取决于整个系统对用户的作用。虽然需求有变化,但一个完整的系统由硬件起来和软件组成不会改变。实际上,很容易被单一技术分散注意力; 最好的系统会谨慎地应用最新技术,我非常偏爱地称其为“选择性加速” ,强调在重要时使用加速。当我经常使用Python时,我喜欢Python加速(一种依赖CPU的软件技术)。当我需要低延迟推理时,我喜欢FPGA加速。当我只需要一点加速时,我不使用任何一个。这是建立平衡系统的艺术。这前十的名单并没有打破为多用途机器提供最佳整体效果现实的平衡。

即人工智能用户只需加入高性能计算社区并在其上加上自己的标记。他们也将使用非高性能计算系统,就像其他高性能计算用户一样。

结论:AI将使用HPC,这将永远改变HPC

将有专为人工智能工作负载设计和构建的定制高性能机器,而其他机器的人工智能工作负载也在具有非人工智能工作负载的更通用的高性能设施上运行。平衡机器在需要高性能灵活机器的情况下才能实现加速。人工智能将有助于未来定义什么成为超级计算机,因此可能将会调整高性能计算机的进程。

显然AI将使用HPC,这将永远改变HPC。事实上,AI可能是HPC历史上最大的变革推动者。HPC随着科技的发展不断进步,工作负载也将随着人工智能的发展而变化。我不认为辩论收敛与交叉给予足够的信任的概念,人工智能用户将加入HPC社区,并留下自己的标记。他们也将使用非HPC系统,就像其他HPC用户一样。

将有专为AI工作负载设计和构建的定制高性能机器,其他机器的AI工作负载也在可以在更通用的高性能设备上运行。要平衡机器的高性能和灵活才能实现加速。在所有情况下,人工智能将有助于定义未来什么是超级计算,这将永远改变HPC。

James Reinders是HPC爱好者,也是拥有8本书的超过30年行业经验的从业者,其中包括在英特尔工作27年经验(2016年6月退休)。

雷锋网编译,viaHPCwire雷锋网雷锋网

本文由买球app发布于成员单位,转载请注明出处:选拔人工智能的办事负荷近日变得无处不在,向

关键词: