播客 > Ep. 108 - Optimize deep learning for the edge
Ep. 108
Optimize deep learning for the edge
Yonatan Geifman, Co-Founder & CEO, Deci
Tuesday, December 07, 2021

在本集中,我们将讨论使 AI 开发人员能够为从云到边缘的任何环境构建、优化和部署更快、更准确的模型的新技术。我们还探讨了从开发环境迁移到操作环境时通常会导致长时间部署延迟和意外成本的开发过程。

我们今天的嘉宾是 Deci 的联合创始人兼首席执行官 Yonatan Geifman。 Deci 为深度学习从业者提供专有优化技术,使您能够在任何硬件上加速深度神经网络接口,同时保持准确性。

IoT ONE 是一家专注于物联网的研究和咨询公司。我们提供研究,使您能够在数字时代成长。我们的服务包括市场研究、竞争对手信息、客户研究、市场进入、合作伙伴搜寻和创新计划。欲了解更多信息,请访问 iotone.com

音频文字.

Erik:欢迎来到工业 IoT Spotlight,这是您从工业 IoT 思想领袖那里获得洞察力的第一站,他们正在与您的主持人 Erik Walenza 一起改变当今的业务。

欢迎回到工业物联网聚焦播客。我是您的主持人,IoT ONE 的首席执行官 Erik Walenza,该咨询公司专门支持运营和业务的数字化转型。我们今天的嘉宾是 Deci 的联合创始人兼首席执行官 Yonatan Geifman。 Deci 为深度学习从业者提供专有优化技术,使您能够在任何硬件上加速深度神经网络接口,同时保持准确性。

在本次演讲中,我们将讨论使 AI 开发人员能够为从云到边缘的任何环境构建、优化和部署更快、更准确的模型的新技术。我们还探讨了从开发环境迁移到操作环境时通常会导致长时间部署延迟和意外成本的开发流程。

如果您发现这些对话很有价值,请给我们留下评论和五星级评价。如果您想分享您公司的故事或推荐一位演讲者,请发送电子邮件至 team@IoTone.com。最后,如果您有想要讨论的物联网研究、战略或培训计划,您可以直接发送电子邮件至 erik.walenza@IoTone.com 给我发电子邮件。谢谢你。

Yonatan,感谢您今天抽出时间与我交谈。

约纳坦:当然。谢谢你有我。很高兴见到你。

Erik:所以我很期待这里的对话。我想我们可能会讨论一些我可能很难跟上你的话题。但首先,也许您可以向我们介绍一下您自己的背景以及您最终是如何创立 Deci 的。我知道你有博士学位,这个想法是在你那里学习的吗?公司背后的起源故事是什么?

Yonatan:两年前,我完成了博士学位。在计算机科学领域,专注于深度学习技术。在攻读博士学位期间,我研究和研究了使深度学习技术更适用于现实生活应用的领域,并专门研究了不确定性估计问题,即如何估计机器学习深度学习的置信度或不确定性模型中的预测?

基于该研究,我们探讨了将人工智能应用于工业生产或在各种类型的出版物中使用人工智能的障碍。好吧,其中之一就是我们专注于我的博士学位。我们发现的另一个非常有趣的领域是这些算法的计算复杂性,以及我们如何使它们在性能方面做好生产准备,以便以可扩展的方式轻松部署在任何环境中。

所以在完成我的博士学位后。连同我的博士学位。顾问、教授 [听不清 03:29] 和另一位更专注于业务方面的联合创始人 Jonathan Liao,我们开始这篇文章的目的是打破 AI 障碍,让深度学习技术可以访问并能够部署在任何任何规模的任何地方的环境。我们正在通过自动化寻找模型结构的过程或以自主方式开发模型来做到这一点,其中性能是我们认为必须在早期考虑的关键区别之一的发展。但也许首先,让我们更多地了解一下深度学习开发生命周期今天的样子。

今天,它从一名数据科学家开始,成为一名在实验室中行走的深度学习开发人员,必须解决一些业务问题或产品问题。例如,检测模型中的一些对象。他探索了一些学术论文和一些 GitHub 存储库,并找到了一个可以很好地解决问题的模型。在他或她解决了问题之后,他们发现将他们在实验室解决的模型用于生产并不容易,原因有很多。但其中之一是大约一半的算法在边缘工作。并且在边缘计算能力有限,在算法的设计阶段必须考虑到计算。

这就是一个开发平台,使数据科学家能够构建已经考虑到开发周期中所有生产约束和特征的算法,并通过缩短使算法生产准备好在任何地方部署的无休止的迭代。

Erik:所以也许一种更传统的方法是,你使用或多或少无限的资源在云上开发算法,你找到一个基本上可以在那个环境中工作的模型,然后你尝试在现实世界中部署它,然后你达到这些限制,然后你必须重新考虑算法是如何构建的,这会花费大量时间。你正在解决的那种问题是避免返工吗?

约纳坦:是的。实际上,这伴随着云环境开发和边缘生产环境之间的无休止迭代,试图在云中构建适合您想要部署此算法的边缘设备的东西。而且只需要花费大量时间,因为每次迭代都需要对新模型进行新的训练,这需要花费大量时间和大量资源。

Erik:所以在这里,我们谈论的是解决部署在边缘的问题。所以我想我们可能不是在谈论金融科技或电子商务问题。我们在谈论这个制造是什么?这是能源公用事业吗?您的客户来自哪些关键行业?

Yonatan:是的,绝对是制造业、智慧城市应用、自动驾驶汽车。大多数部署在边缘的 AI 算法都与深度学习有关。此外,我们还有与医疗保健相关的用例,可在边缘运行计算机视觉。还有很多很多其他行业和用例,还有移动应用程序、视频分析解决方案等等。

Erik:所以你已经提到了几个用例,你提到了视频和机器视觉,我猜它们高度相关,所以这显然是一大类用例,任何与视觉相关的东西。构建一个通用平台与一个专门围绕特定用例的平台相比,在多大程度上有意义?例如,从技术角度来看,说这个平台针对机器视觉进行了优化是否有好处?不同类型的问题之间的潜在定量挑战是否足够相似,以至于专注于特定类型的用例实际上没有意义?

Yonatan:我认为每个解决方案都需要定义一个范围,即平台易于为各种用例定制的程度与另一方面的易用性之间的最佳平衡点.如果您尝试构建音频 ml 和 [听不清 08:31] 平台的梦想,是的,您可能必须从可以在该平台上支持的非常狭窄的用例开始。

但是,如果您正在寻找代码库的东西,那就是一个 SDK,它可以很容易地扩展到更多的用例。甚至让您的开发人员或您的用户在您的工具上进行构建,以便构建新的用例并从您最初的重点目标用例扩展。这正是我们在Deci 所做的。我们正在提供开发者工具,我们的用户和客户可以在它们之上构建任何类型的神经网络、任何类型的用例。我们关注的是深度学习技术。所以我们正在研究神经网络。它可以用于计算机视觉或 NLP。也许在未来,我们会有一些音频处理用例。但这大致是当今深度学习占主导地位的所有方面。

Erik:因此,如果我们可以考虑您正在采用此方法,则将其称为 SDK 方法,人们在您的平台之上构建自定义解决方案,那么用户将成为数据科学家?或者用户需要具备什么样的技术背景?你可以先看看这个来构建算法,然后第二个可能是在部署后优化算法,但是用户的典型配置文件是什么?

Yonatan:是的,所以我们正在为数据科学家提供工具。目前,我们并没有试图吸引新的受众,比如让任何软件工程师都能够构建深度学习解决方案。我们的目标是数据科学家,并帮助他们构建更好的解决方案,使他们可以使用他们今天使用的标准工具来实现。就角色或使用平台的人而言,它从数据科学家开始。在他们拥有数据集并想要构建模型后,他们会使用我们的工具来构建基于我们提供的模型之一的模型。在我们的平台上,我们称这些模型为 Decinates。 Decinates 是以其在准确性和延迟方面的良好性能而闻名的模型。然而,对于每一个,我们都有不同的决定和任务。

第二个角色是机器学习工程师,甚至是某些用例中的 DevOps,他们必须采用这种算法并将其投入生产。有时我们会让机器学习工程师来找我们问,好吧,我怎样才能让这个算法在这个和那个延迟的特定设备上运行?有时数据科学家明白,他们的工作不仅是提供最佳准确性,而且还提供一个模型,该模型本质上是可以在公司尝试部署的设备上运行的生产就绪模型。

Erik:实际上我们现在正面临另一个问题。这是可扩展性的问题。因此,假设您为特定电机或生产线开发了一种算法,以确定它何时可能发生故障,并且该算法有效,它已为该电机的生产做好准备。但是,当然,你已经付出了很多努力来构建那个算法,你现在想把它扩展到其他 20 条生产线,然后你还想把它扩展到其他工厂,也许还有其他生产线有来自不同制造商的传感器。

那么问题是,您构建的算法在多大程度上可以扩展到在数据输入或环境条件方面可能不是 100% 相同的类似情况?因为如果你不能剪切和粘贴那个算法,那么研发成本太昂贵而无法复制。让我们说,首先,这可能是你带来的价值主张之一吗?然后你有没有想过如何在可能相似但不相同的环境中解决算法跨多个资产的可扩展性问题?

Yonatan:我完全同意你关于使用不同数据集为各种类型的用例扩展这些算法的问题。我们的一些客户,尤其是零售领域的一个例子,必须为他们部署的每个客户训练不同的模型。基于此,对他们来说非常重要的属性之一,我们称之为模型的鲁棒性和模型的训练,以处理不同类型的数据和数据集。

这是我们非常关注的一点,自动设计模型的算法并没有收敛到某个非常非常具体的点,通过提供一种适用于多种类型的通用算法,它只适合一个用例数据集和许多类型的问题。

我认为模型的一个非常重要的属性是能够对不同类型的数据集和任务进行泛化。因为如果这种情况不会发生,算法会影响算法的生命周期,因为它会随着生产环境中发生的第一次分布转移或数据集更改而中断。我们需要能够重新训练模型并将它们作为一个持续的过程来适应他们的生产环境以及我们在用例和产品中看到的变化。

Erik:那么你可以针对特定情况优化完美算法,但最好有一个算法可能不适合那种情况,但更适合类似情况?我想 Zillow 就是一个很好的例子,它肯定是基于云的。但是你熟悉Zillow这个房地产公司吗?

Yonatan:是的,当然。

Erik:所以他们干脆毁了他们的生意。似乎他们的算法针对今年发生了很大变化的营销条件进行了优化。并且不能适应新的市场条件。你有没有想过他们为什么突然关闭了这个业务,为什么他们无法适应市场条件?

Yonatan:我不想尝试预测会发生什么,尤其是 Zillow 上的用例。但一般来说,我相信像这样的问题来自于分布式转移的世界,其中算法在某个时候被耗尽并部署到生产中。我们需要有工具和方法来跟踪它们在生产中的性能,并了解某些东西已经改变,算法需要重新训练以从头开始构建,或者类似的东西。

这是一种现象,在生产中运行的算法的生命周期有时是有限的,并且必须一直监控以捕捉市场或环境中影响算法以提供较差性能的那些变化,然后它们需要针对更多更新的数据集进行重新培训,或者可能被替换。

Erik:但在我们深入了解技术细节之前,在业务方面,我实际上很好奇,当您证明您的解决方案是最佳解决方案时,您向客户展示的 KPI 是什么?那么它是否减少了部署时间?它是否减少了一些数据科学时间?从商业角度来看,买家在尝试优化的生产方面的心态是什么?

Yonatan:所以我们卖的是性能。当我说性能时,我指的是模型的准确性。因此,在我们的平台上,数据科学家可以构建更准确的模型,或者性能的另一面是运行速度更快的模型,具有更高的可扩展性,或者可以实时运行。这些是我们通常与客户互动的 KPI。

显然,要达到这样的性能水平需要经验丰富的数据科学团队花费更多的时间来开发,有时他们根本无法达到那样的性能水平。所以是的,商业价值主张是生产时间。但从绩效的角度来看,数据科学家或数据科学团队在我们开始参与的过程中能够做的事情与投入生产所需的事情之间存在差距。

通常,在下一个版本中投入生产的截止日期非常紧迫。我们向他们展示了他们如何在我们的平台上构建类似的算法,或优化他们现有的算法,并获得更好的准确性或更好的延迟,以使模型准备好生产。

Erik:我想说,现在这些数据科学家是一个非常有限的资源。除了互联网巨头之外,我不知道有多少公司,也许还有一些资金雄厚的初创公司,他们拥有丰富的数据科学家。每个人似乎都是,他们有一个小团队,几个人的工作量远远超出他们的处理能力,然后你部署一些东西。当然,您还必须维护它。因此,你们既在构建新产品,又在维护现有产品。

您可以按区域查看。您可以在全球范围内查看这一点。也许如果我们从全球范围来看,你是否认为我们在未来几年会走向一个数据科学家的供应需求更加均衡的世界?还是您认为在可预见的未来,我们将处于需求将大大超过数据科学家供应的情况?因为对我来说,我们的客户似乎都受到了巨大的限制,因为他们的想法比他们有能力执行的要多得多。

Yonatan:所以我认为这个问题涉及两个子问题。其中之一是我们在世界上拥有的数据科学家的总数。第二件事是当前数据科学家的生产力。我认为我们将拥有更多的数据科学家,但他们肯定会比我们今天拥有的人或今天已经在从事数据科学的人以及他们在两年内的经验要少。数据科学界的平均经验越来越低,因为每年都有新的数据科学家大量进入该领域。

另一方面,我们看到许多工具和平台试图帮助数据科学家在更短的时间内达到他们的目标。所以我认为数据科学家的工作效率会更高,而且数据科学家解决问题所需的熟练程度,比如说,使用这些工具将显着减少 80% 的问题。因此,就我们今天看到的行业对数据科学家的需求而言,我看到两个向量正在协同工作,以便让我们站在一个更好的立场上。

所以是的,我相信在两年内,我们将为数据科学家提供更好的工具,从这个意义上说,他们会更有效率。此外,由于工具可以自动化和标准化数据科学家的一些工作,因此熟练程度差距将有所缩小。下半年,我们会看到越来越多的数据科学家,因为很多人现在要在大学和课程中学习数据科学,以便进入该领域,因为他们认为这是一个非常有前途的领域目前正在爆炸。

Erik:现在让我们深入了解平台,Deci 平台。也许我们可以从更高的层次开始。要做的工作是什么?所以我喜欢你在这里将其分解为构建、优化和部署的方式。而且我认为我们的一些听众对构建算法的过程非常熟悉。有些人可能根本不熟悉。因此,仅讨论构建算法的过程以及该过程中的挑战是什么,这可能是一个有用的起点?

约纳坦:当然。正如您所提到的,平台的三个组件是构建、优化和部署。让我们从构建开始。 Build 基本上是一个 SDK,供数据科学家在本地构建,并在基于众所周知的神经架构和模型模板的深度学习模型上进行训练,或者基于此,我们称之为 Decinates 算法的起点。因此,它使数据科学家能够更快地构建并简化训练模型、选择超参数和神经架构的所有过程。在他们有一个初始数据集开始解决这个问题之后,它就不能干了。

因此,拥有数据集并想要开始实验并尝试找到模型以达到所需的准确度或性能水平的数据科学家绝对应该开始使用我们平台的构建组件进行探索。一旦我们的模型达到我们可以考虑考虑生产的准确度水平,我们需要跳到优化阶段,这是机器学习模型的预生产,在这种状态下,我们正在应用一些技术,如计算、量化,以压缩算法和数据包以准备投入生产。

这将我们带到了最新阶段,即部署,在这里我们有两个工具,其中一个是基于 SDK 的,第二个是容器化的,用于获取模型并在生产环境中提供服务。所以这是 SDK 是机器学习工程师通常使用的,用于获取数据科学家构建的模型,并在生产环境中运行它们,或者将它们连接到应用程序,或者将它们作为微服务部署在云。

Erik:我想这取决于算法。但是,处理能力的典型下限是多少,或者边缘计算机上的内存可能是为了能够运行您的一种算法?

Yonatan:所以这真的取决于用例。如果你想在视频上运行计算机视觉,它与我们运行一些 NLP 应用程序不同。因此,这实际上取决于用例和解决用例所需的模型。有趣的事实是,我们提供了一组可以在我们的平台上使用的算法,包括可以在几乎任何硬件上运行的非常轻量级的算法。

它可能是 i5 CPU 实时运行到更复杂的算法,达到非常好的精度,可以在更先进的 AI 专用硬件上运行。因此,我们可以将其视为我们称之为有效边界的东西,即准确性和延迟之间的权衡,这是一种曲线,您可以根据您尝试的硬件定义的最佳点的速率来选择它在生产中使用以及您有兴趣获得的准确性水平。

所以如果你举一个具体的例子,我们可以考虑一下视频会议中的视觉背景应用。视频会议中的视觉背景功能,相信大家都很熟悉这个功能,我们可以在 Zoom 和 Microsoft Teams 以及所有那些模糊背景或用图像去除背景的应用程序上看到。在该用例中,称为语义分割的计算机视觉算法必须在设备上、用户的笔记本电脑上实时运行。为了做到这一点,您需要算法非常快。使其运行更快的方法之一是降低图像分辨率并处理小图像,但是分割的细节不会很好,结果也不会那么好。

Deci 在该用例中与我们的客户一起做的是加速性能,该模型将能够以每秒 30 帧的实时性能以最高分辨率和最高精度运行,以提供实时体验虚拟背景的那个特征,也获得了最好的精度。正如我所提到的,在快速运行和准确运行之间存在一种权衡。 Deci 帮助探索这种权衡并选择可用的最佳最佳位置,该最佳位置比学术论文或 GitHub 存储库可以使用的任何现成算法要好得多。

Erik:然后你的核心技术,我猜,你可能使用了很多开源解决方案,然后你就有了这种自动神经架构构建 Auto Neck 技术。你能谈谈你是如何做到这一点的吗? Deci 的底层技术栈是什么样的?

Yonatan:是的,当然。 Auto Neck 是我家的一种算法,称为神经架构搜索。它是 2017 年从 Google 开始的一系列算法,可针对给定用例自动设计或搜索神经网络的最佳结构。当我说你的用例时,我一方面是在谈论数据集,另一方面是我们在生产中运行算法所使用的硬件。

Auto Neck 正在做的是能够解决优化问题,即为给定的用例和达到特定准确度的给定数据集找到最快的模型或性能最好的模型。它正在解决在数十万个候选神经架构的搜索空间中查找神经网络结构的约束优化,该架构解决了在给定数据集和用例的延迟和准确性之间找到性能最佳点的问题。

Erik:我是否可以将其基本上视为一个引擎,它正在测试数十万种不同的结构,然后相互测试它们,然后确定哪些结构最适合用例?是发动机的输出吗?

Yonatan:是的,绝对的。 Auto Neck 正在做的一个警告是,在那个搜索位置进行详尽的搜索是不可能的。当然,要在该搜索空间之外测试候选模型,需要使用数据集对模型进行训练,以获得该模型的准确性。这些可能需要数天的 GPU 时间。所以我们不能探索整个搜索空间并获取每个模型并对其进行训练并执行,我们称之为经典模型选择问题。我们必须使用更聪明的技术来估计给定模型在给定数据集上的结果准确性,而无需对其进行训练。

这就是 Auto Neck 与谷歌或拥有大量完整计算的公司发明的其他神经架构搜索算法的不同之处,与任何现有的神经架构搜索相比,Auto Neck 的收敛速度要快一个数量级算法,使其成为公司使用以优化其特定用例和问题的唯一在商业上可行的解决方案。

Erik:你插入数据集,开始训练,我们是在谈论分钟,我们是在谈论小时,我们是在谈论优化或确定最有效路径的天数吗?

Yonatan:所以这只是几天的事情。实际上,它是模型训练时间的函数。通常,使用 Auto Neck 优化模型需要三周的训练时间。通常情况下,搜索算法的转换会在几天内结束,这相对非常好,因为通过反复试验手动完成,数据科学家的迭代需要更多时间,并且不能保证收敛到结果是 Auto Neck 可以通过在如此巨大的神经架构搜索空间中巧妙地搜索来收敛。

Erik:然后还有另一个重要的痛点,那就是确保你输入的数据实际上是好的数据。所以这意味着修剪数据,也意味着标记等等。通常这必须在不同的平台上完成,然后将高质量的数据上传到您的平台吗?或者您是否也在 Deci 的范围内涵盖了这些内容?

Yonatan:因此,我们通常会与已经拥有足够大的数据集的客户打交道,这些数据集已标记并准备好训练模型。我们专注于开发生命周期中的模型阶段。数据标签或标记不是我们目前正在处理的事情,但它是我们以后可能会接近的未来方向。

Erik:是的,当然有这方面的工具。我认为在中国,我认识的一些公司只有 10,000 人坐在该国中部某个城市的某个城市为客户标记数据,对吗?

约纳坦:是的。

Erik:解决方案的定价,基本上是作为 SaaS 出售的,对吗?然后是围绕用户数量还是围绕运行时?或者这种类型的发动机实际上是如何定价的?

Yonatan:实际上,它是一个按模型数量定价的 SaaS 平台的订阅。因此,我们希望所有组织、所有数据科学家都能够使用我们的工具。我们不限制用户数量或类似的东西。但订阅是基于平台上正在开发的模型数量。通常,小公司有 1-5 种,可能有 10 种型号,而大公司有 20-50 种。这通常是我们在订阅平台时使用的货币。

Erik:我想模型需要不同数量的计算能力。因此,从您的角度来看,如果有人运行小型模型与高影响您的光学器件或或多或少无关紧要的高模型,成本是否存在差异?

Yonatan:所以实际上,培训和优化是在客户云或数据中心上运行的。所以它不会影响我们的成本,也不会影响我们的定价。所以答案是否定的。

Erik:嗯,也许可以端到端地引导我们完成一两个案例,看看公司来自哪里,他们解决了什么问题,然后引导我们完成部署路径?

Yonatan:这是我们从一家正在开发智能城市应用程序的公司看到的用例之一,该应用程序基于部署和运行计算机视觉的小型摄像机检测城市中的垃圾,计算附加到它们。我们看到的是一家公司正在努力使算法运行得足够快,以便从端到端应用程序中获得足够好的性能和准确性。

我们所做的,是让他们在我们的平台上开发一种算法,该算法运行速度更快,并且更专注于他们在生产环境中使用的硬件。在他们根据自己的数据在我们的平台上训练模型后,他们使用集成在我们平台中的量化和计算技术,并根据我们在边缘设备中提供的部署 SDK 进行部署。

他们所看到的整体体验是从在该硬件设备上以每秒一帧运行的模型运行到每秒运行约 12 帧的模型。因此,这是一个 12 周的提升延迟,使他们能够在他们选择的特定硬件或他们为该应用程序考虑的候选硬件上以足够好的性能运行该算法,以便该算法将运行该应用程序并收集应用程序本身所需的数据。

另一个例子是部署在移动设备上的用于图像处理的移动应用程序。在某些 [听不清 36:33] 设备上,尤其是基于 Android 的设备上,该应用程序中计算机视觉模型的性能运行速度不够快,无法在耗尽电池和消耗过多电量的设备上提供良好的体验在应用程序的用户体验中计算和产生延迟。

那家公司正在使用云计算来进行特定的模型计算。所以他们在他们的移动设备上有一张图像,他们把它发送到云端,在云中应用那个特定模型的应用程序中对那个特定用例进行图像处理,然后将结果发送回设备并呈现给用户。

这从三个方面来说是有问题的。其中之一是用户体验。用户必须等待几秒钟才能从云端获得响应。第二件事是安全问题,正在处理的客户的个人数据被发送到云端并在云端处理并在传输中。第三件事是云计算与每天拥有数百万用户的应用程序相关的成本。

因此,通过使用 Deci 平台,该公司能够重建该模型背后的算法,使其为边缘生产做好准备,并将其推送到各种设备上的边缘工作,并使算法在设备上实时运行,消除了将图像发送到云端、在云端运行深度学习计算并将内容发送回的所有复杂性。这对那家公司来说是一个巨大的收获,现在他们的移动应用程序运行得更好,并减少了应用程序中与该模型相关的齿轮。

Erik:对于第一个用例,你说智慧城市和垃圾周围,你知道什么硬件吗?我的意思是,这些是在垃圾收集端点上吗?这些是在卡车上吗?你碰巧知道那个人所处的操作环境吗?

Yonatan:这笔交易是由我们的一位出色的 OEM 合作伙伴牵头的。我们最近宣布与 Hp 建立合作伙伴关系。这个特定的用例是在 CPU 上运行的 HP box edge 服务器上。所以这里的主要任务是让在 CPU 上运行的电机能够实时运行,在一个一直在移动的轨道上运行。由于垃圾收集车的移动,需要每秒高帧数。

Erik:现在看起来有新一代的硬件可以让机器学习工作得更好一些。我看到很多企业家也在研究这个产品,还有像 HPE 这样的大公司。

Yonatan:有一点要理解,这是一个供需问题。有一种新的芯片可以处理得更好,运行得更快。但需求也在呈指数级增长,甚至比芯片行业的进步还要快。正如我们一直听到的关于更复杂和更大的新模型(如 GPT3)以及 GPT3 之后更大的新模型的消息。

但是,数据科学家和构建应用程序的人在计算方面的需求与硬件在这个特定时间能给他们带来的东西之间总是存在差距。而且我们相信这种差距至少会在未来 10 年内存在,因为硬件的进步在某种程度上受到摩尔定律的限制。但算法的进步一直呈指数级增长。我们可以通过庞大的语言模型、计算机视觉转换器的使用以及我们在学术界看到的许多其他向量来看到它,这些向量使模型变得越来越大,越来越渴望计算。

Erik:这是一个非常有趣的问题空间,因为它在很大程度上是一种生态系统方法,您可以改进处理器中的底层算法,建模方法,只是物理硬件。因此,您在连接性和带宽 [听不清 41:33] 方面也有这些改进,许多不同的领域都相互依赖。当然,还有一些区域的移动速度明显快于其他区域。

Deci 的合作伙伴战略是什么样的?你和谁一起工作?我的意思是,很明显,HPE 就是这些合作伙伴之一。但是,为了确保自己成为成功生态系统的一部分,您还与谁合作,因为我认为这在这项业务中可能非常重要?

约纳坦:当然。因此,我们目前拥有三种类型的合作伙伴关系。其中之一是硬件制造商。例如,我们宣布与英特尔合作。这既是技术合作伙伴关系,旨在开发我们的模型,这些模型专用于它们和硬件类型,又是与所谓的英特尔实验室一起进行研究和技术方面的合作。

第二件事是与英特尔的市场合作伙伴关系,我们正在与销售组织合作,为试图在英特尔硬件上使用我们的深度学习模型的英特尔客户寻找机会,以及他们如何帮助他们打造英特尔硬件更具可扩展性并在其上运行深度学习算法。

第二件事是原始设备制造商。 OEM 通常是那些与试图为深度学习构建数据中心或为深度学习构建边缘服务器的客户进行交互的人。在客户试图在其上运行的应用程序之前,这些解决方案面临着计算限制。因此,通过与惠普合作,我们从销售组织那里获得了在边缘或数据中心运行计算机视觉的用例的机会,以加速这些模型并使算法准备好在硬件和解决方案上运行惠普正在销售。

第三部分是我们与 AWS 合作的云领域,以使我们的解决方案在 AWS 市场上可用,并使 AWS 用户和客户能够构建更具可扩展性的解决方案,在云中提供更好的经济性和更低的服务成本。我们正在看到一些其他的合作伙伴关系。但现在宣布它们以及我们目前正在探索的合作伙伴关系的其他方向还为时过早。但这是我们已经形成的三个主要合作伙伴关系,并且已经将客户带到了 Deci。

Erik:Yonatan,我想我们已经覆盖了相当多的领域。有什么重要的事情我们还没有触及吗?

Yonatan:我说的是我们最近在 Deci 年所做的一个非常有趣的研究方面。实际上,在 Deci,我们最近在我们称为 Decinates 的一系列神经网络中打破了深度学习的最先进性能。这是在我们的网站上宣布的。而且,在新闻界,以及将准确性和延迟之间已知的权衡打破到一个新领域的算法,例如,运行两周的分类模型,与我们宣布的现有开源和算法相比,我们的延迟减少了。

Decinate 现在在一个平台上提供,数据科学家可以使用它来构建更准确的模型,这些模型在生产中运行得更快。这实际上非常有趣,能够使用 Auto Neck 技术生成在某种意义上通用的模型,并且客户可以以自助服务的方式使用,以便他们的应用程序运行得更好或更快。

Erik:这是您自己独立完成的,还是与合作伙伴或大学实验室一起完成的?

Yonatan:所以实际上,我们在这里有一个研究团队。 Deci 是船上的三位教授和几个博士。 Decinates 的这一结果是将 Auto Neck 技术应用于一些知名的基准数据集和模型的直接结果,并获得了与通常在工业中使用的任何现有已知模型具有竞争力的分辨率。所以这个结果是内部的,但现在我们正在为用户和客户提供将这些 Decinate 用于他们的应用程序。看看人们在早期使用这些 Decinate 的用例是什么非常有趣。

Erik:你对Deci的前景有什么看法?例如,如果我们展望 2022 年,您最关注的领域是什么?

Yonatan:所以我认为重点是让经验不足的数据科学家或软件工程师更容易使用我们的工具。因此,我们正在考虑的是如何让每个人都更容易访问我们的平台。其中一个方向是在该领域提供一个开源来帮助您免费提供我们平台的一些组件。其他方向是如何使 API 更易于使用和应用于计算机视觉和 NLP 中的标准问题,并使经验不足的数据科学家更容易访问所有内容。

Erik:我认为这可能是至少我们的很多客户需要的大创新领域之一,因为行业很难聘请真正有经验的数据科学家。很难与谷歌和阿里巴巴以及那里的大玩家竞争顶尖人才。所以你最终会雇佣年轻人,或者你最终会训练你现有的团队来运行,他们需要他们可以有效使用的工具。人们与您联系或更广泛地了解更多有关 Deci 的最佳方式是什么?

Yonatan:我们有一个开放的 SaaS 平台。用户只需注册并开始。试用我们在 SaaS 平台上免费提供的一些数据。这将很好地了解我们产品的某些部分。第二种选择是在我们的网站上预订演示,然后有人会回复他们并演示我们平台的全部功能。因此,这是了解 Deci 可以为任何用例提供什么的最佳方式。

Erik:但是对于正在听的人来说,Deci 是 deci.ai,所以你可以在那里注册,你可以预订演示。伟大的。 Yonatan,感谢您今天抽出时间。

Yonatan:非常感谢。我的荣幸。

Erik:感谢您收听另一个版本的工业物联网聚光灯播客。如果您发现这些对话很有价值,请给我们留下评论和五星级评价。如果您想分享您公司的故事或推荐一位演讲者,请发送电子邮件至 team@IoTone.com。最后,如果您有想要讨论的物联网研究、战略或培训计划,可以直接发送电子邮件至 erik.walenza@IoTone.com 给我发电子邮件。谢谢你。

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。