蚂蚁金服多篇“硬核”论文被AI顶级集会AAAI收录

2022-12-10 03:10 天博手机app安装下载

 扫码分享

本文摘要:摘要:人工智能顶会中的蚂蚁金服,不仅仅是商用场景的落地。2020年2月7日,人工智能顶级集会AAAI 2020(第34届AAAI大会)在美国纽约举行。作为今年在国际人工智能大会的首秀,蚂蚁金服在AAAI 2020中体现不俗,多篇论文被收录。 人工智能的生长历史不短,但近年来生长迅猛。AAAI的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。

天博手机app安装下载

摘要:人工智能顶会中的蚂蚁金服,不仅仅是商用场景的落地。2020年2月7日,人工智能顶级集会AAAI 2020(第34届AAAI大会)在美国纽约举行。作为今年在国际人工智能大会的首秀,蚂蚁金服在AAAI 2020中体现不俗,多篇论文被收录。

人工智能的生长历史不短,但近年来生长迅猛。AAAI的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。在人工智能国际性大会中,AAAI大会被公认为人工智能领域最重磅的集会之一,被誉为人工智能领域科研的风向标。在海内,由中国盘算机学会的国际学术集会排名以及清华大学新公布的盘算机科学推荐学术集会和期刊列表中,AAAI 均被列为人工智能领域的 A 类顶级集会。

值得一提的是,受海内疫情影响,约800名中国大陆学者缺席此次大会,可是官方允许远程参会,因此开年的这场人工智能顶会,热闹不减。中国在人工智能领域的学术孝敬也相当亮眼,此次大会任命的论文37%来自中国,一连三年占据榜首位置。在这股声势赫赫的AI大潮中,蚂蚁金服也紧跟技术风向,连续输出新能量。

技术在这个时代吹亮了军号,AI成为这股科技生产力中的主力军之一。随着AI工业生态链结构完善,AI逐渐实现了在商用场景的落地,而蚂蚁金服在AI技术领域也连年有所突破,像支付宝这样与人们日常生活息息相关的应用,日渐完善和增强了其自己的功效,提升了用户的体验感受。这些不易觉察的改善正是蚂蚁金服技术团队在AI领域不停精进的效果。

AAAI 2020已经宣布了所有已被吸收的论文列表,地址为:https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdf大会官方曾于去年11月中旬宣布了今年论文的收录信息:共收到凌驾8800篇有效论文,进入评审环节的有7737篇,最终收录了1591篇,吸收率为20.6%。以下为蚂蚁金服技术团队被收入的6篇论文的简要先容。论文1:Dynamic Network Pruning with Interpretable Layerwise Channel Selection(基于可解释性通道选择的动态网络剪枝方法)内容简介:动态剪枝网络可以通过凭据差别的输入动态决议推理路径,实现实时线上加速目的。之前的方法大多直接对每个权重通道输出一连重要值,来决议权重的使用情况,但缺乏清晰可明白的剪枝历程。

本文中我们提出显式建模权重通道离散选择历程,以便于实现各稀疏多样的运行时推理路径。与此同时,借助于可明白的逐层权重通道选择历程,我们可以清晰地可视化出模型决议历程以供模型明白。

同时我们还发现正常样本和反抗样本在动态网络中有着显着差别的决议路径。基于此我们提出一种高效的反抗样本检测方法。实验讲明我们的动态剪枝网络不仅可以淘汰模型实时盘算量,提高模型预测准确性,同时还可以有效防御反抗样本攻击,构建更为鲁棒的模型。

论文2:Pruning from Scratch(无语预训练的网络剪枝技术)内容简介:随着深度学习网络被广泛应用,淘汰模型巨细和运行延时也成为逐渐关注的需求,这对于部署于边缘移动端设备有实际应用价值。网络剪枝技术即通已往除模型中冗余参数结构,来到达模型压缩和推理加速的目的。传统网络剪枝方法基本接纳三阶段流程,即预训练,剪枝和微调。

其中预训练提供冗余参数和结构,剪枝使用差别计谋去除参数,微调卖力最后进一步提升模型性能。可是这些环节引入了繁琐耗时的网络优化历程,而且最终压缩网络结构及参数和原始模型甚至无依赖关系。

因此我们自然提出疑问:是否必须要从一个预训练好的模型中才可以获得剪枝模型结构?在本文中我们通过实证发现,一个有效的剪枝结构无需从预训练权重获得。实际上预训练权重获得的剪枝结构往往是同质缺乏多样性的,这很有可能限制了更好性能结构的探索。

天博综合体育官方app下载

我们发现直接从随机初始化权重即可以剪枝获得更多样且最终性能更好的剪枝结构。这不仅极大的加速了模型剪枝流程,淘汰费时繁重的训练历程,同时也为模型剪枝领域提供了一个强有力的基准效果。

论文3:自动车险定损系统:像专业定损员一样读取和明白视频内容简介:车险定损是车险理赔中最为重要的操作环节。以往传统保险公司的车险处置惩罚流程,一般为报案、现场查勘、提交理赔质料、审核、最终赔付。

传统流程对用户和保险公司划分造成了时间成本和人力、治理成本。本文提出的自动车险定损系统不仅能通过AI算法替代定损环节中重复性人事情业流程,而且能通过深度学习技术让用户在车险理赔历程中现场拍摄视频,在几秒内就能获得准确的定损结论,并快速获得理赔。现在有相关事情在用户拍摄的照片上举行车险定损,拍摄照片对拍摄距离有较高的要求,用户交互庞大。也有接纳远程视频集会系统,由专业定损员在控制中心指导拍摄历程并举行定损。

本系统接纳拍摄视频的方式在云端自动定损,简化了用户交互历程,降低了定损成本。论文4:Long Short-Term Sample Distillation(基于是非期老师的样本蒸馏方法)内容简介:随着深度学习的快速生长,神经网络的深度迅速增加。而由于存在梯度消失、过拟合等问题,越深的神经网络越难训练。

在已往的一段时间里,如何训练深度神经网络已经取得了很大的希望。最近一些关于老师-学生模型的研究讲明,在同一个训练历程中,前面训练历程的历史信息可以作为后面训练历程的老师,从而使模型的训练更稳定,到达更好的效果。在这篇文章中,我们提出了Long Short-Term Sample Distillation(LSTSD)方法来从两方面提升深度神经网络的效果。一方面,LSTSD将历史训练历程的信息分为两部门:恒久信号和短期信号。

恒久信号来自于n(n>1)训练周期之前,并在较长的一段时间内保持稳定,从而保证学生模型和老师模型之间的差异性。短期信号来自于上一个训练周期,并在每个周期都更新为最新的信息,从而保证老师模型的质量。另一方面,每一个样本的老师信号都来自于差别的历史训练时刻,因此在训练的每个时刻,模型都是同时向多个历史时刻的模型学习,集百家之所长,从而获得更好的训练效果。

我们在自然 语言处置惩罚和盘算机视觉的多个任务上举行了实验,实验效果证明我们提出的LSTSD的有效性。论文5:Span-based Neural Buffer: Towards Efficient and Effective Utilization of Long-distance Context for Neural Sequence Models(面向超长文天职析的自然语言处置惩罚)内容简介:传统的序列编码模型由于其线性输入输出假设的特质而存在短视问题,即不能很好地使用远距离的上下文信息(有实验说明,LSTM的编码能力或许在200个词左右)。在这个事情中,我们提出了一种基于块的张量缓冲,它通过按块存储上下文高效地提高了线性生成模型的编码容量。

详细地说,其有效性源于能够通过存储文本块建模超长上下文;其高效性源于通过块状存储降低了检索时耗。然而,在实验历程中,我们发现由于样本偏差(大部门的句子结构简朴,即通过局部上下文就可以预测得很好了),模型不能很好地使用张量缓冲的信息。为相识决这个问题,我们提出了一个基于自适应奖励的计谋梯度以勉励模型探索上下文和一个退火最大似然预计充实训练张量缓冲相关的参数。我们在语言模型的两个数据集:Penn Treebank 和 WikiText-2 上做了大量的实验。

天博综合体育官方app

包罗用张量缓冲提高之前每个基线模型的效果以及一些定性实验。它们都有力地说明晰我们的方法在处置惩罚超长上下文时很是有效。论文6:通过结构化反事实推断实现成本高效的激励权益发放内容简介:向用户发放激励消费的权益是现代互联网市场中一个常见的营销手段,而相应的发放计谋,即向差别用户发放其最感兴趣的个性化激励权益时,并不能使用传统的优化方法。

这是因为我们只能观察到每个用户对部门已发放激励权益的反馈,而无法确定其收到其他激励权益时的反馈,在机械学习领域,这类计谋优化问题被称为反事实反馈计谋优化(Counterfactual Response Policy Optimization)或部门反馈学习(Batch Learning from Bandit Feedback)。在这篇论文中,差别于之前的部门反馈学习事情,我们思量一种全新的反事实反馈预计场景,将激励权益的成本与用户反馈联合思量,设计了一个全新的两步方法求解带预算约束的反事实反馈计谋优化:首先将用户的反事实反馈的预计问题转化为一个带分外结构的界说域适配(Domain Adaptation)问题,再使用该预计效果举行约束优化。我们通过理论分析给出该算法的误差上界,并通过模拟数据和真实数据上的实验证明我们的算法相比已有算法实现了显著的提升。


本文关键词:蚂蚁,金服,多篇,“,硬核,”,论文,天博综合体育官方app,被,顶级

本文来源:天博综合体育官方app下载-www.86swim.com

返回顶部