深度学习即将变得更容易也更广泛
最近几个月我们看到了解决人工智能“大数据问题”的巨大推动力。并且已经开始出现一些有趣的突破,可以让更多的企业和组织使用AI。
什么是大数据问题?获取足够的数据来实现深度学习是一项挑战,这是一种非常受欢迎且充满希望的AI技术,它允许机器自己找到数据中的关系和模式。(例如,在喂食许多猫的图像后,深度学习程序可以创建自己对“猫”构成的定义,并使用它来识别未来的图像为“猫”或“不是猫”。如果你改变'猫“对'客户',你可以看到为什么许多公司都渴望试驾这项技术。)
深度学习算法通常需要数百万个训练样例才能准确地执行任务。但是,许多公司和组织无法访问如此大型的带注释数据的缓存来训练他们的模型(获取数百万张猫的图片已经足够困难;如何获得数百万个正确注释的客户资料 - 或者考虑来自医疗保健领域,数以百万计的注释心力衰竭事件?)。最重要的是,在许多领域,数据分散且分散,需要付出巨大的努力和资金来巩固和清理人工智能培训。在其他领域,数据受隐私法和其他法规的约束,这可能使其无法接触AI工程师。
这就是为什么人工智能研究人员在过去几年里一直面临着为深度学习的巨大数据需求找到变通方法的原因。这就是为什么最近几个月出现了很多有趣的原因,因为出现了几个有希望的解决方案 - 其中两个需要较少的培训数据,另一个允许组织创建自己的培训示例。
以下是这些新兴解决方案的概述。
混合AI模型
在人工智能六十年历史的很大一部分中,该领域的特点是象征性和联结性人工智能之间的竞争。象征主义者认为AI必须基于程序员编写的明确规则。连接主义者认为AI必须通过经验学习,这种方法在深度学习中使用。
但最近,研究人员发现,通过结合连接主义和符号模型,他们可以创建需要少得多的训练数据的AI系统。
在5月ICLR会议上发表的一篇论文中,来自麻省理工学院和IBM的研究人员介绍了“神经符号概念学习者”,这是一种将基于规则的AI和神经网络结合在一起的AI模型。
NSCL使用神经网络从图像中提取特征并组成一个结构化的信息表(在AI行话中称为“符号”)。然后,它使用经典的基于规则的程序来回答问题并根据这些符号解决问题。
通过结合神经网络的学习能力和基于规则的AI的推理能力,NSCL可以用更少的数据适应新的设置和问题。研究人员在CLEVR上测试了AI模型,这是一个解决视觉问答(VQA)的数据集。在VQA中,AI必须回答有关给定图片中包含的对象和元素的问题。
纯粹基于神经网络的AI模型通常需要大量的训练样例来解决VQA问题的准确性。但是,NSCL能够用一小部分数据来掌握CLEVR。
少量学习和一次性学习
减少训练数据的传统方法是使用转移学习,采用预训练神经网络的过程并对其进行微调以完成新任务。例如,AI工程师可以使用AlexNet,一种在数百万图像上训练的开源图像分类器,并通过使用特定于域的示例对其进行重新训练,将其重新用于新任务。
转移学习减少了创建AI模型所需的培训数据量。但它可能仍需要数百个示例,调整过程需要大量的试验和错误。
最近几个月,人工智能研究人员已经能够创造出能够用更少的例子训练新任务的技术。
今年5月,三星的研究实验室推出了Talking Heads,这是一款可以进行少数镜头学习的面部动画AI模型。Talking Heads系统可以通过仅查看主体的几张图像来动画以前看不见的人的肖像。
在对面部视频的大型数据集进行训练之后,AI学习从新图像中识别和提取面部地标,并以自然方式操纵它们,而无需许多示例。
另一个有趣的项目是RepMet,这是由IBM和特拉维夫大学的研究人员共同开发的AI模型。RepMet使用专门的技术微调图像分类器,以检测每个对象只有一个图像的新类型的对象。
这在餐厅等设置中非常有用,您可以在这些设置中对每个餐厅独有的菜肴进行分类,而无需收集太多图片来训练您的AI模型。
使用GAN生成培训数据
在某些领域,存在培训示例,但获得它们带来了几乎无法克服的挑战。一个例子是医疗保健,其中数据在不同医院之间分散,并包含敏感的患者信息。这使得AI科学家更难以获得和处理数据,同时仍然遵守GDPR和HIPAA等法规。
为了解决这个问题,许多研究人员正在从生成对抗网络(GAN)获得帮助,这是人工智能研究员Ian Goodfellow在2014年发明的一种技术.GAN将生成器和鉴别器神经网络相互对接以创建新数据。
自成立以来,GAN已经成为研究的热门领域,并帮助实现了许多卓越的成就,例如创造逼真的面孔和视频,以及引发深刻的危机。
但是,GAN还可以帮助减少收集注释示例以培训深度学习算法所需的人力。国立大学的研究人员最近创建了一个GAN,可以生成电子健康记录来训练AI模型。由于生成的EHR纯粹是合成的,因此使用它们训练模型的AI工程师无需获得特殊许可或担心违反隐私法。
最近,德国吕贝克大学的研究人员介绍了一种使用GAN合成高质量医学图像(如CT扫描和MRI)的新方法。这种新技术具有内存效率,这意味着它不需要大型AI实验室和大型科技公司可用的庞大计算资源。
许多人担心,随着深度学习的兴起,能够访问大量数据的公司和组织将占据主导地位。虽然很难预测数据密集程度较低的AI模型需要多长时间才能从研究实验室转向商用选项,但可以肯定的是,随着这些和其他类似项目的出现,我们可以更加充满希望深度学习创新不仅限于Google和Facebook等。