麻省理工学院的新模拟突触比人脑中的突触快100万倍

致力于“模拟深度学习”的麻省理工学院工程师找到了一种方法，可以以前所未有的速度推动质子通过固体。随着研究人员挑战机器学习的极限，训练越来越复杂的神经网络模型所需的时间、精力和资金正在飙升。模拟深度学习是人工智能的一个新的分支，它有望以仅仅一小部分的能源使用进行更快速的处理。

可编程电阻器是模拟深度学习的关键构件，就像晶体管是构建数字处理器的核心元素一样。通过在复杂的层中重复排列可编程电阻器，科学家可以创建一个模拟人造 “神经元”和 “突触 ”网络，就像数字神经网络一样执行计算。然后这个网络可以被训练来实现复杂的人工智能任务，如自然语言处理和图像识别。

来自麻省理工学院的一个多学科研究小组着手挑战他们之前开发的一种人类制造的模拟突触的速度极限。他们在制造过程中采用了一种实用的无机材料，使他们的设备运行速度比以前的版本快100万倍，这也比人脑中的突触快约100万倍。

此外，这种无机材料还使电阻的能效高得惊人。与他们早期版本的设备中使用的材料不同，新材料与硅制造技术兼容。这一变化使得在纳米尺度上制造器件成为可能，并可能为整合到深度学习应用的商业计算硬件中铺平道路。

高级作者、麻省理工学院电气工程和计算机科学系（EECS）的唐纳教授Jesús A. del Alamo说：“凭借这一关键见解，以及我们在MIT.nano拥有的非常强大的纳米制造技术，我们已经能够把这些碎片放在一起，并证明这些设备本质上是非常快的，并在合理的电压下运行。这项工作确实把这些设备放在了一个点上，它们现在看起来真的很有希望在未来应用。”

“该设备的工作机制是将最小的离子，即质子，电化学地插入到绝缘氧化物中，以调节其电子传导性。因为我们正在使用非常薄的设备，所以我们可以通过使用强电场来加速这个离子的运动，并将这些离子设备推向纳秒级的操作制度，”资深作者、核科学与工程系和材料科学与工程系的Breene M. Kerr教授Bilge Yildiz解释说。

高级作者、巴特尔能源联盟核科学与工程系教授和材料科学与工程系教授Ju Li说：“生物细胞中的动作电位以毫秒的时间尺度上升和下降，因为大约0.1伏的电压差受制于水的稳定性。在这里，我们在一个特殊的纳米级厚度的固体玻璃薄膜上施加高达10伏的电压，该薄膜可以传导质子，而不会永久损坏它。而电场越强，离子设备就越快。”

这些可编程的电阻器极大地提高了神经网络的训练速度，同时极大地降低了进行这种训练的成本和能量。这可以帮助研究人员更快地开发深度学习模型，然后将其应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。

“一旦你拥有一个模拟处理器，你将不再是在训练其他人正在研究的网络。你将训练具有前所未有的复杂度的网络，而这些网络是其他人无法承担的，因此大大超过了他们所有人。换句话说，这不是一辆更快的汽车，而是一艘航天器。”主要作者、麻省理工学院博士后Murat Onen 补充说。

共同作者包括材料科学与工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。这项研究于7月28日发表在《科学》杂志上。

模拟深度学习比其数字同行更快、更节能，主要有两个原因。“首先，计算是在内存中进行的，所以巨大的数据负载不会从内存中来回传输到处理器中。"模拟处理器还可以并行地进行操作。如果矩阵大小扩大，模拟处理器不需要更多时间来完成新的操作，因为所有的计算都是同时进行的。”

麻省理工学院新的模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻器以纳米为单位，排列成一个阵列，就像一个棋盘。

在人脑中，学习的发生是由于神经元之间连接的加强和减弱，称为突触。深度神经网络长期以来一直采用这种策略，即通过训练算法对网络权重进行编程。在这个新的处理器的情况下，增加和减少质子电阻的电导率可以实现模拟机器学习。

电导是由质子的运动控制的。为了增加电导率，更多的质子被推入电阻的一个通道，而为了减少电导率，质子被取出来。这是用一种电解质（类似于电池）来完成的，它可以传导质子，但阻止电子。

为了开发一种超快速和高能效的可编程质子电阻，科学家们寻找了不同的电解质材料。当其他设备使用有机化合物时，Onen专注于无机的磷硅酸盐玻璃（PSG）。

PSG基本上是二氧化硅，它是一种粉状的干燥剂材料，在新家具包装盒中的小袋子中发现，用于去除水分。它被研究为燃料电池在湿润条件下的质子导体。它也是用于硅加工的最著名的氧化物。为了制造PSG，在硅中加入极少量的磷，使其具有质子传导的特殊特性。

Onen假设，经过优化的PSG可以在室温下具有很高的质子传导性，而不需要水，这将使它成为这种应用的理想固体电解质。他是对的。

PSG能够实现超快的质子运动，因为它含有大量的纳米级孔隙，其表面为质子扩散提供了路径。它还可以承受非常强大的脉冲电场。Onen解释说，这一点很关键，因为向该设备施加更多的电压能使质子以惊人的速度移动。

“这个速度当然令人惊讶。通常情况下，我们不会在设备上施加如此极端的电场，以避免将它们变成灰烬。但相反，质子最终以巨大的速度在设备堆栈中穿梭，特别是与我们之前的速度相比，快了一百万倍。由于质子的体积小、质量低，这种运动不会损害任何东西。”他说：“这几乎就像远距离传输。”

Li补充说：“纳秒级的时间尺度意味着我们在如此极端的场下，接近质子的弹道甚至量子隧道系统。”

由于质子不会损坏材料，该电阻可以运行数百万次而不发生故障。这种新的电解质实现了可编程质子电阻，比他们以前的设备快一百万倍，并能在室温下有效运行，这对于将其纳入计算硬件非常重要。

由于PSG的绝缘性能，当质子移动时几乎没有电流通过该材料。Onen补充说，这使得该设备非常节能。del Alamo说，既然他们已经证明了这些可编程电阻器的有效性，科学家们计划重新设计它们以进行大批量的生产。然后，他们可以研究电阻器阵列的特性，并扩大其规模，以便将其嵌入系统中。

同时，他们计划研究这些材料，以消除限制有效地将质子转移到电解质、通过电解质和从电解质中转移出来所需电压的瓶颈。

“这些离子设备可以实现的另一个令人兴奋的方向是高能效的硬件，以模拟神经科学中推导出的神经回路和突触可塑性规则，超越模拟深度神经网络。”Yildiz补充说：“我们已经开始了与神经科学的这种合作，得到了麻省理工学院探索智能的支持。”

“我们的合作对于未来的创新将是至关重要的。前进的道路仍将是非常具有挑战性的，但同时也是非常令人兴奋的，” del Alamo说。

“嵌入反应，如在锂离子电池中发现的那些反应，已经被广泛地探索用于存储设备。”斯坦福大学材料科学与工程系副教授William Chueh说：“这项工作表明，基于质子的存储器件提供了令人印象深刻和令人惊讶的开关速度和持久性。它为一类新的存储器件奠定了基础，为深度学习算法提供动力。”他没有参与这项研究。”

“这项工作表明，在生物启发的电阻记忆装置方面取得了重大突破。这些全固态质子设备基于质子的精致原子级控制，类似于生物突触，但速率快了几个数量级，”没有参与这项工作的卡内基梅隆大学泰迪和威尔顿-霍金斯特聘教授兼材料科学和工程系主任Elizabeth Dickey说。“我赞扬麻省理工学院的跨学科团队的这一令人兴奋的发展，它将使未来一代的计算设备成为可能。”