创新背景
随着科学家们不断突破机器学习的边界,训练日益复杂的神经网络模型所需的时间、精力和金钱也在飞速增长。
人工智能的一个新领域——模拟深度学习(analog deep learning)有望以很小的能耗实现更快的计算,它像大脑一样工作,使用类似于神经元的电子设备作为模型的一部分。模拟深度学习能够比数字深度学习更快、更节能,主要有两个原因是:首先,计算是在内存中执行的,所以大量的数据不会在内存和处理器之间来回传输。其次,模拟处理器可以并行地进行操作。就算矩阵扩大,模拟处理器也不需要更多的时间来完成新的操作,因为所有的计算都是同时发生的。然而,到目前为止,这些设备还不够快,不够小,也不够高效,无法提供与数字机器学习相比的优势。
可编程电阻是模拟深度学习的关键组成部分,就像晶体管是数字处理器的核心元件一样。通过在复杂层中重复可编程电阻阵列,研究人员可以创建一个模拟人工“神经元”和“突触”网络,就像数字神经网络一样执行计算。然后可以训练这个网络来完成复杂的人工智能任务,比如图像识别和自然语言处理。
创新过程
麻省理工学院的一个多学科研究团队突破了他们之前开发的一种人造模拟突触的速度极限。他们在制造过程中使用了一种实用的无机材料,使他们的设备比之前的版本快100万倍,这也比人脑中的突触快100万倍左右。
此外,这种无机材料也使电阻器非常节能。与他们早期设备使用的材料不同,这种新材料与硅制造技术兼容。这一变化使纳米尺度的设备制造成为可能,并可能为深度学习应用集成到商业计算硬件铺平道路。
这项研究于2022年7月28日发表在《科学》杂志上。
加速深度学习
麻省理工学院的新型模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻的测量单位是纳米(一纳米是一米的十亿分之一),它们排列成一个阵列,就像一个棋盘。
在人类大脑中,学习的发生是由于神经元之间的连接(称为突触)的加强和减弱。深度神经网络早就采用了这种策略,通过训练算法对网络权值进行编程。利用这种新型电阻器,就可以通过增加和减少质子电阻的电导来实现模拟机器学习。
电导是由质子的运动控制的。为了增加电导率,更多的质子被推入电阻中的通道,同时为了降低电导,质子被取出。这是通过一种电解质(类似于电池的电解质)来实现的,它能引导质子但阻止电子。
为了开发一种超高速、高能量且高效的可编程质子电阻,研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时,研究团队专注于研究无机磷硅酸盐玻璃(PSG)。
PSG基本上是二氧化硅,这是一种粉末状的干燥剂材料。在加湿条件下,研究了它作为燃料电池的质子导体。它也是硅加工中最著名的氧化物。为了制造PSG,研究人员在硅中加入了少量的磷,使其具有质子传导的特殊特性。
研究人员假设,优化后的PSG在室温下不需要水就能拥有高的质子导电性,这将使其成为理想的固体电解质。实验证明,这项假设是正确的。
惊人的速度
PSG能够实现质子的超快运动,因为它包含大量纳米大小的孔,其表面为质子扩散提供了路径。它还能承受非常强的脉冲电场。这是至关重要的,因为对装置施加更多的电压可以使质子以致盲的速度移动。
由于质子不会损坏材料,所以电阻器可以运行数百万次而不发生故障。这种新型电解质使可编程的质子电阻成为可能,其速度比之前的设备快一百万倍,并且可以在室温下有效工作,这对于将其纳入计算硬件来说非常重要。
由于PSG的绝缘特性,当质子运动时,几乎没有电流通过材料,因此该设备非常节能。
研究团队已经证明了这些可编程电阻的有效性,并计划重新设计它们以进行大批量生产。接下来,他们还可以研究电阻阵列的特性,并将其放大,以便将其嵌入系统。
创新关键点
这个多学科研究团队利用二氧化硅和磷,制造出了拥有高质子导电性的新型无机磷硅酸盐玻璃(PSG)材料,并开发出了一种新型高能效质子可编程电阻。
利用这种新型电阻器,通过增加和减少质子电阻的电导,实现了更快、更节能的模拟深度学习,从而使人工智能具有高效率、低能耗的计算能力。
创新价值
这项研究开发的新型可编程电阻提高了神经网络训练的速度,大大降低了执行训练的成本。这可以帮助科学家更快地开发深度学习模型,然后应用于自动驾驶汽车、欺诈检测或医学图像分析等领域。
智能推荐
人工智能+古文字学 | 人工智能帮助研究古文字文本
2022-07-28将人工智能运用于古文字学领域,帮助重建古老的文字文本,探索人类的历史文明。
涉及学科涉及领域研究方向新技术+基础设施 | 主动维修基础设施,提高维修管理效率
2022-08-17利用现代数字化技术帮助精简基础设施维修措施并进行主动预防性维护,降低维修成本,提高维修效率,进而优化公共事业管理、城市管理和工程管理模式。
涉及学科涉及领域研究方向AI算法 | 利用激光清除树叶联系,创新森林防火方法
2022-06-29将激光清除树叶的技术引入森林火灾燃烧媒介切断,控制森林火势蔓延,有效进行森林保护和消防事业。
涉及学科涉及领域研究方向开发新型芯片以提高人工智能计算效率
2022-08-19斯坦福大学的工程师们创造了一种更高效、更灵活的人工智能芯片,它可以将人工智能的力量带入微型边缘设备。
涉及学科涉及领域研究方向