第一架采用完全视觉控制的神经形态AI无人机。
图片来源：圭多·德·克罗恩/代尔夫特理工大学
这是荷兰代尔夫特理工大学团队研发的新式无人机，采用了基于动物大脑工作原理的神经形态图像处理器来控制自主飞行。与目前在GPU（图形芯片）上运行的深度神经网络相比，动物大脑使用的数据和能量更少。因此，神经形态处理器非常适合小型无人机，完全不需要笨重的大型硬件和电池。在飞行过程中，该无人机的深度神经网络处理数据的速度比在GPU上运行时快64倍，而能耗仅为后者的1/3。
神经形态无人机飞越花朵图案，无人机从放在角落的神经形态相机接收到视觉输入。红色表示像素变暗，绿色表示像素变亮。
图片来源：圭多·德·克罗恩/代尔夫特理工大学
如果这项技术进一步发展，可能会使所有无人机都变得像飞虫或鸟类一样小巧、敏捷且智能。
“进阶”为脉冲神经网络
人工智能（AI）拥有巨大潜力，可为自主机器人提供实际应用所需的智力支持。然而，当前的AI依赖于需要大量计算能力的深度神经网络。用于运行深度神经网络的GPU又会消耗大量能量，特别是对于像无人机这样的小型机器人来说，更是一个严重问题，因为它们在传感和计算方面只能携带非常有限的资源。
动物大脑处理信息的方式，则与GPU上运行的神经网络截然不同。生物神经元异步处理信息，主要通过尖峰电脉冲进行通信。由于发送这样的尖峰会消耗能量，因此大脑会自发最大限度地减少尖峰。
受动物大脑这些特性的启发，科学家们正在开发新的神经形态处理器。这些新处理器允许运行脉冲神经网络。
脉冲神经网络执行的计算比标准深度神经网络中的计算简单得多。数字脉冲神经元只需要添加整数，而标准神经元必须相乘并添加浮点数。这使得脉冲神经网络更快、更节能。举个例子，这就好比人类大脑可以简单地判断出，计算5＋8比计算6.25×3.45＋4.05×3.45要容易得多。
如果将神经形态处理器与神经形态传感器（如神经形态相机）结合，这种能源效率还将进一步提高。其信号可直接输入在神经形态处理器上运行的脉冲神经网络，成为自主机器人的巨大推动力。
首次实现神经形态视觉和控制
在发表于《科学·机器人》上的一篇文章中，荷兰代尔夫特理工大学研究人员首次展示了这种使用神经形态视觉和控制进行自主飞行的无人机。具体来说，他们开发了一种脉冲神经网络，可处理来自神经形态相机的信号，并输出控制命令，以确定无人机的姿态和推力。他们将这个网络部署在无人机上的神经形态处理器上，即英特尔的Loihi神经形态研究芯片。借助网络，无人机可感知并控制自己在各个方向的运动。
训练脉冲神经网络其实是个巨大挑战。研究团队设计了由两个模块组成的网络。第一个模块学习从移动的神经形态相机的信号中，通过视觉感知运动。它仅利用来自相机的数据，完全以自我监督的方式自行完成，类似于动物学习如何感知世界。
第二个模块学习在模拟器中将估计的运动映射到控制命令。这种学习依赖于模拟中的人工进化，经过几代人工进化，脉冲神经网络就会越来越擅长控制，最终能够以不同的速度向任何方向飞行。
最终，无论是在黑暗环境中穿梭，还是在明亮光线下翱翔，凭借其神经形态视觉和控制，无人机能轻松实现不同的光照条件下的多种速度飞行。
神经形态AI大幅提高能效和速度
这是神经形态AI的一次完美演出。
首先，该网络平均每秒运行274—1600次。而在小型嵌入式GPU上运行的同一网络，平均每秒仅运行25次，相差10—64倍。
其次，在运行该网络时，英特尔Loihi神经形态研究芯片耗电1.007瓦，其中1瓦是处理器在打开芯片时消耗的空闲功率，运行网络本身只需7毫瓦；相比之下，嵌入式GPU在运行同一网络时，耗电为3瓦，其中1瓦为空闲功率，2瓦用于运行网络。
神经形态方法无疑使AI运行更快、更高效，而且能轻松部署在微型自主机器人上。
拿微型自主无人机来说，其可用于监测温室作物、跟踪仓库库存等诸多领域。它们更安全，可在狭窄的环境中（比如几株植物之间）顺利导航；它们还非常便宜，可以成群部署，快速覆盖一整个区域。
但科学家不会止步于此，他们正在进一步缩小神经形态硬件，并准备将神经形态AI扩展到更复杂的任务中。