Acoustic Robot Swarm:不需要任何物理隔离设备,就能对特定区域进行“隔音”,并且仅“静音/听到”特定人的声音。
华盛顿大学和微软共同开发出一种小型移动式“声群机器人”,这些机器人可在许多人同时说话的房间中创建一个“静音区”,该区域声音被静音。
或者创建一个“语音区”,人们可以在其中进行互动而不必担心周围的环境。
它还可以用作一种仅允许特定人员进行交互的方式,即使许多人正在交谈,即使他们距离很远。
在科幻小说和电影中都有操纵声学场景的能力的描述。在《沙丘》(1984 年、2021 年)和《变得聪明》(2008 年)中,使用了一个静音锥体来静音房间中特定区域的对话。在《瑞克和莫蒂》(Rick and Morty,2019)中,使用未来技术,将背景中角色的讲话从刺耳的声音中分离出来,以揭示其内容。
Nature报道:利用自分布声学群创建语音区域
https://t.co/d9VyKZZGSH
论文:https://t.co/eFmuzdMfXm
机器人的电路设计文件以及固件源代码:https://t.co/enuTJYzcfa
语音处理算法的源代码:https://t.co/9qCr0Vhywe
声群机器工作原理:
这些声群机器人使用了一系列硬件组件,包括 Bluetooth Low Energy(BLE)模块、麦克风、扬声器、电机等。它们可以在2D平面(如桌面)上自由移动,并通过无线通信进行协调。
1、位置和音声分离:机器人首先通过麦克风捕捉环境中的声音。然后,它们使用一种名为“Time Difference of Arrival”(TDoA)的技术,通过比较从不同麦克风捕获的声音来确定说话人的位置。
2、音声处理:一旦确定了说话人的位置,机器人使用深度学习算法进一步分离特定说话人的声音,从而实现音声的清晰传输。
3、静音区域和对话区域:通过这些技术,机器人可以在一个房间内创建“静音区域”(Mute Zone)和“对话区域”(Speech Zone)。在静音区域内,环境噪音和其他人的对话声会被有效地隔绝,而在对话区域内,只有特定人物的声音会被放大和传输。
主要特点:
1、高度精确的定位:通过使用先进的声学传感器和算法,这些机器人能够精确地确定说话人的位置。
2、声音分离:除了定位外,机器人群还能有效地分离来自不同位置的声音,这对于嘈杂环境中的声音识别非常有用。
3、神经网络应用:论文中提到了使用4层U-Net和其他先进的机器学习技术,如自注意力和交叉注意力机制,以提高声音分离和定位的准确性。
4、可扩展性和灵活性:由于使用了小型移动式机器人,这个系统具有很高的可扩展性和灵活性,能够适应各种室内环境。
5、开源和数据可用性:研究者们还提供了相关的电路设计文件和固件源代码,以及用于机器学习模型的数据。