本文的实验研究提出了一个完整的网络系统，通过移动远程节点进行分布式多媒体采集，流式传输到中央单元，并对采集到的信号进行集中实时处理。重点研究了系统的硬件结构，并研究了实现高效、安全流传输的最佳网络性能。具体来说，这些声学和视频传感器，分别是麦克风阵列和视频摄像机，可以用于任何机器人车辆和系统，包括移动和固定。主要目标是拦截不明来源，如任何类型的车辆或机器人车辆，无人机或身份未知的人，其瞬时位置和轨迹也未知。本文从效率和鲁棒性两个方面对所提出的多媒体网络基础结构进行了分析和研究，并进行了现场实验验证。采用合适的技术和多媒体传输协议开发了系统的硬件和软件组件，以满足计算性能、能源效率和数据传输安全的要求和约束。
多媒体物联网传感器(如麦克风阵列和摄像头)在操作条件下的利用在广泛的民用应用中呈指数级增长，如监控，识别和分类视觉和声学事件，搜索和救援任务，即使在恶劣环境中，对环境，城市场所，人或物体，车辆和灾区的车辆进行监视。根据具体应用，采用适当的采集传感器。此外，这些传感器可以应用于室内和室外的固定装置，以提高车辆和机器人的感应能力，并用于教育目的。
近年来，多媒体数据流架构在多节点场景下得到了广泛的研究。在[18]中，作者将多节点系统的主要构建块确定为作为网络平台一部分的传感、通信和协调模块。
在[3]中提出了IEEE 802.11n和802.11ac多点对点通信的实验分析，其中分析了吞吐量结果和传输范围性能。在[17]中，作者也提出了802.11协议，该协议特别用于具有小型传感器节点的集中式网络中的一跳无线传输，该网络将环境传感数据传输到远程目的站。然而，据我们所知，在文献中，从多个远程节点和来自不同传感器的多个数据流的数据采集到传输和接收，完整的流架构尚未在实际和现实应用中得到详细的展示和验证。
在这项工作中，无线传感器系统由用于视听数据采集的分布式异构多媒体节点网络组成，由提议的流媒体和通信基础设施管理，用于将远程节点收集的数据传输到中央单元或控制站(CS)，以及交换必要的控制命令，以建立远程传感器和网络中的中央单元之间的连接。
该网络结构的主要特点是多流传输，可以将来自不同传感器和不同节点的多个多媒体数据流同时发送到控制站。这些流共享相同的流和通信基础设施，具有实时性的限制和减少的信息丢失量。
主站接收到的多流数据可以用高计算资源进行实时分析，类似于[5]中开发和描述的服务模型。在这项工作中只使用了小型多媒体物联网传感器，以便将我们的应用主要集中在物联网和嵌入式系统应用中，这些应用需要从空间维度的角度进行很大的优化，并且从计算和能源资源的角度进行管理。所提出的体系结构主要是为[13,14]中介绍的安全应用而设计的。它可用于声源定位(ASL)[10,15]，用于室外噪声环境下的多声源定位，在远场条件下利用声学到达方向(DoAs)估计进行音频监控和场景分析[11]，用于多类目标识别、识别和实时连续跟踪的图像分析[6]。分布式无线视频传感器还可以用于面向安全的自动事件分析识别[9]和人员再识别[7]，例如，放置在城市环境中。这些传感器还可以协同使用，以便将音频签名和识别与视频签名和识别相匹配，从而提高对实体的检测和识别。除了传感器和数据流架构外，还实现了一个用于读取多媒体流及其传输和接收的软件组件。整个网络体系结构和它的每个部分在手稿的各个章节中都有描述。我们进行了几个测试，运行了不同的配置，并试图找到最可靠的配置，以保证具有最高网络性能要求的多节点多流配置。
综上所述，本文主要对具有多个异构传感器节点的分布式系统的硬件和软件设计进行了开发和分析。它介绍了一种先进的架构能力，可以同时从声学和视频场景中采集数据，并将多个数据流从远程传感器节点实时无线传输到中央控制站，以使用高复杂性算法进行信号处理。
手稿的其余部分组织如下:第2节介绍了多节点流系统架构，并详细描述了该结构的每个组件和整个架构，第3节讨论了实验和性能分析，重点介绍了这项工作的结果。最后，第四部分对全文进行总结，并展望未来的发展方向。
在本节中，将详细描述用于采集、传递和处理分布式传感器收集的数据的计算、传感器和传输系统的体系结构。
在提出的系统宏观结构中，所有分布式节点通过共享同一子网连接到CS。CS能够发送命令管理多媒体数据流，通过SSH控制远程单板计算机(sbc)，监控网络流量和射频参数，运行复杂的算法进行信号处理、分析和分类，并管理连接所有无线节点的无线接入点(WAP)。该系统采用一组异构传感器，其任务是收集不同场景下的多媒体数据，并将其传输到CS进行去局部化信号处理。在文献中，[1]描述了类似的基础设施，其中作者开发了用于人体检测的多传感器数据采集系统。多媒体设备和计算平台与我们实现的系统类似，但与它们的工作不同，我们使用了更紧凑的采集设备和更有组织的系统设置。整个多节点配置由CS管理和协调，CS通过共享无线基础设施连接到所有节点。
开发了三种不同的传感平台，并配备了不同的传感器和计算引擎，根据任务和收集数据的复杂性选择其特性。系统组成如下:否。1个球形麦克风来自Zylia [19]， no。2个紧凑的多媒体接口(索尼的PSEye外设)，没有。1个具有A/V功能的定制传感设备，形状为圆形板，安装圆形麦克风阵列和摄像机。它们将在2.1节中详细描述
该架构由一组用Python编写的采集、流和处理算法编排，以便以动态的方式快速管理设备和数据流，并在所有计算平台上具有通用兼容性。
在本小节中，描述多媒体传感器架构。每个传感平台由一个异构传感装置组成，该装置从周围环境中收集数据，并允许提取必要的声学和视觉信息。我们已经开发了三种不同的采集平台，用于特定的环境、机器人实体和车辆。
平板传感器模块(图1a)底部配备了一个圆形塑料框架，该框架带有四个Semitron seMODADMP441麦克风模块的麦克风阵列，每个麦克风模块承载一对立体声配置的数字MEMS麦克风，形成8声道圆形麦克风阵列。MEMS麦克风具有60 Hz至15 kHz的平坦频率响应，连接到MiniDSP USBStreamer I2S-to-USB音频采集接口[10]。在盘子的中心，安装了一个树莓相机，以便捕捉视频和图像。Raspberry Pi 4安装在板的顶部，提供数据采集、板载处理和传输的计算能力。该系统由专用的LiPo电池组供电。SBC捕获未压缩的多通道PCM音频(采样48KHz，分辨率16bit)和标准清晰度(SD)的视频馈送，并将两个流传输到CS。
图1
传感设备
Zylia传感器(图1b)是一个由19个麦克风全向数字MEMS胶囊组成的USB球形阵列，分布在一个半径为4.5 cm的球体上。它能够以48 kHz的采样率和24比特的分辨率以3D的方式捕获周围的整个声场[14]。它由一个基于英特尔的SBC连接和管理:一个带有Windows 10 Pro的Mini PC Stick NV41S。
两个PSEye外设(图1c)是由4个等距胶囊组成的线性麦克风阵列组成的小型设备，带宽为8KHz，采样频率为16KHz，每个采样分辨率为16bit，还有一个SD摄像头。它们由树莓派3B控制。
来自每个平台的音频馈送未压缩发送到CS。另一方面，对视频帧采用jpeg格式的逐帧压缩，适合嵌入式系统，因为它对计算量要求不高。
设计多媒体数据流基础设施的基本标准之一是，传输系统必须是加密的、数字化的、健壮的，并且必须在一个自由和可访问的无线电频谱中运行，而不干扰周围的设备，并与其他无线电系统共存。还需要为多个多媒体流保持足够的带宽，并为面向连接的协议提供专用带宽，以便在数据包损坏或丢失的情况下重新传输它们。
根据García等人在[2]中的研究，物联网领域有多种无线数据传输技术，因此我们的项目有必要找到能够支持多媒体流的无线技术。作者对主要的无线传输技术进行了准确的分析，下面将给出它们在我们的应用中使用的原因。Zigbee和LoRa被认为是不理想的多媒体传输，因为低数据率，也因为传输受到立法规则的管制。WiMax也没有被考虑，因为它必须依赖于由提供商管理的基础设施，而且没有一般的覆盖范围，特别是在临时区域。WiMax在高清晰度多媒体流量方面也会遇到一些困难。模拟UHF传输被丢弃，因为它们不能免受干扰，并且在MAC级别没有加密。尽管移动通信具有高带宽和数据量，但被认为不合适，因为需要外部提供商，并且在VPN或云中需要安全的数据传输服务。由于传输的高硬件成本和一些传输限制，毫米波通信在信号强度和距离或覆盖范围上非常有限。蓝牙也被抛弃了，因为它是一种适合pan的技术。在做了这些分析之后，我们选择了Wi-Fi，这是一个公平的妥协，可以在未经许可的频谱中在节点之间建立高可靠的连接，并且从信号范围、带宽、频率可用性和硬件成本方面考虑。我们在某些协议和传输方面使用并分析了Wi-Fi。Kaewkiriya等人在[4]中通过测量吞吐量和流媒体速率对不同距离的Wi-Fi IEEE 802.11ac和Wi-Fi IEEE 802.11n的性能进行了比较，Newell等人在[8]中使用与我们在工作中进行的方法相似的方法研究了上述两个Wi-Fi IEEE 802.11标准的理论和实际性能，我们获得了更好的结果，将在后面描述。
我们开发的系统有一个集中式数据处理站和一个非本地化数据处理站。传感器采集的所有数据实时传输到功能强大的控制站，并通过复杂而先进的算法进行处理。
已经设计和开发了一个实验性的双向网络基础设施，以便管理和传输传感平台收集的所有数据，并为SBC和流量控制携带信令和控制消息。发达的网络基础设施依赖于高性能和加密的5GHz Wi-Fi连接，该连接将所有节点相互连接以进行协作通信，并与同一子网中的CS进行通信。无线连接由TP-link eap -225室外管理:无线多用户多输入多输出(MU-MIMO)千兆室内/室外接入点，具有基于802.11ac标准的双频Wi-Fi(图2b)，工作在C频段(5250MHz - 5850MHz)，带宽高达80MHz。尽管这个波段受氧气吸收、散射和反射的影响更大，但它允许使用更窄的光束、更高的带宽，并且更不受干扰。如图2a所示，AP通过屏蔽千兆以太网接口连接到CS。802.11ac的数据从6.5 Mbps到867 Mbps[16]。
图2
AP和网络方案
使用Python套接字开发网络管理软件和协议。这导致了高效、低级的连接管理。这也带来了许多优点:1)通信非常快;由于进一步的协议，没有很大的开销;2)通信管理最小，并且非常适合具有低计算资源的嵌入式系统;3)它们允许完全自定义网络流。采用无自适应编码和带宽的渐进式TCP流。作为一个基于物联网的分布式系统，具有紧凑和小型的设备，我们的架构因此专注于对计算资源要求不高的低成本系统。为此，有必要以最高质量发送多媒体数据，而不会因压缩而导致降级和延迟。尽管TCP并不经常用于多媒体流，而且由于需要可靠的包交付，该协议在延迟和网络性能方面是一个很好的折衷方案。正如Taha等人在[12]中所述，基于全双工连接并完全控制协议，我们可以使用TCP实现高可靠的实时多媒体应用。这允许有可能恢复丢失或降级的数据报[5,13,14]，例如，避免接收音频中的故障和划痕以及视频馈送中的掉帧。
摘要
1 介绍
2 系统架构
3.传输场景
4 结论
参考文献
致谢
作者信息
道德声明
搜索
导航
#####
研究了传输基础设施的不同配置，并在本节中报告了每个分布式节点的相应网络和带宽性能。在考虑信号传输和接收质量以及tx/rx天线的情况下，描述了传输基础设施从单节点配置到多节点配置的发展过程。这个项目的目的是找到一种网络架构，保证在多流和多节点场景中必要的高质量性能。测试是在室外进行的，在我们实验室外的橄榄球场上，由RSSI和信道带宽测量组成，在多媒体流期间，与SBC与CS天线的一定距离有关。我们从单节点和全天线配置开始，直到多节点和高性能扇形天线设置。
初步测试的目的是验证网络基础设施是否适合接收多媒体流(多通道音频和视频馈送)，并在长距离上保持高带宽通道。测量接收信号强度指示(RSSI)和SBC侧带宽。在本实验中，我们使用了带有嵌入式Wi-Fi天线和PSEye外设的SBC树莓派4。远程节点通过EAP-225管理的自定义Wi-Fi网络与CS连接，如图2a所示。图中所示的网络由AP组成，由PoE注入器供电，可选交换机连接并使用一台或多台计算机进行流量管理和接收，或其他接入点增加系统的覆盖范围，CS接收多媒体流。AP上安装了两个5dB标准全向天线(图2b)， 2 × 4 dBi @ 5 GHz。从EAP-225的数据表中报告了图2c中的辐射模式，它们相对于5.25GHz频率。显示了两种不同仰角(水平面和垂直平面)的方位角二维图，三个方位角的二维仰角图，以及整个天线辐射方向图的映射三维表示。从图中可以明显看出两根天线组合所给出的方向图的全向性。
四个音频通道和一个SD视频馈送从树莓派4沿橄榄球场传输到CS(图3a)。在多媒体流期间，对预定义距离上的RF参数(此处称为检查点，如图3b所示)进行采样。带天线的WAP被放置在实验室外面，面向野外。
图3
AP和度量检查点
无线电信道参数由SBC在每个检查点测量，并通过SSH传输到CS。命令iwconfig和Wavemon包用于提取和监视RF链路参数。通过Wireshark在CS捕获传入流量，检查数据波动并验证丢失和重传数据包的数量。在图4中，绘制了在每个检查点捕获的RF参数。测量以两种方式进行:低时SBC高度约1.5米，高时SBC距离地面约3米。这些值以10秒的步进采样间隔在大约一分钟内获得。然后，计算平均值，并在图表中报告结果值。
图4
在低和高位置的射频测量
与距离相关的链路质量降低是显而易见的。在距离AP约73米的地方，信号电平为-70 dBm(图4a)，比特率为60 Mbits/sec(图4b)。在73米内，还注意到在LOW模式下捕获的值与HIGH模式的值相当。因此，根据第一次调查的测量结果，可以断言，使用这种节点配置，在AP和SBC之间70米内的距离内传输是可靠的。超过这个限制，A/V流的通信变得不那么可靠，直到连接在156米的距离上丢失。通过对数据的深入分析，Wireshark发现数据流从50m开始变得不稳定(图5)，至少在进行测试的地理区域是这样。超过这个限制，可能会注意到A/V流的通信变得不那么可靠。实际上，丢包的数量随着距离的增加而增加，因此，由于重传，在距离越远的地方，更高的数据速率峰值出现得越频繁。例如，可以从图5的图表中看到，当我们到达远程节点90m以上的距离时，需要重新启动三次流。
图5
在每个检查点获取数据
通过将MU-MIMO天线连接到sbc并在CS处使用高增益扇区扩展器，对传输基础设施进行了改进(图6)。802.11ac Wave 2标准的MU-MIMO功能允许节点同时发送数据(最多来自四个无线电客户端)，优化了仅向选定设备寻址信号的过程。该技术通过根据客户端位置动态改变射频发射方向来提高连接覆盖率，从而通过在节点之间平均分配可用的Wi-Fi资源来优化它们。相反，基于以前Wi-Fi协议的接入点或客户端一次只能与一个客户端通信，这会导致延迟、瓶颈和丢包。
图6
天线升级
代替标准全向天线，使用microtik mas - 5g - 15d120 15dBi 2x2 MIMO扇形天线(图6a)作为地面站的EAP-225天线扩展，其辐射方向图如图6c所示。水平偏振模式(最左边的图表)和垂直偏振模式(最右边的图表)都显示出来。方位角图突出了扇形天线120度孔径的宽波束，在那里我们可以看到波束的高方向性，而在仰角图中可以看到较窄的波束。每个SBC中还安装了一个全向MU-MIMO USB 3.0 TP-link AC1300 Archer T3U Plus天线(图6b)，但基于intel的SBC具有集成的外部全向天线。对于使用新配置的第二个测试阶段，RF参数的测量以与3.1节中的实验类似的方式进行，除了它们在LOW模式下采样并且检查点路径被延长，如图7所示。在新的检查点路径上增加了几个测量点，从而增加了节点与天线之间的距离。在非视距(N-LoS)中增加3个点(无。15-17)以便在不同的条件下测试多媒体传输。使用谷歌地图测量了从天线到每个检查点的视线距离。还考虑了由CS接入点计算的SBC信号的RSSI。它是从接入点的web界面中提取的，它为每个连接的节点提供了对几个RF和设置参数的访问。在图8a、b和c中，有三个图与在每个检查点采样的RF参数的样本相关。
图7
扩展路径
图8
新配置的射频测量
从上述图表中，扇区扩展器和USB全向天线的显著改进是显而易见的。事实上，MU-MIMO技术可以更精确地聚焦波束，不仅可以增加数据距离，还可以增加信号强度。检查点的延长也证实，我们有了这种设备，即使在不利的条件下也能获得良好的传输联系，而不是像在第16和17点那样在LoS。记录的最低数据值是在第17点，而不是在LoS中，其值为234Mbps。尽管如此，仍然可以保证对多个多媒体流(甚至来自其他设备)的通道有足够的使用余地。分组接收(图9)也是线性的，比图5中分析的第一个配置稳定得多。
图9
沿着所有的检查点收集数据
为了验证5GHz系统的鲁棒性和效率，我们将其与使用TP-link TL-ANT2415MS 2.4GHz 15dBi 2x2 MIMO扩展器作为CS天线(图10a)的2.4GHz Wi-Fi基础设施进行了比较，其辐射方向图如图10b所示。水平偏振模式(最左边的图表)和垂直偏振模式(最右边的图表)都显示出来。方位角图突出了扇形天线120度孔径的宽波束，在那里我们可以看到波束的高方向性，而在仰角图中可以看到较窄的波束。sbc采用MU-MIMO USB外置天线。使用带有PSEye外设的Raspberry Pi 4进行数据采集。如前面3.2节所述的实验，天线安装在支架上(图10a)，并放置在实验室外面，面向橄榄球场。测试过程和检查点分别以相同的方式进行和确定。图11中的曲线图显示了5GHz扇形天线和2.4GHz扇形天线的性能比较。后者的性能低于前者，导致几个点的连接下降。这也是由于在最远点处航道数据的急剧减少造成的。在2.4GHz频段上发送的数据包在传输中降级或丢失。重传请求和错过的确认导致了致命的瓶颈，阻止了新帧的发送/接收。这是从128米(第1号点)开始发生的。图7中的6)。这种配置也不可能在N-LoS中传输。事实上，从第一点可以看出。15 .不可能传送任何类型的数据。使用与刚才解释的2.4GHz类似的设置，它将不允许具有足够通信通道数据的多节点多流配置。
图10
TL-ANT2415MS天线
图11
两种扇形天线的性能比较
一旦验证了带有单个节点流的新基础设施的行为和覆盖范围，就会执行多节点配置的新测试会话。我们使用了4个具有异构传感器和流的分布式节点，如2.1节所示。
NV41S SBC已经有一个集成的外部天线，没有连接MU-MIMO天线，而是使用其集成的外部天线。从图12的图中可以看出，尽管之前进行了实验，但网络性能有了相当大的提高，特别是对于具有大致相同网络特性的MU-MIMO节点，保证了通信信道使用的公平性。实际上，在图12a中，树莓派节点在WAP处测量的RSSI从28 m处的-55 dBm左右下降到146 m处的-70 dBm左右。SBC英特尔节点的RSSI值较低，从28米的-63 dBm到146米的-80 dBm。远程树莓派节点测量的RSSI值在-40 dBm到-63 dBm左右，如图12b所示。相应的数据速率如图12c所示，其中SBC英特尔保证在靠近AP时为433 Mbps，在最远的检查点处为175 Mbps。同样，树莓派节点在数据速率从866 Mbps到460 Mbps的情况下表现出更好的性能。NV41S表现出较低的网络性能，由于缺乏集成的Wi-Fi 5 802.11ac标准兼容设备。尽管如此，在带宽普遍减少的最远点(146米)，PC-Stick的通信通道的数据速率为175Mbps，足以同时传输19个通道的未压缩音频流。
图12
多节点配置的射频参数
为了开发和评估由四个具有高质量传感能力的异构嵌入式光声节点组成的网络化多媒体系统的性能，本文进行了几项测试。我们开始研究基础设施，从具有全向天线的单节点配置，到具有高性能扇形天线的多节点配置。目标是尽可能获得最大的网络和射频性能，以实现节点之间可靠和有效的连接和通信。结果表明，尽管由于周围物体的波在传播过程中的反射和衰减，Wi-Fi技术对实验环境具有固有的敏感性，但在5.2 GHz频段采用IEEE 802.11ac协议的Wi-Fi技术可以保证比2.4GHz频段更高的数据速率。这也保证了更大的抗干扰能力，同时在接收和发射节点上使用的MU-MIMO天线也提高了抗干扰能力。未来的工作将扩展所提出的架构和网络，采用多ap配置实现节点移动性，从而使传感平台集成到移动代理中。
下载原文档：https://link.springer.com/content/pdf/10.1007/s11042-023-14677-7.pdf
