The rapid expansion of Internet of Things (IoT) networks underscores the demand for efficient and secure machine learning methods suited for geographically dispersed, resource-constrained, and heterogeneous IoT devices. Federated Reinforcement Learning (FedRL) presents a methodology for training models on IoT devices without centralizing data, thereby addressing privacy, security, and bandwidth concerns. However, current FedRL methods encounter challenges in dynamic and heterogeneous IoT environments, struggling to allocate resources efficiently and accommodate diverse device capabilities. Our work introduces a Three-Stage Asynchronous Federated Reinforcement Learning (TAS-FedRL) framework to optimize resource allocation and local training epochs in heterogeneous IoT environments. We propose a novel Affinity-Based Spectral Client Grouping (ASCG) for dynamic device allocation and implement Deep Q-Networks (DQNs) for adaptive epoch adjustment and resource allocation. We also introduce the Dynamic Temporal-Weighted Reward Aggregation (DTW-RA) technique for updating edge hosts' models, reducing network strain and enabling adaptable device participation. Furthermore, our central server implements a Dynamic Hierarchical-Weighted Reward Aggregation (DH-WRA) mechanism to manage the entire network. Experimental results demonstrate the effectiveness of the TAS-FedRL framework in enhancing system performance, ensuring efficient resource utilization, and mitigating issues arising from IoT heterogeneity.

Relative positioning accuracy between two devices is dependent on the precise range measurements. Ultra-wideband (UWB) technology is one of the popular and widely used technologies to achieve centimeter-level accuracy in range measurement. Nevertheless, harsh indoor environments, multipath issues, reflections, and bias due to antenna delay degrade the range measurement performance in line-of-sight (LOS) and non-line-of-sight (NLOS) scenarios. This article proposes an efficient and robust method to mitigate range measurement error in LOS and NLOS conditions by combining the latest artificial intelligence technology. A GP-enhanced non-linear function is proposed to mitigate the range bias in LOS scenarios. Moreover, NLOS identification based on the sliding window and Bayesian Conv-BLSTM method is utilized to mitigate range error due to the non-line-of-sight conditions. A novel spatial–temporal attention module is proposed to improve the performance of the proposed model. The epistemic and aleatoric uncertainty estimation method is also introduced to determine the robustness of the proposed model for environment variance. Furthermore, moving average and min-max removing methods are utilized to minimize the standard deviation in the range measurements in both scenarios. Extensive experimentation with different settings and configurations has proven the effectiveness of our methodology and demonstrated the feasibility of our robust UWB range error mitigation for LOS and NLOS scenarios.