Análisis del balanceo de carga en una red 4G LTE e implementación de un algoritmo de handover horizontal basado en aprendizaje por refuerzo para mejorar la calidad de servicio (QoS).

Abstract

En el presente trabajo, se diseñó un modelo de red 4G LTE y se implementó un mecanismo de handover horizontal basado en el algoritmo de aprendizaje por refuerzo Q-Learning. Su objetivo es mejorar la Calidad de Servicio (QoS) y el balanceo de carga entre celdas. Uno de los principales problemas que enfrentan las redes móviles es la sobrecarga de usuarios, lo que provoca una degradación del rendimiento de la red y afecta de forma directa a la experiencia del usuario. En este trabajo, se propuso una solución que integra un algoritmo inteligente que aprende de su entorno y realiza el proceso de handover hacia celdas vecinas con mejores condiciones. Por medio del simulador Matlab se desarrolló el modelo de red para tres distintos escenarios, cada uno con 5, 10 y 15 celdas, una frecuencia de operación de 2100 MHz y la asignación de servicios a cada usuario de voz, videos o datos. La implementación del algoritmo se realizó a partir de la discretización de los valores del SINR y la carga para definir las acciones posibles a realizarse. Esta selección se rige por medio de la política ε-greedy, que alterna entre la explotación de la mejor acción conocida y la exploración de nuevas opciones. La recompensa se calcula a partir de la combinación de tres parámetros: throughput, balanceo global y la equidad entre las celdas, medido por el índice de Jain. En total, se ejecutaron 180 simulaciones, 60 por cada escenario, registrando sus parámetros antes y después de aplicar el algoritmo. Como resultado se obtuvo una mejora del throughput del 23.92% para el escenario de 5 celdas, 31.03% para el escenario de 10 celdas y el 40.86% para el escenario de 15 celdas. Además, el algoritmo logró mantener una distribución de carga uniforme entre las celdas de los tres escenarios, con un índice de Jain igual o superior a 0.90 y una convergencia estable del proceso de aprendizaje. Los resultados obtenidos demostraron que el algoritmo Q-Learning incrementa el throughput y logra una distribución de carga más equitativa entre las celdas, inclusive en escenarios con alta densidad.