Vería la diferencia entre los dispositivos clientes conectados y el Router, y entre sí a través de este.
La velocidad del Router no se refleja en la velocidad del ancho de banda asignado por el ISP del internet, aunque sí pudiera reflejarse en el streaming, según el Router y sus bondades, entre otros servicios.
Pero si tiene 4 mb/s del ISP, el Router puede ser de 300 mb/s, que no sería su velocidad del internet.
Siempre se proyecta una mejoría, pues un dispositivo moderno, estaría a tono con nuevas tecnologías entre los dispositivos (Wifi, QoS, etc.), y eso se traduce (por lo general) en fluidez.
Concretando su interrogante: cambiando el Router, por uno más moderno, según sea y sus bondades, sí vería una diferencia para bien (por lo general, le reitero, pues depende mucho de la calidad del Router nuevo).
Le recomendaría hacer una prueba de conectividad, de un antes y un después, que le brindaría el balance de sí valió la pena.