A ver, intento RESUMIR…
Empezamos con que el escenario era:
Jugadores de LOL con lag debido al uso de navegación "pesada" (principalmente Youtube).
Ahora tenemos, como mínimo:
Jugadores de varios juegos (LOL, XBOX…) con lag debido al uso de navegación "pesada" (principalmente Youtube).
Consideraciones:
Muchos juegos emplean conexiones http (TCP 80) y https (TCP 443), a parte de otras.
La finalidad de operar por http y https es hacer que sea fácil jugar detrás de cortafuegos. Esto dificulta la diferenciación entre lo que son juegos y lo que es navegación web.
Si se emplea un proxy transparente, la conexiones hacia TCP 80 (hhtp) pasan todas por el proxy transparente. No depende de si el navegador y/o el juego tiene en su configuración indicado el uso del proxy.
Se supone que con squid 3.3.4 se puede llegar a tener el proxy en modo transparente para las conexiones TCP 443 (https). Pero no lo he probado y su puesta en marcha parece algo compleja, http://forum.pfsense.org/index.php/topic,62256.0.html
Posibles soluciones:
1. Poner el proxy en modo transparente y desactivar las reglas en LAN que hiciste. Esto hará que todas las conexiones TCP 80 (http) pasen por el proxy. Por supuesto, las TCP 443 (https) no. Podrás controlar con el proxy cosas como http://www.youtube.com pero no https://www.youtube.com Otro inconveniente es que todas las conexiones http de los juegos también pasarán por el proxy, cosa que les puede ocasionar algún lag.
2. Dejar el proxy como no transparente, desactivar las reglas en LAN que hiciste y tener puesto en los navegadores el proxy. Esto hará que los juegos vayan libres a internet, sin pasar por el proxy. Y los navegadores pasarán por el proxy para todos los protocolos (importante). La pega es que si algún usuario te quita el proxy del navegador, irá directo. Esto último seguramente se puede evitar con alguna opción de seguridad en los propios equipos. Hay que averiguar soluciones para sistema operativo y navegadores en cuestión.
Por supuesto, se entiende que en ambas soluciones se maneja el Traffic Management de squid para hacer que la navegación "pesada" sea menos prioritaria.
Para finalizar, antes de empezar conviene hacer una lista exhaustiva de qué tenemos y qué pretendemos. Hay que tener una visión global. De lo contrario, se produce un goteo de cuestiones con respuestas que fácilmente pueden llegar a ser contradictorias.