Blackweb


En ocasiones hemos necesitado bloquear un sitio web, ya sea de porno, descargas, drogas, malware, spyware, trackers, bots, redes sociales, warez, venta de armas, etc; y como son muchos, para ahorrar tiempo utilizamos las llamadas "listas negras" (blacklist). En Internet existen muchas "blacklist", tales como como ShallalistUrlblacklistCapitole (Univ Toulouse), etc, sin embargo están plagadas de subdominios y falsos positivos.
Sumado a esto, no son compatibles con Squid y al internar correrlas, Squid se detiene, generando el error: "ERROR: '.sub.example.com' is a subdomain of '.example.com'". Este problema, conocido como "overlapping domains",  ha generado diversos debates, sin que a la fecha haya una solución. Lo anterior se debe a que estas listas negras fueron concebidas para Squid2x y Squidguard, y cuando ocurrió la migración de Squid2x a 3x, dejó de aceptar listas con subdominios, generando el error.
En un intento por evitarlo, muchos han optado por editar sus listas negras manualmente. Incluso algunos han propuesto parchear squid3 para que tolere los subdominios, pero no ha funcionado bien con las versiones actuales y tampoco elimina completamente el error. 
Blackweb es un proyecto que recopilar la mayor cantidad de listas negras públicas de dominios, con el objeto de unificarlas y hacerlas compatibles con el proxy Squid. Para lograrlo, realizamos una rigurosa depuración, evitando duplicados, y las comparamos con lista de extensiones de dominios (ccTLD, ccSLD, sTLD, uTLD, gSLD, gTLD, etc), para detectar dominios inválidos, y finalmente las cotejamos con "listas blancas", externas y propias, para filtrar la mayor cantidad de falsos positivos, que se supone no deberían aparecer en estas blacklist (BLs), como correos electrónicos y dominios relacionados, como google, gmail, hotmail, yahoo, etc, páginas gubernamentales, bancos, universidades, etc, para obtener una sola mega lista de control (ACL), apta para correr en el proxy Squid y libre de "overlapping domains".
DESCARGA
Blackweb es un componente del proyecto Gateproxy y se encuentra alojado en GitHub
This Project is educational purposes. Este proyecto es con fines educativos. Agradecemos todas las contribuciones, en especial novatoz.com
© 2016 Gateproxy por maravento
Maravento, Actualizado en: 10:04
Escrito por: Maravento Studio
 
© 2015 Maravento. All Rights Reserved | Powered by Maravento
Design by Novatoz and Maravento | Bloggerized By LawnyDesignz
# https://github.com/google/code-prettify