Parsero, la utilidad perfecta para analizar robots.txt

 

El fichero robots.txt es muy útil para indicar a los buscadores qué deben indexar y que no, pero puede ser un agujero importante que dé demasiadas pistas de algo que no queremos que se vea a ojos indiscretos.

Con esta utilidad se automatiza su cheque de una forma muy sencilla...

Podéis encontrarla aquí...

https://github.com/behindthefirewalls/Parsero