@paoloredaelli

Basandosi sul comportamento: se i crawler seguono quanto indicato da robots.txt, non cercando di accedere in parti del sito non consentite, non finiscono nella trappola infinita, altrimenti sì.

EDIT: mi sbagliavo un warning avvisa proprio che non c’è modo di distiguere buoni da cattivi

@informatica

https://zadzmo.org/code/nepenthes/