DeDuplicator

A Heritrix crawlerhez készült beépülő modul de-duplication céljából, vagyis az egymást követő ismétlődő mentéseknél a nem változott fájlok felismeréséhez és többszörös tárolásuk elkerüléséhez.