Webrecorder

A MIA wikiből

A Rhizome non-profit szervezet által 2016 óta fejlesztett és az Andrew W. Mellon Foundation támogatott, Pythonban írt open source program a weben való böngészések archiválására és utólagos visszanézésére (csak a felhasználó által meglátogatott oldalak nézhetők újra). Elsősorban a közösségi média megőrzésére optimális, olyan regisztrációhoz kötött, interaktív, dinamikus, média-gazdag oldalakhoz, amelyekkel a hagyományos crawler-ek és egyéb letöltők nem boldogulnak. Az archív tartalom WARC formában tárolható (és fel- ill. letölthető az WebRecorder.io szerverre, ami 5 GB ingyen tárhelyet ad), a session-ok fájlkezelő-szerű felületen menedzselhetők és megoszthatók másokkal.

2018 körül elkezdődött a Webrecorder továbbfejlesztése olyan irányban, hogy a hagyományos crawlerekhez hasonlóan automatikus aratásokat is lehessen csinálni vele, mert egy nagy site-ot kézzel végigkattintgatni nagyon sok időt és odafigyelést igénylő feladat. Az egyik ilyen első kísérlet az autoscalar.