Het probleem met het vergelijken van namen en groottes
De meeste bestandsbeheerders proberen duplicaten te herkennen door bestandsnamen of -groottes te vergelijken. Dat werkt al snel niet meer: twee compleet verschillende bestanden kunnen toevallig even groot zijn, en dezelfde foto die twee keer is opgeslagen kan namen krijgen als "IMG_0231.jpg" en "IMG_0231 (1).jpg", of helemaal niets op elkaar lijken als één kopie is hernoemd. Naam- en grootte-vergelijkingen zijn een startpunt, geen bewijs.
Wat een hash precies doet
Een cryptografische hashfunctie neemt elke invoer, in dit geval de inhoud van een bestand, en produceert een reeks tekens met een vaste lengte, een hash of digest genoemd. Verander één byte ergens in het bestand en de hash verandert compleet. Houd elke byte identiek en de hash komt er ook elke keer identiek uit. DataBurrow gebruikt SHA-256, een veelgebruikt cryptografisch hash-algoritme, om deze vingerafdruk te berekenen voor elk bestand dat het scant.
Waarom dat duplicaatdetectie betrouwbaar maakt
Het aantal mogelijke SHA-256-uitkomsten is zo groot dat toevallige botsingen, twee verschillende bestanden met dezelfde hash, geen praktisch probleem zijn. Een overeenkomende hash is sterk bewijs dat twee bestanden echte, byte-voor-byte duplicaten zijn, niet slechts vergelijkbaar genoemd of even groot. Dat is veel betrouwbaarder dan alleen bestandsnamen of -groottes vergelijken, en daarom berekent DataBurrow een hash voor elk bestand dat het indexeert in plaats van te vertrouwen op metadata.
Waar het hashen plaatsvindt
Dit alles gebeurt lokaal, op je eigen computer. DataBurrow leest de metadata van een bestand, naam, grootte, type en wijzigingsdatum, plus de SHA-256-hash, volledig op je eigen apparaat. De applicatie uploadt nooit de inhoud van een bestand ergens naartoe om dit te berekenen; de vergelijking gebeurt op dezelfde machine waar de bestanden al staan.
Wat duplicaatdetectie kan opleveren
In de scan die is vastgelegd in DataBurrow's eigen productdemo, vond hash-gebaseerde duplicaatdetectie 44 dubbele bestanden goed voor 3,49 GB aan terug te winnen ruimte, op ongeveer 72.000 geïndexeerde bestanden. Vermenigvuldig dat over jaren aan opgeslagen foto's, gedownloade bijlagen en bestanden die "voor de zekerheid" tussen mappen zijn gekopieerd, en het is makkelijk te zien hoe duplicaten stilletjes oplopen.
Wat DataBurrow doet zodra het een match vindt
Een duplicaat vinden is pas de eerste stap. DataBurrow is standaard alleen-lezen: het toont matches zodat je precies kunt zien welke bestanden echte kopieën zijn, maar het verplaatst, hernoemt of verwijdert nooit iets zonder jouw expliciete bevestiging. Jij beslist wat er daarna gebeurt.