compress: restoring sort requirement for safety
authorShawn Boyette <sboyette@esilibrary.com>
Mon, 8 Dec 2008 23:25:07 +0000 (23:25 +0000)
committerShawn Boyette <sboyette@esilibrary.com>
Mon, 8 Dec 2008 23:25:07 +0000 (23:25 +0000)
compress_fingerprints

index 993f5d6..655001c 100755 (executable)
@@ -41,11 +41,13 @@ sub populate_fingerprint {
     $fp{sha1}    = sha1_base64($stripped);
 
     # make sure file is sorted properly
-    #if ($lastscore and $fp{compact} > $lastscore) {
-    #    print "Input file is sorted improperly or unsorted.\n";
-    #    die "Sort descending (sort -ru) and rerun this script.\n";
-    #}
-    #$lastscore = $fp{compact};
+    # actually, the input can be sorted *either* way and produce identical
+    # results, but a descending sort produces lower runtime
+    if ($lastscore and $fp{compact} > $lastscore) {
+        print "Input file is sorted improperly or unsorted.\n";
+        die "Sort descending (sort -ru) and rerun this script.\n";
+    }
+    $lastscore = $fp{compact};
 
     # populate records hash
     $recs{ $fp{id} }{ $fp{sha1} } = {};