gah
[migration-tools.git] / fingerprinter
index 12e9723..e228c6e 100755 (executable)
@@ -74,29 +74,30 @@ sub populate_marc {
 
     # date1, date2
     my $my_008 = $record->field('008');
-    $my_008 = $my_008->as_string() if ($my_008);
-    if (defined $my_008) {
-        unless (length $my_008 == 40) {
-            $my_008 = $my_008 . (' ' x (40 - length($my_008)));
-            print XF ">> Short 008 padded to ",length($my_008)," at rec $count\n";
+    $marc{tag008} = $my_008->as_string() if ($my_008);
+    if (defined $marc{tag008}) {
+        unless (length $marc{tag008} == 40) {
+            $marc{tag008} = $marc{tag008} . ('|' x (40 - length($marc{tag008})));
+            print XF ">> Short 008 padded to ",length($marc{tag008})," at rec $count\n";
         }
-        $marc{date1} = substr($my_008,7,4) if ($my_008);
-        $marc{date2} = substr($my_008,11,4) if ($my_008); # UNUSED
+        $marc{date1} = substr($marc{tag008},7,4) if ($marc{tag008});
+        $marc{date2} = substr($marc{tag008},11,4) if ($marc{tag008}); # UNUSED
     }
     unless ($marc{date1} and $marc{date1} =~ /\d{4}/) {
         my $my_260 = $record->field('260');
         my $date1 = $my_260->subfield('c') if $my_260;
         if (defined $date1 and $date1 =~ /\d{4}/) {
             $marc{date1} = $date1;
+            $marc{fudgedate} = 1;
             print XF ">> using 260c as date1 at rec $count\n";
         }
     }
 
     # item_form
     if ( $marc{record_type} =~ /[gkroef]/ ) { # MAP, VIS
-        $marc{item_form} = substr($my_008,29,1) if ($my_008);
+        $marc{item_form} = substr($marc{tag008},29,1) if ($marc{tag008});
     } else {
-        $marc{item_form} = substr($my_008,23,1) if ($my_008);
+        $marc{item_form} = substr($marc{tag008},23,1) if ($marc{tag008});
     }
 
     # isbns
@@ -126,9 +127,11 @@ sub populate_marc {
           if (defined $oclc and $oclc =~ /\(OCoLC\)/ and $oclc =~/([0-9]+)/);
     }
 
-    # "Accompanying material" (300e)
-    $marc{accomp} = $record->field('300')->subfield('e')
-      if $record->field('300');
+    # "Accompanying material" and check for "copy" (300)
+    if ($record->field('300')) {
+        $marc{accomp} = $record->field('300')->subfield('e');
+        $marc{tag300a} = $record->field('300')->subfield('a');
+    }
 
     # issn, lccn, title, desc, pages, pub, pubyear, edition
     $marc{lccn} = $record->field('010')->subfield('a') if $record->field('010');
@@ -208,8 +211,9 @@ sub marc_isvalid {
 
 Assign a score to the record based on various criteria.
 
-Score is constructed by pushing elements onto a list. At the end of
-the routine, the list is flattened into a string via join();
+Score is constructed by pushing elements onto a list, via a dispatch
+table.  This allows order of fingerprints in the output file to be
+varied.
 
 =cut
 
@@ -218,6 +222,39 @@ sub score_marc {
     my @score = ();
     my $json = '{';
 
+    #----------------------------------
+    # static criteria scoring
+    #----------------------------------
+    $marc->{misc_score} = 999;
+    $marc->{age_score}  = 999999999999;
+
+    # -1 if 008 has been padded, -2 if it doesn't exist
+    if ($marc->{tag008})
+      { $marc->{misc_score}-- if ($marc->{tag008} =~ /\|$/) }
+    else
+      { $marc->{misc_score} -= 2 }
+    # -1 if date has been pulled from 260
+    $marc->{misc_score}-- if $marc->{fudgedate};
+    # -1 if this is a copy record
+    $marc->{misc_score}--
+      if (defined $marc->{tag300a} and $marc->{tag300a} =~ /copy/i);
+
+    # subtract record id if we want older records to win
+    #$marc->{age_score} -= $marc->{id} unless ($conf->{newwins});
+    # handle arbitrary adjustments
+    $marc->{age_score} = 1;
+    if ($conf->{'arbitrarily-lose-above'}) {
+        $marc->{age_score} = 0
+          if ($marc->{id} >= $conf->{'arbitrarily-lose-above'});
+    }
+    if ($conf->{'arbitrarily-lose-below'}) {
+        $marc->{age_score} = 0
+          if ($marc->{id} <= $conf->{'arbitrarily-lose-below'});
+    }
+
+    #----------------------------------
+    # dynamic calculated scoring
+    #----------------------------------
     my %scores_code = (
       oclc    => sub { return $marc->{oclc}[0] ? 1 : 0 },
       dlc     => sub {
@@ -239,18 +276,19 @@ sub score_marc {
         my %levels = ( ' ' => 9, 1 => 8, 2 => 7,  3  => 6,  4  => 5, 5 => 4,
                        6   => 3, 7 => 2, 8 => 1, 'u' => 0, 'z' => 0 );
         return $levels{$enc} || 0;
-      }
-      );
+    }
+                      );
 
+    #----------------------------------
+    # assemble and store scores
+    #----------------------------------
     for ( @{ $conf->{dyn_scores} } ) {
         push @score, $scores_code{$_}->($marc, $record);
         $json .= $_ . ':' . $score[-1] . ',';
     }
-    chop($json); # get rid of the trailing comma
-
-    $json .= '}';
+    $json .= 'misc:' . $marc->{misc_score} . '}';
 
-    my $compact = join('', @score);
+    my $compact = join('-', $marc->{age_score}, $marc->{misc_score}, @score);
     $marc->{score} = "$compact\t$json";
 }
 
@@ -341,16 +379,16 @@ sub dump_exception {
         print XF "Undefined record at line $count; likely bad XML\n";
         return;
     }
-    print XF "Record ", $marc->{id}, " did not make the cut: ";
-    print XF "Missing item_form. " unless ($marc->{item_form});
+    print XF "Record ", $marc->{id}, " excluded: ";
+    print XF "missing item_form; " unless ($marc->{item_form});
     unless (defined $marc->{date1})
-      { print XF "Missing date1. " }
+      { print XF "missing date1; " }
     else
-      { print XF "Invalid date1: ", $marc->{date1}, " "
+      { print XF "invalid date1: '", $marc->{date1}, "'; "
           unless ($marc->{date1} =~ /\d{4}/); }
-    print XF "Missing record_type. " unless ($marc->{record_type});
-    print XF "Missing bib_lvl. " unless ($marc->{bib_lvl});
-    print XF "Missing title. " unless ($marc->{title});
+    print XF "missing record_type; " unless ($marc->{record_type});
+    print XF "missing bib_lvl; " unless ($marc->{bib_lvl});
+    print XF "missing title " unless ($marc->{title});
     print XF "\n";
 }
 
@@ -370,16 +408,17 @@ sub initialize {
     binmode(STDIN, ':utf8');
 
     my $rc = GetOptions( $c,
-                         'incoming',
-                         'incumbent',
                          'exception|x=s',
-                         'marctype|m=s',
                          'output|o=s',
-                         'runtype|r=s',
+                         'prefix|p=s',
+                         'marctype|m=s',
                          'subfield|s=s',
                          'tag|t=s',
                          'fingerprints=s',
                          'scores=s',
+                         'arbitrarily-lose-above=i',
+                         'arbitrarily-lose-below=i',
+                         'newwins',
                          'quiet|q',
                          'help|h',
                        );
@@ -421,19 +460,13 @@ sub initialize {
         $c->{dyn_scores} = [ qw/oclc dlc num_650 num_tags enc_lvl/ ];
     }
 
-    # set defaults if told to do so
-    if ($c->{incoming}) {
-        $c->{tag} = 903 unless defined $c->{tag};
-        $c->{subfield} = 'a' unless defined $c->{subfield};
-        $c->{marctype} = 'XML' unless defined $c->{marctype};
-        $c->{output} = 'incoming.fp' unless defined $c->{output};
-        $c->{exception} = 'incoming.ex' unless defined $c->{exception};
-    } elsif ($c->{incumbent}) {
-        $c->{tag} = 901 unless defined $c->{tag};
-        $c->{subfield} = 'c' unless defined $c->{subfield};
-        $c->{marctype} = 'XML' unless defined $c->{marctype};
-        $c->{output} = 'incumbent.fp' unless defined $c->{output};
-        $c->{exception} = 'incumbent.ex' unless defined $c->{exception};
+    # set defaults
+    $c->{tag} = 903 unless defined $c->{tag};
+    $c->{subfield} = 'a' unless defined $c->{subfield};
+    $c->{marctype} = 'XML' unless defined $c->{marctype};
+    if ($c->{prefix}) {
+        $c->{output} = join('.',$c->{prefix},'fp');
+        $c->{exception} = join('.',$c->{prefix},'fp','ex');
     }
 
     my @keys = keys %{$c};
@@ -468,20 +501,30 @@ sub show_help {
 print <<HELP;
 Usage is: $0 [REQUIRED ARGS] [OPTIONS] <filelist>
 Req'd Arguments
-  --tag=N                  -t  Which tag to use
-  --subfield=X             -s  Which subfield to use
-  --output=<file>          -o  Output filename
-  --exceptions=<file>      -x  Exception report filename
+  --output=<FILE>      -o  Output filename
+  --exceptions=<FILE>  -x  Exception report filename
+       or
+  --prefix=<PREFIX>>   -p  Shared prefix for output/exception files. Will
+                           produce PREFIX.fp and PREFIX.fp.ex
 Options
-  --incoming   '-t 903 -s a -o incoming.fp -x incoming.ex'
-  --incumbent  '-t 901 -s c -o incumbent.fp -x incumbent.ex'
+  --tag=N       -t  Which tag to use (default 903)
+  --subfield=X  -s  Which subfield to use (default 'a')
+  --quiet       -q  Don't write status messages to STDOUT
 
   --fingerprints=LIST  Fingerprints to generate, comma separated
                        Default: oclc,isbn,edition,issn,lccn,accomp,authpub
                        Others:  baseline
+
   --scores=LIST  Scores to calculate, comma separated
                  Default: oclc,dlc,num_650,num_tags,enc_level
-  --quiet    -q  Don't write status messages to STDOUT
+  --newwins      New record IDs score higher (default is old wins)
+  --arbitrarily-lose-above
+  --arbitrarily-lose-below
+  --arbitrarily-decrease-score-by
+      Modify fingerprint scoring of records whose EG id is above or below a
+      given value, inclusive (so 5 is <= 5 or >= 5) such that they lose.
+
+  --marctype=TYPE Defaults to 'XML'
 HELP
 exit 1;
 }