mig-bin/mig-loadbibs

   1 #!/usr/bin/perl
   2
   3 ###############################################################################
   4 =pod
   5
   6 =item B<loadbibs> --stage_file foo.mrc
   7
   8 Takes a load of bibs from a binary marc file and loads them into mig staging table
   9 of bibio_record_entry.
  10
  11 Takes these optional arguments:
  12
  13 --append
  14
  15 When used it does not drop the staging table and instead adds onto it.
  16
  17 --source
  18
  19 Sets an x_source value on the staging table to the one supplied instead of the
  20 default of none.
  21
  22 --xml
  23
  24 By default the program assumes a USMARC file.  This flag will identify it as
  25 a MARCXML file instead.
  26
  27 =back
  28
  29 =cut
  30
  31 ###############################################################################
  32
  33 use strict;
  34 use warnings;
  35
  36 use DBI;
  37 use Data::Dumper;
  38 use MARC::Record;
  39 use MARC::Batch;
  40 use MARC::File;
  41 use MARC::File::XML;
  42 use MARC::Charset 'marc8_to_utf8';
  43 #binmode STDIN, ':bytes';
  44 use Env qw(
  45     HOME PGHOST PGPORT PGUSER PGDATABASE MIGSCHEMA
  46     MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
  47 );
  48 use Pod::Usage;
  49 use Switch;
  50 use Cwd 'abs_path';
  51 use FindBin;
  52 use UNIVERSAL;
  53 use Unicode::Normalize;
  54 my $mig_bin = "$FindBin::Bin/";
  55 use lib "$FindBin::Bin/";
  56 use Mig;
  57
  58 pod2usage(-verbose => 2) if defined $ARGV[0] && $ARGV[0] eq '--help';
  59 pod2usage(-verbose => 1) if ! $ARGV[1];
  60
  61 my $next_arg_is_file = 0;
  62 my $append = 0;
  63 my $next_arg_is_source = 0;
  64 my $source = 'default';
  65 my $file_is_xml = 0;
  66 my $dbh = Mig::db_connect();
  67 my $infile;
  68 my $i = 0;
  69 my $batch;
  70 binmode STDIN, ':utf8';
  71
  72 #MARC::Charset->assume_unicode(1);
  73 MARC::Charset->ignore_errors(1);
  74
  75 foreach my $arg (@ARGV) {
  76     if ($arg eq '--stage_file') {
  77         $next_arg_is_file = 1;
  78         next;
  79     }
  80     if ($next_arg_is_file) {
  81         $infile = $arg;
  82         $next_arg_is_file = 0;
  83         next;
  84     }
  85     if ($arg eq '--source') {
  86         $next_arg_is_source = 1;
  87         next;
  88     }
  89     if ($next_arg_is_source) {
  90         $source = $arg;
  91         $next_arg_is_source = 0;
  92         next;
  93     }
  94         if ($arg eq '--append') {
  95                 $append = 1;
  96                 next;
  97         }
  98     if ($arg eq '--xml') {
  99         $file_is_xml = 1;
 100         next;
 101     }
 102 }
 103
 104 create_child_table($dbh); #and test to see if it exists
 105
 106 # normal stage table creation
 107 if ($append == 0) {
 108     drop_stage_table($dbh);
 109     create_stage_table($dbh);
 110     }
 111 if ($file_is_xml) {
 112         $batch = MARC::Batch->new('XML',$infile);
 113 } else {
 114         $batch = MARC::Batch->new('USMARC',$infile);
 115 }
 116 $batch->strict_off();
 117
 118 while ( my $record = $batch->next() ) {
 119         my $xml = $record->as_xml_record();
 120     $xml = marc8_to_utf8($xml);
 121         $i++;
 122         $xml = clean_marc($xml);
 123         $xml = '$_$' . $xml . '$_$';
 124         my @warnings = $batch->warnings();
 125         my $warning_string;
 126         if (@warnings) { $warning_string = "'" . join(':',@warnings) . "'"; } else { $warning_string = "'none'"; }
 127         my $sql = "INSERT INTO $MIGSCHEMA.biblio_record_entry_legacy (marc,x_source,x_warnings) VALUES ($xml,'$source',$warning_string);";
 128     my $sth = $dbh->prepare($sql);
 129     $sth->execute();
 130         report_progress("Records staged", $i) if 0 != $i % 100;
 131 }
 132
 133 $dbh->do(qq/
 134     CREATE INDEX ${MIGSCHEMA}_biblio_record_entry_legacy_idx ON
 135         $MIGSCHEMA.biblio_record_entry_legacy (id);
 136 /);
 137
 138 print "Finis.\n";
 139
 140
 141 sub drop_stage_table {
 142     my $dbh = shift;
 143     $dbh->do("DROP TABLE IF EXISTS $MIGSCHEMA.biblio_record_entry_legacy;");
 144     return();
 145 }
 146
 147 sub create_stage_table {
 148         my $dbh = shift;
 149
 150     $dbh->do("CREATE UNLOGGED TABLE $MIGSCHEMA.biblio_record_entry_legacy (
 151             l_bib_id    TEXT,
 152             x_source    TEXT,
 153             x_warnings  TEXT,
 154             x_migrate   BOOLEAN DEFAULT TRUE
 155         ) INHERITS ($MIGSCHEMA.biblio_record_entry);");
 156
 157     return();
 158 }
 159
 160 sub create_child_table {
 161     my $dbh = shift;
 162
 163     $dbh->do("DO \$\$
 164         DECLARE
 165             t   BOOLEAN;
 166         BEGIN
 167         SELECT EXISTS(SELECT 1 FROM information_schema.tables WHERE table_schema = '$MIGSCHEMA' AND table_name = 'biblio_record_entry') INTO t;
 168         IF t = FALSE THEN
 169             PERFORM migration_tools.build_specific_base_staging_table ('$MIGSCHEMA','biblio.record_entry');
 170         END IF;
 171         END \$\$;");
 172
 173     return ();
 174 }
 175
 176 sub clean_marc {
 177     my $xml = shift;
 178     $xml = marc8_to_utf8($xml);
 179     $xml =~ s/\n//sog;
 180     $xml =~ s/^<\?xml.+\?\s*>//go;
 181     $xml =~ s/>\s+</></go;
 182     $xml =~ s/\p{Cc}//go;
 183     $xml = NFC($xml);
 184     $xml =~ s/&(?!\S+;)/&amp;/gso;
 185     $xml =~ s/([\x{0080}-\x{fffd}])/sprintf('&#x%X;',ord($1))/sgoe;
 186     $xml =~ s/[\x00-\x1f]//go;
 187     return $xml;
 188 }
 189
 190
 191 sub abort {
 192     my $msg = shift;
 193     print STDERR "$0: $msg", "\n";
 194     exit 1;
 195 }
 196
 197 sub report_progress {
 198     my ($msg, $counter) = @_;
 199     if (defined $counter) {
 200         print STDERR "$msg: $counter\n";
 201     } else {
 202         print STDERR "$msg\n";
 203     }
 204 }