kmig.d/bin/mig-import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use warnings;
   5
   6 use DBI;
   7 use Data::Dumper;
   8 use Env qw(
   9     HOME MYSQL_HOST MYSQL_TCP_PORT MYSQL_USER MYSQL_DATABASE MYSQL_PW
  10         MIGSCHEMA MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
  11 );
  12 use open ':encoding(utf8)';
  13 use Cwd 'abs_path';
  14 use Cwd qw(getcwd);
  15 use FindBin;
  16 use XML::LibXML;
  17 use open ':std', ':encoding(UTF-8)';
  18 use Encode qw( decode_utf8 );
  19 use List::Util qw( min max );
  20 my $mig_bin = "$FindBin::Bin/";
  21 use lib "$FindBin::Bin/";
  22 use KMig;
  23
  24 my $dbh = KMig::db_connect();
  25 #$dbh->{mysql_enable_utf8mb4} = 1;
  26 $dbh->do('SET NAMES utf8mb4');
  27
  28 my $mig_path = abs_path($0);
  29 $mig_path =~ s|[^/]+$||;
  30
  31 my @taglist = @ARGV;
  32 my $arg_list_length = scalar @taglist;
  33 if($arg_list_length < 1) { @taglist = ("authorisedvalues","booksellers","borrowerattributes","budgets","calendar","circrules","itemtypes","letters","libraries","patrontypes","preferences","reports","smsproviders"); }
  34 $MIGGITDIR =~ s/\/\//\//;
  35
  36 my @errors;
  37
  38 foreach my $restore (@taglist) {
  39     my $restorefile;
  40     if ($restore eq 'authorisedvalues') {
  41         my $timestamp = most_recent_single($MIGGITDIR,'authorisedvalues');
  42         if ($timestamp) { $restorefile = $MIGGITDIR . 'authorisedvalues' . '.' . $timestamp . '.xml'; }
  43         print "Restoring from $restorefile ... \n";
  44         if ($restorefile) { restore_authorisedvalues($dbh,$restorefile); }
  45     }
  46     if ($restore eq 'booksellers') {
  47         my $timestamp = most_recent_single($MIGGITDIR,'booksellers');
  48         if ($timestamp) { $restorefile = $MIGGITDIR . 'booksellers' . '.' . $timestamp . '.xml'; }
  49         print "Restoring from $restorefile ... \n";
  50         if ($restorefile) { restore_booksellers($dbh,$restorefile); }
  51     }
  52     if ($restore eq 'borrowerattributes') {
  53         my $timestamp = most_recent_single($MIGGITDIR,'borrowerattributes');
  54         if ($timestamp) { $restorefile = $MIGGITDIR . 'borrowerattributes' . '.' . $timestamp . '.xml'; }
  55         print "Restoring from $restorefile ... \n";
  56         if ($restorefile) { restore_borrowerattributes($dbh,$restorefile); }
  57     }
  58     if ($restore eq 'budgets') {
  59         my $timestamp = most_recent_single($MIGGITDIR,'budgets');
  60         if ($timestamp) { $restorefile = $MIGGITDIR . 'budgets' . '.' . $timestamp . '.xml'; }
  61         print "Restoring from $restorefile ... \n";
  62         if ($restorefile) { restore_budgets($dbh,$restorefile); }
  63     }
  64     if ($restore eq 'calendar') {
  65         my $timestamp = most_recent_single($MIGGITDIR,'calendar');
  66         if ($timestamp) { $restorefile = $MIGGITDIR . 'calendar' . '.' . $timestamp . '.xml'; }
  67         print "Restoring from $restorefile ... \n";
  68         if ($restorefile) { restore_calendar($dbh,$restorefile); }
  69     }
  70     if ($restore eq 'circrules') {
  71         my $timestamp = most_recent_single($MIGGITDIR,'circrules');
  72         if ($timestamp) { $restorefile = $MIGGITDIR . 'circrules' . '.' . $timestamp . '.xml'; }
  73         print "Restoring from $restorefile ... \n";
  74         if ($restorefile) { @errors = restore_circrules($dbh,$restorefile,@errors); }
  75     }
  76     if ($restore eq 'itemtypes') {
  77         my $timestamp = most_recent_single($MIGGITDIR,'itemtypes');
  78         if ($timestamp) { $restorefile = $MIGGITDIR . 'itemtypes' . '.' . $timestamp . '.xml'; }
  79         print "Restoring from $restorefile ... \n";
  80         if ($restorefile) { @errors = restore_itemtypes($dbh,$restorefile,@errors); }
  81     }
  82     if ($restore eq 'letters') {
  83         my $timestamp = most_recent_single($MIGGITDIR,'letters');
  84         if ($timestamp) { $restorefile = $MIGGITDIR . 'letters' . '.' . $timestamp . '.xml'; }
  85         print "Restoring from $restorefile ... \n";
  86         if ($restorefile) { restore_letters($dbh,$restorefile); }
  87     }
  88     if ($restore eq 'libraries') {
  89         my $timestamp = most_recent_single($MIGGITDIR,'libraries');
  90         if ($timestamp) { $restorefile = $MIGGITDIR . 'libraries' . '.' . $timestamp . '.xml'; }
  91         print "Restoring from $restorefile ... \n";
  92         if ($restorefile) { restore_libraries($dbh,$restorefile); }
  93     }
  94     if ($restore eq 'patrontypes') {
  95         my $timestamp = most_recent_single($MIGGITDIR,'patrontypes');
  96         if ($timestamp) { $restorefile = $MIGGITDIR . 'patrontypes' . '.' . $timestamp . '.xml'; }
  97         print "Restoring from $restorefile ... \n";
  98         if ($restorefile) { restore_patrontypes($dbh,$restorefile); }
  99     }
 100     if ($restore eq 'preferences') {
 101         my $timestamp = most_recent_single($MIGGITDIR,'systempreferences');
 102         if ($timestamp) { $restorefile = $MIGGITDIR . 'systempreferences' . '.' . $timestamp . '.xml'; }
 103         print "Restoring from $restorefile ... \n";
 104         if ($restorefile) { restore_preferences($dbh,$restorefile); }
 105         print "IMPORTANT : if you are changing system preferences you may need to run 'sudo systemctl restart memcached'\n\n";
 106     }
 107     if ($restore eq 'reports') {
 108         my $timestamp = most_recent_single($MIGGITDIR,'reports');
 109         if ($timestamp) { $restorefile = $MIGGITDIR . 'reports' . '.' . $timestamp . '.xml'; }
 110         print "Restoring from $restorefile ... \n";
 111         if ($restorefile) { restore_reports($dbh,$restorefile); }
 112     }
 113     if ($restore eq 'smsproviders') {
 114         my $timestamp = most_recent_single($MIGGITDIR,'smsproviders');
 115         if ($timestamp) { $restorefile = $MIGGITDIR . 'smsproviders' . '.' . $timestamp . '.xml'; }
 116         print "Restoring from $restorefile ... \n";
 117         if ($restorefile) { restore_smsproviders($dbh,$restorefile,$mig_path); }
 118     }
 119 }
 120
 121 print "Done.\n";
 122
 123 foreach my $e (@errors) { print "$e\n"; }
 124
 125 # ---------------------------
 126
 127 sub check_branchcode {
 128     my $dbh = shift;
 129     my $value = shift;
 130     my $query;
 131
 132     if ($value and $value ne 'NULL') {
 133         $query = "SELECT EXISTS(SELECT 1 FROM branches WHERE branchcode = $value)";
 134     } else {
 135         return 1;
 136     }
 137     print "$query\n";
 138     my $sth = $dbh->prepare($query);
 139     $sth->execute();
 140     my @sqlresult = $sth->fetchrow_array;
 141     my $result = pop @sqlresult;
 142     return $result;
 143 }
 144
 145 sub check_category {
 146     my $dbh = shift;
 147     my $value = shift;
 148         my $query;
 149
 150     if ($value and $value ne 'NULL') {
 151         $query = "SELECT EXISTS(SELECT 1 FROM categories WHERE categorycode = $value)";
 152         } else {
 153                 return 1;
 154         }
 155         print "$query\n";
 156     my $sth = $dbh->prepare($query);
 157     $sth->execute();
 158     my @sqlresult = $sth->fetchrow_array;
 159     my $result = pop @sqlresult;
 160     return $result;
 161 }
 162
 163 sub check_itemtype {
 164     my $dbh = shift;
 165     my $value = shift;
 166         my $query;
 167     if ($value and $value ne 'NULL') {
 168         $query = "SELECT EXISTS(SELECT 1 FROM itemtypes WHERE itemtype = $value)";
 169     } else {
 170                 return 1;
 171     }
 172     my $sth = $dbh->prepare($query);
 173     $sth->execute();
 174     my @sqlresult = $sth->fetchrow_array;
 175     my $result = pop @sqlresult;
 176     return $result;
 177 }
 178
 179 sub most_recent_single {
 180     my $MGIGITDIR = shift;
 181     my $str = shift;
 182     my @files;
 183     my @times;
 184     opendir (DIR, $MIGGITDIR) or abort("could not open $MIGGITDIR");;
 185     while (my $file = readdir(DIR)) {
 186         if ($file =~ m/$str/) { push @files, $file; }
 187     }
 188     foreach my $file (@files) {
 189         my @f = split /\./, $file;
 190         push @times, $f[1];
 191     }
 192     closedir(DIR);
 193     my $max = max @times;
 194     return $max;
 195 }
 196
 197 sub restore_authorisedvalues {
 198     my $dbh = shift;
 199     my $restore_file = shift;
 200     my $parser = XML::LibXML->new();
 201     my $dom = $parser->parse_file($restore_file);
 202
 203     sql_noresult($dbh,"DELETE FROM authorised_values WHERE category != 'ITEMTYPECAT'");
 204
 205     sql_noresult($dbh,"DELETE FROM authorised_value_categories WHERE category_name != 'ITEMTYPECAT'");
 206
 207     foreach my $node ($dom->findnodes('/document/categories/value')) {
 208         my $name = sql_str_not_null($node->findvalue('./name'));
 209         sql_noresult($dbh,"INSERT INTO authorised_value_categories (category_name) VALUES ($name)");
 210     }
 211
 212     foreach my $node ($dom->findnodes('/document/authorisedvalues/value')) {
 213         my $category = sql_str($node->findvalue('./category'));
 214         my $authorised_value = sql_str($node->findvalue('./authorised_value'));
 215         my $lib = sql_str($node->findvalue('./lib'));
 216         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 217         my $imageurl = sql_str($node->findvalue('./imageurl'));
 218         sql_noresult($dbh,"INSERT INTO authorised_values (category,authorised_value,lib,lib_opac,imageurl) VALUES ($category,$authorised_value,$lib,$lib_opac,$imageurl)");
 219     }
 220     return;
 221 }
 222
 223 sub restore_booksellers {
 224     my $dbh = shift;
 225     my $restore_file = shift;
 226     my $parser = XML::LibXML->new();
 227     my $dom = $parser->parse_file($restore_file);
 228
 229     sql_noresult($dbh,"DELETE FROM aqbooksellers WHERE 1 = 1");
 230
 231     foreach my $node ($dom->findnodes('/booksellers/value')) {
 232         my $name = sql_str($node->findvalue('./name'));
 233         my $address1 = sql_str($node->findvalue('./address1'));
 234         my $address2 = sql_str($node->findvalue('./address2'));
 235         my $address3 = sql_str($node->findvalue('./address3'));
 236         my $address4 = sql_str($node->findvalue('./address4'));
 237         my $phone = sql_str($node->findvalue('./phone'));
 238         my $accountnumber = sql_str($node->findvalue('./accountnumber'));
 239         my $othersupplier = sql_str($node->findvalue('./othersupplier'));
 240         my $currency = sql_str_not_null($node->findvalue('./currency'));
 241         my $booksellerfax = sql_str($node->findvalue('./booksellerfax'));
 242         my $notes = sql_str($node->findvalue('./notes'));
 243         my $bookselleremail = sql_str($node->findvalue('./bookselleremail'));
 244         my $booksellerurl = sql_str($node->findvalue('./booksellerurl'));
 245         my $postal = sql_str($node->findvalue('./postal'));
 246         my $url = sql_str($node->findvalue('./url'));
 247         my $active = sql_str($node->findvalue('./active'));
 248         my $listprice = sql_str($node->findvalue('./listprice'));
 249         my $invoiceprice  = sql_str($node->findvalue('./invoiceprice'));
 250         my $gstreg = sql_num($node->findvalue('./gstreg'));
 251         my $listincgst = sql_num($node->findvalue('./listincgst'));
 252         my $invoiceincgst = sql_num($node->findvalue('./invoiceincgst'));
 253         my $tax_rate = sql_num($node->findvalue('./tax_rate'));
 254         my $discount = sql_num($node->findvalue('./discount'));
 255         my $fax = sql_str($node->findvalue('./fax'));
 256         my $deliverytime = sql_num($node->findvalue('./deliverytime'));
 257         sql_noresult($dbh,"INSERT INTO aqbooksellers (name,address1,address2,address3,address4,phone,accountnumber,othersupplier,currency,booksellerfax,notes,bookselleremail,booksellerurl,postal,url,active,listprice,invoiceprice,gstreg,listincgst,invoiceincgst,tax_rate,discount,fax,deliverytime) VALUES ($name,$address1,$address2,$address3,$address4,$phone,$accountnumber,$othersupplier,$currency,$booksellerfax,$notes,$bookselleremail,$booksellerurl,$postal,$url,$active,$listprice,$invoiceprice,$gstreg,$listincgst,$invoiceincgst,$tax_rate,$discount,$fax,$deliverytime)");
 258     }
 259
 260     return;
 261 }
 262
 263 sub restore_borrowerattributes {
 264     my $dbh = shift;
 265     my $restore_file = shift;
 266     my $parser = XML::LibXML->new();
 267     my $dom = $parser->parse_file($restore_file);
 268
 269     sql_noresult($dbh,"DELETE FROM authorised_values WHERE category IN (select category_code from borrower_attribute_types)");
 270
 271     sql_noresult($dbh,"DELETE FROM authorised_value_categories WHERE category_name IN (select category_name from borrower_attribute_types)");
 272
 273     sql_noresult($dbh,"DELETE FROM borrower_attribute_types WHERE 1 = 1");
 274
 275     foreach my $node ($dom->findnodes('/borrower_attribute_types/value')) {
 276         my $code = sql_str($node->findvalue('./code'));
 277         my $description = sql_num($node->findvalue('./description'));
 278         my $repeatable = sql_num($node->findvalue('./repeat'));
 279         my $opac_display = sql_num($node->findvalue('./opac_display'));
 280         my $staff_searchable = sql_num($node->findvalue('./staff_searchable'));
 281         my $authorised_value_category = sql_str($node->findvalue('./auth_value_cat'));
 282         my $display_checkout = sql_num($node->findvalue('./display_checkout'));
 283         my $category_code = sql_str($node->findvalue('./category_code'));
 284         my $class = sql_str($node->findvalue('./class'));
 285         sql_noresult($dbh,"INSERT INTO borrower_attribute_types (code,description,repeatable,opac_display,staff_searchable,authorised_value_category,display_checkout,category_code,class) VALUES ($code,$description,$repeatable,$opac_display,$staff_searchable,$authorised_value_category,$display_checkout,$category_code,$class)");
 286     }
 287
 288     foreach my $node ($dom->findnodes('/authorised_value_categories/value')) {
 289         my $category_name = sql_str($node->nodeValue);
 290         sql_noresult($dbh,"INSERT INTO authorised_value_categories (category_name) VALUES ($category_name)");
 291     }
 292
 293     foreach my $node ($dom->findnodes('/authorised_values/value')) {
 294         my $category = sql_str($node->findvalue('./category'));
 295         my $authvalue = sql_str($node->findvalue('./authvalue'));
 296         my $lib = sql_str($node->findvalue('./lib'));
 297         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 298         my $image_url = sql_str($node->findvalue('./image_url'));
 299         sql_noresult($dbh,"INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)");
 300     }
 301
 302     return;
 303 }
 304
 305 sub restore_budgets {
 306     my $dbh = shift;
 307     my $restore_file = shift;
 308     my $parser = XML::LibXML->new();
 309     my $dom = $parser->parse_file($restore_file);
 310
 311     sql_noresult($dbh,"DELETE FROM aqbudgets WHERE 1 = 1");
 312     my $sth = $dbh->prepare($query);
 313     $sth->execute();
 314
 315     sql_noresult($dbh,"DELETE FROM aqbudgetperiods WHERE 1 = 1");
 316     $sth = $dbh->prepare($query);
 317     $sth->execute();
 318
 319     my $budget_ai;
 320     my $budgetperiod_ai;
 321
 322     foreach my $node ($dom->findnodes('/document/budgets')) {
 323         $budget_ai = sql_num($node->findvalue('./autoincrement'));
 324     }
 325
 326     foreach my $node ($dom->findnodes('/document/budgetperiods')) {
 327         $budgetperiod_ai = sql_num($node->findvalue('./autoincrement'));
 328     }
 329
 330     $query = "ALTER TABLE aqbudgets AUTO_INCREMENT = $budget_ai";
 331     $sth = $dbh->prepare($query);
 332     $sth->execute();
 333
 334     $query = "ALTER TABLE aqbudgetperiods AUTO_INCREMENT = $budgetperiod_ai";
 335     $sth = $dbh->prepare($query);
 336     $sth->execute();
 337
 338     foreach my $node ($dom->findnodes('/document/budgetperiods/value')) {
 339         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
 340         my $budget_period_startdate = sql_str($node->findvalue('./budget_period_startdate'));
 341         my $budget_period_enddate = sql_str($node->findvalue('./budget_period_enddate'));
 342         my $budget_period_active = sql_str($node->findvalue('./budget_period_active'));
 343         my $budget_period_description = sql_str($node->findvalue('./budget_period_description'));
 344         my $budget_period_total = sql_num($node->findvalue('./budget_period_total'));
 345         my $budget_period_locked = sql_num($node->findvalue('./budget_period_locked'));
 346         my $sort1_authcat = sql_str($node->findvalue('./sort1_authcat'));
 347         my $sort2_authcat = sql_str($node->findvalue('./sort2_authcat'));
 348         sql_noresult($dbh,"INSERT INTO aqbudgetperiods (budget_period_id,budget_period_startdate,budget_period_enddate,budget_period_active,budget_period_description,budget_period_total,budget_period_locked,sort1_authcat,sort2_authcat) VALUES ($budget_period_id,$budget_period_startdate,$budget_period_enddate,$budget_period_active,$budget_period_description,$budget_period_total,$budget_period_locked,$sort1_authcat,$sort2_authcat)");
 349     }
 350
 351     #note that at this point we are not loading the budget owner, it's nullable and not 100% clear that it's the borrower
 352     #and nothing to test with in initial sample
 353     foreach my $node ($dom->findnodes('/document/budgets/value')) {
 354         my $budget_id = sql_num($node->findvalue('./budget_id'));
 355         my $budget_parent_id = sql_num($node->findvalue('./budget_parent_id'));
 356         my $budget_code = sql_str($node->findvalue('./budget_code'));
 357         my $budget_name = sql_str($node->findvalue('./budget_name'));
 358         my $budget_branchcode = sql_str_not_null($node->findvalue('./budget_branchcode'));
 359         my $budget_amount = sql_num($node->findvalue('./budget_amount'));
 360         my $budget_encumb = sql_num($node->findvalue('./budget_encumb'));
 361         my $budget_expend = sql_num($node->findvalue('./budget_expend'));
 362         my $budget_notes = sql_str_not_null($node->findvalue('./budget_notes'));
 363         my $timestamp = sql_str($node->findvalue('./timestamp'));
 364         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
 365         my $sort1_authcat = sql_str_not_null($node->findvalue('./sort1_authcat'));
 366         my $sort2_authcat = sql_str_not_null($node->findvalue('./sort2_authcat'));
 367         my $budget_permission = sql_num($node->findvalue('./budget_permission'));
 368         sql_noresult($dbh,"INSERT INTO aqbudgets (budget_id,budget_parent_id,budget_code,budget_name,budget_branchcode,budget_amount,budget_encumb,budget_expend,budget_notes,timestamp,budget_period_id,sort1_authcat,sort2_authcat,budget_permission) VALUES ($budget_id,$budget_parent_id,$budget_code,$budget_name,$budget_branchcode,$budget_amount,$budget_encumb,$budget_expend,$budget_notes,$timestamp,$budget_period_id,$sort1_authcat,$sort2_authcat,$budget_permission)");
 369     }
 370
 371     return;
 372 }
 373
 374 sub restore_calendar {
 375     my $dbh = shift;
 376     my $restore_file = shift;
 377     my $parser = XML::LibXML->new();
 378     my $dom = $parser->parse_file($restore_file);
 379
 380     sql_noresult($dbh,"DELETE FROM repeatable_holidays WHERE 1 = 1");
 381
 382     sql_noresult($dbh,"DELETE FROM special_holidays WHERE 1 = 1");
 383
 384     foreach my $node ($dom->findnodes('/holidays/repeatable')) {
 385         my $branchcode = sql_str($node->findvalue('./branchcode'));
 386         my $weekday = sql_num($node->findvalue('./weekday'));
 387         my $day = sql_num($node->findvalue('./day'));
 388         my $month = sql_num($node->findvalue('./month'));
 389         my $title = sql_str($node->findvalue('./title'));
 390         my $description = sql_str($node->findvalue('./description'));
 391         sql_noresult($dbh,"INSERT INTO repeatable_holidays (branchcode,weekday,day,month,title,description) VALUES ($branchcode,$weekday,$day,$month,$title,$description)");
 392     }
 393
 394     foreach my $node ($dom->findnodes('/holidays/special')) {
 395         my $branchcode = sql_str($node->findvalue('./branchcode'));
 396         my $day = sql_num($node->findvalue('./day'));
 397         my $month = sql_num($node->findvalue('./month'));
 398         my $year = sql_num($node->findvalue('./year'));
 399         my $isexception = sql_num($node->findvalue('./isexception'));
 400         my $title = sql_str($node->findvalue('./title'));
 401         my $description = sql_str($node->findvalue('./description'));
 402         sql_noresult($dbh,"INSERT INTO special_holidays (branchcode,day,month,year,isexception,title,description) VALUES ($branchcode,$day,$month,$year,$isexception,$title,$description)");
 403     }
 404
 405     return;
 406 }
 407
 408 sub restore_circrules {
 409     my $dbh = shift;
 410     my $restore_file = shift;
 411     my @errors = shift;
 412     my $parser = XML::LibXML->new();
 413     my $dom = $parser->parse_file($restore_file);
 414     my $error;
 415         my $check;
 416     #order of operations - clean out circ_rules, then issuingrules; restore issuingrules then circ_rules
 417
 418     sql_noresult($dbh,"DELETE FROM circulation_rules WHERE 1 = 1");
 419
 420     sql_noresult($dbh,"DELETE FROM issuingrules WHERE 1 = 1");
 421
 422     foreach my $node ($dom->findnodes('//issuing/rule')) {
 423         my $categorycode = sql_str($node->findvalue('./categorycode'));
 424         my $itemtype = sql_str($node->findvalue('./itemtype'));
 425         my $restrictedtype = sql_num($node->findvalue('./restrictedtype'));
 426         my $rentaldiscount = sql_num($node->findvalue('./rentaldiscount'));
 427         my $reservecharge = sql_num($node->findvalue('./reservecharge'));
 428         my $fine = sql_num($node->findvalue('./fine'));
 429         my $finedays = sql_num($node->findvalue('./finedays'));
 430         my $maxsuspensiondays = sql_num($node->findvalue('./maxsuspensiondays'));
 431         my $suspension_chargeperiod = sql_num($node->findvalue('./suspension_chargeperiod'));
 432         my $firstremind = sql_num($node->findvalue('./firstremind'));
 433         my $chargeperiod = sql_num($node->findvalue('./chargeperiod'));
 434         my $chargeperiod_charge_at = sql_num($node->findvalue('./chargeperiod_charge_at'));
 435         my $accountsent = sql_num($node->findvalue('./accountsent'));
 436         my $issuelength = sql_num($node->findvalue('./issuelength'));
 437         my $lengthunit = sql_str($node->findvalue('./lengthunit'));
 438         my $hardduedate = sql_str($node->findvalue('./hardduedate'));
 439         my $hardduedatecompare = sql_num($node->findvalue('./hardduedatecompare'));
 440         my $renewalsallowed = sql_num($node->findvalue('./renewalsallowed'));
 441         my $renewalperiod = sql_num($node->findvalue('./renewalperiod'));
 442         my $norenewalbefore = sql_num($node->findvalue('./norenewalbefore'));
 443         my $auto_renew = sql_num($node->findvalue('./auto_renew'));
 444         my $no_auto_renewal_after = sql_num($node->findvalue('./no_auto_renewal_after'));
 445         my $no_auto_renewal_after_hard_limit = sql_str($node->findvalue('./no_auto_renewal_after_hard_limit'));
 446         my $reservesallowed = sql_num($node->findvalue('./reservesallowed'));
 447         my $holds_per_record = sql_num($node->findvalue('./holds_per_record'));
 448         my $holds_per_day = sql_num($node->findvalue('./holds_per_day'));
 449         my $branchcode = sql_str($node->findvalue('./branchcode'));
 450         my $overduefinescap = sql_num($node->findvalue('./overduefinescap'));
 451         my $cap_fine_to_replacement_price = sql_num($node->findvalue('./cap_fine_to_replacement_price'));
 452         my $onshelfholds = sql_num($node->findvalue('./onshelfholds'));
 453         my $opacitemholds = sql_str($node->findvalue('./opacitemholds'));
 454         my $article_requests = sql_str($node->findvalue('./article_requests'));
 455         my $note = sql_str($node->findvalue('./note'));
 456                 $check = check_itemtype($dbh,$itemtype);
 457         if ($check == 0 ) {
 458             $error = "restore_circrules: issing rules rules itemtype $itemtype was not valid";
 459             push @errors, $error;
 460             next;
 461         }
 462                 $check = check_category($dbh,$categorycode);
 463         if ($check == 0 ) {
 464             $error = "restore_circrules: issuing rules rules category $categorycode was not valid";
 465             push @errors, $error;
 466             next;
 467         }
 468         sql_noresult($dbh,"INSERT INTO issuingrules (categorycode,itemtype,restrictedtype,rentaldiscount,reservecharge,fine,finedays,maxsuspensiondays,suspension_chargeperiod,firstremind,chargeperiod,chargeperiod_charge_at,accountsent,issuelength,lengthunit,hardduedate,hardduedatecompare,renewalsallowed,renewalperiod,norenewalbefore,auto_renew,no_auto_renewal_after,no_auto_renewal_after_hard_limit,reservesallowed,holds_per_record,holds_per_day,branchcode,overduefinescap,cap_fine_to_replacement_price,onshelfholds,opacitemholds,article_requests,note) VALUES ($categorycode,$itemtype,$restrictedtype,$rentaldiscount,$reservecharge,$fine,$finedays,$maxsuspensiondays,$suspension_chargeperiod,$firstremind,$chargeperiod,$chargeperiod_charge_at,$accountsent,$issuelength,$lengthunit,$hardduedate,$hardduedatecompare,$renewalsallowed,$renewalperiod,$norenewalbefore,$auto_renew,$no_auto_renewal_after,$no_auto_renewal_after_hard_limit,$reservesallowed,$holds_per_record,$holds_per_day,$branchcode,$overduefinescap,$cap_fine_to_replacement_price,$onshelfholds,$opacitemholds,$article_requests,$note)");
 469     }
 470
 471     foreach my $node ($dom->findnodes('//circ/rule')) {
 472         my $branchcode = sql_str($node->findvalue('./branchcode'));
 473         my $categorycode = sql_str($node->findvalue('./categorycode'));
 474         my $itemtype = sql_str($node->findvalue('./itemtype'));
 475         my $rule_name = sql_str($node->findvalue('./rule_name'));
 476         my $rule_value = sql_str($node->findvalue('./rule_value'));
 477
 478                 $check = check_itemtype($dbh,$itemtype);
 479         if ($check == 0 ) {
 480             $error = "restore_circrules: circulation rules rules itemtype $itemtype was not valid";
 481             push @errors, $error;
 482             next;
 483         }
 484                 $check = check_category($dbh,$categorycode);
 485         if ($check == 0 ) {
 486             $error = "restore_circrules: circulation rules rules category $categorycode was not valid";
 487             push @errors, $error;
 488             next;
 489         }
 490
 491         sql_noresult($dbh,"INSERT INTO circulation_rules (branchcode,categorycode,itemtype,rule_name,rule_value) VALUES ($branchcode,$categorycode,$itemtype,$rule_name,$rule_value)");
 492     }
 493
 494     return @errors;
 495 }
 496
 497 sub restore_itemtypes {
 498     my $dbh = shift;
 499     my $restorefile = shift;
 500         my @errors = shift;
 501     my $parser = XML::LibXML->new();
 502     my $dom = $parser->parse_file($restorefile);
 503         my $check;
 504
 505     sql_noresult($dbh,"UPDATE itemtypes SET searchcategory = NULL");
 506     sql_noresult($dbh,"DELETE FROM authorised_values WHERE category = 'ITEMTYPECAT'");
 507     sql_noresult($dbh,"DELETE FROM localization WHERE entity = 'itemtypes'");
 508     sql_noresult($dbh,"DELETE FROM itemtypes WHERE 1 = 1");
 509
 510     foreach my $node ($dom->findnodes('/document/authorised_values/value')) {
 511         my $category = sql_str($node->findvalue('./category'));
 512         my $authvalue = sql_str($node->findvalue('./authvalue'));
 513         my $lib = sql_str($node->findvalue('./lib'));
 514         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 515         my $image_url = sql_str($node->findvalue('./image_url'));
 516         sql_noresult($dbh,"INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)");
 517     }
 518
 519     foreach my $node ($dom->findnodes('/document/itemtypes/value')) {
 520         my $itemtype = sql_str($node->findvalue('./itemtype'));
 521         my $description = sql_str($node->findvalue('./description'));
 522         my $rentalcharge = sql_str($node->findvalue('./rentalcharge'));
 523         my $rentalcharge_daily = sql_str($node->findvalue('./rentalcharge_daily'));
 524         my $rentalcharge_hourly = sql_str($node->findvalue('./rentalcharge_hourly'));
 525         my $defaultreplacecost = sql_str($node->findvalue('./defaultreplacecost'));
 526         my $processfee = sql_str($node->findvalue('./processfee'));
 527         my $notforloan = sql_str($node->findvalue('./notforloan'));
 528         my $imageurl = sql_str($node->findvalue('./imageurl'));
 529         my $summary = sql_str($node->findvalue('./summary'));
 530         my $checkinmsg = sql_str($node->findvalue('./checkinmsg'));
 531         my $checkinmsgtype = sql_str($node->findvalue('./checkinmsgtype'));
 532         my $sip_media_type = sql_str($node->findvalue('./sip_media_type'));
 533         my $hideinopac = sql_str($node->findvalue('./hideinopac'));
 534         my $searchcategory = sql_str($node->findvalue('./searchcategory'));
 535
 536                 $check = check_itemtype($dbh,$itemtype);
 537         if ($check == 0) {
 538             sql_noresult($dbh,"INSERT INTO itemtypes (itemtype,description,rentalcharge,rentalcharge_daily,rentalcharge_hourly,defaultreplacecost,processfee,notforloan,imageurl,summary,checkinmsg,sip_media_type,hideinopac,searchcategory) VALUES ($itemtype,$description,$rentalcharge,$rentalcharge_daily,$rentalcharge_hourly,$defaultreplacecost,$processfee,$notforloan,$imageurl,$summary,$checkinmsg,$sip_media_type,$hideinopac,$searchcategory)");
 539         } else {
 540             sql_noresult($dbh,"UPDATE itemtypes SET description = $description,rentalcharge = $rentalcharge,rentalcharge_daily = $rentalcharge_daily,rentalcharge_hourly = $rentalcharge_hourly,defaultreplacecost = $defaultreplacecost,processfee = $processfee,notforloan = $notforloan,imageurl = $imageurl,summary = $summary,checkinmsg = $checkinmsg,sip_media_type = $sip_media_type,hideinopac = $hideinopac,searchcategory = $searchcategory WHERE itemtype = $itemtype");
 541         }
 542     }
 543
 544     foreach my $node ($dom->findnodes('//localizations/value')) {
 545         my $entity = sql_str($node->findvalue('./entity'));
 546         my $code = sql_str($node->findvalue('./code'));
 547         my $lang = sql_str($node->findvalue('./lang'));
 548         my $translation = sql_str($node->findvalue('./translation'));
 549         sql_noresult($dbh,"INSERT INTO localization (entity,code,lang,translation) VALUES ($entity,$code,$lang,$translation)");
 550     }
 551
 552     return;
 553 }
 554
 555 sub restore_letters {
 556     my $dbh = shift;
 557     my $restore_file = shift;
 558     my $parser = XML::LibXML->new();
 559     my $dom = $parser->parse_file($restore_file);
 560
 561     sql_noresult($dbh,"DELETE FROM letter WHERE 1 = 1");
 562
 563     foreach my $node ($dom->findnodes('/letters/letter')) {
 564         my $module = sql_str($node->findvalue('./module'));
 565         my $code = sql_str($node->findvalue('./code'));
 566         my $branchcode = sql_str_not_null($node->findvalue('./branchcode'));
 567         my $name = sql_str($node->findvalue('./name'));
 568         my $is_html = sql_num($node->findvalue('./is_html'));
 569         my $title = sql_str($node->findvalue('./title'));
 570         my $content = sql_str($node->findvalue('./content'));
 571         my $message_transport_type = sql_str($node->findvalue('./message_transport_type'));
 572         my $lang = sql_str($node->findvalue('./lang'));
 573         sql_noresult($dbh,"INSERT INTO letter (module,code,branchcode,name,is_html,title,content,message_transport_type,lang) VALUES ($module,$code,$branchcode,$name,$is_html,$title,$content,$message_transport_type,$lang)");
 574     }
 575
 576     return;
 577 }
 578
 579 sub restore_libraries {
 580     my $dbh = shift;
 581     my $restorefile = shift;
 582     my $parser = XML::LibXML->new();
 583     my $dom = $parser->parse_file($restorefile);
 584         my $check;
 585
 586     my $query = "TRUNCATE library_groups";
 587     my $sth = $dbh->prepare($query);
 588     $sth->execute();
 589
 590     foreach my $node ($dom->findnodes('//library')) {
 591         my $branchcode = sql_str($node->findvalue('./branchcode'));
 592         my $branchname = sql_str($node->findvalue('./branchname'));
 593         my $branchaddress1 = sql_str($node->findvalue('./branchaddress1'));
 594         my $branchaddress2 = sql_str($node->findvalue('./branchaddress2'));
 595         my $branchaddress3 = sql_str($node->findvalue('./branchaddress3'));
 596         my $branchzip = sql_str($node->findvalue('./branchzip'));
 597         my $branchcity = sql_str($node->findvalue('./branchcity'));
 598         my $branchstate = sql_str($node->findvalue('./branchstate'));
 599         my $branchcountry = sql_str($node->findvalue('./branchcountry'));
 600         my $branchphone = sql_str($node->findvalue('./branchphone'));
 601         my $branchfax = sql_str($node->findvalue('./branchfax'));
 602         my $branchemail = sql_str($node->findvalue('./branchemail'));
 603         my $branchreplyto = sql_str($node->findvalue('./branchreplyto'));
 604         my $branchreturnpath = sql_str($node->findvalue('./branchreturnpath'));
 605         my $branchurl = sql_str($node->findvalue('./branchurl'));
 606         my $issuing = sql_str($node->findvalue('./issuing'));
 607         my $branchip = sql_str($node->findvalue('./branchip'));
 608         my $branchprinter = sql_str($node->findvalue('./branchprinter'));
 609         my $branchnotes = sql_str($node->findvalue('./branchnotes'));
 610         my $opac_info = sql_str($node->findvalue('./opac_info'));
 611         my $geolocation = sql_str($node->findvalue('./geolocation'));
 612         my $marcorgcode = sql_str($node->findvalue('./marcorgcode'));
 613         my $pickup_location = $node->findvalue('./pickup_location');
 614                 $check = check_branchcode($dbh,$branchcode);
 615         if ($check == 0) {
 616             sql_noresult($dbh,"INSERT INTO branches (branchcode,branchname,branchaddress1,branchaddress2,branchaddress3,branchzip,branchcity,branchstate,branchcountry,branchphone,branchfax,branchemail,branchreplyto,branchreturnpath,branchurl,issuing,branchip,branchprinter,branchnotes,opac_info,geolocation,marcorgcode,pickup_location) VALUES ($branchcode,$branchname,$branchaddress1,$branchaddress2,$branchaddress3,$branchzip,$branchcity,$branchstate,$branchcountry,$branchphone,$branchfax,$branchemail,$branchreplyto,$branchreturnpath,$branchurl,$issuing,$branchip,$branchprinter,$branchnotes,$opac_info,$geolocation,$marcorgcode,$pickup_location)");
 617         } else {
 618             sql_noresult($dbh,"UPDATE branches SET branchname = $branchname,branchaddress1 = $branchaddress1,branchaddress2 = $branchaddress2,branchaddress3 = $branchaddress3,branchzip = $branchzip,branchcity = $branchcity,branchstate = $branchstate,branchcountry = $branchcountry,branchphone = $branchphone,branchfax = $branchfax,branchemail = $branchemail,branchreplyto = $branchreplyto,branchreturnpath = $branchreturnpath,branchurl = $branchurl,issuing = $issuing,branchip = $branchip,branchprinter = $branchprinter,branchnotes = $branchnotes,opac_info = $opac_info,geolocation = $geolocation,marcorgcode = $marcorgcode,pickup_location = $pickup_location WHERE branchcode = $branchcode");
 619         }
 620     }
 621
 622     #haven't taken into account them needing to go in, in a specific order so I could check parent ids first
 623     foreach my $node ($dom->findnodes('//library_group')) {
 624         my $id = $node->findvalue('./id');
 625         my $parent_id = sql_num($node->findvalue('./parent_id'));
 626         my $branchcode = sql_str($node->findvalue('./branchcode'));
 627         my $title = sql_str($node->findvalue('./title'));
 628         my $descr = sql_str($node->findvalue('./description'));
 629         my $ft1 = sql_num($node->findvalue('./ft_hide_patron_info'));
 630         my $ft2 = sql_num($node->findvalue('./ft_search_groups_opac'));
 631         my $ft3 = sql_num($node->findvalue('./ft_search_groups_staff'));
 632         sql_noresult($dbh,"INSERT INTO library_groups (id,parent_id,branchcode,title,description,ft_hide_patron_info,ft_search_groups_opac,ft_search_groups_staff) VALUES ($id,$parent_id,$branchcode,$title,$descr,$ft1,$ft2,$ft3)");
 633     }
 634     return;
 635 }
 636
 637 sub restore_patrontypes {
 638     my $dbh = shift;
 639     my $restorefile = shift;
 640     my $parser = XML::LibXML->new();
 641     my $dom = $parser->parse_file($restorefile);
 642         my $check;
 643     my $query;
 644     my $sth;
 645
 646     foreach my $node ($dom->findnodes('//category')) {
 647         my $categorycode = sql_str($node->findvalue('./categorycode'));
 648         my $description = sql_str($node->findvalue('./description'));
 649         my $enrolmentperiod = sql_num($node->findvalue('./enrolmentperiod'));
 650         my $enrolmentperioddate = sql_str($node->findvalue('./enrolmentperioddate'));
 651         my $upperagelimit = sql_num($node->findvalue('./upperagelimit'));
 652         my $dateofbirthrequired = sql_num($node->findvalue('./dateofbirthrequired'));
 653         my $finetype = sql_str($node->findvalue('./finetype'));
 654         my $bulk = sql_num($node->findvalue('./bulk'));
 655         my $enrolmentfee = sql_num($node->findvalue('./enrolmentfee'));
 656         my $overduenoticerequired = sql_num($node->findvalue('./overduenoticerequired'));
 657         my $issuelimit = sql_num($node->findvalue('./issuelimit'));
 658         my $reservefee = sql_num($node->findvalue('./reservefee'));
 659         my $hidelostitems = sql_num($node->findvalue('./hidelostitems'));
 660         my $category_type = sql_str($node->findvalue('./category_type'));
 661         my $BlockExpiredPatronOpacActions = sql_num($node->findvalue('./BlockExpiredPatronOpacActions'));
 662         my $default_privacy = sql_str($node->findvalue('./default_privacy'));
 663         my $checkprevcheckout = sql_str($node->findvalue('./checkprevcheckout'));
 664         my $reset_password = sql_num($node->findvalue('./reset_password'));
 665         my $change_password = sql_num($node->findvalue('./change_password'));
 666                 $check = check_category($dbh,$categorycode);
 667         if ($check == 0) {
 668             sql_noresult($dbh,"INSERT INTO categories (categorycode,description,enrolmentperiod,enrolmentperioddate,upperagelimit,dateofbirthrequired,finetype,bulk,enrolmentfee,overduenoticerequired,issuelimit,reservefee,hidelostitems,category_type,BlockExpiredPatronOpacActions,default_privacy,checkprevcheckout,reset_password,change_password) VALUES ($categorycode,$description,$enrolmentperiod,$enrolmentperioddate,$upperagelimit,$dateofbirthrequired,$finetype,$bulk,$enrolmentfee,$overduenoticerequired,$issuelimit,$reservefee,$hidelostitems,$category_type,$BlockExpiredPatronOpacActions,$default_privacy,$checkprevcheckout,$reset_password,$change_password)");
 669             $sth = $dbh->prepare($query);
 670             $sth->execute();
 671         } else {
 672             sql_noresult($dbh,"UPDATE categories SET description = $description,enrolmentperiod = $enrolmentperiod,enrolmentperioddate = $enrolmentperioddate,upperagelimit = $upperagelimit,dateofbirthrequired = $dateofbirthrequired,finetype = $finetype,bulk = $bulk,enrolmentfee = $enrolmentfee,overduenoticerequired = $overduenoticerequired,issuelimit = $issuelimit,reservefee = $reservefee,hidelostitems = $hidelostitems,category_type = $category_type,BlockExpiredPatronOpacActions = $BlockExpiredPatronOpacActions,default_privacy = $default_privacy,checkprevcheckout = $checkprevcheckout,reset_password = $reset_password,change_password = $change_password WHERE categorycode = $categorycode");
 673         }
 674     }
 675    return;
 676 }
 677
 678 sub restore_preferences {
 679     my $dbh = shift;
 680     my $restore_file = shift;
 681     my $parser = XML::LibXML->new();
 682     my $dom = $parser->parse_file($restore_file);
 683
 684     foreach my $node ($dom->findnodes('//pref')) {
 685                 my $variable = domain_shift(sql_str_not_null($node->findvalue('./variable')));
 686         my $value = domain_shift(sql_str_not_null($node->findvalue('./value')));
 687         sql_noresult($dbh,"UPDATE systempreferences SET value = $value WHERE variable = $variable");
 688     }
 689     return;
 690 }
 691
 692 sub restore_reports {
 693     my $dbh = shift;
 694     my $restore_file = shift;
 695     my $parser = XML::LibXML->new();
 696     my $dom = $parser->parse_file($restore_file);
 697
 698     sql_noresult($dbh,"DELETE FROM saved_sql WHERE 1 = 1");
 699
 700     foreach my $node ($dom->findnodes('//sqlreport')) {
 701         my $date_created = sql_str($node->findvalue('./date_created'));
 702         my $last_modified = sql_str($node->findvalue('./last_modified'));
 703         my $savedsql = domain_shift(sql_str($node->findvalue('./savedsql')));
 704         my $report_name = sql_str($node->findvalue('./report_name'));
 705         my $type = sql_str($node->findvalue('./type'));
 706         my $notes = sql_str($node->findvalue('./notes'));
 707         my $cache_expiry = sql_num($node->findvalue('./cache_expiry'));
 708         my $public = sql_str($node->findvalue('./public'));
 709         my $report_area = sql_str($node->findvalue('./report_area'));
 710         my $report_group = sql_str($node->findvalue('./report_group'));
 711         my $report_subgroup = sql_str($node->findvalue('./report_subgroup'));
 712         my $userid = sql_str($node->findvalue('./userid'));
 713
 714         $query = "SELECT borrowernumber FROM borrowers WHERE userid = $userid";
 715         $sth = $dbh->prepare($query);
 716         $sth->execute();
 717         my @row = $sth->fetchrow_array;
 718         my $borrowernumber = sql_num($row[0]);
 719
 720         sql_noresult($dbh,"INSERT INTO saved_sql (date_created,last_modified,savedsql,report_name,type,notes,cache_expiry,public,report_area,report_group,report_subgroup,borrowernumber) VALUES ($date_created,$last_modified,$savedsql,$report_name,$type,$notes,$cache_expiry,$public,$report_area,$report_group,$report_subgroup,$borrowernumber)");
 721     }
 722     return;
 723 }
 724
 725 sub restore_smsproviders {
 726     my $dbh = shift;
 727     my $restore_file = shift;
 728     my $migpath = shift;
 729     my $parser = XML::LibXML->new();
 730     my $dom = $parser->parse_file($restore_file);
 731
 732     sql_noresult($dbh,"DELETE FROM sms_providers WHERE 1 = 1");
 733
 734     my $p = 0;
 735     foreach my $node ($dom->findnodes('//provider')) { $p++; }
 736
 737     if ($p == 0) {
 738         my $failover_file = find_xml('smsproviders.xml',$migpath);
 739         $dom = $parser->parse_file($failover_file);
 740     }
 741
 742     foreach my $node ($dom->findnodes('//provider')) {
 743         my $name = sql_str($node->findvalue('./name'));
 744         my $domain = sql_str($node->findvalue('./domain'));
 745         sql_noresult($dbh,"INSERT INTO sms_providers (name,domain) VALUES ($name,$domain)");
 746     }
 747     return;
 748 }
 749
 750 sub domain_shift {
 751         my $str = shift;
 752         $str =~ s/-test.kohacatalog.com/.kohacatalog.com/g;
 753         $str =~ s/-test-staff.kohacatalog.com/-staff.kohacatalog.com/g;
 754         return $str;
 755 }
 756
 757 sub sql_giveback {
 758     my $dbh = shift;
 759     my $query = shift;
 760     my $sth = $dbh->prepare($query);
 761     $sth->execute();
 762         my @result = $sth->fetchrow_array;
 763     return @result;
 764 }
 765
 766 sub sql_noresult {
 767     my $dbh = shift;
 768     my $statement = shift;
 769     my $sth = $dbh->prepare($statement);
 770     $sth->execute();
 771     return;
 772 }
 773
 774 sub sql_str {
 775     my $str = shift;
 776     if (!defined $str or $str eq '') { return 'NULL'; }
 777     $str =~ s/'/''/g;
 778     $str = '\'' . $str . '\'';
 779     return $str;
 780 }
 781
 782 sub sql_str_not_null {
 783     my $str = shift;
 784     $str = sql_str($str);
 785     if (!defined $str or $str eq 'NULL') { return "''"; }
 786     return $str;
 787 }
 788
 789 sub sql_num {
 790     my $str = shift;
 791     if (!defined $str or $str eq '') { return 'NULL'; } else { return $str; }
 792 }
 793
 794 sub abort {
 795     my $msg = shift;
 796     print STDERR "$0: $msg", "\n";
 797     print_usage();
 798     exit 1;
 799 }
 800
 801 sub find_xml {
 802     my $reports_xml = shift;
 803     my $mig_path = shift;
 804
 805     if ($reports_xml =~ m/\//) { return $reports_xml; }
 806
 807     my $mig_test_file =  $mig_path . '/../xml/' . $reports_xml;
 808     my $working_test_dir = getcwd();
 809     my $working_test_file = $working_test_dir . '/' . $reports_xml;
 810
 811     if (-e $mig_test_file) { return $mig_test_file; }
 812     if (-e $working_test_file) { return $working_test_file; }
 813
 814     return undef;
 815 }
 816
 817 sub print_usage {
 818     print <<_USAGE_;
 819
 820     mig import foo_a foo_b foo_c
 821
 822 _USAGE_
 823 }
 824