kmig.d/bin/mig-import

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use warnings;
   5
   6 use DBI;
   7 use Data::Dumper;
   8 use Env qw(
   9     HOME MYSQL_HOST MYSQL_TCP_PORT MYSQL_USER MYSQL_DATABASE MYSQL_PW
  10         MIGSCHEMA MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
  11 );
  12 use open ':encoding(utf8)';
  13 use Cwd 'abs_path';
  14 use Cwd qw(getcwd);
  15 use FindBin;
  16 use XML::LibXML;
  17 use open ':std', ':encoding(UTF-8)';
  18 use Encode qw( decode_utf8 );
  19 use List::Util qw( min max );
  20 my $mig_bin = "$FindBin::Bin/";
  21 use lib "$FindBin::Bin/";
  22 use KMig;
  23
  24 my $dbh = KMig::db_connect();
  25 #$dbh->{mysql_enable_utf8mb4} = 1;
  26 $dbh->do('SET NAMES utf8mb4');
  27
  28 #to do check for array passed and if not present then use tags
  29
  30 my @taglist = @ARGV;
  31 my $arg_list_length = scalar @taglist;
  32 if($arg_list_length < 1) { @taglist = ("authorisedvalues","booksellers","borrowerattributes","budgets","calendar","circrules","itemtypes","libraries","patrontypes","preferences","reports","smsproviders"); }
  33 $MIGGITDIR =~ s/\/\//\//;
  34
  35 foreach my $restore (@taglist) {
  36     my $restorefile;
  37     if ($restore eq 'authorisedvalues') {
  38         my $timestamp = most_recent_single($MIGGITDIR,'authorisedvalues');
  39         if ($timestamp) { $restorefile = $MIGGITDIR . 'authorisedvalues' . '.' . $timestamp . '.xml'; }
  40         print "Restoring from $restorefile ... \n";
  41         if ($restorefile) { restore_authorisedvalues($dbh,$restorefile); }
  42     }
  43     if ($restore eq 'booksellers') {
  44         my $timestamp = most_recent_single($MIGGITDIR,'booksellers');
  45         if ($timestamp) { $restorefile = $MIGGITDIR . 'booksellers' . '.' . $timestamp . '.xml'; }
  46         print "Restoring from $restorefile ... \n";
  47         if ($restorefile) { restore_booksellers($dbh,$restorefile); }
  48     }
  49     if ($restore eq 'borrowerattributes') {
  50         my $timestamp = most_recent_single($MIGGITDIR,'borrowerattributes');
  51         if ($timestamp) { $restorefile = $MIGGITDIR . 'borrowerattributes' . '.' . $timestamp . '.xml'; }
  52         print "Restoring from $restorefile ... \n";
  53         if ($restorefile) { restore_borrowerattributes($dbh,$restorefile); }
  54     }
  55     if ($restore eq 'budgets') {
  56         my $timestamp = most_recent_single($MIGGITDIR,'budgets');
  57         if ($timestamp) { $restorefile = $MIGGITDIR . 'budgets' . '.' . $timestamp . '.xml'; }
  58         print "Restoring from $restorefile ... \n";
  59         if ($restorefile) { restore_budgets($dbh,$restorefile); }
  60     }
  61     if ($restore eq 'calendar') {
  62         my $timestamp = most_recent_single($MIGGITDIR,'calendar');
  63         if ($timestamp) { $restorefile = $MIGGITDIR . 'calendar' . '.' . $timestamp . '.xml'; }
  64         print "Restoring from $restorefile ... \n";
  65         if ($restorefile) { restore_calendar($dbh,$restorefile); }
  66     }
  67     if ($restore eq 'circrules') {
  68         my $timestamp = most_recent_single($MIGGITDIR,'circrules');
  69         if ($timestamp) { $restorefile = $MIGGITDIR . 'circrules' . '.' . $timestamp . '.xml'; }
  70         print "Restoring from $restorefile ... \n";
  71         if ($restorefile) { restore_circrules($dbh,$restorefile); }
  72     }
  73     if ($restore eq 'itemtypes') {
  74         my $timestamp = most_recent_single($MIGGITDIR,'itemtypes');
  75         if ($timestamp) { $restorefile = $MIGGITDIR . 'itemtypes' . '.' . $timestamp . '.xml'; }
  76         print "Restoring from $restorefile ... \n";
  77         if ($restorefile) { restore_itemtypes($dbh,$restorefile); }
  78     }
  79     if ($restore eq 'libraries') {
  80         my $timestamp = most_recent_single($MIGGITDIR,'libraries');
  81         if ($timestamp) { $restorefile = $MIGGITDIR . 'libraries' . '.' . $timestamp . '.xml'; }
  82         print "Restoring from $restorefile ... \n";
  83         if ($restorefile) { restore_libraries($dbh,$restorefile); }
  84     }
  85     if ($restore eq 'patrontypes') {
  86         my $timestamp = most_recent_single($MIGGITDIR,'patrontypes');
  87         if ($timestamp) { $restorefile = $MIGGITDIR . 'patrontypes' . '.' . $timestamp . '.xml'; }
  88         print "Restoring from $restorefile ... \n";
  89         if ($restorefile) { restore_patrontypes($dbh,$restorefile); }
  90     }
  91     if ($restore eq 'preferences') {
  92         my $timestamp = most_recent_single($MIGGITDIR,'systempreferences');
  93         if ($timestamp) { $restorefile = $MIGGITDIR . 'systempreferences' . '.' . $timestamp . '.xml'; }
  94         print "Restoring from $restorefile ... \n";
  95         if ($restorefile) { restore_preferences($dbh,$restorefile); }
  96         print "IMPORTANT : if you are changing system preferences you may need to run 'sudo systemctl restart memcached'\n\n";
  97     }
  98     if ($restore eq 'reports') {
  99         my $timestamp = most_recent_single($MIGGITDIR,'reports');
 100         if ($timestamp) { $restorefile = $MIGGITDIR . 'reports' . '.' . $timestamp . '.xml'; }
 101         print "Restoring from $restorefile ... \n";
 102         if ($restorefile) { restore_reports($dbh,$restorefile); }
 103     }
 104     if ($restore eq 'smsproviders') {
 105         my $timestamp = most_recent_single($MIGGITDIR,'smsproviders');
 106         if ($timestamp) { $restorefile = $MIGGITDIR . 'smsproviders' . '.' . $timestamp . '.xml'; }
 107         print "Restoring from $restorefile ... \n";
 108         if ($restorefile) { restore_smsproviders($dbh,$restorefile); }
 109     }
 110 }
 111
 112 print "Done.\n";
 113
 114
 115 sub most_recent_single {
 116     my $MGIGITDIR = shift;
 117     my $str = shift;
 118     my @files;
 119     my @times;
 120     opendir (DIR, $MIGGITDIR) or abort("could not open $MIGGITDIR");;
 121     while (my $file = readdir(DIR)) {
 122         if ($file =~ m/$str/) { push @files, $file; }
 123     }
 124     foreach my $file (@files) {
 125         my @f = split /\./, $file;
 126         push @times, $f[1];
 127     }
 128     closedir(DIR);
 129     my $max = max @times;
 130     return $max;
 131 }
 132
 133 sub restore_authorisedvalues {
 134     my $dbh = shift;
 135     my $restore_file = shift;
 136     my $parser = XML::LibXML->new();
 137     my $dom = $parser->parse_file($restore_file);
 138
 139     my $query = "DELETE FROM authorised_values WHERE category != 'ITEMTYPECAT'";
 140     my $sth = $dbh->prepare($query);
 141     $sth->execute();
 142
 143     $query = "DELETE FROM authorised_value_categories WHERE category_name != 'ITEMTYPECAT'";
 144     $sth = $dbh->prepare($query);
 145     $sth->execute();
 146
 147     foreach my $node ($dom->findnodes('/document/categories/value')) {
 148         my $name = sql_str_not_null($node->findvalue('./name'));
 149         $query = "INSERT INTO authorised_value_categories (category_name) VALUES ($name)";
 150         $sth = $dbh->prepare($query);
 151         $sth->execute();
 152     }
 153
 154     foreach my $node ($dom->findnodes('/document/authorisedvalues/value')) {
 155         my $category = sql_str($node->findvalue('./category'));
 156         my $authorised_value = sql_str($node->findvalue('./authorised_value'));
 157         my $lib = sql_str($node->findvalue('./lib'));
 158         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 159         my $imageurl = sql_str($node->findvalue('./imageurl'));
 160         $query = "INSERT INTO authorised_values (category,authorised_value,lib,lib_opac,imageurl) VALUES ($category,$authorised_value,$lib,$lib_opac,$imageurl)";
 161         $sth = $dbh->prepare($query);
 162         $sth->execute();
 163     }
 164     return;
 165 }
 166
 167 sub restore_booksellers {
 168     my $dbh = shift;
 169     my $restore_file = shift;
 170     my $parser = XML::LibXML->new();
 171     my $dom = $parser->parse_file($restore_file);
 172
 173     my $query = "DELETE FROM aqbooksellers WHERE 1 = 1";
 174     my $sth = $dbh->prepare($query);
 175     $sth->execute();
 176
 177     foreach my $node ($dom->findnodes('/booksellers/value')) {
 178         my $name = sql_str($node->findvalue('./name'));
 179         my $address1 = sql_str($node->findvalue('./address1'));
 180         my $address2 = sql_str($node->findvalue('./address2'));
 181         my $address3 = sql_str($node->findvalue('./address3'));
 182         my $address4 = sql_str($node->findvalue('./address4'));
 183         my $phone = sql_str($node->findvalue('./phone'));
 184         my $accountnumber = sql_str($node->findvalue('./accountnumber'));
 185         my $othersupplier = sql_str($node->findvalue('./othersupplier'));
 186         my $currency = sql_str_not_null($node->findvalue('./currency'));
 187         my $booksellerfax = sql_str($node->findvalue('./booksellerfax'));
 188         my $notes = sql_str($node->findvalue('./notes'));
 189         my $bookselleremail = sql_str($node->findvalue('./bookselleremail'));
 190         my $booksellerurl = sql_str($node->findvalue('./booksellerurl'));
 191         my $postal = sql_str($node->findvalue('./postal'));
 192         my $url = sql_str($node->findvalue('./url'));
 193         my $active = sql_str($node->findvalue('./active'));
 194         my $listprice = sql_str($node->findvalue('./listprice'));
 195         my $invoiceprice  = sql_str($node->findvalue('./invoiceprice'));
 196         my $gstreg = sql_num($node->findvalue('./gstreg'));
 197         my $listincgst = sql_num($node->findvalue('./listincgst'));
 198         my $invoiceincgst = sql_num($node->findvalue('./invoiceincgst'));
 199         my $tax_rate = sql_num($node->findvalue('./tax_rate'));
 200         my $discount = sql_num($node->findvalue('./discount'));
 201         my $fax = sql_str($node->findvalue('./fax'));
 202         my $deliverytime = sql_num($node->findvalue('./deliverytime'));
 203         $query = "INSERT INTO aqbooksellers (name,address1,address2,address3,address4,phone,accountnumber,othersupplier,currency,booksellerfax,notes,bookselleremail,booksellerurl,postal,url,active,listprice,invoiceprice,gstreg,listincgst,invoiceincgst,tax_rate,discount,fax,deliverytime) VALUES ($name,$address1,$address2,$address3,$address4,$phone,$accountnumber,$othersupplier,$currency,$booksellerfax,$notes,$bookselleremail,$booksellerurl,$postal,$url,$active,$listprice,$invoiceprice,$gstreg,$listincgst,$invoiceincgst,$tax_rate,$discount,$fax,$deliverytime)";
 204         $sth = $dbh->prepare($query);
 205         $sth->execute();
 206     }
 207
 208     return;
 209 }
 210
 211 sub restore_borrowerattributes {
 212     my $dbh = shift;
 213     my $restore_file = shift;
 214     my $parser = XML::LibXML->new();
 215     my $dom = $parser->parse_file($restore_file);
 216
 217     my $query = "DELETE FROM authorised_values WHERE category IN (select category_code from borrower_attribute_types)";
 218     my $sth = $dbh->prepare($query);
 219     $sth->execute();
 220
 221     $query = "DELETE FROM authorised_value_categories WHERE category_name IN (select category_name from borrower_attribute_types)";
 222     $sth = $dbh->prepare($query);
 223     $sth->execute();
 224
 225     $query = "DELETE FROM borrower_attribute_types WHERE 1 = 1";
 226     $sth = $dbh->prepare($query);
 227     $sth->execute();
 228
 229     foreach my $node ($dom->findnodes('/borrower_attribute_types/value')) {
 230         my $code = sql_str($node->findvalue('./code'));
 231         my $description = sql_num($node->findvalue('./description'));
 232         my $repeatable = sql_num($node->findvalue('./repeat'));
 233         my $opac_display = sql_num($node->findvalue('./opac_display'));
 234         my $staff_searchable = sql_num($node->findvalue('./staff_searchable'));
 235         my $authorised_value_category = sql_str($node->findvalue('./auth_value_cat'));
 236         my $display_checkout = sql_num($node->findvalue('./display_checkout'));
 237         my $category_code = sql_str($node->findvalue('./category_code'));
 238         my $class = sql_str($node->findvalue('./class'));
 239         $query = "INSERT INTO borrower_attribute_types (code,description,repeatable,opac_display,staff_searchable,authorised_value_category,display_checkout,category_code,class) VALUES ($code,$description,$repeatable,$opac_display,$staff_searchable,$authorised_value_category,$display_checkout,$category_code,$class)";
 240         $sth = $dbh->prepare($query);
 241         $sth->execute();
 242     }
 243
 244     foreach my $node ($dom->findnodes('/authorised_value_categories/value')) {
 245         my $category_name = sql_str($node->nodeValue);
 246         $query = "INSERT INTO authorised_value_categories (category_name) VALUES ($category_name)";
 247         $sth = $dbh->prepare($query);
 248         $sth->execute();
 249     }
 250
 251     foreach my $node ($dom->findnodes('/authorised_values/value')) {
 252         my $category = sql_str($node->findvalue('./category'));
 253         my $authvalue = sql_str($node->findvalue('./authvalue'));
 254         my $lib = sql_str($node->findvalue('./lib'));
 255         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 256         my $image_url = sql_str($node->findvalue('./image_url'));
 257         $query = "INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)";
 258         $sth = $dbh->prepare($query);
 259         $sth->execute();
 260     }
 261
 262     return;
 263 }
 264
 265 sub restore_budgets {
 266     my $dbh = shift;
 267     my $restore_file = shift;
 268     my $parser = XML::LibXML->new();
 269     my $dom = $parser->parse_file($restore_file);
 270
 271     my $query = "DELETE FROM aqbudgets WHERE 1 = 1";
 272     my $sth = $dbh->prepare($query);
 273     $sth->execute();
 274
 275     $query = "DELETE FROM aqbudgetperiods WHERE 1 = 1";
 276     $sth = $dbh->prepare($query);
 277     $sth->execute();
 278
 279     my $budget_ai;
 280     my $budgetperiod_ai;
 281
 282     foreach my $node ($dom->findnodes('/document/budgets')) {
 283         $budget_ai = sql_num($node->findvalue('./autoincrement'));
 284     }
 285
 286     foreach my $node ($dom->findnodes('/document/budgetperiods')) {
 287         $budgetperiod_ai = sql_num($node->findvalue('./autoincrement'));
 288     }
 289
 290     $query = "ALTER TABLE aqbudgets AUTO_INCREMENT = $budget_ai";
 291     $sth = $dbh->prepare($query);
 292     $sth->execute();
 293
 294     $query = "ALTER TABLE aqbudgetperiods AUTO_INCREMENT = $budgetperiod_ai";
 295     $sth = $dbh->prepare($query);
 296     $sth->execute();
 297
 298     foreach my $node ($dom->findnodes('/document/budgetperiods/value')) {
 299         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
 300         my $budget_period_startdate = sql_str($node->findvalue('./budget_period_startdate'));
 301         my $budget_period_enddate = sql_str($node->findvalue('./budget_period_enddate'));
 302         my $budget_period_active = sql_str($node->findvalue('./budget_period_active'));
 303         my $budget_period_description = sql_str($node->findvalue('./budget_period_description'));
 304         my $budget_period_total = sql_num($node->findvalue('./budget_period_total'));
 305         my $budget_period_locked = sql_num($node->findvalue('./budget_period_locked'));
 306         my $sort1_authcat = sql_str($node->findvalue('./sort1_authcat'));
 307         my $sort2_authcat = sql_str($node->findvalue('./sort2_authcat'));
 308         $query = "INSERT INTO aqbudgetperiods (budget_period_id,budget_period_startdate,budget_period_enddate,budget_period_active,budget_period_description,budget_period_total,budget_period_locked,sort1_authcat,sort2_authcat) VALUES ($budget_period_id,$budget_period_startdate,$budget_period_enddate,$budget_period_active,$budget_period_description,$budget_period_total,$budget_period_locked,$sort1_authcat,$sort2_authcat)";
 309         print "$query\n";
 310         $sth = $dbh->prepare($query);
 311         $sth->execute();
 312     }
 313
 314     #note that at this point we are not loading the budget owner, it's nullable and not 100% clear that it's the borrower
 315     #and nothing to test with in initial sample
 316     foreach my $node ($dom->findnodes('/document/budgets/value')) {
 317         my $budget_id = sql_num($node->findvalue('./budget_id'));
 318         my $budget_parent_id = sql_num($node->findvalue('./budget_parent_id'));
 319         my $budget_code = sql_str($node->findvalue('./budget_code'));
 320         my $budget_name = sql_str($node->findvalue('./budget_name'));
 321         my $budget_branchcode = sql_str_not_null($node->findvalue('./budget_branchcode'));
 322         my $budget_amount = sql_num($node->findvalue('./budget_amount'));
 323         my $budget_encumb = sql_num($node->findvalue('./budget_encumb'));
 324         my $budget_expend = sql_num($node->findvalue('./budget_expend'));
 325         my $budget_notes = sql_str_not_null($node->findvalue('./budget_notes'));
 326         my $timestamp = sql_str($node->findvalue('./timestamp'));
 327         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
 328         my $sort1_authcat = sql_str_not_null($node->findvalue('./sort1_authcat'));
 329         my $sort2_authcat = sql_str_not_null($node->findvalue('./sort2_authcat'));
 330         my $budget_permission = sql_num($node->findvalue('./budget_permission'));
 331         $query = "INSERT INTO aqbudgets (budget_id,budget_parent_id,budget_code,budget_name,budget_branchcode,budget_amount,budget_encumb,budget_expend,budget_notes,timestamp,budget_period_id,sort1_authcat,sort2_authcat,budget_permission) VALUES ($budget_id,$budget_parent_id,$budget_code,$budget_name,$budget_branchcode,$budget_amount,$budget_encumb,$budget_expend,$budget_notes,$timestamp,$budget_period_id,$sort1_authcat,$sort2_authcat,$budget_permission)";
 332         $sth = $dbh->prepare($query);
 333         $sth->execute();
 334     }
 335
 336     return;
 337 }
 338
 339 sub restore_calendar {
 340     my $dbh = shift;
 341     my $restore_file = shift;
 342     my $parser = XML::LibXML->new();
 343     my $dom = $parser->parse_file($restore_file);
 344
 345     my $query = "DELETE FROM repeatable_holidays WHERE 1 = 1";
 346     my $sth = $dbh->prepare($query);
 347     $sth->execute();
 348
 349     $query = "DELETE FROM special_holidays WHERE 1 = 1";
 350     $sth = $dbh->prepare($query);
 351     $sth->execute();
 352
 353     foreach my $node ($dom->findnodes('/holidays/repeatable')) {
 354         my $branchcode = sql_str($node->findvalue('./branchcode'));
 355         my $weekday = sql_num($node->findvalue('./weekday'));
 356         my $day = sql_num($node->findvalue('./day'));
 357         my $month = sql_num($node->findvalue('./month'));
 358         my $title = sql_str($node->findvalue('./title'));
 359         my $description = sql_str($node->findvalue('./description'));
 360         $query = "INSERT INTO repeatable_holidays (branchcode,weekday,day,month,title,description) VALUES ($branchcode,$weekday,$day,$month,$title,$description)";
 361         $sth = $dbh->prepare($query);
 362         $sth->execute();
 363     }
 364
 365     foreach my $node ($dom->findnodes('/holidays/special')) {
 366         my $branchcode = sql_str($node->findvalue('./branchcode'));
 367         my $day = sql_num($node->findvalue('./day'));
 368         my $month = sql_num($node->findvalue('./month'));
 369         my $year = sql_num($node->findvalue('./year'));
 370         my $isexception = sql_num($node->findvalue('./isexception'));
 371         my $title = sql_str($node->findvalue('./title'));
 372         my $description = sql_str($node->findvalue('./description'));
 373         $query = "INSERT INTO special_holidays (branchcode,day,month,year,isexception,title,description) VALUES ($branchcode,$day,$month,$year,$isexception,$title,$description)";
 374         $sth = $dbh->prepare($query);
 375         $sth->execute();
 376     }
 377
 378     return;
 379 }
 380
 381 sub restore_circrules {
 382     my $dbh = shift;
 383     my $restore_file = shift;
 384     my $parser = XML::LibXML->new();
 385     my $dom = $parser->parse_file($restore_file);
 386
 387     #order of operations - clean out circ_rules, then issuingrules; restore issuingrules then circ_rules
 388
 389     my $query = "DELETE FROM circulation_rules WHERE 1 = 1";
 390     my $sth = $dbh->prepare($query);
 391     $sth->execute();
 392
 393     $query = "DELETE FROM issuingrules WHERE 1 = 1";
 394     $sth = $dbh->prepare($query);
 395     $sth->execute();
 396
 397     foreach my $node ($dom->findnodes('//issuing/rule')) {
 398         my $categorycode = sql_str($node->findvalue('./categorycode'));
 399         my $itemtype = sql_str($node->findvalue('./itemtype'));
 400         my $restrictedtype = sql_num($node->findvalue('./restrictedtype'));
 401         my $rentaldiscount = sql_num($node->findvalue('./rentaldiscount'));
 402         my $reservecharge = sql_num($node->findvalue('./reservecharge'));
 403         my $fine = sql_num($node->findvalue('./fine'));
 404         my $finedays = sql_num($node->findvalue('./finedays'));
 405         my $maxsuspensiondays = sql_num($node->findvalue('./maxsuspensiondays'));
 406         my $suspension_chargeperiod = sql_num($node->findvalue('./suspension_chargeperiod'));
 407         my $firstremind = sql_num($node->findvalue('./firstremind'));
 408         my $chargeperiod = sql_num($node->findvalue('./chargeperiod'));
 409         my $chargeperiod_charge_at = sql_num($node->findvalue('./chargeperiod_charge_at'));
 410         my $accountsent = sql_num($node->findvalue('./accountsent'));
 411         my $issuelength = sql_num($node->findvalue('./issuelength'));
 412         my $lengthunit = sql_str($node->findvalue('./lengthunit'));
 413         my $hardduedate = sql_str($node->findvalue('./hardduedate'));
 414         my $hardduedatecompare = sql_num($node->findvalue('./hardduedatecompare'));
 415         my $renewalsallowed = sql_num($node->findvalue('./renewalsallowed'));
 416         my $renewalperiod = sql_num($node->findvalue('./renewalperiod'));
 417         my $norenewalbefore = sql_num($node->findvalue('./norenewalbefore'));
 418         my $auto_renew = sql_num($node->findvalue('./auto_renew'));
 419         my $no_auto_renewal_after = sql_num($node->findvalue('./no_auto_renewal_after'));
 420         my $no_auto_renewal_after_hard_limit = sql_str($node->findvalue('./no_auto_renewal_after_hard_limit'));
 421         my $reservesallowed = sql_num($node->findvalue('./reservesallowed'));
 422         my $holds_per_record = sql_num($node->findvalue('./holds_per_record'));
 423         my $holds_per_day = sql_num($node->findvalue('./holds_per_day'));
 424         my $branchcode = sql_str($node->findvalue('./branchcode'));
 425         my $overduefinescap = sql_num($node->findvalue('./overduefinescap'));
 426         my $cap_fine_to_replacement_price = sql_num($node->findvalue('./cap_fine_to_replacement_price'));
 427         my $onshelfholds = sql_num($node->findvalue('./onshelfholds'));
 428         my $opacitemholds = sql_str($node->findvalue('./opacitemholds'));
 429         my $article_requests = sql_str($node->findvalue('./article_requests'));
 430         my $note = sql_str($node->findvalue('./note'));
 431         $query = "INSERT INTO issuingrules (categorycode,itemtype,restrictedtype,rentaldiscount,reservecharge,fine,finedays,maxsuspensiondays,suspension_chargeperiod,firstremind,chargeperiod,chargeperiod_charge_at,accountsent,issuelength,lengthunit,hardduedate,hardduedatecompare,renewalsallowed,renewalperiod,norenewalbefore,auto_renew,no_auto_renewal_after,no_auto_renewal_after_hard_limit,reservesallowed,holds_per_record,holds_per_day,branchcode,overduefinescap,cap_fine_to_replacement_price,onshelfholds,opacitemholds,article_requests,note) VALUES ($categorycode,$itemtype,$restrictedtype,$rentaldiscount,$reservecharge,$fine,$finedays,$maxsuspensiondays,$suspension_chargeperiod,$firstremind,$chargeperiod,$chargeperiod_charge_at,$accountsent,$issuelength,$lengthunit,$hardduedate,$hardduedatecompare,$renewalsallowed,$renewalperiod,$norenewalbefore,$auto_renew,$no_auto_renewal_after,$no_auto_renewal_after_hard_limit,$reservesallowed,$holds_per_record,$holds_per_day,$branchcode,$overduefinescap,$cap_fine_to_replacement_price,$onshelfholds,$opacitemholds,$article_requests,$note)";
 432         $sth = $dbh->prepare($query);
 433         $sth->execute();
 434     }
 435
 436     foreach my $node ($dom->findnodes('//circ/rule')) {
 437         my $branchcode = sql_str($node->findvalue('./branchcode'));
 438         my $categorycode = sql_str($node->findvalue('./categorycode'));
 439         my $itemtype = sql_str($node->findvalue('./itemtype'));
 440         my $rule_name = sql_str($node->findvalue('./rule_name'));
 441         my $rule_value = sql_str($node->findvalue('./rule_value'));
 442         $query = "INSERT INTO circulation_rules (branchcode,categorycode,itemtype,rule_name,rule_value) VALUES ($branchcode,$categorycode,$itemtype,$rule_name,$rule_value)";
 443         $sth = $dbh->prepare($query);
 444         $sth->execute();
 445     }
 446
 447     return;
 448 }
 449
 450 sub restore_itemtypes {
 451     my $dbh = shift;
 452     my $restorefile = shift;
 453     my $parser = XML::LibXML->new();
 454     my $dom = $parser->parse_file($restorefile);
 455
 456     my $query = "UPDATE itemtypes SET searchcategory = NULL";
 457     my $sth = $dbh->prepare($query);
 458     $sth->execute();
 459
 460     $query = "DELETE FROM authorised_values WHERE category = 'ITEMTYPECAT'";
 461     $sth = $dbh->prepare($query);
 462     $sth->execute();
 463
 464     $query = "DELETE FROM localization WHERE entity = 'itemtypes'";
 465     $sth = $dbh->prepare($query);
 466     $sth->execute();
 467
 468     $query = "DELETE FROM itemtypes WHERE 1 = 1";
 469     $sth = $dbh->prepare($query);
 470     $sth->execute();
 471
 472     foreach my $node ($dom->findnodes('/document/authorised_values/value')) {
 473         my $category = sql_str($node->findvalue('./category'));
 474         my $authvalue = sql_str($node->findvalue('./authvalue'));
 475         my $lib = sql_str($node->findvalue('./lib'));
 476         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
 477         my $image_url = sql_str($node->findvalue('./image_url'));
 478         my $query = "INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)";
 479         $sth = $dbh->prepare($query);
 480         $sth->execute();
 481     }
 482
 483     foreach my $node ($dom->findnodes('/document/itemtypes/value')) {
 484         my $itemtype = sql_str($node->findvalue('./itemtype'));
 485         my $description = sql_str($node->findvalue('./description'));
 486         my $rentalcharge = sql_str($node->findvalue('./rentalcharge'));
 487         my $rentalcharge_daily = sql_str($node->findvalue('./rentalcharge_daily'));
 488         my $rentalcharge_hourly = sql_str($node->findvalue('./rentalcharge_hourly'));
 489         my $defaultreplacecost = sql_str($node->findvalue('./defaultreplacecost'));
 490         my $processfee = sql_str($node->findvalue('./processfee'));
 491         my $notforloan = sql_str($node->findvalue('./notforloan'));
 492         my $imageurl = sql_str($node->findvalue('./imageurl'));
 493         my $summary = sql_str($node->findvalue('./summary'));
 494         my $checkinmsg = sql_str($node->findvalue('./checkinmsg'));
 495         my $checkinmsgtype = sql_str($node->findvalue('./checkinmsgtype'));
 496         my $sip_media_type = sql_str($node->findvalue('./sip_media_type'));
 497         my $hideinopac = sql_str($node->findvalue('./hideinopac'));
 498         my $searchcategory = sql_str($node->findvalue('./searchcategory'));
 499         $query = "SELECT itemtype FROM itemtypes WHERE itemtype = $itemtype";
 500         $sth = $dbh->prepare($query);
 501         $sth->execute();
 502         my $answer;
 503         while (my @row = $sth->fetchrow_array) { $answer = sql_str($row[0]); }
 504         if (!defined $answer or $answer ne $itemtype) {
 505             $query = "INSERT INTO itemtypes (itemtype,description,rentalcharge,rentalcharge_daily,rentalcharge_hourly,defaultreplacecost,processfee,notforloan,imageurl,summary,checkinmsg,sip_media_type,hideinopac,searchcategory)
 506             VALUES ($itemtype,$description,$rentalcharge,$rentalcharge_daily,$rentalcharge_hourly,$defaultreplacecost,$processfee,$notforloan,$imageurl,$summary,$checkinmsg,$sip_media_type,$hideinopac,$searchcategory)";
 507             $sth = $dbh->prepare($query);
 508             $sth->execute();
 509         } else {
 510             $query = "UPDATE itemtypes SET description = $description,rentalcharge = $rentalcharge,rentalcharge_daily = $rentalcharge_daily,rentalcharge_hourly = $rentalcharge_hourly,defaultreplacecost = $defaultreplacecost,processfee = $processfee,notforloan = $notforloan,imageurl = $imageurl,summary = $summary,checkinmsg = $checkinmsg,sip_media_type = $sip_media_type,hideinopac = $hideinopac,searchcategory = $searchcategory
 511             WHERE itemtype = $itemtype";
 512             $sth = $dbh->prepare($query);
 513             $sth->execute();
 514         }
 515     }
 516
 517     foreach my $node ($dom->findnodes('//localizations/value')) {
 518         my $entity = sql_str($node->findvalue('./entity'));
 519         my $code = sql_str($node->findvalue('./code'));
 520         my $lang = sql_str($node->findvalue('./lang'));
 521         my $translation = sql_str($node->findvalue('./translation'));
 522         my $query = "INSERT INTO localization (entity,code,lang,translation) VALUES ($entity,$code,$lang,$translation)";
 523         $sth = $dbh->prepare($query);
 524         $sth->execute();
 525     }
 526
 527     return;
 528 }
 529
 530 sub restore_libraries {
 531     my $dbh = shift;
 532     my $restorefile = shift;
 533     my $parser = XML::LibXML->new();
 534     my $dom = $parser->parse_file($restorefile);
 535
 536     my $query = "TRUNCATE library_groups";
 537     my $sth = $dbh->prepare($query);
 538     $sth->execute();
 539
 540     foreach my $node ($dom->findnodes('//library')) {
 541         my $branchcode = sql_str($node->findvalue('./branchcode'));
 542         my $branchname = sql_str($node->findvalue('./branchname'));
 543         my $branchaddress1 = sql_str($node->findvalue('./branchaddress1'));
 544         my $branchaddress2 = sql_str($node->findvalue('./branchaddress2'));
 545         my $branchaddress3 = sql_str($node->findvalue('./branchaddress3'));
 546         my $branchzip = sql_str($node->findvalue('./branchzip'));
 547         my $branchcity = sql_str($node->findvalue('./branchcity'));
 548         my $branchstate = sql_str($node->findvalue('./branchstate'));
 549         my $branchcountry = sql_str($node->findvalue('./branchcountry'));
 550         my $branchphone = sql_str($node->findvalue('./branchphone'));
 551         my $branchfax = sql_str($node->findvalue('./branchfax'));
 552         my $branchemail = sql_str($node->findvalue('./branchemail'));
 553         my $branchreplyto = sql_str($node->findvalue('./branchreplyto'));
 554         my $branchreturnpath = sql_str($node->findvalue('./branchreturnpath'));
 555         my $branchurl = sql_str($node->findvalue('./branchurl'));
 556         my $issuing = sql_str($node->findvalue('./issuing'));
 557         my $branchip = sql_str($node->findvalue('./branchip'));
 558         my $branchprinter = sql_str($node->findvalue('./branchprinter'));
 559         my $branchnotes = sql_str($node->findvalue('./branchnotes'));
 560         my $opac_info = sql_str($node->findvalue('./opac_info'));
 561         my $geolocation = sql_str($node->findvalue('./geolocation'));
 562         my $marcorgcode = sql_str($node->findvalue('./marcorgcode'));
 563         my $pickup_location = $node->findvalue('./pickup_location');
 564         $query = "SELECT branchcode FROM branches WHERE branchcode = $branchcode";
 565         $sth = $dbh->prepare($query);
 566         $sth->execute();
 567         my $answer;
 568         while (my @row = $sth->fetchrow_array) { $answer = sql_str($row[0]); }
 569         if (!defined $answer or $answer ne $branchcode) {
 570             $query = "INSERT INTO branches (branchcode,branchname,branchaddress1,branchaddress2,branchaddress3,branchzip,branchcity,branchstate,branchcountry,branchphone,branchfax,branchemail,branchreplyto,branchreturnpath,branchurl,issuing,branchip,branchprinter,branchnotes,opac_info,geolocation,marcorgcode,pickup_location) VALUES ($branchcode,$branchname,$branchaddress1,$branchaddress2,$branchaddress3,$branchzip,$branchcity,$branchstate,$branchcountry,$branchphone,$branchfax,$branchemail,$branchreplyto,$branchreturnpath,$branchurl,$issuing,$branchip,$branchprinter,$branchnotes,$opac_info,$geolocation,$marcorgcode,$pickup_location)";
 571             $sth = $dbh->prepare($query);
 572             $sth->execute();
 573         } else {
 574             $query = "UPDATE branches SET branchname = $branchname,branchaddress1 = $branchaddress1,branchaddress2 = $branchaddress2,branchaddress3 = $branchaddress3,branchzip = $branchzip,branchcity = $branchcity,branchstate = $branchstate,branchcountry = $branchcountry,branchphone = $branchphone,branchfax = $branchfax,branchemail = $branchemail,branchreplyto = $branchreplyto,branchreturnpath = $branchreturnpath,branchurl = $branchurl,issuing = $issuing,branchip = $branchip,branchprinter = $branchprinter,branchnotes = $branchnotes,opac_info = $opac_info,geolocation = $geolocation,marcorgcode = $marcorgcode,pickup_location = $pickup_location WHERE branchcode = $branchcode";
 575             $sth = $dbh->prepare($query);
 576             $sth->execute();
 577         }
 578     }
 579
 580     #haven't taken into account them needing to go in, in a specific order so I could check parent ids first
 581     foreach my $node ($dom->findnodes('//library_group')) {
 582         my $id = $node->findvalue('./id');
 583         my $parent_id = sql_num($node->findvalue('./parent_id'));
 584         my $branchcode = sql_str($node->findvalue('./branchcode'));
 585         my $title = sql_str($node->findvalue('./title'));
 586         my $descr = sql_str($node->findvalue('./description'));
 587         my $ft1 = sql_num($node->findvalue('./ft_hide_patron_info'));
 588         my $ft2 = sql_num($node->findvalue('./ft_search_groups_opac'));
 589         my $ft3 = sql_num($node->findvalue('./ft_search_groups_staff'));
 590         $query = "INSERT INTO library_groups (id,parent_id,branchcode,title,description,ft_hide_patron_info,ft_search_groups_opac,ft_search_groups_staff) VALUES ($id,$parent_id,$branchcode,$title,$descr,$ft1,$ft2,$ft3)";
 591         $sth = $dbh->prepare($query);
 592         $sth->execute();
 593     }
 594     return;
 595 }
 596
 597 sub restore_patrontypes {
 598     my $dbh = shift;
 599     my $restorefile = shift;
 600     my $parser = XML::LibXML->new();
 601     my $dom = $parser->parse_file($restorefile);
 602
 603     my $query;
 604     my $sth;
 605
 606     foreach my $node ($dom->findnodes('//category')) {
 607         my $categorycode = sql_str($node->findvalue('./categorycode'));
 608         my $description = sql_str($node->findvalue('./description'));
 609         my $enrolmentperiod = sql_num($node->findvalue('./enrolmentperiod'));
 610         my $enrolmentperioddate = sql_str($node->findvalue('./enrolmentperioddate'));
 611         my $upperagelimit = sql_num($node->findvalue('./upperagelimit'));
 612         my $dateofbirthrequired = sql_num($node->findvalue('./dateofbirthrequired'));
 613         my $finetype = sql_str($node->findvalue('./finetype'));
 614         my $bulk = sql_num($node->findvalue('./bulk'));
 615         my $enrolmentfee = sql_num($node->findvalue('./enrolmentfee'));
 616         my $overduenoticerequired = sql_num($node->findvalue('./overduenoticerequired'));
 617         my $issuelimit = sql_num($node->findvalue('./issuelimit'));
 618         my $reservefee = sql_num($node->findvalue('./reservefee'));
 619         my $hidelostitems = sql_num($node->findvalue('./hidelostitems'));
 620         my $category_type = sql_str($node->findvalue('./category_type'));
 621         my $BlockExpiredPatronOpacActions = sql_num($node->findvalue('./BlockExpiredPatronOpacActions'));
 622         my $default_privacy = sql_str($node->findvalue('./default_privacy'));
 623         my $checkprevcheckout = sql_str($node->findvalue('./checkprevcheckout'));
 624         my $reset_password = sql_num($node->findvalue('./reset_password'));
 625         my $change_password = sql_num($node->findvalue('./change_password'));
 626         $query = "SELECT categorycode FROM categories WHERE categorycode = $categorycode";
 627         $sth = $dbh->prepare($query);
 628         $sth->execute();
 629         my $answer;
 630         while (my @row = $sth->fetchrow_array) { $answer = sql_str($row[0]); }
 631         if (!defined $answer or $answer ne $categorycode) {
 632             $query = "INSERT INTO categories (categorycode,description,enrolmentperiod,enrolmentperioddate,upperagelimit,dateofbirthrequired,finetype,bulk,enrolmentfee,overduenoticerequired,issuelimit,reservefee,hidelostitems,category_type,BlockExpiredPatronOpacActions,default_privacy,checkprevcheckout,reset_password,change_password) VALUES ($categorycode,$description,$enrolmentperiod,$enrolmentperioddate,$upperagelimit,$dateofbirthrequired,$finetype,$bulk,$enrolmentfee,$overduenoticerequired,$issuelimit,$reservefee,$hidelostitems,$category_type,$BlockExpiredPatronOpacActions,$default_privacy,$checkprevcheckout,$reset_password,$change_password)";
 633             $sth = $dbh->prepare($query);
 634             $sth->execute();
 635         } else {
 636             $query = "UPDATE categories SET description = $description,enrolmentperiod = $enrolmentperiod,enrolmentperioddate = $enrolmentperioddate,upperagelimit = $upperagelimit,dateofbirthrequired = $dateofbirthrequired,finetype = $finetype,bulk = $bulk,enrolmentfee = $enrolmentfee,overduenoticerequired = $overduenoticerequired,issuelimit = $issuelimit,reservefee = $reservefee,hidelostitems = $hidelostitems,category_type = $category_type,BlockExpiredPatronOpacActions = $BlockExpiredPatronOpacActions,default_privacy = $default_privacy,checkprevcheckout = $checkprevcheckout,reset_password = $reset_password,change_password = $change_password WHERE categorycode = $categorycode";
 637             $sth = $dbh->prepare($query);
 638             $sth->execute();
 639         }
 640     }
 641    return;
 642 }
 643
 644 sub restore_preferences {
 645     my $dbh = shift;
 646     my $restore_file = shift;
 647     my $parser = XML::LibXML->new();
 648     my $dom = $parser->parse_file($restore_file);
 649
 650     foreach my $node ($dom->findnodes('//pref')) {
 651         my $variable = domain_shift(sql_str($node->findvalue('./variable')));
 652         my $value = domain_shift(sql_str($node->findvalue('./value')));
 653         my $query = "UPDATE systempreferences SET value = $value WHERE variable = $variable";
 654         my $sth = $dbh->prepare($query);
 655         $sth->execute();
 656     }
 657     return;
 658 }
 659
 660 sub restore_reports {
 661     my $dbh = shift;
 662     my $restore_file = shift;
 663     my $parser = XML::LibXML->new();
 664     my $dom = $parser->parse_file($restore_file);
 665
 666     my $query = "DELETE FROM saved_sql WHERE 1 = 1";
 667     my $sth = $dbh->prepare($query);
 668     $sth->execute();
 669
 670     foreach my $node ($dom->findnodes('//sqlreport')) {
 671         my $date_created = sql_str($node->findvalue('./date_created'));
 672         my $last_modified = sql_str($node->findvalue('./last_modified'));
 673         my $savedsql = domain_shift(sql_str($node->findvalue('./savedsql')));
 674         my $report_name = sql_str($node->findvalue('./report_name'));
 675         my $type = sql_str($node->findvalue('./type'));
 676         my $notes = sql_str($node->findvalue('./notes'));
 677         my $cache_expiry = sql_num($node->findvalue('./cache_expiry'));
 678         my $public = sql_str($node->findvalue('./public'));
 679         my $report_area = sql_str($node->findvalue('./report_area'));
 680         my $report_group = sql_str($node->findvalue('./report_group'));
 681         my $report_subgroup = sql_str($node->findvalue('./report_subgroup'));
 682         my $userid = sql_str($node->findvalue('./userid'));
 683
 684         $query = "SELECT borrowernumber FROM borrowers WHERE userid = $userid";
 685         $sth = $dbh->prepare($query);
 686         $sth->execute();
 687         my @row = $sth->fetchrow_array;
 688         my $borrowernumber = sql_num($row[0]);
 689
 690         $query = "INSERT INTO saved_sql (date_created,last_modified,savedsql,report_name,type,notes,cache_expiry,public,report_area,report_group,report_subgroup,borrowernumber) VALUES ($date_created,$last_modified,$savedsql,$report_name,$type,$notes,$cache_expiry,$public,$report_area,$report_group,$report_subgroup,$borrowernumber)";
 691         $sth = $dbh->prepare($query);
 692         $sth->execute();
 693     }
 694     return;
 695 }
 696
 697 sub restore_smsproviders {
 698     my $dbh = shift;
 699     my $restore_file = shift;
 700     my $parser = XML::LibXML->new();
 701     my $dom = $parser->parse_file($restore_file);
 702
 703     my $query = "DELETE FROM sms_providers WHERE 1 = 1";
 704     my $sth = $dbh->prepare($query);
 705     $sth->execute();
 706
 707     foreach my $node ($dom->findnodes('//provider')) {
 708         my $name = sql_str($node->findvalue('./name'));
 709         my $domain = sql_str($node->findvalue('./domain'));
 710         $query = "INSERT INTO sms_providers (name,domain) VALUES ($name,$domain)";
 711         $sth = $dbh->prepare($query);
 712         $sth->execute();
 713     }
 714     return;
 715 }
 716
 717 sub domain_shift {
 718         my $str = shift;
 719         $str =~ s/-test.kohacatalog.com/.kohacatalog.com/g;
 720         $str =~ s/-test-staff.kohacatalog.com/-staff.kohacatalog.com/g;
 721         return $str;
 722 }
 723
 724 sub sql_str {
 725     my $str = shift;
 726     if (!defined $str or $str eq '') { return 'NULL'; }
 727     $str =~ s/'/''/g;
 728     $str = '\'' . $str . '\'';
 729     return $str;
 730 }
 731
 732 sub sql_str_not_null {
 733     my $str = shift;
 734     $str = sql_str($str);
 735     if (!defined $str or $str eq 'NULL') { return "''"; }
 736     return $str;
 737 }
 738
 739 sub sql_num {
 740     my $str = shift;
 741     if (!defined $str or $str eq '') { return 'NULL'; } else { return $str; }
 742 }
 743
 744 sub abort {
 745     my $msg = shift;
 746     print STDERR "$0: $msg", "\n";
 747     print_usage();
 748     exit 1;
 749 }
 750
 751 sub print_usage {
 752     print <<_USAGE_;
 753
 754     mig import foo_a foo_b foo_c
 755
 756 _USAGE_
 757 }
 758