making restore_itemtypes consistent with using check_itemtype
[migration-tools.git] / kmig.d / bin / mig-import
1 #!/usr/bin/perl
2
3 use strict;
4 use warnings;
5
6 use DBI;
7 use Data::Dumper;
8 use Env qw(
9     HOME MYSQL_HOST MYSQL_TCP_PORT MYSQL_USER MYSQL_DATABASE MYSQL_PW
10         MIGSCHEMA MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
11 );
12 use open ':encoding(utf8)';
13 use Cwd 'abs_path';
14 use Cwd qw(getcwd);
15 use FindBin;
16 use XML::LibXML;
17 use open ':std', ':encoding(UTF-8)';
18 use Encode qw( decode_utf8 );
19 use List::Util qw( min max );
20 my $mig_bin = "$FindBin::Bin/";
21 use lib "$FindBin::Bin/";
22 use KMig;
23
24 my $dbh = KMig::db_connect();
25 #$dbh->{mysql_enable_utf8mb4} = 1;
26 $dbh->do('SET NAMES utf8mb4');
27
28 my $mig_path = abs_path($0);
29 $mig_path =~ s|[^/]+$||;
30
31 my @taglist = @ARGV;
32 my $arg_list_length = scalar @taglist;
33 if($arg_list_length < 1) { @taglist = ("authorisedvalues","booksellers","borrowerattributes","budgets","calendar","circrules","itemtypes","letters","libraries","patrontypes","preferences","reports","smsproviders"); } 
34 $MIGGITDIR =~ s/\/\//\//;
35
36 my @errors;
37
38 foreach my $restore (@taglist) {
39     my $restorefile;
40     if ($restore eq 'authorisedvalues') {
41         my $timestamp = most_recent_single($MIGGITDIR,'authorisedvalues');
42         if ($timestamp) { $restorefile = $MIGGITDIR . 'authorisedvalues' . '.' . $timestamp . '.xml'; }
43         print "Restoring from $restorefile ... \n";
44         if ($restorefile) { restore_authorisedvalues($dbh,$restorefile); }
45     }
46     if ($restore eq 'booksellers') {
47         my $timestamp = most_recent_single($MIGGITDIR,'booksellers');
48         if ($timestamp) { $restorefile = $MIGGITDIR . 'booksellers' . '.' . $timestamp . '.xml'; }
49         print "Restoring from $restorefile ... \n";
50         if ($restorefile) { restore_booksellers($dbh,$restorefile); }
51     }
52     if ($restore eq 'borrowerattributes') {
53         my $timestamp = most_recent_single($MIGGITDIR,'borrowerattributes');
54         if ($timestamp) { $restorefile = $MIGGITDIR . 'borrowerattributes' . '.' . $timestamp . '.xml'; }
55         print "Restoring from $restorefile ... \n";
56         if ($restorefile) { restore_borrowerattributes($dbh,$restorefile); }
57     }
58     if ($restore eq 'budgets') {
59         my $timestamp = most_recent_single($MIGGITDIR,'budgets');
60         if ($timestamp) { $restorefile = $MIGGITDIR . 'budgets' . '.' . $timestamp . '.xml'; }
61         print "Restoring from $restorefile ... \n";
62         if ($restorefile) { restore_budgets($dbh,$restorefile); }
63     }
64     if ($restore eq 'calendar') {
65         my $timestamp = most_recent_single($MIGGITDIR,'calendar');
66         if ($timestamp) { $restorefile = $MIGGITDIR . 'calendar' . '.' . $timestamp . '.xml'; }
67         print "Restoring from $restorefile ... \n";
68         if ($restorefile) { restore_calendar($dbh,$restorefile); }
69     }
70     if ($restore eq 'circrules') {
71         my $timestamp = most_recent_single($MIGGITDIR,'circrules');
72         if ($timestamp) { $restorefile = $MIGGITDIR . 'circrules' . '.' . $timestamp . '.xml'; }
73         print "Restoring from $restorefile ... \n";
74         if ($restorefile) { @errors = restore_circrules($dbh,$restorefile,@errors); }
75     }
76     if ($restore eq 'itemtypes') {
77         my $timestamp = most_recent_single($MIGGITDIR,'itemtypes');
78         if ($timestamp) { $restorefile = $MIGGITDIR . 'itemtypes' . '.' . $timestamp . '.xml'; }
79         print "Restoring from $restorefile ... \n";
80         if ($restorefile) { @errors = restore_itemtypes($dbh,$restorefile,@errors); }
81     }
82     if ($restore eq 'letters') {
83         my $timestamp = most_recent_single($MIGGITDIR,'letters');
84         if ($timestamp) { $restorefile = $MIGGITDIR . 'letters' . '.' . $timestamp . '.xml'; }
85         print "Restoring from $restorefile ... \n";
86         if ($restorefile) { restore_letters($dbh,$restorefile); }
87     }
88     if ($restore eq 'libraries') {
89         my $timestamp = most_recent_single($MIGGITDIR,'libraries');
90         if ($timestamp) { $restorefile = $MIGGITDIR . 'libraries' . '.' . $timestamp . '.xml'; }
91         print "Restoring from $restorefile ... \n";
92         if ($restorefile) { restore_libraries($dbh,$restorefile); }
93     }
94     if ($restore eq 'patrontypes') {
95         my $timestamp = most_recent_single($MIGGITDIR,'patrontypes');
96         if ($timestamp) { $restorefile = $MIGGITDIR . 'patrontypes' . '.' . $timestamp . '.xml'; }
97         print "Restoring from $restorefile ... \n";
98         if ($restorefile) { restore_patrontypes($dbh,$restorefile); }
99     }
100     if ($restore eq 'preferences') {
101         my $timestamp = most_recent_single($MIGGITDIR,'systempreferences');
102         if ($timestamp) { $restorefile = $MIGGITDIR . 'systempreferences' . '.' . $timestamp . '.xml'; }
103         print "Restoring from $restorefile ... \n";
104         if ($restorefile) { restore_preferences($dbh,$restorefile); }
105         print "IMPORTANT : if you are changing system preferences you may need to run 'sudo systemctl restart memcached'\n\n";
106     }
107     if ($restore eq 'reports') {
108         my $timestamp = most_recent_single($MIGGITDIR,'reports');
109         if ($timestamp) { $restorefile = $MIGGITDIR . 'reports' . '.' . $timestamp . '.xml'; }
110         print "Restoring from $restorefile ... \n";
111         if ($restorefile) { restore_reports($dbh,$restorefile); }
112     }
113     if ($restore eq 'smsproviders') {
114         my $timestamp = most_recent_single($MIGGITDIR,'smsproviders');
115         if ($timestamp) { $restorefile = $MIGGITDIR . 'smsproviders' . '.' . $timestamp . '.xml'; }
116         print "Restoring from $restorefile ... \n";
117         if ($restorefile) { restore_smsproviders($dbh,$restorefile,$mig_path); }
118     }
119 }
120
121 print "Done.\n";
122
123 foreach my $e (@errors) { print "$e\n"; }
124
125 # ---------------------------
126
127 sub check_category {
128     my $dbh = shift;
129     my $value = shift;
130         my $query;
131
132     if ($value and $value ne 'NULL') {
133         $query = "SELECT EXISTS(SELECT 1 FROM categories WHERE categorycode = $value)";
134         } else {
135                 return 1;
136         }
137         print "$query\n";
138     my $sth = $dbh->prepare($query);
139     $sth->execute();
140     my @sqlresult = $sth->fetchrow_array;
141     my $result = pop @sqlresult;
142     return $result;
143 }
144
145 sub check_itemtype {
146     my $dbh = shift;
147     my $value = shift;
148         my $query;
149     if ($value and $value ne 'NULL') {
150         $query = "SELECT EXISTS(SELECT 1 FROM itemtypes WHERE itemtype = $value)";
151     } else {
152                 return 1;
153     }
154     my $sth = $dbh->prepare($query);
155     $sth->execute();
156     my @sqlresult = $sth->fetchrow_array;
157     my $result = pop @sqlresult;
158     return $result;
159 }
160
161 sub most_recent_single {
162     my $MGIGITDIR = shift;
163     my $str = shift;
164     my @files;
165     my @times;
166     opendir (DIR, $MIGGITDIR) or abort("could not open $MIGGITDIR");;
167     while (my $file = readdir(DIR)) {
168         if ($file =~ m/$str/) { push @files, $file; }
169     }
170     foreach my $file (@files) {
171         my @f = split /\./, $file;
172         push @times, $f[1];
173     }
174     closedir(DIR);
175     my $max = max @times; 
176     return $max;
177 }
178
179 sub restore_authorisedvalues {
180     my $dbh = shift;
181     my $restore_file = shift;
182     my $parser = XML::LibXML->new();
183     my $dom = $parser->parse_file($restore_file);
184
185     my $query = "DELETE FROM authorised_values WHERE category != 'ITEMTYPECAT'";
186     my $sth = $dbh->prepare($query);
187     print "$query\n"; 
188    #$sth->execute();
189
190     $query = "DELETE FROM authorised_value_categories WHERE category_name != 'ITEMTYPECAT'";
191     $sth = $dbh->prepare($query);
192     print "$query\n";
193     #$sth->execute();
194
195     foreach my $node ($dom->findnodes('/document/categories/value')) {
196         my $name = sql_str_not_null($node->findvalue('./name'));
197         $query = "INSERT INTO authorised_value_categories (category_name) VALUES ($name)";
198         $sth = $dbh->prepare($query);
199         print "$query\n";
200         #$sth->execute();
201     }
202
203     foreach my $node ($dom->findnodes('/document/authorisedvalues/value')) {
204         my $category = sql_str($node->findvalue('./category'));
205         my $authorised_value = sql_str($node->findvalue('./authorised_value'));
206         my $lib = sql_str($node->findvalue('./lib'));
207         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
208         my $imageurl = sql_str($node->findvalue('./imageurl'));
209         $query = "INSERT INTO authorised_values (category,authorised_value,lib,lib_opac,imageurl) VALUES ($category,$authorised_value,$lib,$lib_opac,$imageurl)";
210         $sth = $dbh->prepare($query);
211          print "$query\n";
212         #$sth->execute();
213     }
214     return;
215 }
216
217 sub restore_booksellers {
218     my $dbh = shift;
219     my $restore_file = shift;
220     my $parser = XML::LibXML->new();
221     my $dom = $parser->parse_file($restore_file);
222
223     my $query = "DELETE FROM aqbooksellers WHERE 1 = 1";
224     my $sth = $dbh->prepare($query);
225     $sth->execute();
226
227     foreach my $node ($dom->findnodes('/booksellers/value')) {
228         my $name = sql_str($node->findvalue('./name'));
229         my $address1 = sql_str($node->findvalue('./address1'));
230         my $address2 = sql_str($node->findvalue('./address2'));
231         my $address3 = sql_str($node->findvalue('./address3'));
232         my $address4 = sql_str($node->findvalue('./address4'));
233         my $phone = sql_str($node->findvalue('./phone'));
234         my $accountnumber = sql_str($node->findvalue('./accountnumber'));
235         my $othersupplier = sql_str($node->findvalue('./othersupplier'));
236         my $currency = sql_str_not_null($node->findvalue('./currency'));
237         my $booksellerfax = sql_str($node->findvalue('./booksellerfax'));
238         my $notes = sql_str($node->findvalue('./notes'));
239         my $bookselleremail = sql_str($node->findvalue('./bookselleremail'));
240         my $booksellerurl = sql_str($node->findvalue('./booksellerurl'));
241         my $postal = sql_str($node->findvalue('./postal'));
242         my $url = sql_str($node->findvalue('./url'));
243         my $active = sql_str($node->findvalue('./active'));
244         my $listprice = sql_str($node->findvalue('./listprice'));
245         my $invoiceprice  = sql_str($node->findvalue('./invoiceprice'));
246         my $gstreg = sql_num($node->findvalue('./gstreg'));
247         my $listincgst = sql_num($node->findvalue('./listincgst'));
248         my $invoiceincgst = sql_num($node->findvalue('./invoiceincgst'));
249         my $tax_rate = sql_num($node->findvalue('./tax_rate'));
250         my $discount = sql_num($node->findvalue('./discount'));
251         my $fax = sql_str($node->findvalue('./fax'));
252         my $deliverytime = sql_num($node->findvalue('./deliverytime'));
253         $query = "INSERT INTO aqbooksellers (name,address1,address2,address3,address4,phone,accountnumber,othersupplier,currency,booksellerfax,notes,bookselleremail,booksellerurl,postal,url,active,listprice,invoiceprice,gstreg,listincgst,invoiceincgst,tax_rate,discount,fax,deliverytime) VALUES ($name,$address1,$address2,$address3,$address4,$phone,$accountnumber,$othersupplier,$currency,$booksellerfax,$notes,$bookselleremail,$booksellerurl,$postal,$url,$active,$listprice,$invoiceprice,$gstreg,$listincgst,$invoiceincgst,$tax_rate,$discount,$fax,$deliverytime)";
254         $sth = $dbh->prepare($query);
255         $sth->execute();
256     }
257
258     return;
259 }
260
261 sub restore_borrowerattributes {
262     my $dbh = shift;
263     my $restore_file = shift;
264     my $parser = XML::LibXML->new();
265     my $dom = $parser->parse_file($restore_file);
266
267     my $query = "DELETE FROM authorised_values WHERE category IN (select category_code from borrower_attribute_types)";
268     my $sth = $dbh->prepare($query);
269     $sth->execute();
270
271     $query = "DELETE FROM authorised_value_categories WHERE category_name IN (select category_name from borrower_attribute_types)";
272     $sth = $dbh->prepare($query);
273     $sth->execute();
274
275     $query = "DELETE FROM borrower_attribute_types WHERE 1 = 1";
276     $sth = $dbh->prepare($query);
277     $sth->execute();
278
279     foreach my $node ($dom->findnodes('/borrower_attribute_types/value')) {
280         my $code = sql_str($node->findvalue('./code'));
281         my $description = sql_num($node->findvalue('./description'));
282         my $repeatable = sql_num($node->findvalue('./repeat'));
283         my $opac_display = sql_num($node->findvalue('./opac_display'));
284         my $staff_searchable = sql_num($node->findvalue('./staff_searchable'));
285         my $authorised_value_category = sql_str($node->findvalue('./auth_value_cat'));
286         my $display_checkout = sql_num($node->findvalue('./display_checkout'));
287         my $category_code = sql_str($node->findvalue('./category_code'));
288         my $class = sql_str($node->findvalue('./class'));
289         $query = "INSERT INTO borrower_attribute_types (code,description,repeatable,opac_display,staff_searchable,authorised_value_category,display_checkout,category_code,class) VALUES ($code,$description,$repeatable,$opac_display,$staff_searchable,$authorised_value_category,$display_checkout,$category_code,$class)";
290         $sth = $dbh->prepare($query);
291         $sth->execute();
292     }
293
294     foreach my $node ($dom->findnodes('/authorised_value_categories/value')) {
295         my $category_name = sql_str($node->nodeValue);
296         $query = "INSERT INTO authorised_value_categories (category_name) VALUES ($category_name)";
297         $sth = $dbh->prepare($query);
298         $sth->execute();
299     }
300
301     foreach my $node ($dom->findnodes('/authorised_values/value')) {
302         my $category = sql_str($node->findvalue('./category'));
303         my $authvalue = sql_str($node->findvalue('./authvalue'));
304         my $lib = sql_str($node->findvalue('./lib'));
305         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
306         my $image_url = sql_str($node->findvalue('./image_url'));
307         $query = "INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)";
308         $sth = $dbh->prepare($query);
309         $sth->execute();
310     }
311
312     return;
313 }
314
315 sub restore_budgets {
316     my $dbh = shift;
317     my $restore_file = shift;
318     my $parser = XML::LibXML->new();
319     my $dom = $parser->parse_file($restore_file);
320
321     my $query = "DELETE FROM aqbudgets WHERE 1 = 1";
322     my $sth = $dbh->prepare($query);
323     $sth->execute();
324     
325     $query = "DELETE FROM aqbudgetperiods WHERE 1 = 1";
326     $sth = $dbh->prepare($query);
327     $sth->execute();
328
329     my $budget_ai;
330     my $budgetperiod_ai;
331
332     foreach my $node ($dom->findnodes('/document/budgets')) {
333         $budget_ai = sql_num($node->findvalue('./autoincrement'));
334     }
335
336     foreach my $node ($dom->findnodes('/document/budgetperiods')) {
337         $budgetperiod_ai = sql_num($node->findvalue('./autoincrement'));
338     }
339
340     $query = "ALTER TABLE aqbudgets AUTO_INCREMENT = $budget_ai";
341     $sth = $dbh->prepare($query);
342     $sth->execute();    
343
344     $query = "ALTER TABLE aqbudgetperiods AUTO_INCREMENT = $budgetperiod_ai";
345     $sth = $dbh->prepare($query);
346     $sth->execute();    
347
348     foreach my $node ($dom->findnodes('/document/budgetperiods/value')) {
349         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
350         my $budget_period_startdate = sql_str($node->findvalue('./budget_period_startdate'));
351         my $budget_period_enddate = sql_str($node->findvalue('./budget_period_enddate'));
352         my $budget_period_active = sql_str($node->findvalue('./budget_period_active'));
353         my $budget_period_description = sql_str($node->findvalue('./budget_period_description'));
354         my $budget_period_total = sql_num($node->findvalue('./budget_period_total'));
355         my $budget_period_locked = sql_num($node->findvalue('./budget_period_locked'));
356         my $sort1_authcat = sql_str($node->findvalue('./sort1_authcat'));
357         my $sort2_authcat = sql_str($node->findvalue('./sort2_authcat'));
358         $query = "INSERT INTO aqbudgetperiods (budget_period_id,budget_period_startdate,budget_period_enddate,budget_period_active,budget_period_description,budget_period_total,budget_period_locked,sort1_authcat,sort2_authcat) VALUES ($budget_period_id,$budget_period_startdate,$budget_period_enddate,$budget_period_active,$budget_period_description,$budget_period_total,$budget_period_locked,$sort1_authcat,$sort2_authcat)";
359         print "$query\n";
360         $sth = $dbh->prepare($query);
361         $sth->execute();
362     }
363
364     #note that at this point we are not loading the budget owner, it's nullable and not 100% clear that it's the borrower
365     #and nothing to test with in initial sample
366     foreach my $node ($dom->findnodes('/document/budgets/value')) {
367         my $budget_id = sql_num($node->findvalue('./budget_id'));
368         my $budget_parent_id = sql_num($node->findvalue('./budget_parent_id'));
369         my $budget_code = sql_str($node->findvalue('./budget_code'));
370         my $budget_name = sql_str($node->findvalue('./budget_name'));
371         my $budget_branchcode = sql_str_not_null($node->findvalue('./budget_branchcode'));
372         my $budget_amount = sql_num($node->findvalue('./budget_amount'));
373         my $budget_encumb = sql_num($node->findvalue('./budget_encumb'));
374         my $budget_expend = sql_num($node->findvalue('./budget_expend'));
375         my $budget_notes = sql_str_not_null($node->findvalue('./budget_notes'));
376         my $timestamp = sql_str($node->findvalue('./timestamp'));
377         my $budget_period_id = sql_num($node->findvalue('./budget_period_id'));
378         my $sort1_authcat = sql_str_not_null($node->findvalue('./sort1_authcat'));
379         my $sort2_authcat = sql_str_not_null($node->findvalue('./sort2_authcat'));
380         my $budget_permission = sql_num($node->findvalue('./budget_permission'));
381         $query = "INSERT INTO aqbudgets (budget_id,budget_parent_id,budget_code,budget_name,budget_branchcode,budget_amount,budget_encumb,budget_expend,budget_notes,timestamp,budget_period_id,sort1_authcat,sort2_authcat,budget_permission) VALUES ($budget_id,$budget_parent_id,$budget_code,$budget_name,$budget_branchcode,$budget_amount,$budget_encumb,$budget_expend,$budget_notes,$timestamp,$budget_period_id,$sort1_authcat,$sort2_authcat,$budget_permission)";
382         $sth = $dbh->prepare($query);
383         $sth->execute();
384     }
385
386     return;
387 }
388
389 sub restore_calendar {
390     my $dbh = shift;
391     my $restore_file = shift;
392     my $parser = XML::LibXML->new();
393     my $dom = $parser->parse_file($restore_file);
394
395     my $query = "DELETE FROM repeatable_holidays WHERE 1 = 1";
396     my $sth = $dbh->prepare($query);
397     $sth->execute();
398
399     $query = "DELETE FROM special_holidays WHERE 1 = 1";
400     $sth = $dbh->prepare($query);
401     $sth->execute();
402
403     foreach my $node ($dom->findnodes('/holidays/repeatable')) {
404         my $branchcode = sql_str($node->findvalue('./branchcode'));
405         my $weekday = sql_num($node->findvalue('./weekday'));
406         my $day = sql_num($node->findvalue('./day'));
407         my $month = sql_num($node->findvalue('./month'));
408         my $title = sql_str($node->findvalue('./title'));
409         my $description = sql_str($node->findvalue('./description'));
410         $query = "INSERT INTO repeatable_holidays (branchcode,weekday,day,month,title,description) VALUES ($branchcode,$weekday,$day,$month,$title,$description)";
411         $sth = $dbh->prepare($query);
412         $sth->execute();
413     }
414
415     foreach my $node ($dom->findnodes('/holidays/special')) {
416         my $branchcode = sql_str($node->findvalue('./branchcode'));
417         my $day = sql_num($node->findvalue('./day'));
418         my $month = sql_num($node->findvalue('./month'));
419         my $year = sql_num($node->findvalue('./year'));
420         my $isexception = sql_num($node->findvalue('./isexception'));
421         my $title = sql_str($node->findvalue('./title'));
422         my $description = sql_str($node->findvalue('./description'));
423         $query = "INSERT INTO special_holidays (branchcode,day,month,year,isexception,title,description) VALUES ($branchcode,$day,$month,$year,$isexception,$title,$description)";
424         $sth = $dbh->prepare($query);
425         $sth->execute();
426     }
427
428     return;
429 }
430
431 sub restore_circrules {
432     my $dbh = shift;
433     my $restore_file = shift;
434     my @errors = shift;
435     my $parser = XML::LibXML->new();
436     my $dom = $parser->parse_file($restore_file);
437     my $error;
438         my $check; 
439     #order of operations - clean out circ_rules, then issuingrules; restore issuingrules then circ_rules 
440
441     my $query = "DELETE FROM circulation_rules WHERE 1 = 1";
442     my $sth = $dbh->prepare($query);
443     $sth->execute();
444
445     $query = "DELETE FROM issuingrules WHERE 1 = 1";
446     $sth = $dbh->prepare($query);
447     $sth->execute();
448
449     foreach my $node ($dom->findnodes('//issuing/rule')) {
450         my $categorycode = sql_str($node->findvalue('./categorycode'));
451         my $itemtype = sql_str($node->findvalue('./itemtype'));
452         my $restrictedtype = sql_num($node->findvalue('./restrictedtype'));
453         my $rentaldiscount = sql_num($node->findvalue('./rentaldiscount'));
454         my $reservecharge = sql_num($node->findvalue('./reservecharge'));
455         my $fine = sql_num($node->findvalue('./fine'));
456         my $finedays = sql_num($node->findvalue('./finedays'));
457         my $maxsuspensiondays = sql_num($node->findvalue('./maxsuspensiondays'));
458         my $suspension_chargeperiod = sql_num($node->findvalue('./suspension_chargeperiod'));
459         my $firstremind = sql_num($node->findvalue('./firstremind'));
460         my $chargeperiod = sql_num($node->findvalue('./chargeperiod'));
461         my $chargeperiod_charge_at = sql_num($node->findvalue('./chargeperiod_charge_at'));
462         my $accountsent = sql_num($node->findvalue('./accountsent'));
463         my $issuelength = sql_num($node->findvalue('./issuelength'));
464         my $lengthunit = sql_str($node->findvalue('./lengthunit'));
465         my $hardduedate = sql_str($node->findvalue('./hardduedate'));
466         my $hardduedatecompare = sql_num($node->findvalue('./hardduedatecompare'));
467         my $renewalsallowed = sql_num($node->findvalue('./renewalsallowed'));
468         my $renewalperiod = sql_num($node->findvalue('./renewalperiod'));
469         my $norenewalbefore = sql_num($node->findvalue('./norenewalbefore'));
470         my $auto_renew = sql_num($node->findvalue('./auto_renew'));
471         my $no_auto_renewal_after = sql_num($node->findvalue('./no_auto_renewal_after'));
472         my $no_auto_renewal_after_hard_limit = sql_str($node->findvalue('./no_auto_renewal_after_hard_limit'));
473         my $reservesallowed = sql_num($node->findvalue('./reservesallowed'));
474         my $holds_per_record = sql_num($node->findvalue('./holds_per_record'));
475         my $holds_per_day = sql_num($node->findvalue('./holds_per_day'));
476         my $branchcode = sql_str($node->findvalue('./branchcode'));
477         my $overduefinescap = sql_num($node->findvalue('./overduefinescap'));
478         my $cap_fine_to_replacement_price = sql_num($node->findvalue('./cap_fine_to_replacement_price'));
479         my $onshelfholds = sql_num($node->findvalue('./onshelfholds'));
480         my $opacitemholds = sql_str($node->findvalue('./opacitemholds'));
481         my $article_requests = sql_str($node->findvalue('./article_requests'));
482         my $note = sql_str($node->findvalue('./note'));
483                 $check = check_itemtype($dbh,$itemtype);
484         if ($check == 0 ) {
485             $error = "restore_circrules: issing rules rules itemtype $itemtype was not valid";
486             push @errors, $error;
487             next;
488         }
489                 $check = check_category($dbh,$categorycode);
490         if ($check == 0 ) {
491             $error = "restore_circrules: issuing rules rules category $categorycode was not valid";
492             push @errors, $error;
493             next;
494         }
495         $query = "INSERT INTO issuingrules (categorycode,itemtype,restrictedtype,rentaldiscount,reservecharge,fine,finedays,maxsuspensiondays,suspension_chargeperiod,firstremind,chargeperiod,chargeperiod_charge_at,accountsent,issuelength,lengthunit,hardduedate,hardduedatecompare,renewalsallowed,renewalperiod,norenewalbefore,auto_renew,no_auto_renewal_after,no_auto_renewal_after_hard_limit,reservesallowed,holds_per_record,holds_per_day,branchcode,overduefinescap,cap_fine_to_replacement_price,onshelfholds,opacitemholds,article_requests,note) VALUES ($categorycode,$itemtype,$restrictedtype,$rentaldiscount,$reservecharge,$fine,$finedays,$maxsuspensiondays,$suspension_chargeperiod,$firstremind,$chargeperiod,$chargeperiod_charge_at,$accountsent,$issuelength,$lengthunit,$hardduedate,$hardduedatecompare,$renewalsallowed,$renewalperiod,$norenewalbefore,$auto_renew,$no_auto_renewal_after,$no_auto_renewal_after_hard_limit,$reservesallowed,$holds_per_record,$holds_per_day,$branchcode,$overduefinescap,$cap_fine_to_replacement_price,$onshelfholds,$opacitemholds,$article_requests,$note)";
496         $sth = $dbh->prepare($query);
497         $sth->execute();
498     }
499
500     foreach my $node ($dom->findnodes('//circ/rule')) {
501         my $branchcode = sql_str($node->findvalue('./branchcode'));
502         my $categorycode = sql_str($node->findvalue('./categorycode'));
503         my $itemtype = sql_str($node->findvalue('./itemtype'));
504         my $rule_name = sql_str($node->findvalue('./rule_name'));
505         my $rule_value = sql_str($node->findvalue('./rule_value'));
506
507                 $check = check_itemtype($dbh,$itemtype);
508         if ($check == 0 ) { 
509             $error = "restore_circrules: circulation rules rules itemtype $itemtype was not valid"; 
510             push @errors, $error;
511             next; 
512         }
513                 $check = check_category($dbh,$categorycode);
514         if ($check == 0 ) { 
515             $error = "restore_circrules: circulation rules rules category $categorycode was not valid";
516             push @errors, $error;
517             next; 
518         }
519
520         $query = "INSERT INTO circulation_rules (branchcode,categorycode,itemtype,rule_name,rule_value) VALUES ($branchcode,$categorycode,$itemtype,$rule_name,$rule_value)";
521         $sth = $dbh->prepare($query);
522         $sth->execute();
523     }
524      
525     return @errors;
526 }
527
528 sub restore_itemtypes {
529     my $dbh = shift;
530     my $restorefile = shift;
531         my @errors = shift;
532     my $parser = XML::LibXML->new();
533     my $dom = $parser->parse_file($restorefile);
534         my $check;
535
536     my $query = "UPDATE itemtypes SET searchcategory = NULL";
537     my $sth = $dbh->prepare($query);
538     $sth->execute();
539
540     $query = "DELETE FROM authorised_values WHERE category = 'ITEMTYPECAT'";
541     $sth = $dbh->prepare($query);
542     $sth->execute();
543
544     $query = "DELETE FROM localization WHERE entity = 'itemtypes'";
545     $sth = $dbh->prepare($query);
546     $sth->execute();
547
548     $query = "DELETE FROM itemtypes WHERE 1 = 1";
549     $sth = $dbh->prepare($query);
550     $sth->execute();
551
552     foreach my $node ($dom->findnodes('/document/authorised_values/value')) {
553         my $category = sql_str($node->findvalue('./category'));
554         my $authvalue = sql_str($node->findvalue('./authvalue'));
555         my $lib = sql_str($node->findvalue('./lib'));
556         my $lib_opac = sql_str($node->findvalue('./lib_opac'));
557         my $image_url = sql_str($node->findvalue('./image_url'));
558         my $query = "INSERT INTO authorised_values (category,authvalue,lib,lib_opac,image_url) VALUES ($category,$authvalue,$lib,$lib_opac,$image_url)";
559         $sth = $dbh->prepare($query);
560         $sth->execute();
561     }
562
563     foreach my $node ($dom->findnodes('/document/itemtypes/value')) {
564         my $itemtype = sql_str($node->findvalue('./itemtype'));
565         my $description = sql_str($node->findvalue('./description'));
566         my $rentalcharge = sql_str($node->findvalue('./rentalcharge'));
567         my $rentalcharge_daily = sql_str($node->findvalue('./rentalcharge_daily'));
568         my $rentalcharge_hourly = sql_str($node->findvalue('./rentalcharge_hourly'));
569         my $defaultreplacecost = sql_str($node->findvalue('./defaultreplacecost'));
570         my $processfee = sql_str($node->findvalue('./processfee'));
571         my $notforloan = sql_str($node->findvalue('./notforloan'));
572         my $imageurl = sql_str($node->findvalue('./imageurl'));
573         my $summary = sql_str($node->findvalue('./summary'));
574         my $checkinmsg = sql_str($node->findvalue('./checkinmsg'));
575         my $checkinmsgtype = sql_str($node->findvalue('./checkinmsgtype'));
576         my $sip_media_type = sql_str($node->findvalue('./sip_media_type'));
577         my $hideinopac = sql_str($node->findvalue('./hideinopac'));
578         my $searchcategory = sql_str($node->findvalue('./searchcategory'));
579
580                 $check = check_itemtype($dbh,$itemtype);
581         if ($check == 0) {
582             $query = "INSERT INTO itemtypes (itemtype,description,rentalcharge,rentalcharge_daily,rentalcharge_hourly,defaultreplacecost,processfee,notforloan,imageurl,summary,checkinmsg,sip_media_type,hideinopac,searchcategory) 
583             VALUES ($itemtype,$description,$rentalcharge,$rentalcharge_daily,$rentalcharge_hourly,$defaultreplacecost,$processfee,$notforloan,$imageurl,$summary,$checkinmsg,$sip_media_type,$hideinopac,$searchcategory)";
584             $sth = $dbh->prepare($query);
585             $sth->execute();
586         } else {
587             $query = "UPDATE itemtypes SET description = $description,rentalcharge = $rentalcharge,rentalcharge_daily = $rentalcharge_daily,rentalcharge_hourly = $rentalcharge_hourly,defaultreplacecost = $defaultreplacecost,processfee = $processfee,notforloan = $notforloan,imageurl = $imageurl,summary = $summary,checkinmsg = $checkinmsg,sip_media_type = $sip_media_type,hideinopac = $hideinopac,searchcategory = $searchcategory 
588             WHERE itemtype = $itemtype";
589             $sth = $dbh->prepare($query);
590             $sth->execute();
591         }
592     }
593
594     foreach my $node ($dom->findnodes('//localizations/value')) {
595         my $entity = sql_str($node->findvalue('./entity'));
596         my $code = sql_str($node->findvalue('./code'));
597         my $lang = sql_str($node->findvalue('./lang'));
598         my $translation = sql_str($node->findvalue('./translation'));
599         my $query = "INSERT INTO localization (entity,code,lang,translation) VALUES ($entity,$code,$lang,$translation)";
600         $sth = $dbh->prepare($query);
601         $sth->execute();
602     }
603
604     return;
605 }
606
607 sub restore_letters {
608     my $dbh = shift;
609     my $restore_file = shift;
610     my $parser = XML::LibXML->new();
611     my $dom = $parser->parse_file($restore_file);
612
613     my $query = "DELETE FROM letter WHERE 1 = 1";
614     my $sth = $dbh->prepare($query);
615     $sth->execute();
616
617     foreach my $node ($dom->findnodes('/letters/letter')) {
618         my $module = sql_str($node->findvalue('./module'));
619         my $code = sql_str($node->findvalue('./code'));
620         my $branchcode = sql_str_not_null($node->findvalue('./branchcode'));
621         my $name = sql_str($node->findvalue('./name'));
622         my $is_html = sql_num($node->findvalue('./is_html'));
623         my $title = sql_str($node->findvalue('./title'));
624         my $content = sql_str($node->findvalue('./content'));
625         my $message_transport_type = sql_str($node->findvalue('./message_transport_type'));
626         my $lang = sql_str($node->findvalue('./lang'));
627         $query = "INSERT INTO letter (module,code,branchcode,name,is_html,title,content,message_transport_type,lang) VALUES ($module,$code,$branchcode,$name,$is_html,$title,$content,$message_transport_type,$lang)";
628         $sth = $dbh->prepare($query);
629         $sth->execute();
630     }
631
632     return;
633 }
634
635 sub restore_libraries {
636     my $dbh = shift;
637     my $restorefile = shift;
638     my $parser = XML::LibXML->new();
639     my $dom = $parser->parse_file($restorefile);
640
641     my $query = "TRUNCATE library_groups";
642     my $sth = $dbh->prepare($query);
643     $sth->execute();
644
645     foreach my $node ($dom->findnodes('//library')) {
646         my $branchcode = sql_str($node->findvalue('./branchcode'));
647         my $branchname = sql_str($node->findvalue('./branchname'));
648         my $branchaddress1 = sql_str($node->findvalue('./branchaddress1'));
649         my $branchaddress2 = sql_str($node->findvalue('./branchaddress2'));
650         my $branchaddress3 = sql_str($node->findvalue('./branchaddress3'));
651         my $branchzip = sql_str($node->findvalue('./branchzip'));
652         my $branchcity = sql_str($node->findvalue('./branchcity'));
653         my $branchstate = sql_str($node->findvalue('./branchstate'));
654         my $branchcountry = sql_str($node->findvalue('./branchcountry'));
655         my $branchphone = sql_str($node->findvalue('./branchphone'));
656         my $branchfax = sql_str($node->findvalue('./branchfax'));
657         my $branchemail = sql_str($node->findvalue('./branchemail'));
658         my $branchreplyto = sql_str($node->findvalue('./branchreplyto'));
659         my $branchreturnpath = sql_str($node->findvalue('./branchreturnpath'));
660         my $branchurl = sql_str($node->findvalue('./branchurl'));
661         my $issuing = sql_str($node->findvalue('./issuing'));
662         my $branchip = sql_str($node->findvalue('./branchip'));
663         my $branchprinter = sql_str($node->findvalue('./branchprinter'));
664         my $branchnotes = sql_str($node->findvalue('./branchnotes'));
665         my $opac_info = sql_str($node->findvalue('./opac_info'));
666         my $geolocation = sql_str($node->findvalue('./geolocation'));
667         my $marcorgcode = sql_str($node->findvalue('./marcorgcode'));
668         my $pickup_location = $node->findvalue('./pickup_location');
669         $query = "SELECT branchcode FROM branches WHERE branchcode = $branchcode";
670         $sth = $dbh->prepare($query);
671         $sth->execute();
672         my $answer;
673         while (my @row = $sth->fetchrow_array) { $answer = sql_str($row[0]); }
674         if (!defined $answer or $answer ne $branchcode) { 
675             $query = "INSERT INTO branches (branchcode,branchname,branchaddress1,branchaddress2,branchaddress3,branchzip,branchcity,branchstate,branchcountry,branchphone,branchfax,branchemail,branchreplyto,branchreturnpath,branchurl,issuing,branchip,branchprinter,branchnotes,opac_info,geolocation,marcorgcode,pickup_location) VALUES ($branchcode,$branchname,$branchaddress1,$branchaddress2,$branchaddress3,$branchzip,$branchcity,$branchstate,$branchcountry,$branchphone,$branchfax,$branchemail,$branchreplyto,$branchreturnpath,$branchurl,$issuing,$branchip,$branchprinter,$branchnotes,$opac_info,$geolocation,$marcorgcode,$pickup_location)";
676             $sth = $dbh->prepare($query);
677             $sth->execute();
678         } else {
679             $query = "UPDATE branches SET branchname = $branchname,branchaddress1 = $branchaddress1,branchaddress2 = $branchaddress2,branchaddress3 = $branchaddress3,branchzip = $branchzip,branchcity = $branchcity,branchstate = $branchstate,branchcountry = $branchcountry,branchphone = $branchphone,branchfax = $branchfax,branchemail = $branchemail,branchreplyto = $branchreplyto,branchreturnpath = $branchreturnpath,branchurl = $branchurl,issuing = $issuing,branchip = $branchip,branchprinter = $branchprinter,branchnotes = $branchnotes,opac_info = $opac_info,geolocation = $geolocation,marcorgcode = $marcorgcode,pickup_location = $pickup_location WHERE branchcode = $branchcode";
680             $sth = $dbh->prepare($query);
681             $sth->execute();  
682         }
683     }
684
685     #haven't taken into account them needing to go in, in a specific order so I could check parent ids first 
686     foreach my $node ($dom->findnodes('//library_group')) {
687         my $id = $node->findvalue('./id');
688         my $parent_id = sql_num($node->findvalue('./parent_id'));
689         my $branchcode = sql_str($node->findvalue('./branchcode'));
690         my $title = sql_str($node->findvalue('./title'));
691         my $descr = sql_str($node->findvalue('./description'));
692         my $ft1 = sql_num($node->findvalue('./ft_hide_patron_info'));
693         my $ft2 = sql_num($node->findvalue('./ft_search_groups_opac'));
694         my $ft3 = sql_num($node->findvalue('./ft_search_groups_staff'));
695         $query = "INSERT INTO library_groups (id,parent_id,branchcode,title,description,ft_hide_patron_info,ft_search_groups_opac,ft_search_groups_staff) VALUES ($id,$parent_id,$branchcode,$title,$descr,$ft1,$ft2,$ft3)";
696         $sth = $dbh->prepare($query);
697         $sth->execute();
698     }
699     return;
700 }
701
702 sub restore_patrontypes {
703     my $dbh = shift;
704     my $restorefile = shift;
705     my $parser = XML::LibXML->new();
706     my $dom = $parser->parse_file($restorefile);
707
708     my $query;
709     my $sth;
710
711     foreach my $node ($dom->findnodes('//category')) {
712         my $categorycode = sql_str($node->findvalue('./categorycode'));
713         my $description = sql_str($node->findvalue('./description'));
714         my $enrolmentperiod = sql_num($node->findvalue('./enrolmentperiod'));
715         my $enrolmentperioddate = sql_str($node->findvalue('./enrolmentperioddate'));
716         my $upperagelimit = sql_num($node->findvalue('./upperagelimit'));
717         my $dateofbirthrequired = sql_num($node->findvalue('./dateofbirthrequired'));
718         my $finetype = sql_str($node->findvalue('./finetype'));
719         my $bulk = sql_num($node->findvalue('./bulk'));
720         my $enrolmentfee = sql_num($node->findvalue('./enrolmentfee'));
721         my $overduenoticerequired = sql_num($node->findvalue('./overduenoticerequired'));
722         my $issuelimit = sql_num($node->findvalue('./issuelimit'));
723         my $reservefee = sql_num($node->findvalue('./reservefee'));
724         my $hidelostitems = sql_num($node->findvalue('./hidelostitems'));
725         my $category_type = sql_str($node->findvalue('./category_type'));
726         my $BlockExpiredPatronOpacActions = sql_num($node->findvalue('./BlockExpiredPatronOpacActions'));
727         my $default_privacy = sql_str($node->findvalue('./default_privacy'));
728         my $checkprevcheckout = sql_str($node->findvalue('./checkprevcheckout'));
729         my $reset_password = sql_num($node->findvalue('./reset_password'));
730         my $change_password = sql_num($node->findvalue('./change_password'));
731         $query = "SELECT categorycode FROM categories WHERE categorycode = $categorycode";
732         $sth = $dbh->prepare($query);
733         $sth->execute();
734         my $answer;
735         while (my @row = $sth->fetchrow_array) { $answer = sql_str($row[0]); }
736         if (!defined $answer or $answer ne $categorycode) {
737             $query = "INSERT INTO categories (categorycode,description,enrolmentperiod,enrolmentperioddate,upperagelimit,dateofbirthrequired,finetype,bulk,enrolmentfee,overduenoticerequired,issuelimit,reservefee,hidelostitems,category_type,BlockExpiredPatronOpacActions,default_privacy,checkprevcheckout,reset_password,change_password) VALUES ($categorycode,$description,$enrolmentperiod,$enrolmentperioddate,$upperagelimit,$dateofbirthrequired,$finetype,$bulk,$enrolmentfee,$overduenoticerequired,$issuelimit,$reservefee,$hidelostitems,$category_type,$BlockExpiredPatronOpacActions,$default_privacy,$checkprevcheckout,$reset_password,$change_password)";
738             $sth = $dbh->prepare($query);
739             $sth->execute();
740         } else {
741             $query = "UPDATE categories SET description = $description,enrolmentperiod = $enrolmentperiod,enrolmentperioddate = $enrolmentperioddate,upperagelimit = $upperagelimit,dateofbirthrequired = $dateofbirthrequired,finetype = $finetype,bulk = $bulk,enrolmentfee = $enrolmentfee,overduenoticerequired = $overduenoticerequired,issuelimit = $issuelimit,reservefee = $reservefee,hidelostitems = $hidelostitems,category_type = $category_type,BlockExpiredPatronOpacActions = $BlockExpiredPatronOpacActions,default_privacy = $default_privacy,checkprevcheckout = $checkprevcheckout,reset_password = $reset_password,change_password = $change_password WHERE categorycode = $categorycode";
742             $sth = $dbh->prepare($query);
743             $sth->execute();
744         }
745     }
746    return;
747 }
748
749 sub restore_preferences {
750     my $dbh = shift;
751     my $restore_file = shift;
752     my $parser = XML::LibXML->new();
753     my $dom = $parser->parse_file($restore_file);
754
755     foreach my $node ($dom->findnodes('//pref')) {
756                 my $variable = domain_shift(sql_str_not_null($node->findvalue('./variable')));
757         my $value = domain_shift(sql_str_not_null($node->findvalue('./value')));
758         my $query = "UPDATE systempreferences SET value = $value WHERE variable = $variable";
759         my $sth = $dbh->prepare($query);
760         $sth->execute();
761     }
762     return;
763 }
764
765 sub restore_reports {
766     my $dbh = shift;
767     my $restore_file = shift;
768     my $parser = XML::LibXML->new();
769     my $dom = $parser->parse_file($restore_file);
770
771     my $query = "DELETE FROM saved_sql WHERE 1 = 1";
772     my $sth = $dbh->prepare($query);
773     $sth->execute();
774
775     foreach my $node ($dom->findnodes('//sqlreport')) {
776         my $date_created = sql_str($node->findvalue('./date_created'));
777         my $last_modified = sql_str($node->findvalue('./last_modified'));
778         my $savedsql = domain_shift(sql_str($node->findvalue('./savedsql')));
779         my $report_name = sql_str($node->findvalue('./report_name'));
780         my $type = sql_str($node->findvalue('./type'));
781         my $notes = sql_str($node->findvalue('./notes'));
782         my $cache_expiry = sql_num($node->findvalue('./cache_expiry'));
783         my $public = sql_str($node->findvalue('./public'));
784         my $report_area = sql_str($node->findvalue('./report_area'));
785         my $report_group = sql_str($node->findvalue('./report_group'));
786         my $report_subgroup = sql_str($node->findvalue('./report_subgroup'));
787         my $userid = sql_str($node->findvalue('./userid'));
788
789         $query = "SELECT borrowernumber FROM borrowers WHERE userid = $userid";
790         $sth = $dbh->prepare($query);
791         $sth->execute();
792         my @row = $sth->fetchrow_array;
793         my $borrowernumber = sql_num($row[0]);
794
795         $query = "INSERT INTO saved_sql (date_created,last_modified,savedsql,report_name,type,notes,cache_expiry,public,report_area,report_group,report_subgroup,borrowernumber) VALUES ($date_created,$last_modified,$savedsql,$report_name,$type,$notes,$cache_expiry,$public,$report_area,$report_group,$report_subgroup,$borrowernumber)";
796         $sth = $dbh->prepare($query);
797         $sth->execute();
798     }
799     return;
800 }
801
802 sub restore_smsproviders {
803     my $dbh = shift;
804     my $restore_file = shift;
805     my $migpath = shift;
806     my $parser = XML::LibXML->new();
807     my $dom = $parser->parse_file($restore_file);
808
809     my $query = "DELETE FROM sms_providers WHERE 1 = 1";
810     my $sth = $dbh->prepare($query);
811     $sth->execute();
812
813     my $p = 0;
814     foreach my $node ($dom->findnodes('//provider')) { $p++; }
815
816     if ($p == 0) {
817         my $failover_file = find_xml('smsproviders.xml',$migpath);        
818         $dom = $parser->parse_file($failover_file);        
819     }
820
821     foreach my $node ($dom->findnodes('//provider')) {
822         my $name = sql_str($node->findvalue('./name'));
823         my $domain = sql_str($node->findvalue('./domain'));
824         $query = "INSERT INTO sms_providers (name,domain) VALUES ($name,$domain)";
825         $sth = $dbh->prepare($query);
826         $sth->execute();
827     }
828     return;
829 }
830
831 sub domain_shift {
832         my $str = shift;
833         $str =~ s/-test.kohacatalog.com/.kohacatalog.com/g;
834         $str =~ s/-test-staff.kohacatalog.com/-staff.kohacatalog.com/g;
835         return $str;
836 }
837
838 sub sql_str {
839     my $str = shift;
840     if (!defined $str or $str eq '') { return 'NULL'; }
841     $str =~ s/'/''/g;
842     $str = '\'' . $str . '\'';
843     return $str;
844 }
845
846 sub sql_str_not_null {
847     my $str = shift;
848     $str = sql_str($str);
849     if (!defined $str or $str eq 'NULL') { return "''"; }
850     return $str;
851 }
852
853 sub sql_num {
854     my $str = shift;
855     if (!defined $str or $str eq '') { return 'NULL'; } else { return $str; }
856 }
857
858 sub abort {
859     my $msg = shift;
860     print STDERR "$0: $msg", "\n";
861     print_usage();
862     exit 1;
863 }
864
865 sub find_xml {
866     my $reports_xml = shift;
867     my $mig_path = shift;
868
869     if ($reports_xml =~ m/\//) { return $reports_xml; }
870
871     my $mig_test_file =  $mig_path . '/../xml/' . $reports_xml;
872     my $working_test_dir = getcwd();
873     my $working_test_file = $working_test_dir . '/' . $reports_xml;
874
875     if (-e $mig_test_file) { return $mig_test_file; }
876     if (-e $working_test_file) { return $working_test_file; }
877
878     return undef;
879 }
880
881 sub print_usage {
882     print <<_USAGE_;
883
884     mig import foo_a foo_b foo_c
885
886 _USAGE_
887 }
888