mig-bin/mig-reporter

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use warnings;
   5
   6 use DBI;
   7 use Data::Dumper;
   8 use XML::LibXML;
   9 use Env qw(
  10     HOME PGHOST PGPORT PGUSER PGDATABASE MIGSCHEMA
  11     MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
  12 );
  13 use Pod::Usage;
  14 use Switch;
  15 use Cwd 'abs_path';
  16 use FindBin;
  17 my $mig_bin = "$FindBin::Bin/";
  18 use lib "$FindBin::Bin/";
  19 use Mig;
  20 use open ':encoding(utf8)';
  21
  22 pod2usage(-verbose => 2) if defined $ARGV[0] && $ARGV[0] eq '--help';
  23
  24 my $analyst;
  25 my $next_arg_is_analyst;
  26 my $report_title;
  27 my $next_arg_is_report_title;
  28 my $reports_xml;
  29 my $next_arg_is_reports_xml;
  30 my $tags;
  31 my $next_arg_is_tags;
  32 my $added_page_title;
  33 my $next_arg_is_added_page_title;
  34 my $added_page_file;
  35 my $next_arg_is_added_page_file;
  36 my $i = 0;
  37 my $parser = XML::LibXML->new();
  38 my $lines_per_page = 42;
  39 my $debug_flag = 0;
  40
  41 foreach my $arg (@ARGV) {
  42     if ($arg eq '--report_title') {
  43         $next_arg_is_report_title = 1;
  44         next;
  45     }
  46     if ($next_arg_is_report_title) {
  47         $report_title = $arg;
  48         $next_arg_is_report_title = 0;
  49         next;
  50     }
  51     if ($arg eq '--analyst') {
  52         $next_arg_is_analyst = 1;
  53         next;
  54     }
  55     if ($next_arg_is_analyst) {
  56         $analyst = $arg;
  57         $next_arg_is_analyst = 0;
  58         next;
  59     }
  60     if ($arg eq '--reports_xml') {
  61         $next_arg_is_reports_xml = 1;
  62         next;
  63     }
  64     if ($next_arg_is_reports_xml) {
  65         $reports_xml = $arg;
  66         $next_arg_is_reports_xml = 0;
  67         next;
  68     }
  69     if ($arg eq '--tags') {
  70         $next_arg_is_tags = 1;
  71         next;
  72     }
  73     if ($next_arg_is_tags) {
  74         $tags = $arg;
  75         $next_arg_is_tags = 0;
  76         next;
  77     }
  78     if ($arg eq '--added_page_title') {
  79         $next_arg_is_added_page_title = 1;
  80         next;
  81     }
  82     if ($next_arg_is_added_page_title) {
  83         $added_page_title = $arg;
  84         $next_arg_is_added_page_title = 0;
  85         next;
  86     }
  87     if ($arg eq '--added_page_file') {
  88         $next_arg_is_added_page_file = 1;
  89         next;
  90     }
  91     if ($next_arg_is_added_page_file) {
  92         $added_page_file = $arg;
  93         $next_arg_is_added_page_file = 0;
  94         next;
  95     }
  96     if ($arg eq '--debug') {
  97         $debug_flag = 1;
  98         next;
  99     }
 100 }
 101
 102 if (!defined $tags) {$tags = 'circs.holds.actors.bibs.assets.money'};
 103 if (!defined $analyst) { abort('--analyst must be supplied'); }
 104 if (!defined $report_title) { abort('--report_title must be supplied'); }
 105
 106 my $mig_path = abs_path($0);
 107 $mig_path =~ s|[^/]+$||;
 108 if (!defined $reports_xml) { $reports_xml = $mig_path . '../mig-xml/evergreen_staged_report.xml'; }
 109     else { $reports_xml = $mig_path . '/../mig-xml/' . $reports_xml; }
 110 my $dom = $parser->parse_file($reports_xml);
 111
 112 if (defined $added_page_file or defined $added_page_title) {
 113     abort('must specify --added_page_file and --added_page_title') unless defined $added_page_file and defined $added_page_title;
 114     }
 115 if (defined $added_page_file) { $added_page_file = $MIGGITDIR . $added_page_file; }
 116
 117 my $dbh = Mig::db_connect();
 118 my $report_file = create_report_name($report_title);
 119 $report_file = $MIGGITDIR . $report_file;
 120
 121 open(my $fh, '>', $report_file) or abort("Could not open output file!");
 122
 123 write_title_page($report_title,$fh,$analyst);
 124
 125 if (defined $added_page_file and defined $added_page_title) {
 126     print $fh "<<<\n";
 127     print $fh "== $added_page_title\n";
 128     print "$added_page_file\t$added_page_title\n";
 129     open(my $an,'<:encoding(UTF-8)', $added_page_file) or abort("Could not open $added_page_file!");
 130     while ( my $line = <$an> ) {
 131         print $fh $line;
 132     }
 133     print $fh "\n";
 134     close $an;
 135 }
 136
 137 foreach my $func ($dom->findnodes('//function')) {
 138     my $fdrop = $func->findvalue('./drop');
 139     my $fcreate = $func->findvalue('./create');
 140     my $fname = $func->findvalue('./name');
 141     my $sdrop = $dbh->prepare($fdrop);
 142     my $screate = $dbh->prepare($fcreate);
 143     print "dropping function $fname ... ";
 144     $sdrop->execute();
 145     print "creating function $fname\n\n";
 146     $screate->execute();
 147 }
 148
 149 $tags = lc($tags);
 150 my @report_tags = split(/\./,$tags);
 151 foreach my $t (@report_tags) {
 152     print "\n\n=========== Starting to process tag $t\n";
 153     print   "==========================================\n\n";
 154
 155     my @asset_files;
 156     foreach my $asset ($dom->findnodes('//asset')) {
 157         if (index($asset->findvalue('./tag'),$t) != -1) {
 158             push @asset_files, $asset->findvalue('./file');
 159         }
 160     }
 161
 162     foreach my $fname (@asset_files) {
 163         my $asset_path = $mig_path . '../mig-asc/' . $fname;
 164         open my $a, $asset_path or abort("Could not open $fname.");
 165         while ( my $l = <$a> ) {
 166             print $fh $l;
 167         }
 168     print $fh "<<<\n";
 169     }
 170
 171     print_section_header(ucfirst($t),$fh);
 172     my $linecount = $lines_per_page;
 173     my $r;
 174
 175     undef @asset_files;
 176     foreach my $asset ($dom->findnodes('//asset')) {
 177         if (index($asset->findvalue('./tag'),$t) != -1) {
 178             push @asset_files, $asset->findvalue('./file');
 179         }
 180     }
 181
 182     my @report_names;
 183     foreach my $report ($dom->findnodes('//report')) {
 184         if (index($report->findvalue('./tag'),$t) != -1 and $report->findvalue('./iteration') eq '0') {
 185             push @report_names, $report->findvalue('./name');
 186         }
 187     }
 188
 189     #only has one level of failover now but could change to array of hashes and loops
 190     #but this keeps it simple and in practice I haven't needed more than two
 191     foreach my $rname (@report_names) {
 192         my %report0;
 193         my %report1;
 194         my $check_tables0;
 195         my $check_tables1;
 196
 197         if ($debug_flag == 1) {print "\nchecking for $rname ... ";}
 198         %report0 = find_report($dom,$t,$rname,'0',$debug_flag);
 199         $check_tables0 = check_table($report0{query},$MIGSCHEMA,$debug_flag,$rname);
 200         if ($check_tables0 == 1) {
 201            $r =  print_query($fh,%report0);
 202         } else {
 203         %report1 = find_report($dom,$t,$rname,'1',$debug_flag);
 204         if (defined $report1{query}) {
 205             $check_tables1 = check_table($report1{query},$MIGSCHEMA,$debug_flag,$rname);
 206             if ($check_tables1 == 1) {$r = print_query($fh,%report1);}
 207             }
 208         }
 209     }
 210 }
 211
 212 print "\n";
 213 close $fh;
 214
 215 ############ end of main logic
 216
 217 sub find_report {
 218     my $dom = shift;
 219     my $tag = shift;
 220     my $name = shift;
 221     my $iteration = shift;
 222     my $debug_flag = shift;
 223     my %report;
 224
 225     if ($debug_flag == 1) {print "iteration $iteration ";}
 226     foreach my $node ($dom->findnodes('//report')) {
 227         if ($node->findvalue('./tag') =~ $tag and $node->findvalue('./iteration') eq $iteration and $node->findvalue('./name') eq $name) {
 228             if ($debug_flag == 1) {print "succeeded ... \n";}
 229             %report = (
 230                 name => $node->findvalue('./name'),
 231                 report_title => $node->findvalue('./report_title'),
 232                 query => $node->findvalue('./query'),
 233                 heading => $node->findvalue('./heading'),
 234                 tag => $node->findvalue('./tag'),
 235                 iteration => $node->findvalue('./iteration'),
 236                 note => $node->findvalue('./note'),
 237             );
 238             return %report;
 239         }
 240     }
 241     if ($debug_flag == 1) {print "failed ... \n";}
 242     return %report = (
 243         name => "eaten by grue"
 244     );
 245 }
 246
 247 sub print_section_header {
 248     my $t = shift;
 249     my $fh = shift;
 250     $t =~ s/_/ /g;
 251     #$t =~ s/(\w+)/\u$1/g;;
 252     print $fh "<<<\n";
 253     print $fh "== $t Reports\n";
 254 }
 255
 256 sub create_report_name {
 257     my $rt = shift;
 258     my @abbr = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
 259     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
 260     $year += 1900;
 261     my $date = $year . '_' . $abbr[$mon] . '_' . $mday;
 262     my $report_file = $rt . ' ' . $date . '.asciidoc';
 263     $report_file =~ s/ /_/g;
 264     return $report_file;
 265 }
 266
 267 sub write_title_page {
 268     my $rt = shift;
 269     my $fh = shift;
 270     my $a = shift;
 271
 272     my @abbr = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
 273     my $l = length($report_title);
 274     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
 275     $year += 1900;
 276     print $fh "= $rt\n";
 277     print $fh "$mday $abbr[$mon] $year\n";
 278     print $fh "$a\n";
 279     print $fh ":title-logo-image: image::eolilogosmall.png[pdfwidth=3in]\n";
 280     print $fh ":toc:\n";
 281     print $fh "\n";
 282 }
 283
 284 sub check_table {
 285     my $query = shift;
 286     my $MIGSCHEMA = shift;
 287     my $debug_flag = shift;
 288     my $report_name = shift;
 289
 290     if ($debug_flag == 1) {print "$query\n";}
 291
 292     my $i;
 293     my $return_flag = 1;
 294     my @qe = split(/ /,$query);
 295     $i = @qe;
 296     $i--;
 297     my @tables;
 298     while ($i > -1) {
 299         if ($qe[$i] eq 'FROM' or $qe[$i] eq 'JOIN') {
 300             my $q = $i + 1;
 301             if ($qe[$q] ne '(SELECT') {
 302                 push @tables, $qe[$q];
 303             }
 304         }
 305         $i--;
 306     }
 307     if ($debug_flag == 1) {print "checking tables ... ";}
 308
 309     $i = 0;
 310     foreach my $table (@tables) {
 311         my $sql;
 312         my $schema;
 313         if (index($table,'.') != -1) {
 314             $schema = (split /\./,$table)[0];
 315             $table = (split /\./,$table)[1];
 316         }
 317         $table = clean_query_string($table);
 318         if (defined $schema) {
 319             $schema = clean_query_string($schema);
 320             $sql = 'SELECT EXISTS (SELECT 1 FROM information_schema.tables WHERE table_schema = \'' . $schema . '\' AND table_name = \'' . $table . '\');';
 321         } else {
 322             $sql = 'SELECT EXISTS (SELECT 1 FROM information_schema.tables WHERE table_schema = \'' . $MIGSCHEMA . '\' AND table_name = \'' . $table . '\');';
 323         }
 324         my $sth = $dbh->prepare($sql);
 325         $sth->execute();
 326         while (my @row = $sth->fetchrow_array) {
 327             if ($row[0] eq '1') {
 328                     next;
 329                 } else {
 330                     $return_flag = 0;
 331                     if ($debug_flag == 1) {print "detecting $table failed...\n";}
 332                 }
 333             if ($row[0] eq '0') {$return_flag = 0;}
 334         }
 335     }
 336     if ($return_flag == 1 and $debug_flag == 1) {print "succeeded ...\n";}
 337     if ($return_flag == 0) {print "!!!!! a table failed the find test for report $report_name\n\n";}
 338     return $return_flag;
 339 }
 340
 341 sub clean_query_string {
 342     my $str = shift;
 343
 344     $str =~ s/(?!_)[[:punct:]]//g; #remove punct except underscores
 345     $str =~ s/\n//g;
 346     $str =~ s/\r//g;
 347     return $str;
 348 }
 349
 350 sub print_query {
 351     my $fh = shift;
 352     my %report = @_;
 353     my $query = $report{query};
 354     my $sth = $dbh->prepare($query);
 355     $sth->execute();
 356
 357     my $header_flag = 0;
 358
 359     while (my @row = $sth->fetchrow_array) {
 360             if ($header_flag == 0) {
 361                 print $fh "\n.*$report{report_title}*\n";
 362                 print $fh "|===\n";
 363                 my @h = split(/\./,$report{heading});
 364                 my $h_length = @h;
 365                 my $h_count = 1;
 366                 while ($h_count <= $h_length) {
 367                     print $fh "|$h[$h_count-1] ";
 368                     $h_count++;
 369                 }
 370                 print $fh "\n";
 371                 $header_flag = 1;
 372             }
 373             my $row_length = @row;
 374             my $r = 1;
 375             while ($r <= $row_length) {
 376                 if (! defined $row[$r-1] ) {
 377                     $row[$r-1] = 'none';
 378                 }
 379                 print $fh "|$row[$r-1] ";
 380                 $r++;
 381             }
 382             print $fh "\n";
 383         }
 384     if ($header_flag == 1) {
 385         print $fh "|===\n\n";
 386         print $fh $report{note};
 387         print $fh "\n\n";
 388     }
 389     print "successfully wrote output for $report{name}.\n\n";
 390 }
 391
 392 sub abort {
 393     my $msg = shift;
 394     print STDERR "$0: $msg", "\n";
 395     exit 1;
 396 }
 397
 398