mig-bin/mig-reporter

   1 #!/usr/bin/perl
   2
   3 use strict;
   4 use warnings;
   5
   6 use DBI;
   7 use Data::Dumper;
   8 use XML::LibXML;
   9 use Env qw(
  10     HOME PGHOST PGPORT PGUSER PGDATABASE MIGSCHEMA
  11     MIGBASEWORKDIR MIGBASEGITDIR MIGGITDIR MIGWORKDIR
  12 );
  13 use Pod::Usage;
  14 use Switch;
  15 use Cwd 'abs_path';
  16 use FindBin;
  17 my $mig_bin = "$FindBin::Bin/";
  18 use lib "$FindBin::Bin/";
  19 use Mig;
  20 use open ':encoding(utf8)';
  21
  22 pod2usage(-verbose => 2) if defined $ARGV[0] && $ARGV[0] eq '--help';
  23
  24 my $analyst;
  25 my $next_arg_is_analyst;
  26 my $report_title;
  27 my $next_arg_is_report_title;
  28 my $reports_xml;
  29 my $next_arg_is_reports_xml;
  30 my $tags;
  31 my $next_arg_is_tags;
  32 my $added_page_title;
  33 my $next_arg_is_added_page_title;
  34 my $added_page_file;
  35 my $next_arg_is_added_page_file;
  36 my $i = 0;
  37 my $parser = XML::LibXML->new();
  38 my $lines_per_page = 42;
  39
  40 foreach my $arg (@ARGV) {
  41     if ($arg eq '--report_title') {
  42         $next_arg_is_report_title = 1;
  43         next;
  44     }
  45     if ($next_arg_is_report_title) {
  46         $report_title = $arg;
  47         $next_arg_is_report_title = 0;
  48         next;
  49     }
  50     if ($arg eq '--analyst') {
  51         $next_arg_is_analyst = 1;
  52         next;
  53     }
  54     if ($next_arg_is_analyst) {
  55         $analyst = $arg;
  56         $next_arg_is_analyst = 0;
  57         next;
  58     }
  59     if ($arg eq '--reports_xml') {
  60         $next_arg_is_reports_xml = 1;
  61         next;
  62     }
  63     if ($next_arg_is_reports_xml) {
  64         $reports_xml = $arg;
  65         $next_arg_is_reports_xml = 0;
  66         next;
  67     }
  68     if ($arg eq '--tags') {
  69         $next_arg_is_tags = 1;
  70         next;
  71     }
  72     if ($next_arg_is_tags) {
  73         $tags = $arg;
  74         $next_arg_is_tags = 0;
  75         next;
  76     }
  77     if ($arg eq '--added_page_title') {
  78         $next_arg_is_added_page_title = 1;
  79         next;
  80     }
  81     if ($next_arg_is_added_page_title) {
  82         $added_page_title = $arg;
  83         $next_arg_is_added_page_title = 0;
  84         next;
  85     }
  86     if ($arg eq '--added_page_file') {
  87         $next_arg_is_added_page_file = 1;
  88         next;
  89     }
  90     if ($next_arg_is_added_page_file) {
  91         $added_page_file = $arg;
  92         $next_arg_is_added_page_file = 0;
  93         next;
  94     }
  95 }
  96
  97 if (!defined $tags) {$tags = 'circs.holds.actors.bibs.assets.money'};
  98 if (!defined $analyst) { abort('--analyst must be supplied'); }
  99 if (!defined $report_title) { abort('--report_title must be supplied'); }
 100
 101 my $mig_path = abs_path($0);
 102 $mig_path =~ s|[^/]+$||;
 103 if (!defined $reports_xml) { $reports_xml = $mig_path . '../mig-xml/evergreen_staged_report.xml'; }
 104     else { $reports_xml = $mig_path . '/../mig-xml/' . $reports_xml; }
 105 my $dom = $parser->parse_file($reports_xml);
 106
 107 if (defined $added_page_file or defined $added_page_title) {
 108     abort('must specify --added_page_file and --added_page_title') unless defined $added_page_file and defined $added_page_title;
 109     }
 110 if (defined $added_page_file) { $added_page_file = $MIGGITDIR . $added_page_file; }
 111
 112 my $dbh = Mig::db_connect();
 113 my $report_file = create_report_name($report_title);
 114 $report_file = $MIGGITDIR . $report_file;
 115
 116 open(my $fh, '>', $report_file) or abort("Could not open output file!");
 117
 118 write_title_page($report_title,$fh,$analyst);
 119
 120 if (defined $added_page_file and defined $added_page_title) {
 121     print $fh "<<<\n";
 122     print $fh "== $added_page_title\n";
 123     print "$added_page_file\t$added_page_title\n";
 124     open(my $an,'<:encoding(UTF-8)', $added_page_file) or abort("Could not open $added_page_file!");
 125     while ( my $line = <$an> ) {
 126         print $fh $line;
 127     }
 128     print $fh "\n";
 129     close $an;
 130 }
 131
 132 foreach my $func ($dom->findnodes('//function')) {
 133     my $fdrop = $func->findvalue('./drop');
 134     my $fcreate = $func->findvalue('./create');
 135     my $fname = $func->findvalue('./name');
 136     my $sdrop = $dbh->prepare($fdrop);
 137     my $screate = $dbh->prepare($fcreate);
 138     print "dropping function $fname ... ";
 139     $sdrop->execute();
 140     print "creating function $fname\n\n";
 141     $screate->execute();
 142 }
 143
 144 $tags = lc($tags);
 145 my @report_tags = split(/\./,$tags);
 146 foreach my $t (@report_tags) {
 147     print "\n\n=========== Starting to process tag $t\n";
 148     print   "==========================================\n";
 149
 150     my @asset_files;
 151     foreach my $asset ($dom->findnodes('//asset')) {
 152         if (index($asset->findvalue('./tag'),$t) != -1) {
 153             push @asset_files, $asset->findvalue('./file');
 154         }
 155     }
 156
 157     foreach my $fname (@asset_files) {
 158         my $asset_path = $mig_path . '../mig-asc/' . $fname;
 159         open my $a, $asset_path or abort("Could not open $fname.");
 160         while ( my $l = <$a> ) {
 161             print $fh $l;
 162         }
 163     print $fh "<<<\n";
 164     }
 165
 166     print_section_header(ucfirst($t),$fh);
 167     my $linecount = $lines_per_page;
 168     my $r;
 169
 170     my @asset_files;
 171     foreach my $asset ($dom->findnodes('//asset')) {
 172         if (index($asset->findvalue('./tag'),$t) != -1) {
 173             push @asset_files, $asset->findvalue('./file');
 174         }
 175     }
 176
 177     my @report_names;
 178     foreach my $report ($dom->findnodes('//report')) {
 179         if (index($report->findvalue('./tag'),$t) != -1 and $report->findvalue('./iteration') eq '0') {
 180             push @report_names, $report->findvalue('./name');
 181         }
 182     }
 183
 184     #only has one level of failover now but could change to array of hashes and loops
 185     #but this keeps it simple and in practice I haven't needed more than two
 186     foreach my $rname (@report_names) {
 187         my %report0;
 188         my %report1;
 189         my $check_tables0;
 190         my $check_tables1;
 191
 192         print "\nchecking for $rname ... ";
 193         %report0 = find_report($dom,$t,$rname,'0');
 194         $check_tables0 = check_table($report0{query},$MIGSCHEMA);
 195         if ($check_tables0 == 1) {
 196            $r =  print_query($fh,%report0);
 197         } else {
 198         %report1 = find_report($dom,$t,$rname,'1');
 199         if (defined $report1{query}) {
 200             $check_tables1 = check_table($report1{query},$MIGSCHEMA);
 201             if ($check_tables1 == 1) {$r = print_query($fh,%report1);}
 202             }
 203         }
 204     }
 205 }
 206
 207 print "\n";
 208 close $fh;
 209
 210 ############ end of main logic
 211
 212 sub find_report {
 213     my $dom = shift;
 214     my $tag = shift;
 215     my $name = shift;
 216     my $iteration = shift;
 217     my %report;
 218
 219     print "iteration $iteration ";
 220     foreach my $node ($dom->findnodes('//report')) {
 221         if ($node->findvalue('./tag') =~ $tag and $node->findvalue('./iteration') eq $iteration and $node->findvalue('./name') eq $name) {
 222             print "succeeded ... \n";
 223             %report = (
 224                 name => $node->findvalue('./name'),
 225                 report_title => $node->findvalue('./report_title'),
 226                 query => $node->findvalue('./query'),
 227                 heading => $node->findvalue('./heading'),
 228                 tag => $node->findvalue('./tag'),
 229                 iteration => $node->findvalue('./iteration'),
 230                 note => $node->findvalue('./note'),
 231             );
 232             return %report;
 233         }
 234     }
 235     print "failed ... \n";
 236     return %report = (
 237         name => "eaten by grue"
 238     );
 239 }
 240
 241 sub print_section_header {
 242     my $t = shift;
 243     my $fh = shift;
 244     $t =~ s/_/ /g;
 245     #$t =~ s/(\w+)/\u$1/g;;
 246     print $fh "<<<\n";
 247     print $fh "== $t Reports\n";
 248 }
 249
 250 sub create_report_name {
 251     my $rt = shift;
 252     my @abbr = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
 253     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
 254     $year += 1900;
 255     my $date = $year . '_' . $abbr[$mon] . '_' . $mday;
 256     my $report_file = $rt . ' ' . $date . '.asciidoc';
 257     $report_file =~ s/ /_/g;
 258     return $report_file;
 259 }
 260
 261 sub write_title_page {
 262     my $rt = shift;
 263     my $fh = shift;
 264     my $a = shift;
 265
 266     my @abbr = qw(Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec);
 267     my $l = length($report_title);
 268     my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime(time);
 269     $year += 1900;
 270     print $fh "= $rt\n";
 271     print $fh "$mday $abbr[$mon] $year\n";
 272     print $fh "$a\n";
 273     print $fh ":title-logo-image: image::eolilogosmall.png[pdfwidth=3in]\n";
 274     print $fh ":toc:\n";
 275     print $fh "\n";
 276 }
 277
 278 sub check_table {
 279     my $query = shift;
 280     my $MIGSCHEMA = shift;
 281
 282     print "$query\n";
 283
 284     my $i;
 285     my $return_flag = 1;
 286     my @qe = split(/ /,$query);
 287     $i = @qe;
 288     $i--;
 289     my @tables;
 290     while ($i > -1) {
 291         if ($qe[$i] eq 'FROM' or $qe[$i] eq 'JOIN') {
 292             my $q = $i + 1;
 293             if ($qe[$q] ne '(SELECT') {
 294                 push @tables, $qe[$q];
 295             }
 296         }
 297         $i--;
 298     }
 299     print "checking tables ... ";
 300
 301     $i = 0;
 302     foreach my $table (@tables) {
 303         my $sql;
 304         my $schema;
 305         if (index($table,'.') != -1) {
 306             $schema = (split /\./,$table)[0];
 307             $table = (split /\./,$table)[1];
 308         }
 309         $table = clean_query_string($table);
 310         if (defined $schema) {
 311             $schema = clean_query_string($schema);
 312             $sql = 'SELECT EXISTS (SELECT 1 FROM information_schema.tables WHERE table_schema = \'' . $schema . '\' AND table_name = \'' . $table . '\');';
 313         } else {
 314             $sql = 'SELECT EXISTS (SELECT 1 FROM information_schema.tables WHERE table_schema = \'' . $MIGSCHEMA . '\' AND table_name = \'' . $table . '\');';
 315         }
 316         my $sth = $dbh->prepare($sql);
 317         $sth->execute();
 318         while (my @row = $sth->fetchrow_array) {
 319             if ($row[0] eq '1') {
 320                     next;
 321                 } else {
 322                     $return_flag = 0;
 323                     print "detecting $table failed...\n";
 324                 }
 325             if ($row[0] eq '0') {$return_flag = 0;}
 326         }
 327     }
 328     if ($return_flag == 1) {print "succeeded ...\n";}
 329     return $return_flag;
 330 }
 331
 332 sub clean_query_string {
 333     my $str = shift;
 334
 335     $str =~ s/(?!_)[[:punct:]]//g; #remove punct except underscores
 336     $str =~ s/\n//g;
 337     $str =~ s/\r//g;
 338     return $str;
 339 }
 340
 341 sub print_query {
 342     my $fh = shift;
 343     my %report = @_;
 344     my $query = $report{query};
 345     print "$query\n";
 346     my $sth = $dbh->prepare($query);
 347     $sth->execute();
 348
 349     my $header_flag = 0;
 350
 351     while (my @row = $sth->fetchrow_array) {
 352             if ($header_flag == 0) {
 353                 print $fh "\n.*$report{report_title}*\n";
 354                 print $fh "|===\n";
 355                 my @h = split(/\./,$report{heading});
 356                 my $h_length = @h;
 357                 my $h_count = 1;
 358                 while ($h_count <= $h_length) {
 359                     print $fh "|$h[$h_count-1] ";
 360                     $h_count++;
 361                 }
 362                 print $fh "\n";
 363                 $header_flag = 1;
 364             }
 365             my $row_length = @row;
 366             my $r = 1;
 367             while ($r <= $row_length) {
 368                 if (! defined $row[$r-1] ) {
 369                     $row[$r-1] = 'none';
 370                 }
 371                 print $fh "|$row[$r-1] ";
 372                 $r++;
 373             }
 374             print $fh "\n";
 375         }
 376     if ($header_flag == 1) {
 377         print $fh "|===\n\n";
 378         print $fh $report{note};
 379         print $fh "\n\n";
 380     }
 381     print "successfully wrote output for $report{name}.\n\n";
 382 }
 383
 384 sub abort {
 385     my $msg = shift;
 386     print STDERR "$0: $msg", "\n";
 387     exit 1;
 388 }
 389
 390