dump_oracle_query_output

   1 #!/usr/bin/perl
   2
   3 # Copyright 2013, Equinox Software, Inc.
   4
   5 # Author: Galen Charlton <gmc@esilibrary.com>
   6 #
   7 # This program is free software; you can redistribute it and/or
   8 # modify it under the terms of the GNU General Public License
   9 # as published by the Free Software Foundation; either version 2
  10 # of the License, or (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program; if not, write to the Free Software
  19 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  20
  21 use strict;
  22 use warnings;
  23
  24 use Carp;
  25 use DBI;
  26 use Getopt::Long;
  27 use Encode;
  28
  29 my $host = 'localhost';
  30 my $sid = $ENV{ORACLE_SID};
  31 my $user;
  32 my $pw;
  33 my $out;
  34 my $query,
  35 my $show_help;
  36 my $src_charset;
  37
  38 my $result = GetOptions(
  39     'sid=s'             => \$sid,
  40     'host=s'            => \$host,
  41     'user=s'            => \$user,
  42     'pw=s'              => \$pw,
  43     'out=s'             => \$out,
  44     'query=s'           => \$query,
  45     'source-charset=s'  => \$src_charset,
  46     'help'              => \$show_help,
  47 );
  48
  49 if ($show_help || !$result || !$out || !$query || !$user || !$pw) {
  50     print <<_USAGE_;
  51 $0: dump results of query on Oracle database to file for loading into PostgreSQL
  52
  53 Usage: $0 \\
  54     [--sid oracle_sid] [--host oracle_host] --user oracle_user --pw oracle_password \\
  55     --query sql_query \\
  56     --out output_tsv_file [--help]
  57
  58 _USAGE_
  59     exit 1;
  60 }
  61
  62 my $dbh = DBI->connect("dbi:Oracle:host=$host;sid=$sid", $user, $pw) or croak "Cannot connect to the database";
  63 $dbh->do("ALTER SESSION SET NLS_DATE_FORMAT='yyyy-mm-dd hh24:mi:ss'");
  64
  65 open my $outfh, '>', $out or croak "Cannot open output file $out: $!\n";
  66 binmode $outfh, ':raw';
  67
  68 dump_query_output($query, $outfh);
  69
  70 close $outfh;
  71
  72 exit 0;
  73
  74 sub dump_query_output {
  75     my $query = shift;
  76     my $fh = shift;
  77     my $sth = $dbh->prepare($query);
  78     $sth->execute();
  79     while (my $row = $sth->fetchrow_arrayref()) {
  80         my @data = map { normalize_value_for_tsv($_) } @$row;
  81         my $str = join("\t", @data);
  82         $str =~ s/\0//g;
  83         print $fh encode('utf8', "$str\n");
  84     }
  85     $sth->finish();
  86 }
  87
  88 sub normalize_value_for_tsv {
  89     my $val = shift;
  90     if (defined $val) {
  91         $val =~ s/\\/\\\\/g;
  92         $val =~ s/\0//g;     # FIXME: not dealing with BLOBs for now
  93         $val =~ s/[\b]/\\b/g;
  94         $val =~ s/\f/\\f/g;
  95         $val =~ s/\r/\\r/g;
  96         $val =~ s/\n/\\n/g;
  97         $val =~ s/\t/\\t/g;
  98         $val =~ s/\v/\\v/g;
  99         if ($src_charset) {
 100             return decode($src_charset, $val);
 101         } else {
 102             return $val;
 103         }
 104     } else {
 105         return '\N';
 106     }
 107 }