migration_tools.name_parse_out_first_middle_last_comma_suffix
[migration-tools.git] / unicorn / unicorn_to_tsv.pl
1 #!/usr/bin/perl -w
2
3 # Copyright 2009-2012, Equinox Software, Inc.
4 #
5 # This program is free software; you can redistribute it and/or
6 # modify it under the terms of the GNU General Public License
7 # as published by the Free Software Foundation; either version 2
8 # of the License, or (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
18
19 # Converts a Unicorn users.data, bill.data, or charge.data file to a tab-separated file.
20 # 2009-08-10 Ben Ostrowsky <ben@esilibrary.com>
21
22 my @records;
23 my $serial = -1;
24 my $line = 0;
25 my $section = '';
26 my $field = '';
27 my %unique_fields;
28
29
30 # Load each record
31 while (<>) {
32     s/\r\n/\n/g;
33 # print STDERR "Loaded this line: " . $_;
34
35         # Is this the start of a new record?
36         if ( /^... DOCUMENT BOUNDARY ...$/ ) {
37                 $line = 0;
38                 $serial++;
39                 $section = ''; # just in case this didn't get reset in the previous record
40                 print STDERR "Processing record $serial.\n";
41                 next;
42         }
43
44         # Is this a FORM= line?
45         if ( /^FORM=(.*)/ ) {
46                 $records[$serial]{'l_form'} = $1;
47                 next;
48         }
49
50         # If this isn't the start of the new record, it's a new line in the present record.
51         $line++;
52
53         # Is this line the beginning of a block of data (typically an address or a note)?
54         if ( /^\.(.*?)_BEGIN.$/ ) {
55                 print STDERR "I think this might be the beginning of a beautiful " . $1 . ".\n";
56                 $section = "$1.";
57                 next;
58         }
59
60         # Is this line the beginning of a block of data (typically an address or a note)?
61         if ( /^\.(.*?)_END.$/ ) {
62                 if ("$1." ne $section) {
63                         print STDERR "Error in record $serial, line $line (input line $.): got an end-of-$1 but I thought I was in a $section block!\n";
64                 }
65                 print STDERR "It's been fun, guys, but... this is the end of the " . $1 . ".\n";
66                 $section = '';
67                 next;
68         }
69
70         # Looks like we've got some actual data!  Let's store it.
71         # FIXME: For large batches of data, we may run out of memory and should store this on disk.
72         if ( /^\.([A-Z0-9_\/]+?)\.\s+(\|a)?(.*)$/ ) {
73
74                 # Build the name of this field (taking note of whether we're in a named section of data)
75                 $field = '';
76                 if ($section ne '') { 
77                         $field .= $section;
78                 }
79                 $field .= $1;
80
81                 # Store the field as a key of an array.  If it already exists, oh well, now it still exists.
82                 $unique_fields{$field} = 1;
83
84                 # Now we can actually store this line of data!
85                 $records[$serial]{$field} = $3;         
86
87                 print STDERR "Data extracted: \$records[$serial]{'$field'} = '$3'\n";
88
89                 next;
90         }       
91
92         # This is the continuation of the previous line.
93         else {
94                 chomp($_);
95                 $records[$serial]{$field} .= ' ' . $_;
96                 print STDERR "Appended data to previous field. \$records[$serial]{'$field'} is now '" . $records[$serial]{$field} . "'.\n";
97         }
98
99 }
100
101 print STDERR "Loaded " . scalar(@records) . " records.\n";
102
103
104 # Print a header line
105 print "SERIAL\t";
106 @sorted_fields = sort keys %unique_fields;
107 foreach $i (@sorted_fields) {
108         print "$i\t";
109 }
110 print "\n";
111
112
113 # Print the results
114 for (my $u = 0; $u < @records; $u++) {
115         print "$u\t";   
116         foreach $f (@sorted_fields) {
117                 if (defined $records[$u]{$f}) {
118                         print $records[$u]{$f};
119                 }
120         print "\t";
121         }
122         print "\n";
123 }
124
125 print STDERR "Wrote " . scalar(@records) . " records.\n";
126 # uh-bdee-uh-bdee-uh-bdee-uh- THAT'S ALL, FOLKS