tweak for case when just last name

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.name_parse_out_last_first_middle_and_random_affix for LAST FIRST MIDDLE with no comma

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.find_hold_matrix_matchpoint2

another convenience function

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

remove config fig.circ_matrix_circ_mod_test

and _map from the list of base tables so that .build() will work with newer
versions of EG

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

more money converters

migration_tools.attempt_money_from_pennies
and migration_tools.attempt_money_from_pennies6

Avoids dividing by 100 when doing the conversion

2nd argument, the fail value, should not be pennies

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

duplicate_template_but_change_delay

Let's us get around duplicate key issues in some cases by tweaking the delay as
part of the cloning process.

Example:

    ubuntudeskfx=# SELECT * FROM migration_tools.duplicate_template(5,'{3,4}','00:30:00'::INTERVAL);

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Minor typo fix in export_evergreen_library

Signed-off-by: Mike Rylander <mrylander@gmail.com>

tweak migration_tools.insert_856_9

rename original to migration_tools.insert_856_9_conditional, since it has
behavior based on 856$u content.  New version simply adds a $9 if one does
not already exist (regardless of org unit referenced)

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

handle dates like 051980

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add some in-db matchpoint tables, for potential ease of staging policy rules

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

convenience wrappers for finding in-db rules

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

make migration_tools.apply_circ_matrix_to_specific_circ use the more recent apply_circ_matrix code

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add a delimiter paramater, and a variant that returns an array of tags

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

.get_marc_tag

Useful since you can't get unnormalized values out of metabib.full_rec

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Merge branch 'master' of git.esilibrary.com:migration-tools

migration_tools.apply_circ_matrix_to_specific_circ

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

proc to clone a/t event definitions

ubuntudeskfx=# SELECT * FROM migration_tools.duplicate_template(5,'{3,4}');
INFO:  created atevdef with id = 112
INFO:  created atevdef with id = 113
INFO:  -- UPDATE action_trigger.event_definition SET active = CASE WHEN id = 5 THEN FALSE ELSE TRUE END WHERE id in (5,112,113);
 duplicate_template
--------------------

(1 row)

ubuntudeskfx=# UPDATE action_trigger.event_definition SET active = CASE WHEN id = 5 THEN FALSE ELSE TRUE END WHERE id in (5,112,113);
UPDATE 3

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

example script showing how to use 'fingerprinter' to deduplicate bib records

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

let's strip commas as well with attempt_money

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

an attempt_money method for a smaller numeric, given what we use for billings and payments

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

let migration_tools.attempt_money strip dollar signs for us

include affixes with _callnum_label_once_per_lib index

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add tables for call number affixes

add routine to calculate Code 39 mod 43 barcode checkdigits

migration_tools.add_code39mod43_checkdigit($barcode);
If the source string is 13 or 14 characters long and contains only valid
Code 39 mod 43 characters, adds or replaces the 14th
character with a checkdigit computed according to the usual algorithm for library barcodes
using the Code 39 mod 43 symbology - see <http://en.wikipedia.org/wiki/Code_39#Code_39_mod_43>.  If the
input string does not meet those requirements, it is returned unchanged.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Simple script to export records belonging to a specific Evergreen OU and its descendents.

Usage: export_evergreen_library shortname scratch_dir output_dir db_conn_params

For example:

$ mkdir inter out
$ ./export_evergreen_library SYS1 inter out '-U evergreen'

The script emits MARC bibs, undeleted patrons, all items for the OU, all loans
for the OU's patrons and items, current hold requests, and patron billings.

The script expects to be run on a box that can access the Evergreen database
via psql and an OpenSRF stack.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix construct that doesn't work in Perl 5.10

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve tool for cleaning up merge maps

The map cleaner/merger now correctly handles
cases where a given subordinate bib has a lead
bib that itself has a different lead bib.  It
also excludes cyclical loops in the merge map.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make the fingerprinter normalize OCLC control numbers

Various ways of representing the same control number
are now normalized to "(OCoLC)" followed by the numeric
portion of the control number.

This patch also introduces a new module, Equinox::Migration::Utils,
which is meant for miscellaneous utility routines.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

enhancements to patron/circ purge

- add a couple notes and instructions
- add a couple more tables to clear out
- use TRUNCATE where possible

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improvements to bib nuking script

- truncate a few tables that don't have explicit FK
  links to bibs or copies
- nuke authority records
- inform the sysadmin of the next steps to take to
  complete the purge

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: add support for MARC8

The dumper now groks --source-charset marc8

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

New tool: dump_oracle_query_output

Dumps results of query on Oracle database to file for loading into PostgreSQL

Usage: ./dump_oracle_query_output \
    [--sid oracle_sid] [--host oracle_host] --user oracle_user --pw oracle_password \
    --query sql_query \
    --out output_tsv_file [--help]

This exists because sqlplus lacks an easy way to dump arbitrary
query output to TSV or CSV.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: try to ensure dump output is UTF-8

Adds a --source-charset command-line parameter to specify
the source character encoding.  Note that CLOB/BLOB columns
are not considered (not that they were before this commit).

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

dump_oracle_table_for_pg: recognize CHAR columns

Also don't complain if integer columns don't specify
a scale.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

when parsing state from city, anchor pattern on right

This avoids "ANCHOR POINT AK" from becoming {"ANCHORINT", "AK"}

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

map Oracle NUMBER columns to correct Pg type

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new utility: dump_oracle_table_for_pg

This utility dumps the contents of an Oracle table
to file for loading into PostgreSQL.

Usage: dump_oracle_table_for_pg \
    [--sid oracle_sid] [--host oracle_host] --user oracle_user --pw oracle_password \
    --table oracle_table_name \
    --pg-table destination_pg_table_name \
    --out output_tsv_file --sql output_table_create_sql_file \
    [--column-prefix column_prefix] [--inherits-from base_pg_table] [--help]

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

rework attempt_cast function

This function now returns the original value if it can
be cast to the desired type, and NULL otherwise.  For example:

UPDATE foo
SET price = migration_tools.attempt_cast(l_price, 'NUMERIC(8,2)')::NUMERIC(8,2);

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_parses() test

If the Leader/09 is not 'a' and the record has diacritics,
MARC::Record and friends don't complain until you try to
emit a MARCXML record.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

start work on a function for creating staff users in bulk

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new function to set indicators in MARC fields

migration_tools.set_leader(marc, tag, indicator_pos, value):

Set indicator value of a specified MARC field.
The first argument is a MARCXML string.
The second argument is a MARC tag.
The third argument is the indicator position, either 1 or 2.
The fourth argument is the character to set the indicator value to.
All occurences of the specified field will be changed.
The function returns the revised MARCXML string.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

create base staging tables for acquisitions

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

teach migration_tools.change_call_number() about label classes

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Merge branch 'master' of git.esilibrary.com:migration-tools

remove last trace of vestigial bib modifier

This modifier was removed in commit 8e63d0bdd; this commit
just removes the last reference.  Thanks to Justin Hopkins
for spotting this.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

switch from action.find_circ_matrix_matchpoint to action.item_user_circ_test

new function - migration_tools.make_stub_bib()

Simple function to create a stub MARCXML bib from a set of columns.
The first argument is an array of tag/subfield specifiers, e.g., ARRAY['001', '245a', '500a'].
The second argument is an array of text containing the values to plugin into each field.
If the value for a given field is NULL or the empty string, it is not inserted.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add author to 'edition' fingerprint

Title and edition alone aren't sufficient; for example,
Meg Cabot and Stephanie Meyer both published the first
edition of books called Twilight in 2005.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add actor.usr_standing_penalty to default production list

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

for logging of field-level merges, look for record ID in both 901 and 903

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

clean up a bit of noise

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make --reverse option work

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add --reverse option to extract_loadset

When supplied, output will contain the subordinate bibs
rather than the lead bibs.  This can be useful for getting
the subordinate bibs in a separate file for field-level
merging.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add new parallel field modifier to extract_holdings

Some systems embed holdings data in pairs of fields with different tags.

For example, given a record like this:

852 $h235.45 ABC$p12345
852 $h456.79 DEF$p78990
961 $t2
961 $t3

and a mapping file using the parallel modifier:

call    852 h
barcode 852 p
mattype 961 t   m:parallel

extract_holdings will extract two item records:

l_call           l_barcode    l_mattype
--------------   ----------   ---------
245.45 ABC       12345        2
456.79 DEF       78990        3

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

simple function to merge fields from one MARCXML record into another

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

another typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add pgt to config import/export

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix typo

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add config import/export logic to add new rows for config.rule_*

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add a couple more tables to the config export

Note: import will not correctly handle any prefixes/suffixes
assigned to copy locations unless IDs happen to be in sync

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add the corresponding simple library config import function

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add another table to the configuration export

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

start working on functions to export and import library configuration

This export function is starting out both limited and simple; among
other things it assumes that the OU IDs will be the same between
the source and target databases.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

trim excessive trailing whitespace from subfield contents

If a subfield has too much (arbitrarily defined as at least 10)
of trailing whitespace, trim the whitespace.  This works around
a problem applying certain stylesheets (like the MARCXML-to-MODS
stylesheet) that use a recursive XSLT function to trim whitespace.

Note that only "excessive" whitespace is trimmed; some systems
emit subfields that contain semantically significant trailing
whitespace in certain fields.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

don't crash if record is dumped because it's missing its -ot

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

also set grace period when applying circ policies

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix error message displayed if exception file cannot be opened

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

quiet a couple warnings

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

utility script to prepare a file of MARCXML records for fingerprinter

Given a two-column tab-delimited text file contain bib IDs and MARCXML, produces
a MARCXML file with the bib IDs in 903 fields.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_cleanup's parsing of MARCXML files

In particular, ones produced by use of MARC::File::XML->as_xml_record(),
which inserts namespace attributes in the record element.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

use PL/PerlU rather than PL/Perl

The trusted version of PL/Perl is not enabled by
default if you follow the installation instructions
for recent versions of Evergreen.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

simple stored function to check parseability of MARCXML blobs

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Very rough tool to help parse serctl.data from a Symphony export

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

add more copyright and license statements

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Add a header line to explain the fields

git-svn-id: svn://nox.esilibrary.com/migration-tools@734 eee7cc8d-164e-4af6-8e1b-092a69004917

Some city/state data has no comma

git-svn-id: svn://nox.esilibrary.com/migration-tools@725 eee7cc8d-164e-4af6-8e1b-092a69004917

Now with address line2!

git-svn-id: svn://nox.esilibrary.com/migration-tools@711 eee7cc8d-164e-4af6-8e1b-092a69004917

Better parsing of city/state

git-svn-id: svn://nox.esilibrary.com/migration-tools@703 eee7cc8d-164e-4af6-8e1b-092a69004917

Don't clobber user_category1 and user_category2

git-svn-id: svn://nox.esilibrary.com/migration-tools@702 eee7cc8d-164e-4af6-8e1b-092a69004917

Now extracting .COUNTY. fields from addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@700 eee7cc8d-164e-4af6-8e1b-092a69004917

Reinserting a missing space that was causing trouble

git-svn-id: svn://nox.esilibrary.com/migration-tools@698 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that improperly parsed 'III' as a suffix.

git-svn-id: svn://nox.esilibrary.com/migration-tools@694 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that could prevent name parsing in some cases.

If the name includes an undotted abbreviation (Mrs, Jr) immediately followed by a comma,
the previous version was removing the comma, which got in the way of parsing that name.

git-svn-id: svn://nox.esilibrary.com/migration-tools@693 eee7cc8d-164e-4af6-8e1b-092a69004917

First working draft of analyze_zips.sql

git-svn-id: svn://nox.esilibrary.com/migration-tools@653 eee7cc8d-164e-4af6-8e1b-092a69004917

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917

Minor fix to a comment line

git-svn-id: svn://nox.esilibrary.com/migration-tools@637 eee7cc8d-164e-4af6-8e1b-092a69004917

New script to extract lost items from users.data, when present

git-svn-id: svn://nox.esilibrary.com/migration-tools@636 eee7cc8d-164e-4af6-8e1b-092a69004917

Correctly parsing Unicorn patron names and addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@635 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn charge.data to TSV parser

git-svn-id: svn://nox.esilibrary.com/migration-tools@634 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn bill parser finished

git-svn-id: svn://nox.esilibrary.com/migration-tools@633 eee7cc8d-164e-4af6-8e1b-092a69004917

Unfinished draft of Unicorn bill converter

git-svn-id: svn://nox.esilibrary.com/migration-tools@632 eee7cc8d-164e-4af6-8e1b-092a69004917

Utter pedantry? Perhaps, but misleading comments are bugs too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@630 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft mark two (with syntax errors fixed)

git-svn-id: svn://nox.esilibrary.com/migration-tools@628 eee7cc8d-164e-4af6-8e1b-092a69004917

First finished draft of new unicorn_patrons_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@627 eee7cc8d-164e-4af6-8e1b-092a69004917

Finished the bit that processes the records. Next up: actual output.

git-svn-id: svn://nox.esilibrary.com/migration-tools@626 eee7cc8d-164e-4af6-8e1b-092a69004917

Reforking unicorn importer; this is an unfinished version of a patron importer

git-svn-id: svn://nox.esilibrary.com/migration-tools@624 eee7cc8d-164e-4af6-8e1b-092a69004917

Cleaning up older copy of unicorn_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@623 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn TSV-maker can now handle bill.data and charge.data too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@621 eee7cc8d-164e-4af6-8e1b-092a69004917