rework attempt_cast function

This function now returns the original value if it can
be cast to the desired type, and NULL otherwise.  For example:

UPDATE foo
SET price = migration_tools.attempt_cast(l_price, 'NUMERIC(8,2)')::NUMERIC(8,2);

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_parses() test

If the Leader/09 is not 'a' and the record has diacritics,
MARC::Record and friends don't complain until you try to
emit a MARCXML record.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

start work on a function for creating staff users in bulk

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

new function to set indicators in MARC fields

migration_tools.set_leader(marc, tag, indicator_pos, value):

Set indicator value of a specified MARC field.
The first argument is a MARCXML string.
The second argument is a MARC tag.
The third argument is the indicator position, either 1 or 2.
The fourth argument is the character to set the indicator value to.
All occurences of the specified field will be changed.
The function returns the revised MARCXML string.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

create base staging tables for acquisitions

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

teach migration_tools.change_call_number() about label classes

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Merge branch 'master' of git.esilibrary.com:migration-tools

remove last trace of vestigial bib modifier

This modifier was removed in commit 8e63d0bdd; this commit
just removes the last reference.  Thanks to Justin Hopkins
for spotting this.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

switch from action.find_circ_matrix_matchpoint to action.item_user_circ_test

new function - migration_tools.make_stub_bib()

Simple function to create a stub MARCXML bib from a set of columns.
The first argument is an array of tag/subfield specifiers, e.g., ARRAY['001', '245a', '500a'].
The second argument is an array of text containing the values to plugin into each field.
If the value for a given field is NULL or the empty string, it is not inserted.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add author to 'edition' fingerprint

Title and edition alone aren't sufficient; for example,
Meg Cabot and Stephanie Meyer both published the first
edition of books called Twilight in 2005.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add actor.usr_standing_penalty to default production list

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

for logging of field-level merges, look for record ID in both 901 and 903

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

clean up a bit of noise

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make --reverse option work

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add --reverse option to extract_loadset

When supplied, output will contain the subordinate bibs
rather than the lead bibs.  This can be useful for getting
the subordinate bibs in a separate file for field-level
merging.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add new parallel field modifier to extract_holdings

Some systems embed holdings data in pairs of fields with different tags.

For example, given a record like this:

852 $h235.45 ABC$p12345
852 $h456.79 DEF$p78990
961 $t2
961 $t3

and a mapping file using the parallel modifier:

call    852 h
barcode 852 p
mattype 961 t   m:parallel

extract_holdings will extract two item records:

l_call           l_barcode    l_mattype
--------------   ----------   ---------
245.45 ABC       12345        2
456.79 DEF       78990        3

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

simple function to merge fields from one MARCXML record into another

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

another typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add pgt to config import/export

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix typo

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add config import/export logic to add new rows for config.rule_*

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add a couple more tables to the config export

Note: import will not correctly handle any prefixes/suffixes
assigned to copy locations unless IDs happen to be in sync

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add the corresponding simple library config import function

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add another table to the configuration export

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

start working on functions to export and import library configuration

This export function is starting out both limited and simple; among
other things it assumes that the OU IDs will be the same between
the source and target databases.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

trim excessive trailing whitespace from subfield contents

If a subfield has too much (arbitrarily defined as at least 10)
of trailing whitespace, trim the whitespace.  This works around
a problem applying certain stylesheets (like the MARCXML-to-MODS
stylesheet) that use a recursive XSLT function to trim whitespace.

Note that only "excessive" whitespace is trimmed; some systems
emit subfields that contain semantically significant trailing
whitespace in certain fields.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

don't crash if record is dumped because it's missing its -ot

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

also set grace period when applying circ policies

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

fix error message displayed if exception file cannot be opened

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

quiet a couple warnings

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

utility script to prepare a file of MARCXML records for fingerprinter

Given a two-column tab-delimited text file contain bib IDs and MARCXML, produces
a MARCXML file with the bib IDs in 903 fields.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_cleanup's parsing of MARCXML files

In particular, ones produced by use of MARC::File::XML->as_xml_record(),
which inserts namespace attributes in the record element.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

use PL/PerlU rather than PL/Perl

The trusted version of PL/Perl is not enabled by
default if you follow the installation instructions
for recent versions of Evergreen.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

simple stored function to check parseability of MARCXML blobs

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Very rough tool to help parse serctl.data from a Symphony export

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

add more copyright and license statements

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Add a header line to explain the fields

git-svn-id: svn://nox.esilibrary.com/migration-tools@734 eee7cc8d-164e-4af6-8e1b-092a69004917

Some city/state data has no comma

git-svn-id: svn://nox.esilibrary.com/migration-tools@725 eee7cc8d-164e-4af6-8e1b-092a69004917

Now with address line2!

git-svn-id: svn://nox.esilibrary.com/migration-tools@711 eee7cc8d-164e-4af6-8e1b-092a69004917

Better parsing of city/state

git-svn-id: svn://nox.esilibrary.com/migration-tools@703 eee7cc8d-164e-4af6-8e1b-092a69004917

Don't clobber user_category1 and user_category2

git-svn-id: svn://nox.esilibrary.com/migration-tools@702 eee7cc8d-164e-4af6-8e1b-092a69004917

Now extracting .COUNTY. fields from addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@700 eee7cc8d-164e-4af6-8e1b-092a69004917

Reinserting a missing space that was causing trouble

git-svn-id: svn://nox.esilibrary.com/migration-tools@698 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that improperly parsed 'III' as a suffix.

git-svn-id: svn://nox.esilibrary.com/migration-tools@694 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that could prevent name parsing in some cases.

If the name includes an undotted abbreviation (Mrs, Jr) immediately followed by a comma,
the previous version was removing the comma, which got in the way of parsing that name.

git-svn-id: svn://nox.esilibrary.com/migration-tools@693 eee7cc8d-164e-4af6-8e1b-092a69004917

First working draft of analyze_zips.sql

git-svn-id: svn://nox.esilibrary.com/migration-tools@653 eee7cc8d-164e-4af6-8e1b-092a69004917

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917

Minor fix to a comment line

git-svn-id: svn://nox.esilibrary.com/migration-tools@637 eee7cc8d-164e-4af6-8e1b-092a69004917

New script to extract lost items from users.data, when present

git-svn-id: svn://nox.esilibrary.com/migration-tools@636 eee7cc8d-164e-4af6-8e1b-092a69004917

Correctly parsing Unicorn patron names and addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@635 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn charge.data to TSV parser

git-svn-id: svn://nox.esilibrary.com/migration-tools@634 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn bill parser finished

git-svn-id: svn://nox.esilibrary.com/migration-tools@633 eee7cc8d-164e-4af6-8e1b-092a69004917

Unfinished draft of Unicorn bill converter

git-svn-id: svn://nox.esilibrary.com/migration-tools@632 eee7cc8d-164e-4af6-8e1b-092a69004917

Utter pedantry? Perhaps, but misleading comments are bugs too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@630 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft mark two (with syntax errors fixed)

git-svn-id: svn://nox.esilibrary.com/migration-tools@628 eee7cc8d-164e-4af6-8e1b-092a69004917

First finished draft of new unicorn_patrons_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@627 eee7cc8d-164e-4af6-8e1b-092a69004917

Finished the bit that processes the records. Next up: actual output.

git-svn-id: svn://nox.esilibrary.com/migration-tools@626 eee7cc8d-164e-4af6-8e1b-092a69004917

Reforking unicorn importer; this is an unfinished version of a patron importer

git-svn-id: svn://nox.esilibrary.com/migration-tools@624 eee7cc8d-164e-4af6-8e1b-092a69004917

Cleaning up older copy of unicorn_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@623 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn TSV-maker can now handle bill.data and charge.data too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@621 eee7cc8d-164e-4af6-8e1b-092a69004917

change \r\n to \n if they occur

git-svn-id: svn://nox.esilibrary.com/migration-tools@617 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft of Unicorn patron-file converter. No known bugs, but memory linear (at least) with number of patrons.

git-svn-id: svn://nox.esilibrary.com/migration-tools@606 eee7cc8d-164e-4af6-8e1b-092a69004917

And this turns off all the STDERR verbosity. Sheesh; sorry.

git-svn-id: svn://nox.esilibrary.com/migration-tools@652 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

FORM=foo should not be ignored

git-svn-id: svn://nox.esilibrary.com/migration-tools@631 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

unicorn_to_tsv.pl has been generalized to use non-user-specific wording

git-svn-id: svn://nox.esilibrary.com/migration-tools@622 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add copyright statement and GPL2+ license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make cleanup_merge_map.pl executable

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

remove .csvignore

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Three variations on apply_circ_matrix: _before_20 spells it recuring instead of recurring, _after_20 uses the matchpoint structure, and the unmakred case (for now, at least) does neither.

Added ContentReserve to the list of providers in insert_856_9

This time for sure!

Now handles subfield codes A-Z in addition to a-z (this is strictly speaking not allowed in data, but it exists anyway)

Added two related functions for updating a copy's owning_lib, both called
migration_tools.change_owning_lib. The difference is that if you call it with
the arguments (BIGINT, TEXT), it will try to look it up as a shortname and
pass the resulting actor.org_unit ID to change_owning_lib(BIGINT, INTEGER).

Avoid collisions while refreshing OPAC visibility

Replaced TRUNCATE with DELETE FROM in migration_tools.create_cards

Replaced TRUNCATE with DELETE FROM

Horizon-specific functions, beginning with a date conversion routine

Added new helper utility:  migration_tools.refresh_opac_visible_copies

Avoiding collisions with existing permission groups and existing permissions

Improved check_ou_type

Added new function: check_ou_depth

insert_856_9: more accurate detection of incumbent subfield-9 data

Added migration_tools.zip_to_city_state_county

When Geonames has no data for a ZIP, use patron data even if --believegn

fix bug introduced in r739

When replacing named captures for Perl 5.8 compatibility,
need to make sure regex groups that shouldn't capture
are marked as such.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Added --believegn flag to believe Geonames over patron data where they conflict

Added --belivegn flag to believe Geonames over patron data where they conflict

Handle percents in apply_circ_matrix

Added attempt_timestamptz

Utilities to nuke data

Munging ind2 in insert_856_9

New utility. Give it city-state-zip data in tab-separated format and it will give you the winning city/state for each zip in the same format.

Script by Galen, used in dedupe/merge processing.

Avoiding error message about non-numeric comparison; reporting on tags that are not strictly numeric

Call attention to subfields appearing more than once within a single tag