quiet a couple warnings

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

utility script to prepare a file of MARCXML records for fingerprinter

Given a two-column tab-delimited text file contain bib IDs and MARCXML, produces
a MARCXML file with the bib IDs in 903 fields.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

improve marc_cleanup's parsing of MARCXML files

In particular, ones produced by use of MARC::File::XML->as_xml_record(),
which inserts namespace attributes in the record element.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

use PL/PerlU rather than PL/Perl

The trusted version of PL/Perl is not enabled by
default if you follow the installation instructions
for recent versions of Evergreen.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

simple stored function to check parseability of MARCXML blobs

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Very rough tool to help parse serctl.data from a Symphony export

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

add more copyright and license statements

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Add a header line to explain the fields

git-svn-id: svn://nox.esilibrary.com/migration-tools@734 eee7cc8d-164e-4af6-8e1b-092a69004917

Some city/state data has no comma

git-svn-id: svn://nox.esilibrary.com/migration-tools@725 eee7cc8d-164e-4af6-8e1b-092a69004917

Now with address line2!

git-svn-id: svn://nox.esilibrary.com/migration-tools@711 eee7cc8d-164e-4af6-8e1b-092a69004917

Better parsing of city/state

git-svn-id: svn://nox.esilibrary.com/migration-tools@703 eee7cc8d-164e-4af6-8e1b-092a69004917

Don't clobber user_category1 and user_category2

git-svn-id: svn://nox.esilibrary.com/migration-tools@702 eee7cc8d-164e-4af6-8e1b-092a69004917

Now extracting .COUNTY. fields from addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@700 eee7cc8d-164e-4af6-8e1b-092a69004917

Reinserting a missing space that was causing trouble

git-svn-id: svn://nox.esilibrary.com/migration-tools@698 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that improperly parsed 'III' as a suffix.

git-svn-id: svn://nox.esilibrary.com/migration-tools@694 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed a bug that could prevent name parsing in some cases.

If the name includes an undotted abbreviation (Mrs, Jr) immediately followed by a comma,
the previous version was removing the comma, which got in the way of parsing that name.

git-svn-id: svn://nox.esilibrary.com/migration-tools@693 eee7cc8d-164e-4af6-8e1b-092a69004917

First working draft of analyze_zips.sql

git-svn-id: svn://nox.esilibrary.com/migration-tools@653 eee7cc8d-164e-4af6-8e1b-092a69004917

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917

Minor fix to a comment line

git-svn-id: svn://nox.esilibrary.com/migration-tools@637 eee7cc8d-164e-4af6-8e1b-092a69004917

New script to extract lost items from users.data, when present

git-svn-id: svn://nox.esilibrary.com/migration-tools@636 eee7cc8d-164e-4af6-8e1b-092a69004917

Correctly parsing Unicorn patron names and addresses

git-svn-id: svn://nox.esilibrary.com/migration-tools@635 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn charge.data to TSV parser

git-svn-id: svn://nox.esilibrary.com/migration-tools@634 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn bill parser finished

git-svn-id: svn://nox.esilibrary.com/migration-tools@633 eee7cc8d-164e-4af6-8e1b-092a69004917

Unfinished draft of Unicorn bill converter

git-svn-id: svn://nox.esilibrary.com/migration-tools@632 eee7cc8d-164e-4af6-8e1b-092a69004917

Utter pedantry? Perhaps, but misleading comments are bugs too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@630 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft mark two (with syntax errors fixed)

git-svn-id: svn://nox.esilibrary.com/migration-tools@628 eee7cc8d-164e-4af6-8e1b-092a69004917

First finished draft of new unicorn_patrons_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@627 eee7cc8d-164e-4af6-8e1b-092a69004917

Finished the bit that processes the records. Next up: actual output.

git-svn-id: svn://nox.esilibrary.com/migration-tools@626 eee7cc8d-164e-4af6-8e1b-092a69004917

Reforking unicorn importer; this is an unfinished version of a patron importer

git-svn-id: svn://nox.esilibrary.com/migration-tools@624 eee7cc8d-164e-4af6-8e1b-092a69004917

Cleaning up older copy of unicorn_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@623 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn TSV-maker can now handle bill.data and charge.data too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@621 eee7cc8d-164e-4af6-8e1b-092a69004917

change \r\n to \n if they occur

git-svn-id: svn://nox.esilibrary.com/migration-tools@617 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft of Unicorn patron-file converter. No known bugs, but memory linear (at least) with number of patrons.

git-svn-id: svn://nox.esilibrary.com/migration-tools@606 eee7cc8d-164e-4af6-8e1b-092a69004917

And this turns off all the STDERR verbosity. Sheesh; sorry.

git-svn-id: svn://nox.esilibrary.com/migration-tools@652 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

FORM=foo should not be ignored

git-svn-id: svn://nox.esilibrary.com/migration-tools@631 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

unicorn_to_tsv.pl has been generalized to use non-user-specific wording

git-svn-id: svn://nox.esilibrary.com/migration-tools@622 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add copyright statement and GPL2+ license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make cleanup_merge_map.pl executable

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

remove .csvignore

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Three variations on apply_circ_matrix: _before_20 spells it recuring instead of recurring, _after_20 uses the matchpoint structure, and the unmakred case (for now, at least) does neither.

Added ContentReserve to the list of providers in insert_856_9

This time for sure!

Now handles subfield codes A-Z in addition to a-z (this is strictly speaking not allowed in data, but it exists anyway)

Added two related functions for updating a copy's owning_lib, both called
migration_tools.change_owning_lib. The difference is that if you call it with
the arguments (BIGINT, TEXT), it will try to look it up as a shortname and
pass the resulting actor.org_unit ID to change_owning_lib(BIGINT, INTEGER).

Avoid collisions while refreshing OPAC visibility

Replaced TRUNCATE with DELETE FROM in migration_tools.create_cards

Replaced TRUNCATE with DELETE FROM

Horizon-specific functions, beginning with a date conversion routine

Added new helper utility:  migration_tools.refresh_opac_visible_copies

Avoiding collisions with existing permission groups and existing permissions

Improved check_ou_type

Added new function: check_ou_depth

insert_856_9: more accurate detection of incumbent subfield-9 data

Added migration_tools.zip_to_city_state_county

When Geonames has no data for a ZIP, use patron data even if --believegn

fix bug introduced in r739

When replacing named captures for Perl 5.8 compatibility,
need to make sure regex groups that shouldn't capture
are marked as such.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Added --believegn flag to believe Geonames over patron data where they conflict

Added --belivegn flag to believe Geonames over patron data where they conflict

Handle percents in apply_circ_matrix

Added attempt_timestamptz

Utilities to nuke data

Munging ind2 in insert_856_9

New utility. Give it city-state-zip data in tab-separated format and it will give you the winning city/state for each zip in the same format.

Script by Galen, used in dedupe/merge processing.

Avoiding error message about non-numeric comparison; reporting on tags that are not strictly numeric

Call attention to subfields appearing more than once within a single tag

New function: migration_tools.change_call_number (copy_id BIGINT, new_label TEXT).

If the old or new label is ##URI##, the label will not be changed.
If the old label's volume is vacated by the change, it will be marked deleted.

Updated field names (recuring->recurring) in one function and added another to insert 856 $9 as needed

Routine to create cards in a migration schema

Function for assigning standing penalties

New options: --quiet, --ignoresubtitle

Adding metarecord spells as functions for convenience

Added --ignore-indexes option to grab more data, much of which will be junk to filter out downstream

A few adjustments

Handles items as well -- row length is a two-byte field

Works fine on TITLE.DB, but misses the boat on other files.

(cosmetic) Adjust digits in column numbers to fit data

Tools for handling Bibliofile *.DB/*.DBD files

die if cannot open output or exception files

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

A few refinements

A tool for generating Apache vhost configs from a table modeled after actor.org_unit_setting.

USAGE: ./opac_settings.pl --bootstrap /openils/conf/opensrf_core.xml --schema m_sage

Input will look like this:

evergreen=# select * from m_sage.opac_settings where org_unit = 107;
 id  | org_unit |       name        |               value
-----+----------+-------------------+-----------------------------------
  36 |      107 | opac.server_name  | "conhs.sage.eou.edu"
  93 |      107 | opac.server_alias | "www.conhs.sage.eou.edu"
 147 |      107 | opac.directory    | "condonhs"
 251 |      107 | opac.ssl_cert     | "ssl/wildcard.sage.eou.edu.crt"
 301 |      107 | opac.ssl_key      | "ssl/wildcard.sage.eou.edu.key"

Multiple libraries may share an 'opac.directory' (branches of a system with the same OPAC look and feel).

Multiple 'opac.server_alias' rows may be defined.

migration_tools.stage_not_applicable_asset_stat_cats

Better output-file renaming

Generates a TSV with egid and MARCXML snippets to preserve for post-deduping reinsertion (insert_tags).

Added feedback to remind the user where to find the results (since it doesn't go to STDOUT).

New function: apply_circ_matrix('m_foo.action_circulation').

Sets duration, fine, and max_fine names and values, and renewal_remaining,
based on a circ matrix (and patron profiles, and circ modifiers) already in place.

More precise deduping for insert_tags

Added function: insert_tags (marc, '<datafield tag="999" ... </datafield>')

Inserts into the proper numerical order, ignoring fields that are duplicates of each other.

attempt_phone can take '' as second argument to refrain from adding an area code; added is_blank(TEXT) for convenience

New function: migration_tools.is_staff_profile(actor.usr.profile), returns boolean

Built-in manual gave wrong command-line arguments. Fixed.

Added two MARC-manipulating functions from Galen

Eliminating one line of Perl 5.10 dependency

Fixed typo

Rewrote some regular expressions to make them compatible with Perl versions before 5.10

To be run immediately after normal EG installation

add license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>