Utter pedantry? Perhaps, but misleading comments are bugs too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@630 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft mark two (with syntax errors fixed)

git-svn-id: svn://nox.esilibrary.com/migration-tools@628 eee7cc8d-164e-4af6-8e1b-092a69004917

First finished draft of new unicorn_patrons_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@627 eee7cc8d-164e-4af6-8e1b-092a69004917

Finished the bit that processes the records. Next up: actual output.

git-svn-id: svn://nox.esilibrary.com/migration-tools@626 eee7cc8d-164e-4af6-8e1b-092a69004917

Reforking unicorn importer; this is an unfinished version of a patron importer

git-svn-id: svn://nox.esilibrary.com/migration-tools@624 eee7cc8d-164e-4af6-8e1b-092a69004917

Cleaning up older copy of unicorn_to_tsv.pl

git-svn-id: svn://nox.esilibrary.com/migration-tools@623 eee7cc8d-164e-4af6-8e1b-092a69004917

Unicorn TSV-maker can now handle bill.data and charge.data too.

git-svn-id: svn://nox.esilibrary.com/migration-tools@621 eee7cc8d-164e-4af6-8e1b-092a69004917

change \r\n to \n if they occur

git-svn-id: svn://nox.esilibrary.com/migration-tools@617 eee7cc8d-164e-4af6-8e1b-092a69004917

First draft of Unicorn patron-file converter. No known bugs, but memory linear (at least) with number of patrons.

git-svn-id: svn://nox.esilibrary.com/migration-tools@606 eee7cc8d-164e-4af6-8e1b-092a69004917

And this turns off all the STDERR verbosity. Sheesh; sorry.

git-svn-id: svn://nox.esilibrary.com/migration-tools@652 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Regex fix was a bug; this undoes it

git-svn-id: svn://nox.esilibrary.com/migration-tools@651 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Fixed regex to handle lines that begin with a dot and something other than a capital letter (i.e., not a field label)

git-svn-id: svn://nox.esilibrary.com/migration-tools@650 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

FORM=foo should not be ignored

git-svn-id: svn://nox.esilibrary.com/migration-tools@631 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

unicorn_to_tsv.pl has been generalized to use non-user-specific wording

git-svn-id: svn://nox.esilibrary.com/migration-tools@622 eee7cc8d-164e-4af6-8e1b-092a69004917
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

add copyright statement and GPL2+ license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

make cleanup_merge_map.pl executable

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

remove .csvignore

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Three variations on apply_circ_matrix: _before_20 spells it recuring instead of recurring, _after_20 uses the matchpoint structure, and the unmakred case (for now, at least) does neither.

Added ContentReserve to the list of providers in insert_856_9

This time for sure!

Now handles subfield codes A-Z in addition to a-z (this is strictly speaking not allowed in data, but it exists anyway)

Added two related functions for updating a copy's owning_lib, both called
migration_tools.change_owning_lib. The difference is that if you call it with
the arguments (BIGINT, TEXT), it will try to look it up as a shortname and
pass the resulting actor.org_unit ID to change_owning_lib(BIGINT, INTEGER).

Avoid collisions while refreshing OPAC visibility

Replaced TRUNCATE with DELETE FROM in migration_tools.create_cards

Replaced TRUNCATE with DELETE FROM

Horizon-specific functions, beginning with a date conversion routine

Added new helper utility:  migration_tools.refresh_opac_visible_copies

Avoiding collisions with existing permission groups and existing permissions

Improved check_ou_type

Added new function: check_ou_depth

insert_856_9: more accurate detection of incumbent subfield-9 data

Added migration_tools.zip_to_city_state_county

When Geonames has no data for a ZIP, use patron data even if --believegn

fix bug introduced in r739

When replacing named captures for Perl 5.8 compatibility,
need to make sure regex groups that shouldn't capture
are marked as such.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Added --believegn flag to believe Geonames over patron data where they conflict

Added --belivegn flag to believe Geonames over patron data where they conflict

Handle percents in apply_circ_matrix

Added attempt_timestamptz

Utilities to nuke data

Munging ind2 in insert_856_9

New utility. Give it city-state-zip data in tab-separated format and it will give you the winning city/state for each zip in the same format.

Script by Galen, used in dedupe/merge processing.

Avoiding error message about non-numeric comparison; reporting on tags that are not strictly numeric

Call attention to subfields appearing more than once within a single tag

New function: migration_tools.change_call_number (copy_id BIGINT, new_label TEXT).

If the old or new label is ##URI##, the label will not be changed.
If the old label's volume is vacated by the change, it will be marked deleted.

Updated field names (recuring->recurring) in one function and added another to insert 856 $9 as needed

Routine to create cards in a migration schema

Function for assigning standing penalties

New options: --quiet, --ignoresubtitle

Adding metarecord spells as functions for convenience

Added --ignore-indexes option to grab more data, much of which will be junk to filter out downstream

A few adjustments

Handles items as well -- row length is a two-byte field

Works fine on TITLE.DB, but misses the boat on other files.

(cosmetic) Adjust digits in column numbers to fit data

Tools for handling Bibliofile *.DB/*.DBD files

die if cannot open output or exception files

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

A few refinements

A tool for generating Apache vhost configs from a table modeled after actor.org_unit_setting.

USAGE: ./opac_settings.pl --bootstrap /openils/conf/opensrf_core.xml --schema m_sage

Input will look like this:

evergreen=# select * from m_sage.opac_settings where org_unit = 107;
 id  | org_unit |       name        |               value
-----+----------+-------------------+-----------------------------------
  36 |      107 | opac.server_name  | "conhs.sage.eou.edu"
  93 |      107 | opac.server_alias | "www.conhs.sage.eou.edu"
 147 |      107 | opac.directory    | "condonhs"
 251 |      107 | opac.ssl_cert     | "ssl/wildcard.sage.eou.edu.crt"
 301 |      107 | opac.ssl_key      | "ssl/wildcard.sage.eou.edu.key"

Multiple libraries may share an 'opac.directory' (branches of a system with the same OPAC look and feel).

Multiple 'opac.server_alias' rows may be defined.

migration_tools.stage_not_applicable_asset_stat_cats

Better output-file renaming

Generates a TSV with egid and MARCXML snippets to preserve for post-deduping reinsertion (insert_tags).

Added feedback to remind the user where to find the results (since it doesn't go to STDOUT).

New function: apply_circ_matrix('m_foo.action_circulation').

Sets duration, fine, and max_fine names and values, and renewal_remaining,
based on a circ matrix (and patron profiles, and circ modifiers) already in place.

More precise deduping for insert_tags

Added function: insert_tags (marc, '<datafield tag="999" ... </datafield>')

Inserts into the proper numerical order, ignoring fields that are duplicates of each other.

attempt_phone can take '' as second argument to refrain from adding an area code; added is_blank(TEXT) for convenience

New function: migration_tools.is_staff_profile(actor.usr.profile), returns boolean

Built-in manual gave wrong command-line arguments. Fixed.

Added two MARC-manipulating functions from Galen

Eliminating one line of Perl 5.10 dependency

Fixed typo

Rewrote some regular expressions to make them compatible with Perl versions before 5.10

To be run immediately after normal EG installation

add license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

SCLENDS bibliographic dedupe routine

This implements a bibliographic deduplication routine based
on criteria and an algorithm specified by the South Carolina
State Library on behalf of the SC LENDS consortium.  This work
was sponsored by SC LENDS, whose impetus is gratefully
acknowledged.  Portions of this script were subseqently expanded
based on the advice of the Indiana State Library on the behalf
of the Evergreen Indiana project.

This is meant to run in an Evergreen database.  Usage would
be something like:

psql -U evergreen < sclends_dedupe.sql

However, in practice it is highly recommend to edit the script
first; any bibliographic deduplication requires close attention
to the particular data found in the Evergreen database.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Two new utilities that, together, can generate a zips.txt file customized for your patron database.

update test case

Thanks to Sue Hopkins for the catch.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Added note about non-ESI tools' licensing

Signed-off-by: Equinox Git Owner <koha@yeti.esilibrary.com>

added COPYING, LICENSE, and README for release

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

skip over records that cannot be parsed

revert previous commit (swept too much in)

recover gracefully after an XML parsing error

NAME
       xlsx2tab

SUMMARY
       Quick-and-dirty filter lifted from the Spreadsheet::XSLX POD to convert the first sheet of an Excel .xlsx file to TSV

USAGE
       xlsx2tab foo.xlsx > foo.tsv

Will leave 'unlisted' alone

Handling a few more exceptions...

Added logic to attempt_phone for handling a few more variants correctly

Added function attempt_phone (TEXT,TEXT) RETURNS TEXT.  First argument is legacy phone data, second is area code to prepend.

debugged a comment ;)

Renamed utility, added --help and perldoc documentation

Moving DBF-to-TSV utility (not Athena-specific)

First version of a utility to convert Athena DBF to TSV suitable for \copy.
Suitable includes escaping backslash, tab, newline, and carriage return,
and converting output to UTF-8.

normalize output by escaping backslashes

This allows psql to import the data correctly; use
the new --disable-pg-normalization option to disable
this behavior if the output is not meant to go
directly into a Pg database via copy or \copy

fix retrieval of correct column headers and data from non-holdings tags

This work was sponsored by the Indiana State Library.

improved handling for drawing data from fields other than the holdings tag

Suppose the 852 is the main holdings tag, but information is needed
from the 590$a (e.g., as an item note).  The extract_holdings configuration file
can now work as follows:

# to map the subfield contents to the item record
barcode 852 p
note    590 a

# to map, but have the 590$a information be associated
# only with the first item in the bib; if m:first is
# not supplied, the 590$a note will be supplied
# to all items associated with the bib
barcode 852 p
note    590 a m:first

# to put all occurrences of the 590$a into a separate
# file for linking with the appropriate items.  m:multi
# *must* be supplied if the 590 tag occurs more than once
# in the bib records
barcode 852 p
note    590 a m:multi

# to concatenate repeats of $a in the 590 together
barcode 852 p
note    590 a m:concatenate

# to concatenate with a custom separator
barcode 852 p
note    590 a m:concatenate c:' / '

Development sponsored by the Indiana State Library

fix error in Codabar checkdigit algorithm

asset.copy.price is NUMERIC(8,2),
                not NUMERIC(6,2).

new function add_codabar_checkdigit

-- add_codabar_checkdigit
--   $barcode      source barcode
--
-- If the source string is 13 or 14 characters long and contains only digits, adds or replaces the 14
-- character with a checkdigit computed according to the usual algorithm for library barcodes
-- using the Codabar symbology - see <http://www.makebarcode.com/specs/codabar.html>.  If the
-- input string does not meet those requirements, it is returned unchanged.

Added migration_tools.attempt_money, which returns NUMERIC(6,2)

Ligonier (PA) is Polaris, yes, but Ligonier (IN) is Mandarin.