revert previous commit (swept too much in)

recover gracefully after an XML parsing error

NAME
       xlsx2tab

SUMMARY
       Quick-and-dirty filter lifted from the Spreadsheet::XSLX POD to convert the first sheet of an Excel .xlsx file to TSV

USAGE
       xlsx2tab foo.xlsx > foo.tsv

Will leave 'unlisted' alone

Handling a few more exceptions...

Added logic to attempt_phone for handling a few more variants correctly

Added function attempt_phone (TEXT,TEXT) RETURNS TEXT.  First argument is legacy phone data, second is area code to prepend.

debugged a comment ;)

Renamed utility, added --help and perldoc documentation

Moving DBF-to-TSV utility (not Athena-specific)

First version of a utility to convert Athena DBF to TSV suitable for \copy.
Suitable includes escaping backslash, tab, newline, and carriage return,
and converting output to UTF-8.

normalize output by escaping backslashes

This allows psql to import the data correctly; use
the new --disable-pg-normalization option to disable
this behavior if the output is not meant to go
directly into a Pg database via copy or \copy

fix retrieval of correct column headers and data from non-holdings tags

This work was sponsored by the Indiana State Library.

improved handling for drawing data from fields other than the holdings tag

Suppose the 852 is the main holdings tag, but information is needed
from the 590$a (e.g., as an item note).  The extract_holdings configuration file
can now work as follows:

# to map the subfield contents to the item record
barcode 852 p
note    590 a

# to map, but have the 590$a information be associated
# only with the first item in the bib; if m:first is
# not supplied, the 590$a note will be supplied
# to all items associated with the bib
barcode 852 p
note    590 a m:first

# to put all occurrences of the 590$a into a separate
# file for linking with the appropriate items.  m:multi
# *must* be supplied if the 590 tag occurs more than once
# in the bib records
barcode 852 p
note    590 a m:multi

# to concatenate repeats of $a in the 590 together
barcode 852 p
note    590 a m:concatenate

# to concatenate with a custom separator
barcode 852 p
note    590 a m:concatenate c:' / '

Development sponsored by the Indiana State Library

fix error in Codabar checkdigit algorithm

asset.copy.price is NUMERIC(8,2),
                not NUMERIC(6,2).

new function add_codabar_checkdigit

-- add_codabar_checkdigit
--   $barcode      source barcode
--
-- If the source string is 13 or 14 characters long and contains only digits, adds or replaces the 14
-- character with a checkdigit computed according to the usual algorithm for library barcodes
-- using the Codabar symbology - see <http://www.makebarcode.com/specs/codabar.html>.  If the
-- input string does not meet those requirements, it is returned unchanged.

Added migration_tools.attempt_money, which returns NUMERIC(6,2)

Ligonier (PA) is Polaris, yes, but Ligonier (IN) is Mandarin.

Polaris patron extractor, first working version

A tool I found online

Script now handles Jr and Sr without a trailing period, and the suffix IV.

quell warning if no Koha bib ID found

added koha_bib_id fingerprint option (for Koha migrations for
Indiana from INCOLSA)

fix regex for extracting bib ID from input

Fixed another inaccuracy in the inline documentation

Made inline-documentation references to Equinox::Migration modules more explicit

Migration schemas will now handle action.hold_notification

fixed minor errors in extract_loadset that prevent it from functioning

utility methods for best-effort datatype casting

declare expand_barcode to be STABLE

As noticed by Jason, doing this gives a signficant
performance boost.

support for dynamic mapping of circ fields

added new function to pad barcodes

-- expand_barcode
--   $barcode      source barcode
--   $prefix       prefix to add to barcode, NULL = add no prefix
--   $maxlen       maximum length of barcode; default to 14 if left NULL
--   $pad          padding string to apply to left of source barcode before adding
--                 prefix and suffix; set to NULL or '' if no padding is desired
--   $suffix       suffix to add to barcode, NULL = add no suffix
--
-- Returns a new string consisting of prefix concatenated with padded barcode and suffix.
-- If new barcode would be longer than $maxlen, the original barcode is returned instead.

Example usage:

UPDATE foo
SET barcode = migration_tools.expand_barcode(barcode, '21234', 14, '0', '');

syntax

move copy location mapping functionality into base.sql

move dynamic item mapping functionality to base.sql; it's not ILS specific

this stored procedure is a true function with no side effects

name parser

fix signature

start moving this mapping functionality over to base, since the only part that is ILS specific is the data that drives it

MDMP require version bumped
believe non-holding multis work now
null non-holdings data handled better

1.005
added 'ignoremulti' modifier
mods handling slightly tweaked

newline at end of sample run

--marcfile no longer gets -m; --map does

autoset marcfile on prefix

oopses

redo

redoing previous changes

rescued changes

yanking DBM::Deep stuffs

removing DBMD, phase I

old2new generation now handles controlfields and will map any number of matches, not just one-per-record

tweaks

typo fix

improved multifile handling

multi extractions work now. holding seq# always included now

making sampling work better

added subs thresholding

version bump

fixes for multi subfields
added get_multis method

autoflush turned off for DBM::Deep
name method doesn't require rec# anymore
{names} gone from record dataset

test for existing DBMD file; die

set default window size to 9 lines

holdings dump status msg now counts holdings instead of records

works with new MDMP

take rcnt out of dstore and call it reccount

changed rptr to rcnt

args handling bug

Keeping MDMP from eating all teh rams (WIP)

scope tweaking

1.003 No longer purely OO, to allow XML::Twig to run in handler mode (cuts memory usage from 2G+ to ~25M for full sampling

test fixes for 1.003

changelog

1.002 if any instance of a sub has a value, that should now appear in detail sample output

subfield report added to detail

sbufield lengthtracking implemented

1.001 changed sample detail format to one which can be dumped directly into a dokuwiki page

multi hash now uses just code for key

cruddy temporary fix while multi is sorted out

trying to fix memory problems, but barkingup wrong tree

STL now prints file name on fail open

this is actually bearable with \set verbosity terse

improved error reporting

fix for undef value in regex

cleanup before new work

fixes

works (pretty much)

tmap updates

sample stuffs working pretty good now

fixes to tag counts

misc

sample routines basically working

fergot semicolon derrrrr

doc updates

filters in MDMP

single-chunk tokens being quoted is ok now. misc other fixes

initial checkin

yanking bib references; adding tag map to MDMP; cleanup and new test corpus data

when looking for date in 260$c, non-numerics are now removed to improve quality of data

adding marcxml namespace to the wrapping collection element