Added --ignore-indexes option to grab more data, much of which will be junk to filter out downstream

A few adjustments

Handles items as well -- row length is a two-byte field

Works fine on TITLE.DB, but misses the boat on other files.

(cosmetic) Adjust digits in column numbers to fit data

Tools for handling Bibliofile *.DB/*.DBD files

die if cannot open output or exception files

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

A few refinements

A tool for generating Apache vhost configs from a table modeled after actor.org_unit_setting.

USAGE: ./opac_settings.pl --bootstrap /openils/conf/opensrf_core.xml --schema m_sage

Input will look like this:

evergreen=# select * from m_sage.opac_settings where org_unit = 107;
 id  | org_unit |       name        |               value
-----+----------+-------------------+-----------------------------------
  36 |      107 | opac.server_name  | "conhs.sage.eou.edu"
  93 |      107 | opac.server_alias | "www.conhs.sage.eou.edu"
 147 |      107 | opac.directory    | "condonhs"
 251 |      107 | opac.ssl_cert     | "ssl/wildcard.sage.eou.edu.crt"
 301 |      107 | opac.ssl_key      | "ssl/wildcard.sage.eou.edu.key"

Multiple libraries may share an 'opac.directory' (branches of a system with the same OPAC look and feel).

Multiple 'opac.server_alias' rows may be defined.

migration_tools.stage_not_applicable_asset_stat_cats

Better output-file renaming

Generates a TSV with egid and MARCXML snippets to preserve for post-deduping reinsertion (insert_tags).

Added feedback to remind the user where to find the results (since it doesn't go to STDOUT).

New function: apply_circ_matrix('m_foo.action_circulation').

Sets duration, fine, and max_fine names and values, and renewal_remaining,
based on a circ matrix (and patron profiles, and circ modifiers) already in place.

More precise deduping for insert_tags

Added function: insert_tags (marc, '<datafield tag="999" ... </datafield>')

Inserts into the proper numerical order, ignoring fields that are duplicates of each other.

attempt_phone can take '' as second argument to refrain from adding an area code; added is_blank(TEXT) for convenience

New function: migration_tools.is_staff_profile(actor.usr.profile), returns boolean

Built-in manual gave wrong command-line arguments. Fixed.

Added two MARC-manipulating functions from Galen

Eliminating one line of Perl 5.10 dependency

Fixed typo

Rewrote some regular expressions to make them compatible with Perl versions before 5.10

To be run immediately after normal EG installation

add license statement

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

SCLENDS bibliographic dedupe routine

This implements a bibliographic deduplication routine based
on criteria and an algorithm specified by the South Carolina
State Library on behalf of the SC LENDS consortium.  This work
was sponsored by SC LENDS, whose impetus is gratefully
acknowledged.  Portions of this script were subseqently expanded
based on the advice of the Indiana State Library on the behalf
of the Evergreen Indiana project.

This is meant to run in an Evergreen database.  Usage would
be something like:

psql -U evergreen < sclends_dedupe.sql

However, in practice it is highly recommend to edit the script
first; any bibliographic deduplication requires close attention
to the particular data found in the Evergreen database.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Two new utilities that, together, can generate a zips.txt file customized for your patron database.

update test case

Thanks to Sue Hopkins for the catch.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Added note about non-ESI tools' licensing

Signed-off-by: Equinox Git Owner <koha@yeti.esilibrary.com>

added COPYING, LICENSE, and README for release

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

skip over records that cannot be parsed

revert previous commit (swept too much in)

recover gracefully after an XML parsing error

NAME
       xlsx2tab

SUMMARY
       Quick-and-dirty filter lifted from the Spreadsheet::XSLX POD to convert the first sheet of an Excel .xlsx file to TSV

USAGE
       xlsx2tab foo.xlsx > foo.tsv

Will leave 'unlisted' alone

Handling a few more exceptions...

Added logic to attempt_phone for handling a few more variants correctly

Added function attempt_phone (TEXT,TEXT) RETURNS TEXT.  First argument is legacy phone data, second is area code to prepend.

debugged a comment ;)

Renamed utility, added --help and perldoc documentation

Moving DBF-to-TSV utility (not Athena-specific)

First version of a utility to convert Athena DBF to TSV suitable for \copy.
Suitable includes escaping backslash, tab, newline, and carriage return,
and converting output to UTF-8.

normalize output by escaping backslashes

This allows psql to import the data correctly; use
the new --disable-pg-normalization option to disable
this behavior if the output is not meant to go
directly into a Pg database via copy or \copy

fix retrieval of correct column headers and data from non-holdings tags

This work was sponsored by the Indiana State Library.

improved handling for drawing data from fields other than the holdings tag

Suppose the 852 is the main holdings tag, but information is needed
from the 590$a (e.g., as an item note).  The extract_holdings configuration file
can now work as follows:

# to map the subfield contents to the item record
barcode 852 p
note    590 a

# to map, but have the 590$a information be associated
# only with the first item in the bib; if m:first is
# not supplied, the 590$a note will be supplied
# to all items associated with the bib
barcode 852 p
note    590 a m:first

# to put all occurrences of the 590$a into a separate
# file for linking with the appropriate items.  m:multi
# *must* be supplied if the 590 tag occurs more than once
# in the bib records
barcode 852 p
note    590 a m:multi

# to concatenate repeats of $a in the 590 together
barcode 852 p
note    590 a m:concatenate

# to concatenate with a custom separator
barcode 852 p
note    590 a m:concatenate c:' / '

Development sponsored by the Indiana State Library

fix error in Codabar checkdigit algorithm

asset.copy.price is NUMERIC(8,2),
                not NUMERIC(6,2).

new function add_codabar_checkdigit

-- add_codabar_checkdigit
--   $barcode      source barcode
--
-- If the source string is 13 or 14 characters long and contains only digits, adds or replaces the 14
-- character with a checkdigit computed according to the usual algorithm for library barcodes
-- using the Codabar symbology - see <http://www.makebarcode.com/specs/codabar.html>.  If the
-- input string does not meet those requirements, it is returned unchanged.

Added migration_tools.attempt_money, which returns NUMERIC(6,2)

Ligonier (PA) is Polaris, yes, but Ligonier (IN) is Mandarin.

Polaris patron extractor, first working version

A tool I found online

Script now handles Jr and Sr without a trailing period, and the suffix IV.

quell warning if no Koha bib ID found

added koha_bib_id fingerprint option (for Koha migrations for
Indiana from INCOLSA)

fix regex for extracting bib ID from input

Fixed another inaccuracy in the inline documentation

Made inline-documentation references to Equinox::Migration modules more explicit

Migration schemas will now handle action.hold_notification

fixed minor errors in extract_loadset that prevent it from functioning

utility methods for best-effort datatype casting

declare expand_barcode to be STABLE

As noticed by Jason, doing this gives a signficant
performance boost.

support for dynamic mapping of circ fields

added new function to pad barcodes

-- expand_barcode
--   $barcode      source barcode
--   $prefix       prefix to add to barcode, NULL = add no prefix
--   $maxlen       maximum length of barcode; default to 14 if left NULL
--   $pad          padding string to apply to left of source barcode before adding
--                 prefix and suffix; set to NULL or '' if no padding is desired
--   $suffix       suffix to add to barcode, NULL = add no suffix
--
-- Returns a new string consisting of prefix concatenated with padded barcode and suffix.
-- If new barcode would be longer than $maxlen, the original barcode is returned instead.

Example usage:

UPDATE foo
SET barcode = migration_tools.expand_barcode(barcode, '21234', 14, '0', '');

syntax

move copy location mapping functionality into base.sql

move dynamic item mapping functionality to base.sql; it's not ILS specific

this stored procedure is a true function with no side effects

name parser

fix signature

start moving this mapping functionality over to base, since the only part that is ILS specific is the data that drives it

MDMP require version bumped
believe non-holding multis work now
null non-holdings data handled better

1.005
added 'ignoremulti' modifier
mods handling slightly tweaked

newline at end of sample run

--marcfile no longer gets -m; --map does

autoset marcfile on prefix

oopses

redo

redoing previous changes

rescued changes

yanking DBM::Deep stuffs

removing DBMD, phase I

old2new generation now handles controlfields and will map any number of matches, not just one-per-record

tweaks

typo fix

improved multifile handling

multi extractions work now. holding seq# always included now

making sampling work better

added subs thresholding

version bump

fixes for multi subfields
added get_multis method

autoflush turned off for DBM::Deep
name method doesn't require rec# anymore
{names} gone from record dataset

test for existing DBMD file; die

set default window size to 9 lines

holdings dump status msg now counts holdings instead of records

works with new MDMP

take rcnt out of dstore and call it reccount

changed rptr to rcnt

args handling bug

Keeping MDMP from eating all teh rams (WIP)