commenting out the other way of invoking path

add mig-sql the show path

common tables that will be used by gsheet

moving config into else clause for cleanliness

fixing typo and moving grab file into else clause

made csv2sql mig aware

adding a report package for an overview of system data like that done in migrations

fix typo and add some security to output format

fixing doc

minor fixes to gsheet

adding the mig gsheet main file

adding mig gsheet

clean up reporter share withs in remove ou scripts

start of serial script in remove ou

start of distinct acq removal file

admin user sanity check added to remove ou scripts

making the user delete information a bit more robust

moving some cross saved templates and output folders

added location for added page file to be miggitdir

added reporter documentation to mig

initial working branch for mig reporter

add removal of copy tag stuff from remove ou scripts

adding last pushed timestamp to gsheet tracked table

add unique constraint for worksheet and tab name in ghseet tracked table

adding primary key to gsheet_tracked_table

Merge branch 'master' of git.esilibrary.com:migration-tools

gsheet blobs for mig init directory

simplify arguments for mig-skip-iconv and mig-skip-clean

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

changing sequence of loading bibs so that newest bibs are prioritized which helps the catalogers

remove check for wait since it is defined by default now and add it to loading auths as well

summary table and subtables as an output option for quicksheet

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

init/ subdirectory for mig-sql/, so we can more conveniently store sql for other mig commands

Revert "quicksheet experiment, do not omit tabs based on number of unique values"

This reverts commit 90c43c93714655ffad0bce2b34934b4c0e367f9e.

Merge branch 'master' of git.esilibrary.com:migration-tools

adding some basic copy tag and serial tables to the mig init function

get_marc_leader()

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

function for setting passwords in actor.passwd quickly

better regexp for grabbing field names, redux

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

better regexp for grabbing field names

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

quicksheet experiment, do not omit tabs based on number of unique values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

update unicorn holdings example

example cleanup

example holdings map for Unicorn/Symphony

overzealous heuristic

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

toward better name parsing (handles names like "Van Horn, Fiona")

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

toward better name parsing (handles names like "Van Horn, Fiona")

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

comment

push bib sequence and return starting value for reserved range

Merge branch 'master' of git.esilibrary.com:migration-tools

fix mig-init

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

adding actor.usr_setting to production tables

migration_tools.attempt_sierra_timestamp

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

more address parsing helpers

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

psql variable for :migschema

mig-sql already puts the migration schema in the search path, but
this can be useful for things like

    creator = (SELECT id FROM actor_usr WHERE usrname = :'migschema' || '_admin')

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

multiple file support for mig-quicksheet

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-init: loop through sorted mig-sql/ directory

mig-init will look for .sql files in mig-sql to run

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-sql: silence warning if no $BIBSTART

mig-env: set PGOPTIONS for search_path

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

extract_holdings: --suffix support

helps when you need to extract tag data from multiple MARC sources in a given migration

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

adding deletion of extra permissions and groups for users in remove ou scripts

adding basic program to convert from Apollo LDF to staging tables

adding deletion of surveys to remove ou scripts

fix -fs, and more output when fixing stuff

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some marc mappings for III Sierra

mig-sql: pass through the BIBSTART env variable

available as :bibstart

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-sql

Mig wrapper for psql.  Plan is to start injecting some useful mig-tracked
variables into psql sessions thus invoked.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some stuff I had lying around

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

ASSERT not supported until PG 9.5

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some useful wrappers for loading bre's

"mig" tool

Wraps some new and existing tools in a git-like command system,
currently great for quickly getting files into staging tables,
has aspirations for one day tracking mapping relationships and
doing code generation for mapping.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

third variant of migration_tools.assert with success message as 3rd argument

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

--force-utf8 in leader for marc_cleanup

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

assert tool for use with \set ON_ERROR_STOP on

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

use UNLOGGED tables for the base staging tables

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add note to readme

add vacuum analyze script for database maintenance in remove_ou scripts

add a script to aid in generating the delete file for patrons in remove_ou scripts

add disable/renable rule so that copy locations can be deleted in remove_ou scripts

add removing usr circ history to remove_ou scripts

add removing call number suffixes and prefixes to remove_ou scripts

removed unncessary schema declared on column and fixed issue where value needed was ID and org shortname was given

removed moving call numbers where items and call numbers were on incompatible orgs to be deleted

added check to make sure holds were fulfilled when deleting by fulfillment library

removed nulling of parent circs where child circ is at non-deleted library

Remove stat cats owned by to be deleted org unit, stat cat entries and entry user mappings by those stat cats or patrons of those org units.

move call numbers from to be deleted org to undeleted org when the copy is at an undeleted org

add deleting holds by request lib

remove auditor history edits

remove holds based on fulfillment library

update the noncat circ code to note delete non cat circs when the staff member is registered at the wrong library

deletions of non cat circs

remove albermale references by putting in a variable and deleting usr messages

added line to handle child checkouts where parent checkout is at the org being deleted but child is not by nulling parent circ, unfortunately no way to indicate this

OU data removal script

This is a set of SQL scripts to be run, in order, to completely
remove data belonging to an OU and its descendants in an Evergreen
database.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

filter out linefeeds and carriage returns from holding tag values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

filter out tabs from holding tag values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

minor whitespace correction

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Make --wait optional in eg_staged_bib_overlay.

This commit only causes load bibs to wait if the --wait option is
specified with a non-zero value.  It also changes the default for the
global $wait variable that the option is read into to zero.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Perl eval improvements in eg_staged_bib_overlay.

Two changes to improve the eval conditions added in the previous
commit:

1. Both error handlers now warn with the same message:

   Record $i is bad: $@; skipping.

Thereby reporting the original message in case the user wants to try
and recover the records later.

2. If a bib record's 901$c is either missing or not numeric, die() is
called with a message to that effect.  This eliminates the Perl
warnings about exiting an eval block with next.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Use eval in eg_staged_bib_overlay.

Wrap the parsing of MARC from input files in eval blocks with an error
handler to skip to the next record.  I have encounterd bad records
that have stopped the processing of the rest of the file.  This
occurred the very first time I used this script.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>