adding text string for mig sql via :migschema_text

updating column name from copy_location to desired_shelf to match mig tools

adding load report file for resource mate

fixing some tlc maapping table bugs

taking out some dumper statements for troubleshooting that I had commented out

improving tool tip

fixed bug with not all tags converting to lowercase

replacing mig_schema with MIGSCHEMA per IRC decision

fixed pathing issue with finding xml files

migration_tools.handle_actor_sc_and_sce

and migration_tools.vivicate_actor_sc_and_sce, though may want to tweak the
former to invoke the latter

This incarnation takes an org shortname as the last argument, but I want to
make a variant that looks for x_org in case we're doing branch level stat
cats, etc.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.handle_profile

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.handle_not_migrate

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.handle_circmod

for example:

select migration_tools.handle_circmod(:'migschema','map_item_l_location_clean');

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

migration_tools.handle_shelf

for example:

mig sql -c "select migration_tools.handle_shelf(:'migschema','map_item_l_location_clean','ORGSHORTNAME',1);"

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

support for some argument pass-thru for mig-quick

mig-quick for doing the add/skip-iconv/clean/convert/stage dance without any arguments (for now)

default to tab for field separator for unaligned text

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

truncate field names here for now for WriteExcel

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

consolidating tracking tables for gsheet

moving tlc init file

tlc mapping sql

rolling back some changes I made

adjusted universal files to no longer need fields from tracked tables that were dropped

making the common tables more mig sql smart

add migscheam local variable to invocation

commenting out the other way of invoking path

add mig-sql the show path

common tables that will be used by gsheet

moving config into else clause for cleanliness

fixing typo and moving grab file into else clause

made csv2sql mig aware

adding a report package for an overview of system data like that done in migrations

fix typo and add some security to output format

fixing doc

minor fixes to gsheet

adding the mig gsheet main file

adding mig gsheet

clean up reporter share withs in remove ou scripts

start of serial script in remove ou

start of distinct acq removal file

admin user sanity check added to remove ou scripts

making the user delete information a bit more robust

moving some cross saved templates and output folders

added location for added page file to be miggitdir

added reporter documentation to mig

initial working branch for mig reporter

add removal of copy tag stuff from remove ou scripts

adding last pushed timestamp to gsheet tracked table

add unique constraint for worksheet and tab name in ghseet tracked table

adding primary key to gsheet_tracked_table

Merge branch 'master' of git.esilibrary.com:migration-tools

gsheet blobs for mig init directory

simplify arguments for mig-skip-iconv and mig-skip-clean

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

changing sequence of loading bibs so that newest bibs are prioritized which helps the catalogers

remove check for wait since it is defined by default now and add it to loading auths as well

summary table and subtables as an output option for quicksheet

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

init/ subdirectory for mig-sql/, so we can more conveniently store sql for other mig commands

Revert "quicksheet experiment, do not omit tabs based on number of unique values"

This reverts commit 90c43c93714655ffad0bce2b34934b4c0e367f9e.

Merge branch 'master' of git.esilibrary.com:migration-tools

adding some basic copy tag and serial tables to the mig init function

get_marc_leader()

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

function for setting passwords in actor.passwd quickly

better regexp for grabbing field names, redux

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

better regexp for grabbing field names

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

quicksheet experiment, do not omit tabs based on number of unique values

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

update unicorn holdings example

example cleanup

example holdings map for Unicorn/Symphony

overzealous heuristic

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

toward better name parsing (handles names like "Van Horn, Fiona")

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

toward better name parsing (handles names like "Van Horn, Fiona")

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

comment

push bib sequence and return starting value for reserved range

Merge branch 'master' of git.esilibrary.com:migration-tools

fix mig-init

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

adding actor.usr_setting to production tables

migration_tools.attempt_sierra_timestamp

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

more address parsing helpers

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

psql variable for :migschema

mig-sql already puts the migration schema in the search path, but
this can be useful for things like

    creator = (SELECT id FROM actor_usr WHERE usrname = :'migschema' || '_admin')

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

multiple file support for mig-quicksheet

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-init: loop through sorted mig-sql/ directory

mig-init will look for .sql files in mig-sql to run

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-sql: silence warning if no $BIBSTART

mig-env: set PGOPTIONS for search_path

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

extract_holdings: --suffix support

helps when you need to extract tag data from multiple MARC sources in a given migration

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

adding deletion of extra permissions and groups for users in remove ou scripts

adding basic program to convert from Apollo LDF to staging tables

adding deletion of surveys to remove ou scripts

fix -fs, and more output when fixing stuff

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some marc mappings for III Sierra

mig-sql: pass through the BIBSTART env variable

available as :bibstart

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

mig-sql

Mig wrapper for psql.  Plan is to start injecting some useful mig-tracked
variables into psql sessions thus invoked.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some stuff I had lying around

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

ASSERT not supported until PG 9.5

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

some useful wrappers for loading bre's

"mig" tool

Wraps some new and existing tools in a git-like command system,
currently great for quickly getting files into staging tables,
has aspirations for one day tracking mapping relationships and
doing code generation for mapping.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

third variant of migration_tools.assert with success message as 3rd argument

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

--force-utf8 in leader for marc_cleanup

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

assert tool for use with \set ON_ERROR_STOP on

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

use UNLOGGED tables for the base staging tables

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add note to readme