Open-ILS/src/sql/Pg/upgrade/XXXX.schema.svf-phase-one.sql

   1 BEGIN;
   2
   3 INSERT INTO config.upgrade_log (version) VALUES ('XXXX'); -- miker
   4
   5 CREATE TABLE config.record_attr_definition (
   6     name        TEXT    PRIMARY KEY,
   7     label       TEXT    NOT NULL, -- I18N
   8     filter      BOOL    NOT NULL DEFAULT TRUE,  -- becomes QP filter if true
   9     sorter      BOOL    NOT NULL DEFAULT FALSE, -- becomes QP sort() axis if true
  10
  11 -- For pre-extracted fields. Takes the first occurance, uses naive subfield ordering
  12     tag         TEXT, -- LIKE format
  13     sf_list     TEXT, -- pile-o-values, like 'abcd' for a and b and c and d
  14
  15 -- This is used for both tag/sf and xpath entries
  16     joiner      TEXT,
  17
  18 -- For xpath-extracted attrs
  19     xpath       TEXT,
  20     format      TEXT    REFERENCES config.xml_transform (name) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
  21     start_pos   INT,
  22     string_len  INT,
  23
  24 -- For fixed fields
  25     fixed_field TEXT, -- should exist in config.marc21_ff_pos_map.fixed_field
  26
  27 -- For phys-char fields
  28     phys_char_sf    INT REFERENCES config.marc21_physical_characteristic_subfield_map (id)
  29 );
  30
  31 CREATE TABLE config.record_attr_index_norm_map (
  32     id      SERIAL  PRIMARY KEY,
  33     attr    TEXT    NOT NULL REFERENCES config.record_attr_definition (name) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
  34     norm    INT     NOT NULL REFERENCES config.index_normalizer (id) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
  35     params  TEXT,
  36     pos     INT     NOT NULL DEFAULT 0
  37 );
  38
  39 CREATE TABLE config.coded_value_map (
  40     id          SERIAL  PRIMARY KEY,
  41     ctype       TEXT    NOT NULL REFERENCES config.record_attr_definition (name) ON DELETE CASCADE DEFERRABLE INITIALLY DEFERRED,
  42     code        TEXT    NOT NULL,
  43     value       TEXT    NOT NULL,
  44     description TEXT
  45 );
  46
  47 -- record attributes
  48 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('alph','Alph','Alph');
  49 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('audience','Audn','Audn');
  50 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('bib_level','BLvl','BLvl');
  51 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('biog','Biog','Biog');
  52 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('conf','Conf','Conf');
  53 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('control_type','Ctrl','Ctrl');
  54 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('ctry','Ctry','Ctry');
  55 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('date1','Date1','Date1');
  56 INSERT INTO config.record_attr_definition (name,label,fixed_field,sorter,filter) values ('pubdate','Pub Date','Date1',TRUE,FALSE);
  57 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('date2','Date2','Date2');
  58 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('cat_form','Desc','Desc');
  59 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('pub_status','DtSt','DtSt');
  60 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('enc_level','ELvl','ELvl');
  61 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('fest','Fest','Fest');
  62 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('item_form','Form','Form');
  63 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('gpub','GPub','GPub');
  64 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('ills','Ills','Ills');
  65 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('indx','Indx','Indx');
  66 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('item_lang','Lang','Lang');
  67 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('lit_form','LitF','LitF');
  68 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('mrec','MRec','MRec');
  69 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('ff_sl','S/L','S/L');
  70 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('type_mat','TMat','TMat');
  71 INSERT INTO config.record_attr_definition (name,label,fixed_field) values ('item_type','Type','Type');
  72 INSERT INTO config.record_attr_definition (name,label,phys_char_sf) values ('vr_format','Videorecording format',72);
  73 INSERT INTO config.record_attr_definition (name,label,sorter,filter,tag) values ('titlesort','Title',TRUE,FALSE,'tnf');
  74 INSERT INTO config.record_attr_definition (name,label,sorter,filter,tag) values ('authorsort','Author',TRUE,FALSE,'1%');
  75
  76 INSERT INTO config.coded_value_map (ctype,code,value,description)
  77     SELECT 'item_lang' AS ctype, code, value, NULL FROM config.language_map
  78         UNION
  79     SELECT 'bib_level' AS ctype, code, value, NULL FROM config.bib_level_map
  80         UNION
  81     SELECT 'item_form' AS ctype, code, value, NULL FROM config.item_form_map
  82         UNION
  83     SELECT 'item_type' AS ctype, code, value, NULL FROM config.item_type_map
  84         UNION
  85     SELECT 'lit_form' AS ctype, code, value, description FROM config.lit_form_map
  86         UNION
  87     SELECT 'audience' AS ctype, code, value, description FROM config.audience_map
  88         UNION
  89     SELECT 'vr_format' AS ctype, code, value, NULL FROM config.videorecording_format_map;
  90
  91 ALTER TABLE config.i18n_locale DROP CONSTRAINT i18n_locale_marc_code_fkey;
  92
  93 ALTER TABLE config.circ_matrix_matchpoint DROP CONSTRAINT circ_matrix_matchpoint_marc_form_fkey;
  94 ALTER TABLE config.circ_matrix_matchpoint DROP CONSTRAINT circ_matrix_matchpoint_marc_type_fkey;
  95 ALTER TABLE config.circ_matrix_matchpoint DROP CONSTRAINT circ_matrix_matchpoint_marc_vr_format_fkey;
  96
  97 ALTER TABLE config.hold_matrix_matchpoint DROP CONSTRAINT hold_matrix_matchpoint_marc_form_fkey;
  98 ALTER TABLE config.hold_matrix_matchpoint DROP CONSTRAINT hold_matrix_matchpoint_marc_type_fkey;
  99 ALTER TABLE config.hold_matrix_matchpoint DROP CONSTRAINT hold_matrix_matchpoint_marc_vr_format_fkey;
 100
 101 DROP TABLE config.language_map;
 102 DROP TABLE config.bib_level_map;
 103 DROP TABLE config.item_form_map;
 104 DROP TABLE config.item_type_map;
 105 DROP TABLE config.lit_form_map;
 106 DROP TABLE config.audience_map;
 107 DROP TABLE config.videorecording_format_map;
 108
 109 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'clm.value' AND ccvm.ctype = 'item_lang' AND identity_value = ccvm.code;
 110 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'cblvl.value' AND ccvm.ctype = 'bib_level' AND identity_value = ccvm.code;
 111 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'cifm.value' AND ccvm.ctype = 'item_form' AND identity_value = ccvm.code;
 112 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'citm.value' AND ccvm.ctype = 'item_type' AND identity_value = ccvm.code;
 113 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'clfm.value' AND ccvm.ctype = 'lit_form' AND identity_value = ccvm.code;
 114 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'cam.value' AND ccvm.ctype = 'audience' AND identity_value = ccvm.code;
 115 UPDATE config.i18n_core SET fq_field = 'ccvm.value', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'cvrfm.value' AND ccvm.ctype = 'vr_format' AND identity_value = ccvm.code;
 116
 117 UPDATE config.i18n_core SET fq_field = 'ccvm.description', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'clfm.description' AND ccvm.ctype = 'lit_form' AND identity_value = ccvm.code;
 118 UPDATE config.i18n_core SET fq_field = 'ccvm.description', identity_value = ccvm.id FROM config.coded_value_map AS ccvm WHERE fq_field = 'cam.description' AND ccvm.ctype = 'audience' AND identity_value = ccvm.code;
 119
 120 CREATE VIEW config.language_map AS SELECT code, value FROM config.coded_value_map WHERE ctype = 'item_lang';
 121 CREATE VIEW config.bib_level_map AS SELECT code, value FROM config.coded_value_map WHERE ctype = 'bib_level';
 122 CREATE VIEW config.item_form_map AS SELECT code, value FROM config.coded_value_map WHERE ctype = 'item_form';
 123 CREATE VIEW config.item_type_map AS SELECT code, value FROM config.coded_value_map WHERE ctype = 'item_type';
 124 CREATE VIEW config.lit_form_map AS SELECT code, value, description FROM config.coded_value_map WHERE ctype = 'lit_form';
 125 CREATE VIEW config.audience_map AS SELECT code, value, description FROM config.coded_value_map WHERE ctype = 'audience';
 126 CREATE VIEW config.videorecording_format_map AS SELECT code, value FROM config.coded_value_map WHERE ctype = 'vr_format';
 127
 128 CREATE TABLE metabib.record_attr (
 129        id              BIGINT  PRIMARY KEY REFERENCES biblio.record_entry (id) ON DELETE CASCADE,
 130        attrs   HSTORE  NOT NULL DEFAULT ''::HSTORE
 131 );
 132 CREATE INDEX metabib_svf_attrs_idx ON metabib.record_attr USING GIST (attrs);
 133 CREATE INDEX metabib_svf_date1_idx ON metabib.record_attr ( (attrs->'date1') );
 134 CREATE INDEX metabib_svf_dates_idx ON metabib.record_attr ( (attrs->'date1'), (attrs->'date2') );
 135
 136 INSERT INTO metabib.record_attr (id,attrs)
 137     SELECT mrd.record, hstore(mrd) - '{id,record}'::TEXT[] FROM metabib.rec_descriptor mrd;
 138
 139 -- Back-compat view ... we're moving to an HSTORE world
 140 CREATE TYPE metabib.rec_desc_type AS (
 141     item_type       TEXT,
 142     item_form       TEXT,
 143     bib_level       TEXT,
 144     control_type    TEXT,
 145     char_encoding   TEXT,
 146     enc_level       TEXT,
 147     audience        TEXT,
 148     lit_form        TEXT,
 149     type_mat        TEXT,
 150     cat_form        TEXT,
 151     pub_status      TEXT,
 152     item_lang       TEXT,
 153     vr_format       TEXT,
 154     date1           TEXT,
 155     date2           TEXT
 156 );
 157
 158 DROP TABLE metabib.rec_descriptor CASCADE;
 159
 160 CREATE VIEW metabib.rec_descriptor AS
 161     SELECT  id,
 162             id AS record,
 163             (populate_record(NULL::metabib.rec_desc_type, attrs)).*
 164       FROM  metabib.record_attr;
 165
 166 CREATE OR REPLACE FUNCTION vandelay.marc21_record_type( marc TEXT ) RETURNS config.marc21_rec_type_map AS $func$
 167 DECLARE
 168     ldr         TEXT;
 169     tval        TEXT;
 170     tval_rec    RECORD;
 171     bval        TEXT;
 172     bval_rec    RECORD;
 173     retval      config.marc21_rec_type_map%ROWTYPE;
 174 BEGIN
 175     ldr := oils_xpath_string( '//*[local-name()="leader"]', marc );
 176
 177     IF ldr IS NULL OR ldr = '' THEN
 178         SELECT * INTO retval FROM config.marc21_rec_type_map WHERE code = 'BKS';
 179         RETURN retval;
 180     END IF;
 181
 182     SELECT * INTO tval_rec FROM config.marc21_ff_pos_map WHERE fixed_field = 'Type' LIMIT 1; -- They're all the same
 183     SELECT * INTO bval_rec FROM config.marc21_ff_pos_map WHERE fixed_field = 'BLvl' LIMIT 1; -- They're all the same
 184
 185
 186     tval := SUBSTRING( ldr, tval_rec.start_pos + 1, tval_rec.length );
 187     bval := SUBSTRING( ldr, bval_rec.start_pos + 1, bval_rec.length );
 188
 189     -- RAISE NOTICE 'type %, blvl %, ldr %', tval, bval, ldr;
 190
 191     SELECT * INTO retval FROM config.marc21_rec_type_map WHERE type_val LIKE '%' || tval || '%' AND blvl_val LIKE '%' || bval || '%';
 192
 193
 194     IF retval.code IS NULL THEN
 195         SELECT * INTO retval FROM config.marc21_rec_type_map WHERE code = 'BKS';
 196     END IF;
 197
 198     RETURN retval;
 199 END;
 200 $func$ LANGUAGE PLPGSQL;
 201
 202 CREATE OR REPLACE FUNCTION biblio.marc21_record_type( rid BIGINT ) RETURNS config.marc21_rec_type_map AS $func$
 203     SELECT * FROM vandelay.marc21_record_type( (SELECT marc FROM biblio.record_entry WHERE id = $1) );
 204 $func$ LANGUAGE SQL;
 205
 206 CREATE OR REPLACE FUNCTION vandelay.marc21_extract_fixed_field( marc TEXT, ff TEXT ) RETURNS TEXT AS $func$
 207 DECLARE
 208     rtype       TEXT;
 209     ff_pos      RECORD;
 210     tag_data    RECORD;
 211     val         TEXT;
 212 BEGIN
 213     rtype := (vandelay.marc21_record_type( marc )).code;
 214     FOR ff_pos IN SELECT * FROM config.marc21_ff_pos_map WHERE fixed_field = ff AND rec_type = rtype ORDER BY tag DESC LOOP
 215         FOR tag_data IN SELECT value FROM UNNEST( oils_xpath( '//*[@tag="' || UPPER(ff_pos.tag) || '"]/text()', marc ) ) x(value) LOOP
 216             val := SUBSTRING( tag_data.value, ff_pos.start_pos + 1, ff_pos.length );
 217             RETURN val;
 218         END LOOP;
 219         val := REPEAT( ff_pos.default_val, ff_pos.length );
 220         RETURN val;
 221     END LOOP;
 222
 223     RETURN NULL;
 224 END;
 225 $func$ LANGUAGE PLPGSQL;
 226
 227 CREATE OR REPLACE FUNCTION biblio.marc21_extract_fixed_field( rid BIGINT, ff TEXT ) RETURNS TEXT AS $func$
 228     SELECT * FROM vandelay.marc21_extract_fixed_field( (SELECT marc FROM biblio.record_entry WHERE id = $1), $2 );
 229 $func$ LANGUAGE SQL;
 230
 231 CREATE TYPE biblio.record_ff_map AS (record BIGINT, ff_name TEXT, ff_value TEXT);
 232 CREATE OR REPLACE FUNCTION vandelay.marc21_extract_all_fixed_fields( marc TEXT ) RETURNS SETOF biblio.record_ff_map AS $func$
 233 DECLARE
 234     tag_data    TEXT;
 235     rtype       TEXT;
 236     ff_pos      RECORD;
 237     output      biblio.record_ff_map%ROWTYPE;
 238 BEGIN
 239     rtype := (vandelay.marc21_record_type( marc )).code;
 240
 241     FOR ff_pos IN SELECT * FROM config.marc21_ff_pos_map WHERE rec_type = rtype ORDER BY tag DESC LOOP
 242         output.ff_name  := ff_pos.fixed_field;
 243         output.ff_value := NULL;
 244
 245         FOR tag_data IN SELECT value FROM UNNEST( oils_xpath( '//*[@tag="' || UPPER(tag) || '"]/text()', marc ) ) x(value) LOOP
 246             output.ff_value := SUBSTRING( tag_data.value, ff_pos.start_pos + 1, ff_pos.length );
 247             IF output.ff_value IS NULL THEN output.ff_value := REPEAT( ff_pos.default_val, ff_pos.length ); END IF;
 248             RETURN NEXT output;
 249             output.ff_value := NULL;
 250         END LOOP;
 251
 252     END LOOP;
 253
 254     RETURN;
 255 END;
 256 $func$ LANGUAGE PLPGSQL;
 257
 258 CREATE OR REPLACE FUNCTION biblio.marc21_extract_all_fixed_fields( rid BIGINT ) RETURNS SETOF biblio.record_ff_map AS $func$
 259     SELECT $1 AS record, ff_name, ff_value FROM vandelay.marc21_extract_all_fixed_fields( (SELECT marc FROM biblio.record_entry WHERE id = $1) );
 260 $func$ LANGUAGE SQL;
 261
 262 CREATE OR REPLACE FUNCTION vandelay.marc21_physical_characteristics( marc TEXT) RETURNS SETOF biblio.marc21_physical_characteristics AS $func$
 263 DECLARE
 264     rowid   INT := 0;
 265     _007    TEXT;
 266     ptype   config.marc21_physical_characteristic_type_map%ROWTYPE;
 267     psf     config.marc21_physical_characteristic_subfield_map%ROWTYPE;
 268     pval    config.marc21_physical_characteristic_value_map%ROWTYPE;
 269     retval  biblio.marc21_physical_characteristics%ROWTYPE;
 270 BEGIN
 271
 272     _007 := oils_xpath_string( '//*[@tag="007"]', marc );
 273
 274     IF _007 IS NOT NULL AND _007 <> '' THEN
 275         SELECT * INTO ptype FROM config.marc21_physical_characteristic_type_map WHERE ptype_key = SUBSTRING( _007, 1, 1 );
 276
 277         IF ptype.ptype_key IS NOT NULL THEN
 278             FOR psf IN SELECT * FROM config.marc21_physical_characteristic_subfield_map WHERE ptype_key = ptype.ptype_key LOOP
 279                 SELECT * INTO pval FROM config.marc21_physical_characteristic_value_map WHERE ptype_subfield = psf.id AND value = SUBSTRING( _007, psf.start_pos + 1, psf.length );
 280
 281                 IF pval.id IS NOT NULL THEN
 282                     rowid := rowid + 1;
 283                     retval.id := rowid;
 284                     retval.ptype := ptype.ptype_key;
 285                     retval.subfield := psf.id;
 286                     retval.value := pval.id;
 287                     RETURN NEXT retval;
 288                 END IF;
 289
 290             END LOOP;
 291         END IF;
 292     END IF;
 293
 294     RETURN;
 295 END;
 296 $func$ LANGUAGE PLPGSQL;
 297
 298 CREATE OR REPLACE FUNCTION biblio.marc21_physical_characteristics( rid BIGINT ) RETURNS SETOF biblio.marc21_physical_characteristics AS $func$
 299     SELECT id, $1 AS record, ptype, subfield, value FROM vandelay.marc21_physical_characteristics( (SELECT marc FROM biblio.record_entry WHERE id = $1) );
 300 $func$ LANGUAGE SQL;
 301
 302 CREATE OR REPLACE FUNCTION biblio.indexing_ingest_or_delete () RETURNS TRIGGER AS $func$
 303 DECLARE
 304     transformed_xml TEXT;
 305     prev_xfrm       TEXT;
 306     normalizer      RECORD;
 307     xfrm            config.xml_transform%ROWTYPE;
 308     attr_value      TEXT;
 309     new_attrs       HSTORE := ''::HSTORE;
 310     attr_def        config.record_attr_definition%ROWTYPE;
 311 BEGIN
 312
 313     IF NEW.deleted IS TRUE THEN -- If this bib is deleted
 314         DELETE FROM metabib.metarecord_source_map WHERE source = NEW.id; -- Rid ourselves of the search-estimate-killing linkage
 315         DELETE FROM metabib.record_attr WHERE id = NEW.id; -- Kill the attrs hash, useless on deleted records
 316         DELETE FROM authority.bib_linking WHERE bib = NEW.id; -- Avoid updating fields in bibs that are no longer visible
 317         RETURN NEW; -- and we're done
 318     END IF;
 319
 320     IF TG_OP = 'UPDATE' THEN -- re-ingest?
 321         PERFORM * FROM config.internal_flag WHERE name = 'ingest.reingest.force_on_same_marc' AND enabled;
 322
 323         IF NOT FOUND AND OLD.marc = NEW.marc THEN -- don't do anything if the MARC didn't change
 324             RETURN NEW;
 325         END IF;
 326     END IF;
 327
 328     -- Record authority linking
 329     PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_authority_linking' AND enabled;
 330     IF NOT FOUND THEN
 331         PERFORM biblio.map_authority_linking( NEW.id, NEW.marc );
 332     END IF;
 333
 334     -- Flatten and insert the mfr data
 335     PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_metabib_full_rec' AND enabled;
 336     IF NOT FOUND THEN
 337         PERFORM metabib.reingest_metabib_full_rec(NEW.id);
 338
 339         -- Now we pull out attribute data, which is dependent on the mfr for all but XPath-based fields
 340         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_metabib_rec_descriptor' AND enabled;
 341         IF NOT FOUND THEN
 342             FOR attr_def IN SELECT * FROM config.record_attr_definition ORDER BY format LOOP
 343
 344                 IF attr_def.tag IS NOT NULL THEN -- tag (and optional subfield list) selection
 345                     SELECT  ARRAY_TO_STRING(ARRAY_ACCUM(value), COALESCE(attr_def.joiner,' ')) INTO attr_value
 346                       FROM  (SELECT * FROM metabib.full_rec ORDER BY tag, subfield) AS x
 347                       WHERE record = NEW.id
 348                             AND tag LIKE attr_def.tag
 349                             AND CASE
 350                                 WHEN attr_def.sf_list IS NOT NULL
 351                                     THEN POSITION(subfield IN attr_def.sf_list) > 0
 352                                 ELSE TRUE
 353                                 END
 354                       GROUP BY tag
 355                       ORDER BY tag
 356                       LIMIT 1;
 357
 358                 ELSIF attr_def.fixed_field IS NOT NULL THEN -- a named fixed field, see config.marc21_ff_pos_map.fixed_field
 359                     attr_value := biblio.marc21_extract_fixed_field(NEW.id, attr_def.fixed_field);
 360
 361                 ELSIF attr_def.xpath IS NOT NULL THEN -- and xpath expression
 362
 363                     SELECT INTO xfrm * FROM config.xml_transform WHERE name = attr_def.format;
 364
 365                     -- See if we can skip the XSLT ... it's expensive
 366                     IF prev_xfrm IS NULL OR prev_xfrm <> xfrm.name THEN
 367                         -- Can't skip the transform
 368                         IF xfrm.xslt <> '---' THEN
 369                             transformed_xml := oils_xslt_process(NEW.marc,xfrm.xslt);
 370                         ELSE
 371                             transformed_xml := NEW.marc;
 372                         END IF;
 373
 374                         prev_xfrm := xfrm.name;
 375                     END IF;
 376
 377                     IF xfrm.name IS NULL THEN
 378                         -- just grab the marcxml (empty) transform
 379                         SELECT INTO xfrm * FROM config.xml_transform WHERE xslt = '---' LIMIT 1;
 380                         prev_xfrm := xfrm.name;
 381                     END IF;
 382
 383                     attr_value := oils_xpath_string(attr_def.xpath, transformed_xml, COALESCE(attr_def.joiner,' '), ARRAY[ARRAY[xfrm.prefix, xfrm.namespace_uri]]);
 384
 385                 ELSIF attr_def.phys_char_sf IS NOT NULL THEN -- a named Physical Characteristic, see config.marc21_physical_characteristic_*_map
 386                     SELECT  value::TEXT INTO attr_value
 387                       FROM  biblio.marc21_physical_characteristics(NEW.id)
 388                       WHERE subfield = attr_def.phys_char_sf
 389                       LIMIT 1; -- Just in case ...
 390
 391                 END IF;
 392
 393                 -- apply index normalizers to attr_value
 394                 FOR normalizer IN
 395                     SELECT  n.func AS func,
 396                             n.param_count AS param_count,
 397                             m.params AS params
 398                       FROM  config.index_normalizer n
 399                             JOIN config.record_attr_index_norm_map m ON (m.norm = n.id)
 400                       WHERE attr = attr_def.name
 401                       ORDER BY m.pos LOOP
 402                         EXECUTE 'SELECT ' || normalizer.func || '(' ||
 403                             quote_literal( attr_value ) ||
 404                             CASE
 405                                 WHEN normalizer.param_count > 0
 406                                     THEN ',' || REPLACE(REPLACE(BTRIM(normalizer.params,'[]'),E'\'',E'\\\''),E'"',E'\'')
 407                                     ELSE ''
 408                                 END ||
 409                             ')' INTO attr_value;
 410
 411                 END LOOP;
 412
 413                 -- Add the new value to the hstore
 414                 new_attrs := new_attrs || hstore( attr_def.name, attr_value );
 415
 416             END LOOP;
 417
 418             IF TG_OP = 'INSERT' OR OLD.deleted THEN -- initial insert OR revivication
 419                 INSERT INTO metabib.record_attr (id, attrs) VALUES (NEW.id, new_attrs);
 420             ELSE
 421                 UPDATE metabib.record_attr SET attrs = attrs || new_attrs WHERE id = NEW.id;
 422             END IF;
 423
 424         END IF;
 425     END IF;
 426
 427     -- Gather and insert the field entry data
 428     PERFORM metabib.reingest_metabib_field_entries(NEW.id);
 429
 430     -- Located URI magic
 431     IF TG_OP = 'INSERT' THEN
 432         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_located_uri' AND enabled;
 433         IF NOT FOUND THEN
 434             PERFORM biblio.extract_located_uris( NEW.id, NEW.marc, NEW.editor );
 435         END IF;
 436     ELSE
 437         PERFORM * FROM config.internal_flag WHERE name = 'ingest.disable_located_uri' AND enabled;
 438         IF NOT FOUND THEN
 439             PERFORM biblio.extract_located_uris( NEW.id, NEW.marc, NEW.editor );
 440         END IF;
 441     END IF;
 442
 443     -- (re)map metarecord-bib linking
 444     IF TG_OP = 'INSERT' THEN -- if not deleted and performing an insert, check for the flag
 445         PERFORM * FROM config.internal_flag WHERE name = 'ingest.metarecord_mapping.skip_on_insert' AND enabled;
 446         IF NOT FOUND THEN
 447             PERFORM metabib.remap_metarecord_for_bib( NEW.id, NEW.fingerprint );
 448         END IF;
 449     ELSE -- we're doing an update, and we're not deleted, remap
 450         PERFORM * FROM config.internal_flag WHERE name = 'ingest.metarecord_mapping.skip_on_update' AND enabled;
 451         IF NOT FOUND THEN
 452             PERFORM metabib.remap_metarecord_for_bib( NEW.id, NEW.fingerprint );
 453         END IF;
 454     END IF;
 455
 456     RETURN NEW;
 457 END;
 458 $func$ LANGUAGE PLPGSQL;
 459
 460 DROP FUNCTION metabib.reingest_metabib_rec_descriptor( bib_id BIGINT );
 461
 462 CREATE OR REPLACE FUNCTION public.approximate_date( TEXT, TEXT ) RETURNS TEXT AS $func$
 463         SELECT REGEXP_REPLACE( $1, E'\\D', $2, 'g' );
 464 $func$ LANGUAGE SQL STRICT IMMUTABLE;
 465
 466 CREATE OR REPLACE FUNCTION public.approximate_low_date( TEXT ) RETURNS TEXT AS $func$
 467         SELECT approximate_date( $1, '0');
 468 $func$ LANGUAGE SQL STRICT IMMUTABLE;
 469
 470 CREATE OR REPLACE FUNCTION public.approximate_high_date( TEXT ) RETURNS TEXT AS $func$
 471         SELECT approximate_date( $1, '9');
 472 $func$ LANGUAGE SQL STRICT IMMUTABLE;
 473
 474 CREATE OR REPLACE FUNCTION public.integer_or_null( TEXT ) RETURNS TEXT AS $func$
 475         SELECT CASE WHEN $1 ~ E'^\\d+$' THEN $1 ELSE NULL END
 476 $func$ LANGUAGE SQL STRICT IMMUTABLE;
 477
 478 CREATE OR REPLACE FUNCTION public.content_or_null( TEXT ) RETURNS TEXT AS $func$
 479         SELECT CASE WHEN $1 ~ E'^\\s*$' THEN NULL ELSE $1 END
 480 $func$ LANGUAGE SQL STRICT IMMUTABLE;
 481
 482 CREATE OR REPLACE FUNCTION public.force_to_isbn13( TEXT ) RETURNS TEXT AS $func$
 483     use Business::ISBN;
 484     use strict;
 485     use warnings;
 486
 487     # Find the first ISBN, force it to ISBN13 and return it
 488
 489     my $input = shift;
 490
 491     foreach my $word (split(/\s/, $input)) {
 492         my $isbn = Business::ISBN->new($word);
 493
 494         # First check the checksum; if it is not valid, fix it and add the original
 495         # bad-checksum ISBN to the output
 496         if ($isbn && $isbn->is_valid_checksum() == Business::ISBN::BAD_CHECKSUM) {
 497             $isbn->fix_checksum();
 498         }
 499
 500         # If we now have a valid ISBN, force it to ISBN13 and return it
 501         return $isbn->as_isbn13->isbn if ($isbn && $isbn->is_valid());
 502     }
 503     return undef;
 504 $func$ LANGUAGE PLPERLU;
 505
 506 COMMENT ON FUNCTION public.force_to_isbn13(TEXT) IS $$
 507 /*
 508  * Copyright (C) 2011 Equinox Software
 509  * Mike Rylander <mrylander@gmail.com>
 510  *
 511  * Inspired by translate_isbn1013
 512  *
 513  * The force_to_isbn13 function takes an input ISBN and returns the ISBN13
 514  * version without hypens and with a repaired checksum if the checksum was bad
 515  */
 516 $$;
 517
 518 COMMIT;