Vandelay matching, quality, error reporting, and queue export additions

 * Configuration of direct MARC field comparisons of incoming record to existing records
 * Support for nested boolean MARC comparison expressions: e.g. 100a and (020a or 024a)
 * Support for field-level match scores to create an overall per-record match score
 * Support for best match merge/overlay
 * Support for field-level quality metrics to determine overall record quality
 * Support for enforcing a minimum quality ratio on import to prevent import of lower quality records
 * Support for capturing and reporting record and item import failures.
 * Support for exporting record queues and items as print, CSV, and email
 * Various small display fixes and cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Stamped DB version

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Seed data and schema cleanup for merge

 * Updated A/T event-def ID in seed data to match master
 * Move schema elements into the correct order in the baseline files (mike)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Logic error fixes in Vandelay

* When counting import failures, also count records that have no import
items attached

* Fixed problem w/ not setting import time/as on newly imported records

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Repaired typo on schema and upgrade SQL

ARRAY_ACUM is not a defined function.  Per Dan Scott, replaced with
ARRAY_AGG instead of the correctly spelled ARRAY_ACCUM, since we'll be
using that function in place of ARRAY_ACCUM going forward.

Thanks, Dan.

Minor syntax/cleanup repairs

Remove tmp seed data file.  T'was replaced with upgrade script

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct regression that was held over due to massive moving of functions

upgrade script cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>

seed data for vandlelay export templates

Initial upgrade script for vandelay improvements

TODO:
    * Set up the ALTER TABLE statements
    * Further review
    * Testing

repair selector column width (move to width attr) to free up space in queue display

disable sorting on selector column in queue grid

avoid pile-up of dojo-attached event handlers for queue upload inputs

set imported_as / import_time on import items after successful import

Yet more Vandelay fixes

* Remove the deprecated .nomatch API call.  no-match is now a runtime
option

* Re-fetch queued record after auto-import to avoid clobbering
imported_as as set by the DB during auto import

Spacing and code comments to keep future-miker from becoming confused again by the lack thereof

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Show the "match score," a hopefully clearer term for match point quality,

in the expression tree UI

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add items-imported to VL queue summary

Added total_items_imported value to queue summary API call.  Displaying
value in vandelay queue summary area.

Track import time and target copy on import items

Added import_time and imported_as columns to vandelay.import_item

For you branch trackers:

ALTER TABLE vandelay.import_item
    ADD import_time TIMESTAMP WITH TIME ZONE;

ALTER TABLE vandelay.import_item
    ADD imported_as BIGINT REFERENCES
    asset.copy (id) DEFERRABLE INITIALLY DEFERRED;

more delineation of quality vs. score in match set config

Match set point quality terminology change

Change "Quality" in the context of a match set
point to "Match Score Value" to avoid overriding the term "quality".

Return to dijit.form.Button for VL upload form

Otherwise the form is not correctly POSTed

show activity dialog on vandelay item export

More Vandelay text and style cleanup

* More consistent use of the word "match"
* Make upload input more obvious w/ a border
* Move some strings into DTD

Flexible TCN match configuration

If users do not want records with duplicate TCN values imported, users
should rely on match-sets to enforce this policy instead of a hard-coded
duplicate tcn block.  This is done by automatically calling the 'override'
version of bib XML import.  The only tcn-related failure that can now
occur is if no free, non-dupe TCN value can be extracted from the record.

Vandelay import improvements / bug fixes

 * Allow for quality ratio control during import-on-1match
 * Allow for 901c matching when no match-set is selected
 * Tidy up some display strings
 * Numerous small bug fixes

Clean up match_set data on delete

Delete via cascade match_set_point's and match_set_quality entries
for a given match_set on delete

Display org shortname in merge profile editor

...instead of org unit ID

return after Email sent alert

This function also gets used with authority queues, so don't assume import_items()

email template for import items export

tweak formatting for CSV export templates, and add headers

CSV template for import items export

robustify exportHandler, assume response of 1 is success for email methods, and make import_item export methods atomic

toward Import Item templates for export.  May want to consider providing IDL links for some of these fields so we can flesh them in the environment

Remove excised field from IDL

fix variable name for Import Items Export

change the group field for these templates, though they weren't breaking anything before (these are called with fire_object_event and instead of create_events_for_hook, if that makes a difference)

templates for exporting authority queues, but needs testing.  blockers here include importing authority records being broken, and possibly selection of an authority queue to inspect being broken

email template for queued bib records

In the event that a bib queue is not using a match_set, bail out of...

... match_set_test_marcxml() early.  Needs tested.  Also may need
special check for non-null but empty match_sets.

CSV template and file saving worked out

first template and supporting code, printing queued bib records

remove .atomic. from these method names

add .atomic to the end of the queue export API calls where it belongs

wire in the event firing, though we still need the templates.  Put streaming back in for the print/csv/email export methods, since we can respond_complete for email and it to doesn't hurt the other two.

register the methods we're expecting for the print/csv/email exports in Vandelay, and remove limit/offset options for such methods, and expectation of streaming

initial export drop-down for items UI

initial export drop-down for queue UI

more import error tracking and reporting bug fixes

run zz_match_bibs_trigger before update/insert so NEW.quality:= will work

expose new import options to queue interface importer dialog; mucho import bug fixes in the middle layer code; expose queued rec quality in matches interface

added edit support for lwm_ratio on merge_profile; default ratio to that of the merge profile if selected and if a ratio is set on the profile

added missing lwm_ratio field to vandelay.merge_profile

record import error handling improvements

the vandelay match set editor now does quality metrics too

Best Match w/ quality ratio merging

 * Mew Best Match option in merge/overlay
 * support for upload time minimum record quality ratio
 * We now /only/ create new records if no matches exist and the user
   selected a match-free import
 * Selecting a match-free import no longer trumps other merge imports.
   They both work together now.

TODO: find out why queued record quality is not getting set at queued
rec creation time.

working in quality metric editor

grab attr value from vandelay.extract_rec_attrs hstore to compare to configured value

repaired copy/paste error in match_bib_record

Allow different quality measures for different values on the same tag+sf/svf

Save incumbent record quality in bib_match.quality, incoming in queued_record.quality

initial support for selecting merge-on-best-match and setting minimum quality ratio

show match score/quality in VL record match grid

added missing bib_match.match_score field to IDL

slight mods to vandelay match set page to sync w/ updated bib/auth match table layout

Give authority flattening the same treatment as biblio flattening

Only ingest bibs and items and run matches /before/ we import a bib

more vandelay menubar slimming

don't match on deleted bib records

also remove matched_set from IDL

Clean up uses of vandelay.incoming_record_quality to provide all required params; Remove matched_set on matches, just look at the match_set for the queue of the vandelay record in question

Add MARC::Charset dance to the remaining plperlu function

match set selection support in vl uploage UI, part 1

delete match_set_point's starting with leaf nodes to avoid foreign key constraints on nodes w/ children

create an embedded view of the vandelay match-set admin ui inside of vandelay (as one of the tabs)

added support for viewing all import-items related to a queue, with a filter to limit to those that failed import

added view for all failed item imports for a queue; next up is export options

added support for 'limit records to those with any import errors' in vandelay queue display

added 'with_import_error' option to queued record retrieval;  returns recs with either a record or item import failure (or both)

Vandelay file upload page cleanup

 * Separate data configuration parameters from import actions
 * Since import item profile is linked to queue, show the profile for
    the selected queue and dissallow changing the profile for existing
    queues in the UI (which has no effect)

added new stub actions for limit-to-import-errors and show all item import errors; displaying new summary info; much rearrangement to bettet fit the UI pieces

add error and item import/error summary info to queue summary api call

No longer limit to non-imported items by default in queue display

hide item import error grid when not in use

misc. bug fixes

show rec summary and import failure reason when appropriate

show item import error counts and rec import error as link to error page;  initial error page

record / item import failures summar links

added virtual field for import_items to queued record

added option to flesh import items on queued record retrieval

Make sort order of imported item retrieval stable

added api call open-ils.vandelay.import_item.queue.retrieve for fetching import-items by queue, w/ optional has-import-failure filter

added with_rec_import_error and with_item_import_error filters to records-by-queue retrieval

rec import bug error capturing bug fixes

remove unused match_attr and actually capture eg_record into eg_id

Secondary sort by quality ratio (higher means incoming is more "good" than existing) instead of simple incoming quality, which is a no-op (all the same)

functions for performing queue-wide vandelay.auto_overlay_bib_record_with_best

match_score column for recording matchiness; functions for auto-overlay based on "bestness"; low-water-mark boundary for best-auto-overlay

Bugfix for negative matches

some changes in the UI to reflect DB side changes

Negation and quality are now ignored for operator nodes, and are not
settable in the UI.

Also in the UI, you can no longer replace the root node of the tree with
a non-op node, meaning the root of a tree is always AND or OR.

This is due to some bug that hangs the UI now when you try to save a
single-non-op-node tree, and it's not worth debugging: just remove the
feature.

Replace vandelay.match_bib_record() with the new tree-y version

We don't have a matched_attr column anymore, because we're using the fancy expression tree, so test for 901c match directly