add .atomic to the end of the queue export API calls where it belongs

wire in the event firing, though we still need the templates.  Put streaming back in for the print/csv/email export methods, since we can respond_complete for email and it to doesn't hurt the other two.

register the methods we're expecting for the print/csv/email exports in Vandelay, and remove limit/offset options for such methods, and expectation of streaming

initial export drop-down for items UI

initial export drop-down for queue UI

more import error tracking and reporting bug fixes

run zz_match_bibs_trigger before update/insert so NEW.quality:= will work

expose new import options to queue interface importer dialog; mucho import bug fixes in the middle layer code; expose queued rec quality in matches interface

added edit support for lwm_ratio on merge_profile; default ratio to that of the merge profile if selected and if a ratio is set on the profile

added missing lwm_ratio field to vandelay.merge_profile

record import error handling improvements

the vandelay match set editor now does quality metrics too

Best Match w/ quality ratio merging

 * Mew Best Match option in merge/overlay
 * support for upload time minimum record quality ratio
 * We now /only/ create new records if no matches exist and the user
   selected a match-free import
 * Selecting a match-free import no longer trumps other merge imports.
   They both work together now.

TODO: find out why queued record quality is not getting set at queued
rec creation time.

working in quality metric editor

grab attr value from vandelay.extract_rec_attrs hstore to compare to configured value

repaired copy/paste error in match_bib_record

Allow different quality measures for different values on the same tag+sf/svf

Save incumbent record quality in bib_match.quality, incoming in queued_record.quality

initial support for selecting merge-on-best-match and setting minimum quality ratio

show match score/quality in VL record match grid

added missing bib_match.match_score field to IDL

slight mods to vandelay match set page to sync w/ updated bib/auth match table layout

Give authority flattening the same treatment as biblio flattening

Only ingest bibs and items and run matches /before/ we import a bib

more vandelay menubar slimming

don't match on deleted bib records

also remove matched_set from IDL

Clean up uses of vandelay.incoming_record_quality to provide all required params; Remove matched_set on matches, just look at the match_set for the queue of the vandelay record in question

Add MARC::Charset dance to the remaining plperlu function

match set selection support in vl uploage UI, part 1

delete match_set_point's starting with leaf nodes to avoid foreign key constraints on nodes w/ children

create an embedded view of the vandelay match-set admin ui inside of vandelay (as one of the tabs)

added support for viewing all import-items related to a queue, with a filter to limit to those that failed import

added view for all failed item imports for a queue; next up is export options

added support for 'limit records to those with any import errors' in vandelay queue display

added 'with_import_error' option to queued record retrieval;  returns recs with either a record or item import failure (or both)

Vandelay file upload page cleanup

 * Separate data configuration parameters from import actions
 * Since import item profile is linked to queue, show the profile for
    the selected queue and dissallow changing the profile for existing
    queues in the UI (which has no effect)

added new stub actions for limit-to-import-errors and show all item import errors; displaying new summary info; much rearrangement to bettet fit the UI pieces

add error and item import/error summary info to queue summary api call

No longer limit to non-imported items by default in queue display

hide item import error grid when not in use

misc. bug fixes

show rec summary and import failure reason when appropriate

show item import error counts and rec import error as link to error page;  initial error page

record / item import failures summar links

added virtual field for import_items to queued record

added option to flesh import items on queued record retrieval

Make sort order of imported item retrieval stable

added api call open-ils.vandelay.import_item.queue.retrieve for fetching import-items by queue, w/ optional has-import-failure filter

added with_rec_import_error and with_item_import_error filters to records-by-queue retrieval

rec import bug error capturing bug fixes

remove unused match_attr and actually capture eg_record into eg_id

Secondary sort by quality ratio (higher means incoming is more "good" than existing) instead of simple incoming quality, which is a no-op (all the same)

functions for performing queue-wide vandelay.auto_overlay_bib_record_with_best

match_score column for recording matchiness; functions for auto-overlay based on "bestness"; low-water-mark boundary for best-auto-overlay

Bugfix for negative matches

some changes in the UI to reflect DB side changes

Negation and quality are now ignored for operator nodes, and are not
settable in the UI.

Also in the UI, you can no longer replace the root node of the tree with
a non-op node, meaning the root of a tree is always AND or OR.

This is due to some bug that hangs the UI now when you try to save a
single-non-op-node tree, and it's not worth debugging: just remove the
feature.

Replace vandelay.match_bib_record() with the new tree-y version

We don't have a matched_attr column anymore, because we're using the fancy expression tree, so test for 901c match directly

initial cut of capturing bib/auth import errors

initial item-import-failure reporting;  needs testing

previous cast solution didn't work.  casting inline instead

repaired some thinko's in vandelay.match_bib_record stored proc

cleaned out some non-existent fields from vandelay classes

Working ML method to update a tree

Terminology change, more consitent with existing crad editor

make the "Your Expression" preview more accurate by

showing "NOT (a OR b OR c)" instead of "(a NOR b NOR c)".

This really only matters in the case of a single clause inside the
negated expression:

Now such a thing shows up as "NOT (a)" versus "(a)"

Admin -> Server Administration -> Import Match Sets

That's where you'll find the interface for the match set expression
editor in the staff client.

move parts to conify namespace

UI perfection. it previews. it saves...

(or if it would if the ML method were done, but it will be easy now)

I just need to move things to the conify path and add staff client menu
entries

Match Set Tree editor improvements/cleanup

You can now replace the root node of the tree with anything,

and the children will be automatically deleted.  This makes it easier to
create a single-node tree with no operators, if the user should so
desire.

comment cleanup, etc

make sure user can only add reasonbly valid match points to the tree

1) implemented working replace mode 2) autocreate new tree on launch if needed

lots of things here, but nearly last big UI todo is...

to implement openils.vandelay.TreeDndSource._is_replaceable() and then
make the changes to itemCreator

Ability to delete nodes from working tree. Show metadata about match_set.

Add an autogrid-based interface for CRUD ops on vms objects, with links to the tree editor

Corrected merge from trunk

Initial vmsp tree editor

__ notes __

now we can retrieve a tree from the server and use it as the basis of
our dijit.Tree widget. Still work to be done. Can't save anything yet.

Note to self: borrow dojo dnd's "copy" operation (as opposed to move) to
mean replacing a node in the tree, rather than adding to the tree.

Re the permissions I changed, actual users of Evergreen hate having as
much granularity as there was before, and it just confuses people trying
to figure out what perms to give to whom.

Note to self 2: add ADMIN_IMPORT_MATCH_SET to ppl

Usability

1) the tree editor will only let bool_op nodes have children

2) you can't put the unset "dummy" node from the leftside onto the tree

incidentally, gave fm objects a toString method that identifies their
classname hint, as an aid to debugging in general

Structure match set points as a tree

Protect bib matching from 901$c which has no corresponding incumbent record; also, boost the quality of an exact match

SQL schema cleanup

Add table and columns for tracking current import/overlay errors per object

Mostly, new function(s) for bib matching based on SVF and tag+subfield; also, goodly amounts of moving things around

Teach fieldmapper about the new vandelay classes

moving functions around; tables for configuring match points and quality metrics

Delete protection - Ensure you can touch group

Same protection editing a user seems to get:
If you don't have the right group_application.user perm, reject

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

Can't use 0 in true/false, use defined instead

This allows for setting renewals/grace period to 0 by force

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Fix checkout on alternate patron barcode

Specifically, when a non-primary patron barcode is used.
Such as via SIP2.

NOTE: This does not change the behavior of inactive cards, nor
will stock Evergreen usage produce a situation where this fix
comes into play. --miker

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP805971: Specify UTF8 encoding in password reset templates

As reported by Liam Whalen in Launchpad bug 805971: "The file
/openils/var/template/password-reset/reset-form.tt2 does not display
utf-8 characters.  I modified it to include '<meta
http-equiv="Content-Type" content="text/html; charset=UTF-8" />' inside
the <head> tag, and the fr-CA version of the page now displays
correctly."

I duplicated the problem in Firefox 5 and confirmed that the addition of
the META tag corrects the problem.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Normalize facet values

Spotted by Lebbeous Fogle-Weekley, facet values were not being normalized.  This is due to changes in how facets are stored in 2.1+.  This alternate implementation mirrors the way search_field index definitions work, which is a bit cleaner than inserting normalization into the field extraction process.

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Stampping upgrade for authorsort fix from Lebbeous

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Fix the SVF authorsort field (metabib.record_attr->'authorsort')

It's important not to include things like $0 that we wouldn't want in
there.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Use open-ils.circ.checkout.full in SIP2.

Change the SIP2 checkout code to use a single call to open-ils.
circ.checkout.full instead of doing the whole checkout.permit
checkout dance.

Further simplify the checkout logic in O::SIP::Transaction::Checkout.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

when using params.data keys as print macros, render bare numbers correctly, and treat nulls as empty strings

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

add Print button and associated template for Holdings Maintenance
wire up List Actions for Holdings Maintenance
  * give List Actions support for nested rows in trees
  * give util.list.print support for nested rows in trees
  * we can leverage bib_brief_overlay to populate params.data for printing instead of fleshing out DOM

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Hold Notes column

New column in holds list UIs that allows staff to see at a glance the
(initial) text content of attached hold notes.  In some cases, this
helps avoid the need to open the dedicated notes UI.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Staff UI for batch holds on items.

"Request Item" action in Holdings Maintenance, Item Status, and Copy
Buckets is the entry-point.  Works on selected items in the first two
interfaces and all items in the bucket for the latter.  UI allows you
to place Copy type, Recall type, or Force type holds.  It reports the #
of successes and breaks down the failures by failure event.  You can
retry failures (optionally changing some of the request parameters
like Pickup Library) or "override" them.  Clicking the hyperlink for
a set of failures will show the items involved in a new Item Status tab.

More technical blurbs from squashed commits:

  * "open-ils.circ.holds.test_and_create.batch" Takes an argument hash and a list of targets.  All the holds created will be identical except for the targets.
  * retrieve and display Recall and Force holds like Copy holds
  * give the Item Status UI an inefficient way to handle being passed copy id's (via xulG) in addition to barcodes
  * wire-up item hold request ui
  * place hold UI

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct copy-paste-o spotted by Dan Scott

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Michael Peters provided a patch to add some missing labels...

... to a key acquisitions interface.  It works.  Also fixed
some unclosed tags while I was at it.

Wasn't sure whether to copy and paste Michael's sign-off or what, but
here's the link to his original patch for purists:
https://launchpadlibrarian.net/74191964/0001-LP802578-Acquisitions-Batch-copy-update-missing-head.patch

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Fix broken images for items without ISBNs in search results

The search results code happily sets the src attribute of the cover
image to an empty string (as returned by cleanISBN()) if currentISBN has
not been defined (which is generally the case if an item doesn't have an
ISBN, such as a DVD or a thesis or an old book).

Protect against the empty string and set the src attribute to
'/opac/images/blank.png' to avoid broken image indicators in search
results.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Merge branch 'master' of git.evergreen-ils.org:Evergreen