record / item import failures summar links

added virtual field for import_items to queued record

added option to flesh import items on queued record retrieval

Make sort order of imported item retrieval stable

added api call open-ils.vandelay.import_item.queue.retrieve for fetching import-items by queue, w/ optional has-import-failure filter

added with_rec_import_error and with_item_import_error filters to records-by-queue retrieval

rec import bug error capturing bug fixes

remove unused match_attr and actually capture eg_record into eg_id

Secondary sort by quality ratio (higher means incoming is more "good" than existing) instead of simple incoming quality, which is a no-op (all the same)

functions for performing queue-wide vandelay.auto_overlay_bib_record_with_best

match_score column for recording matchiness; functions for auto-overlay based on "bestness"; low-water-mark boundary for best-auto-overlay

Bugfix for negative matches

some changes in the UI to reflect DB side changes

Negation and quality are now ignored for operator nodes, and are not
settable in the UI.

Also in the UI, you can no longer replace the root node of the tree with
a non-op node, meaning the root of a tree is always AND or OR.

This is due to some bug that hangs the UI now when you try to save a
single-non-op-node tree, and it's not worth debugging: just remove the
feature.

Replace vandelay.match_bib_record() with the new tree-y version

We don't have a matched_attr column anymore, because we're using the fancy expression tree, so test for 901c match directly

initial cut of capturing bib/auth import errors

initial item-import-failure reporting;  needs testing

previous cast solution didn't work.  casting inline instead

repaired some thinko's in vandelay.match_bib_record stored proc

cleaned out some non-existent fields from vandelay classes

Working ML method to update a tree

Terminology change, more consitent with existing crad editor

make the "Your Expression" preview more accurate by

showing "NOT (a OR b OR c)" instead of "(a NOR b NOR c)".

This really only matters in the case of a single clause inside the
negated expression:

Now such a thing shows up as "NOT (a)" versus "(a)"

Admin -> Server Administration -> Import Match Sets

That's where you'll find the interface for the match set expression
editor in the staff client.

move parts to conify namespace

UI perfection. it previews. it saves...

(or if it would if the ML method were done, but it will be easy now)

I just need to move things to the conify path and add staff client menu
entries

Match Set Tree editor improvements/cleanup

You can now replace the root node of the tree with anything,

and the children will be automatically deleted.  This makes it easier to
create a single-node tree with no operators, if the user should so
desire.

comment cleanup, etc

make sure user can only add reasonbly valid match points to the tree

1) implemented working replace mode 2) autocreate new tree on launch if needed

lots of things here, but nearly last big UI todo is...

to implement openils.vandelay.TreeDndSource._is_replaceable() and then
make the changes to itemCreator

Ability to delete nodes from working tree. Show metadata about match_set.

Add an autogrid-based interface for CRUD ops on vms objects, with links to the tree editor

Corrected merge from trunk

Initial vmsp tree editor

__ notes __

now we can retrieve a tree from the server and use it as the basis of
our dijit.Tree widget. Still work to be done. Can't save anything yet.

Note to self: borrow dojo dnd's "copy" operation (as opposed to move) to
mean replacing a node in the tree, rather than adding to the tree.

Re the permissions I changed, actual users of Evergreen hate having as
much granularity as there was before, and it just confuses people trying
to figure out what perms to give to whom.

Note to self 2: add ADMIN_IMPORT_MATCH_SET to ppl

Usability

1) the tree editor will only let bool_op nodes have children

2) you can't put the unset "dummy" node from the leftside onto the tree

incidentally, gave fm objects a toString method that identifies their
classname hint, as an aid to debugging in general

Structure match set points as a tree

Protect bib matching from 901$c which has no corresponding incumbent record; also, boost the quality of an exact match

SQL schema cleanup

Add table and columns for tracking current import/overlay errors per object

Mostly, new function(s) for bib matching based on SVF and tag+subfield; also, goodly amounts of moving things around

Teach fieldmapper about the new vandelay classes

moving functions around; tables for configuring match points and quality metrics

Delete protection - Ensure you can touch group

Same protection editing a user seems to get:
If you don't have the right group_application.user perm, reject

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

Can't use 0 in true/false, use defined instead

This allows for setting renewals/grace period to 0 by force

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Fix checkout on alternate patron barcode

Specifically, when a non-primary patron barcode is used.
Such as via SIP2.

NOTE: This does not change the behavior of inactive cards, nor
will stock Evergreen usage produce a situation where this fix
comes into play. --miker

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP805971: Specify UTF8 encoding in password reset templates

As reported by Liam Whalen in Launchpad bug 805971: "The file
/openils/var/template/password-reset/reset-form.tt2 does not display
utf-8 characters.  I modified it to include '<meta
http-equiv="Content-Type" content="text/html; charset=UTF-8" />' inside
the <head> tag, and the fr-CA version of the page now displays
correctly."

I duplicated the problem in Firefox 5 and confirmed that the addition of
the META tag corrects the problem.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Normalize facet values

Spotted by Lebbeous Fogle-Weekley, facet values were not being normalized.  This is due to changes in how facets are stored in 2.1+.  This alternate implementation mirrors the way search_field index definitions work, which is a bit cleaner than inserting normalization into the field extraction process.

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Stampping upgrade for authorsort fix from Lebbeous

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Fix the SVF authorsort field (metabib.record_attr->'authorsort')

It's important not to include things like $0 that we wouldn't want in
there.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Use open-ils.circ.checkout.full in SIP2.

Change the SIP2 checkout code to use a single call to open-ils.
circ.checkout.full instead of doing the whole checkout.permit
checkout dance.

Further simplify the checkout logic in O::SIP::Transaction::Checkout.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

when using params.data keys as print macros, render bare numbers correctly, and treat nulls as empty strings

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

add Print button and associated template for Holdings Maintenance
wire up List Actions for Holdings Maintenance
  * give List Actions support for nested rows in trees
  * give util.list.print support for nested rows in trees
  * we can leverage bib_brief_overlay to populate params.data for printing instead of fleshing out DOM

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Hold Notes column

New column in holds list UIs that allows staff to see at a glance the
(initial) text content of attached hold notes.  In some cases, this
helps avoid the need to open the dedicated notes UI.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Staff UI for batch holds on items.

"Request Item" action in Holdings Maintenance, Item Status, and Copy
Buckets is the entry-point.  Works on selected items in the first two
interfaces and all items in the bucket for the latter.  UI allows you
to place Copy type, Recall type, or Force type holds.  It reports the #
of successes and breaks down the failures by failure event.  You can
retry failures (optionally changing some of the request parameters
like Pickup Library) or "override" them.  Clicking the hyperlink for
a set of failures will show the items involved in a new Item Status tab.

More technical blurbs from squashed commits:

  * "open-ils.circ.holds.test_and_create.batch" Takes an argument hash and a list of targets.  All the holds created will be identical except for the targets.
  * retrieve and display Recall and Force holds like Copy holds
  * give the Item Status UI an inefficient way to handle being passed copy id's (via xulG) in addition to barcodes
  * wire-up item hold request ui
  * place hold UI

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Correct copy-paste-o spotted by Dan Scott

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Michael Peters provided a patch to add some missing labels...

... to a key acquisitions interface.  It works.  Also fixed
some unclosed tags while I was at it.

Wasn't sure whether to copy and paste Michael's sign-off or what, but
here's the link to his original patch for purists:
https://launchpadlibrarian.net/74191964/0001-LP802578-Acquisitions-Batch-copy-update-missing-head.patch

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Fix broken images for items without ISBNs in search results

The search results code happily sets the src attribute of the cover
image to an empty string (as returned by cleanISBN()) if currentISBN has
not been defined (which is generally the case if an item doesn't have an
ISBN, such as a DVD or a thesis or an old book).

Protect against the empty string and set the src attribute to
'/opac/images/blank.png' to avoid broken image indicators in search
results.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Merge branch 'master' of git.evergreen-ils.org:Evergreen

Add a method to generate a URI from extracted or supplied parts (both class and object method)

Signed-off-by: Mike Rylander <mrylander@gmail.com>

batch menus for Volume Edit
refactoring menu generators for CN classes and affixes
description of Auto-Merge checkbox in Volume Edit

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Saner behavior for Actions for Selected Holds -> Transfer to Marked Title

* Transfer the actual selected title holds, rather than all title holds for
the bibs referenced by those selected.
* middle layer method for changing the target and resetting specified holds
* label change for clarity, Transfer All Title Holds

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Cleanup of missed commit from the original topic branch

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Pinning upgrade script for copy visibility speed boost

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Unwrapped upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Attempt to speed up cache visbility trigger

With the old version merges were timing out.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Configuration interface for config.metabib_field table

This interface enables admins to create and modify the entries used for
defining indexes, faceting, and eventually display.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Upgrade stamping for "overdues fines on lost checkin" merge

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Unstamped upgrade script for circ.lost.generate_overdue_on_checkin seed data

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Option to generate lacking overdues on lost checkin

New org unit setting "circ.lost.generate_overdue_on_checkin".

This org unit setting enables retroactive overdue fine generation for
lost item checkin.  When enabled, the system will generate overdue fines
starting from the date of the last created overdue fine for the
circulation and working its way up to the checkin time or stopping at
the max fine amount (consistent with regular overdue fine generation).

This differs from the existing org unit setting
"circ.restore_overdue_on_lost_return", which only un-voids existing
overdue fines.

Consider an item whose due date is the 1st, that gets marked lost on the
7th, then checked in on the 14th.  If set,
"circ.restore_overdue_on_lost_return" would un-void the fines created up
to the 7th and "circ.lost.generate_overdue_on_checkin" would create new
overdue fines from the 7th up to the 14th (or up to the max fine
amount).

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

with scan missing pieces, retarget affected holds prior to recirculating to previous patron, lest the checkout reset the holds for us without retargeting

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

retarget title holds after transfering to a new bib

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Include Apache configuration instructions in README

Borrowing heavily from the wiki for these instructions, this helps round
out the README. Still more to do.

Signed-off-by: Dan Scott <dan@coffeecode.net>

Show human label for Internet Access Level in Patron Search

Looks like fm_columns uses a prefix of "au_" for the column name defined
in util.js. Therefore, au_net_access_level lets us define the label to
display in place of the integer value.

Signed-off-by: Dan Scott <dan@coffeecode.net>

Specify the display field for linked objects with fm_columns

If a display field isn't specified, it defaults to the key field,
which is essentially the same as not fleshing the object in the first
place.  Let me know if fieldmapper has or gains a way of specifying
such "display" fields, and we can augment fm_columns to use it as well.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Let fm_columns use cached data.hash objects for linked fields

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Support Fedora 15 as a target in Makefile.install

Add Fedora 15 to the Makefile.install as a simple clone of the Fedora 14
target for now. Correct Makefile.install target names in README, and
point out that nothing special is required for Fedora 15 for PostgreSQL
9 support.

While we're in the README, rip out the Dojo toolkit install info as
packaged releases include Dojo now (we retain the developer instructions
for installing Dojo manually for git users, of course).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add checkout override to SIP2 checkout & renew.

OpenILS::SIP::Transaction::Checkout was modified to allow for
the override of certain, configurable events much in the same
way that checkin currently does overrides.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Respect DESTDIR during the build process

Add $(DESTDIR) to paths it is currently missing from
Manually specify the apxs2 install location so that DESTDIR can be prepended
Attempt to create the apache directory if it does not exist

Signed-off-by: Ben Webb <bjwebb67@googlemail.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Stamped DB upgrade script for for XMLAGG cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Upgrade script for the XMLAGG cleanup

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Address LP#801129, in-db unAPI failure

Cleanup of improper use of XMLAGG in the unAPI stored procs first identified by Bill Erickson in https://bugs.launchpad.net/bugs/801129

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

upgrade script for A/T event def: Hold Cancelled (No Target) Email Notification

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

cat.volume.delete_on_empty org setting.  break up and wrap the upgrade script

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Sample hold cancelled with no target notice

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Cancel bib holds with bib is deleted

And notify user via A/T

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Cancel volume/copy holds on delete

Cancel all holds that directly target a copy or volume when the
copy/volume is being deleted.

Sends async message to A/T for each hold to create and run the
necessary events (e.g.  send cancellation notices).

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

unwrapped upgrade script for cat.volume.delete_on_empty

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Delete volume on last copy setting

When the last copy for a volume is deleted, go ahead and delete the
volume when this new setting is activated.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Option to force-delete copies during volume delete

Added a "force_delete_copies" option to
open-ils.cat.asset.volume.fleshed.batch.update* which forces deletion of
all copies attached to a volume if the volume is being deleted.  There
are still scenarios that will result in copies not being deleted
(e.g. copy is checked out), in which case the override option will
behave here the same way it behaves in
open-ils.cat.asset.copy.fleshed.batch.update*

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Stamp the upgrade with a version number

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Un-stamped upgrade script for collection exempt perm

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Permission to control patron-collections-exempt

Adds a new permission 'UPDATE_PATRON_COLLECTIONS_EXEMPT' which controls
who can toggle the circ.collections.exempt user setting in the patron
registration interface.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

bump xulrunner version

Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Check if hold is really available in Trigger::Validator.

Add checks for shelf time and no fulfillment time in
HoldIsAvailable in OpenILS::Application::Trigger::Validator.

We've had some issues with poorly migrated data and people
messing with holds that causes the original logic to trigger
for unfilled holds. Plus, the extra precaution of checking
more precise conditions of an actually filled hold can't hurt,
can it?

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Make bucket content retrieval authoritative

LP#492036, we neeed all bucket methods to be authoritative.  Some already were, this finishes the job.

Signed-off-by: Mike Rylander <mrylander@gmail.com>

Further clean-up of Serials interfaces

When trying to come up with good tests, found a few bugs (imagine!).
Some have been nagging for a while now.

1) For 'MFHDDrawn' event, make sure it runs if deleting the last
serials data of any kind for that record (to unpopulate the menus
properly)

2) Make sure global mfhd member (g.mfhd) is cleared in the same case
(i.e. deleting the last serials data for that record)

3) Add a string to better indicate when no MFHD records are available
for 'Legacy Record Entry' drop-down

4) Convert submitted empty drop-down values to 'null' as needed in
distribution editor

5) Mark subscription 'start date' as a required field

6) Make serial virtual records better handle deleted 'legacy record
entries' attached to distributions, and also expose non-deleted
record entries even if in 'use_sdist_only' summary mode

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Better coordination of MFHD/SRE adding/deleting

Adding or deleting MFHD records from the XUL menus requires
coordinating the OPAC display, the XUL menus, and the Serial
Control distribution editors.  The previous code frequently
required some non-obvious manual refreshing to make it work.

This commit keeps them in sync using custom events instead.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Add unit tests for LP 800269 - holdings for captions only

Running "prove -l lib" in Open-ILS/src/perlmods shows that the two new
unit tests pass, whereas they fail using the previously installed
version of MFHD.pm. Good evidence that the fix from dbwells does indeed
solve the reported bug.

Signed-off-by: Dan Scott <dan@coffeecode.net>

MFHD compressed holdings short-circuit logic

If you attempt to get compressed (or uncompressed) holdings from
a MFHD record with only a caption, the code should short-circuit
and return an empty list.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Update serial.unit auditor table along w/ asset.copy change

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Wrapped DB script

Signed-off-by: Bill Erickson <berick@esilibrary.com>