LP#1541559: ebook API service and test module

This commit introduces a new service, open-ils.ebook_api, for
integration of third-party APIs from vendors like OverDrive and
OneClickdigital.

The design of the service is somewhat similar to Evergreen's added
content module.  Common functionality and API calls are defined in the
main Perl module, OpenILS::Application::EbookAPI, while vendor-specific
details like endpoint URLs are broken out into separate "handler"
submodules for each vendor API.  (The actual mechanics of HTTP
requests/responses are handled by the new OpenILS::Utils::HTTPClient
module.)

An example handler module, OpenILS::Application::EbookAPI::Test, is
included with this commit, along with some live tests which depend on
the test module.  It can be considered a reference implementation for
future vendor-specific handlers.

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1541559: HTTPClient: a utility for sending HTTP requests and handling responses

The intent of this package is to provide basic tools for communicating
with third-party APIs.  It is a dependency of the open-ils.ebook_api
service.

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1541559: make active barcode available in OPAC

When logged in to the TPAC, the barcode of the patron's active card is
made available in $ctx->{active_card}.

Signed-off-by: Jeff Davis <jdavis@sitka.bclibraries.ca>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1662541: Release notes entry for additional subject browse headings

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1662541: Stamping upgrade script for added subject browse indexes

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1662541: several new subject browse index definitions

This patch adds several config.metabib_field definitions
that are specifically for subject browses:

subject / topic_browse
subject / geographic_browse
subject / temporal_browse

These new definitions index the entire heading as a unit,
so a heading like this:

=650 \0$aCats$zUnited States$vCorrespondence.

will end up in the subject/topic_browse index as a single
entry for

Cats -- United States -- Correspondence

rather than separate browse entries for "Cats" as a subject/topic,
and "United States" as a subject/geographic.

Since the new *_browse indexes are meant to replace the browse
functions of the existing subject/topic, subject/geographic, and
subject/temporal indexes, the browse flag is turned off for the
older definitions.

This patch intentionally does not include an entry for subject/name_browse,
as additional coding would be required to get the display form of the
heading to be punctuated correctly.

To test
-------
[1] After applying the patch, perform subject browses in the
    OPAC and staff interfaces and verify that fully composed
    headings from bib records are now displayed as browse entries.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: Book Items Now from Item Status

We can't do what we did with Make Items Bookable, consolidating the items into
one call and invoking a single interface; we get "Can't book multiple resource
types at once".  For now, we disable the 'Book Item Now' menu entry if multiple
items are selected.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: toward booking from Item Status

This patch also offers an improvement from the XUL version,
as batches involving multiple bibs are now correctly handled.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

tweak Booking administration pagse

- remove admin/booking/conify/* routes in favor of
  admin/server/booking/* routes that already existed;
  as part of this, remove redudant admin EmbedBookingCtl
  controller
- alphabetize the entries on the Booking Administration splash
  page
- remove Booking links from the Server Administration splash
  page

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: implement Edit MARC Order Record

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: implement Update Barcodes line item action

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: rework line item sub-actions menu

Since Chrome doesn't generate click events for the act of
selecting an <option>, change to dispatching line item
sub-actions based on change events on the <select>.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: implement 'Export Single Attribute List'

This bundles in FileSaver.js, an MIT-licensed library
that implements support for the HTML5 saveAs() routine.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: fix CSV-parsing of catalog record ID lists

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: get Load Catalog Record IDs working

Provide an alternative using FileReader to the XPCOM-based
client-side file reading that this feature uses under XUL.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: fix highlighting of line item

Tweak the layout of the line item table so that returning
to it from the copy view causes only the border of the
line item information box to be highlighted, not both the
border and a random segment of the contents.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: avoid showing 'null' as source label when displaying line item

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: using egEmbedFrame escape opens new window at frame's current location

... as opposed to whatever URL was originally embedded.

For example, if you doing a PO search, then open the frame in a
new window, the results of the search are displayed in that window
rather than an empty search form.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: add view/place orders action to holdings grid

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

distinguish between XUL and Firefox when excluding XUL code from webstaff

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: more intra-acq linking fixes

- fix typo from previous patch
- implement linking out to queues and invoices from
  line item table

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

improve linking out of acquisitions upload page

- cat/catalog/vandelay route no longer drops
  query parameters, permitting direct linking to import
  queues (e.g., /eg/staff/cat/catalog/vandelay?qtype=bib&qid=367)
- acq/legacy/:noun/:verb/:record now a valid acq route
- purchase order MARC loading now generates usable links
  back to PO, selection list, and/or import queue

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

tweak embedding of Dojo acq admin pages

- turn on the "open in new window" button
- set minimum height of eframes to 2000px

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

tweak embedding of Dojo acquisitions pages

- turn on the "open in new window" button
- set minimum height of eframes to 2000px

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: Restrict spinner use to positive numbers

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: improve truthiness test of bre.deleted in marc editor

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: colspan=0 does not render how we want in chrome -- change that for lineitem tables

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

webstaff: Protect some ACQ interfaces from XUL-ish calls

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Docs: Copy Status "Is Available" Flag

Signed-off-by: Jane Sandberg <sandbej@linnbenton.edu>

Merge branch 'master' of git.evergreen-ils.org:Evergreen

LP#1624366 Evergreen integration with obalkyknih.cz (Czech AC provider)

By default is AC disabled. Fixed summary.tt2 to be based on latest
version -
http://git.evergreen-ils.org/?p=Evergreen.git;a=tree;f=Open-ILS/src/templates/opac/parts/record;h=bc962e52a84aaf95ffc5f1fa407c2ffc3d54dec4;hb=HEAD.

Signed-off-by: Jakub Kotrla <jakub@kotrla.net>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1624366 Evergreen integration with obalkyknih.cz (Czech AC provider)

AddedContent Perl plugin to display book covers from Czech provider
obalkyknih.cz. Also can display summary, table of content
and user reviews.

Conflicts:
Open-ILS/src/templates/opac/parts/record/summary.tt2

Signed-off-by: Jakub Kotrla <jakub@kotrla.net>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1661754 - Prevent staff users from marking a Long Overdue item Lost

Prevents circulations that are already Lost or Long Overdue from being
marked Lost or Long Overdue. Avoiding patrons being billed twice for the
same item.

Signed-off-by: Michele Morgan <mmorgan@noblenet.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1661661: Stamping upgrade scripts for Arabic and right-to-left support

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1661661: Add release note about Arabic and RTL support in TPAC

Signed-off-by: Ben Shum <ben@evergreener.net>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1661661: Use new rtl field in config.i18n_locale

Add a new column for "rtl" in config.i18n_locale and then use that
to check which direction to assign for the CSS files.

Two upgrade scripts, one to change the schema for new column and a
second one to enable Arabic (Jordan) as an option.

Signed-off-by: Ben Shum <ben@evergreener.net>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1661661: Fixing syntax in base.tt2

There was a missing closing tag for the second stylesheet that caused an error
with the heading. Fixed that, and then made some whitespace adjustments.

Signed-off-by: Ben Shum <ben@evergreener.net>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1661661: Support for right-to-left (RTL) languages

File changes added by Nawras Othman for RTL languages (such as Arabic).

First pass includes moving some remaining inline CSS to the stylesheet file,
Also includes a hard-coded check for the "ar-AR" locale (current Arabic).

Signed-off-by: Nawras Othman <othman.nawras@gmail.com>
Signed-off-by: Ben Shum <ben@evergreener.net>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Hold targeter Perl live test repairs

Update live tests to match latest concerto data changes and to avoid
testing against data that is modified by tests that run before the
targeter test when running the full test suite.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Add Release Note for new helper

I can forget that while a feature seems straigtforward
enough it essentially doesn't exist if you don't tell
anyone about it.

Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP1661747: get_org_unit_ancestor_at_depth Helper

Add a helper to the A/T system to retrieve an ou's
ancestor at the specified depth in the tree.

Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1662902: do not re-download EDI files that failed parsing

Avoid fetching and creating edi_message entries for EDI messages that
the system cannot parse.

In the event parsing failed due to a temporary condition (e.g. Ruby
translator was not running), messages can be reprocessed by either
deleting the offending edi_message row or setting its status to 'retry'.

See previous commit ("LP#1662902: do not re-download EDI files that
failed processing") for a more detailed explanation.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1662902: do not re-download EDI files that failed processing

At present, the EDI fetcher ignores files (as determined by file
name and EDI account details) that were already successfully
processed. With this patch, ones that failed processing (e.g.,
acq.edi_message.state = 'proc_error') previously are ignored
as well.

This is because most processing errors reflect conditions that
require some sort of manual intervention on the part of the materials
vendor or the Evergreen user; having edi_fetcher.pl simply redownload
and attempt to process the file has no effect other than causing
the acq.edi_message table to grow.

With this patch, the appearance of rows in acq.edi_message whose
state is 'proc_error' should be taken as a signal to the Evergreen
admin to investigate and resolve whatever issue caused the
message to not be processed; after doing that, removing the
acq.edi_message rows will allow the file to be downloaded again
(assuming it's still available on the file server).

To test
-------
[1] Arrange to create or simulate an EDI message that failed
    processing.
[2] Run edi_fetcher.pl to have it attempt to download the
    failed message in step #1; verify that the file is
    /not/ downloaded again and that no additonal acq.edi_message
    rows are created for it.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1117808: Stamping upgrade scripts for extend use of merge profiles

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: release notes for New Access points for MARC Overlay

Test plan for the feature:

[1] Define one or more merge profiles in the MARC import/export
    interface.
[2] Verify that the Default Merge Profile (Z39.50 and Record Buckets)
    library setting type exists, and that if you set it to a value
    for the workstation library, that it the merge profile selectors in the
    record bucket merge and Z39.50 overlay interfaces default to
    the specified value.
[3] In the web staff client, create a record bucket containing at least
    two or more similar bibliographic records.  From Bucket View,
    select at least two records and select Merge Selected
    Records from the actions menu.
[4] Verify that:
    * There is a widget for selecting a merge profile
    * That after choosing a lead record, that the lead record
      view reflects the results of the merge.
    * That the results of the merge are updated whenever you:
      * choose a different merge profile
      * choose a different lead record
      * remove a record from consideration
    * That the lead record's MARC is updated upon clicking the
      'Merge' button in the dialog.
[5] In the web staff client, mark a bib record for overlay, then
    go to the Z39.50 search interface and perform a search. Select
    a record and click the Overlay button, then verify that:
    * There is a widget for selecting a merge profile
    * That the results of the merge are updated whenever you:
      * choose a different merge profile
    * That after closing the dialog, that the overlaid record
      reflects the result of the merge profile.
[6] Verify that upon exiting and returning to the record bucket
    merge or Z39.50 overlay interfaces, that the last selected
    merge profile is pre-selected.

Development of this feature was performed by the Equinox Open
Library Initiative and sponsored by the BC Libraries Cooperative.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: teach Z39.50 import about merge profiles

This patch adds a widget to the Z39.50 overlay dialog to
allow the user to select a MARC merge profile to use during
the merge. For the purpose of applying the merge profile,
the incoming record from the Z39.50 server is treated as
the target of the merge, as the user is assumed to be picking
a Z39.50 record that is "better" overall but may need to be
supplement with fields from the incumbent record.

As before, the user can choose to edit the incoming record, but
note that the version that is edited is the /original/ version of
the Z39.50 record, with any changes due to the merge profile being
applied after the edit.

Merge profiles that have a 'preserve' specification are excluded
from selection, as such profiles have the effect of swapping what
is considered the lead record for the purpose of the MARC merge

This patch also tweaks the dialog to use the egRecordBreaker directive
to display the incumbent record, as that permits easier copy-and-pasting
if the user chooses to edit the Z39.50 record.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: teach record bucket merge about merge profiles

This patch adds a widget to the record bucket merge dialog
to allow the user to select a MARC merge profile to use
during the merge.

After the user has chosen a lead record, the result of the merge
is displayed in the left-hand pane, and is updated whenever the user

- changes the selected merge profile
- swaps in a different lead record
- removes a subordinate record from consideration

As before, the user can choose to edit the lead record, but note that
the version that is edited is the /original/ version of the
lead record, with any changes due to the merge profile
being applied after the edit.

Since there can be more than one subordinate record in play, the
result of the merge is calculated by merging the first subordinate
record into the lead record, then in the second subordinate record,
and so forth.

Merge profiles that have a 'preserve' specification are excluded
from selection, as such profiles have the effect of swapping what
is considered the lead record for the purpose of the MARC merge.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: fix marcXml binding for egRecordBreaker

This patch makes the binding of the marcXml attribute
in the egRecordBreaker directive dynamic.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: add cat.default_merge_profile library setting

This new library setting specifies the default merge profile
to select in the record bucket merge and Z39.50 record overlay
interfaces.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: new egFmValueSelector directive

This directive supplies a select widget that draws its
values from a table specified by an IDL class code.  It
is meant to be used for tables containing a reasonably
small number of rows (i.e., dozens at most, not hundreds
or thousands).

The following attributes are available:

idl-class      : Code of IDL class to draw from, e.g., "vmp".
ng-model       : Model to bind the current selected value to.
filter         : JSON query filter to apply conditions on the set
                 of rows to be used. (optional)
sticky-setting : Local storage key to persist the last value
                 that was selected by the user. (optional)
ou-setting     : Name of library setting to use to set the default
                 selected value. If sticky-setting is used, any
                 previously-selected value will override the default
                 specified by the OU setting. (optional)

The list of values from the source table displayed in the select
widget are those that meet all of the following conditions:

- primary key is not null
- filter conditions (if supplied)
- logged-in user has PCRUD permissions to view the value

The option value is taken from the column in the source table
specified by the oils_persist:primary IDL attribute, while
the displayed label is taken from the column that has the
reporter:selector="name" IDL attribute.

Example:

<eg-fm-value-selector
  idl-class="vmp"
  ng-model="merge_profile"
  filter="{'preserve_spec':{'=':null}}"
  sticky-setting="eg.cat.z3950.selected_merge_profile"
  ou-setting="cat.default.merge_profile"
></eg-fm-value-selector>

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: new methods for calculating MARC merges

This patch adds three new middle-layer methods for calculating
the result of MARC merges.

open-ils.cat.merge.marc.per_profile:

        Calculate the result of merging one or more MARC records
        per the specified merge profile
        @param auth The login session key
        @param merge_profile ID of the record merge profile
        @param records Array of two or more MARCXML records to be
                       merged. If two are supplied, the first
                       is treated as the record to be overlaid,
                       and the the incoming record that will
                       overlay the first. If more than two are
                       supplied, the first is treated as the
                       record to be overlaid, and each following
                       record in turn will be merged into that
                       record.
        @return MARCXML string of the results of the merge

open-ils.cat.merge.biblio.per_profile:

        Calculate the result of merging one or more bib records
        per the specified merge profile

        @param auth The login session key
        @param merge_profile ID of the record merge profile
        @param records Array of two or more bib record IDs of
                       the bibs to be merged.
        @return MARCXML string of the results of the merge

open-ils.cat.merge.authority.per_profile:

        Calculate the result of merging one or more authority records
        per the specified merge profile

        @param auth The login session key
        @param merge_profile ID of the record merge profile
        @param records Array of two or more bib record IDs of
                       the bibs to be merged.
        @return MARCXML string of the results of the merge

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1117808: new Pg function to calculate MARC record merges

This patch adds a new stored function, vandelay.merge_record_xml_using_profile(),
that when passed two MARCXML strings and the ID of a merge profile.
returns the MARCXML string representing the results of the record merge.

This is meant for situations where we want to know the results
of a merge, but not immediately overlay a record in the database.

pgTAP tests are available in t/marc_merge.pg.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1494748: Release notes entry for self check interface improvements

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1494748: Decrease the input size on Firefox by a smidge

The larger scale works for the input works well in Chrome, but came across as
too large in blurry in Firefox. Decreasing the Firefox size by a smidge so
that they still appear larger but don't become blurry. Firefox only seemed to
recognize the last transform, regardless of prefix, so I moved the one intended
for Firefox lower in the CSS list.

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Josh Stompro <stomproj@larl.org>

LP#1494748 - Change pay fines link to a button & increase checkbox sizes

This makes the pay fines link  and checkboxes easier to use for touch screen
users.

Signed-off-by: Josh Stompro <stomproj@larl.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Josh Stompro <stomproj@larl.org>

LP#1517137: Stamping upgrade script for adding overlooked permissions

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1517137: Release note entry for addition of missing permissions

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP1517137: Add Permissions Missing From Stock Data

Add many perissions that are either checked in code
or specified in fm_IDL.xml that are missing in the
stock data. Permissions added manually are adjusted
and those already in the expected locations are
left alone.

Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595: Stamping upgrade scripts for hold targeter refactoring

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Targeter leverages batch AOUS lookups

Use the batch-by-org AOUS lookup function to fetch settings with one
cstore call across a wide set of org units.  This reduces the number of
cstore calls required, significantly in some cases, for single-use hold
targeter instances (like placement time targeting, checkin retargeting).

Specifically, in cases where a hold has targetable copies at multiple
circ libs, only one cstore call is needed for each of the
circ.holds.org_unit_target_weight and
circ.holds.target_when_closed settings, as opposed to one cstore call
for each per circ lib.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 AOUS lookup batch by org id

Org unit setting value lookup for batches of org units, instead of the
traditional batches by setting name.

Perl live test included.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Targeter use child editor for settings

Use the CStoreEditor linked to the ::Single (child) targeter object when
possible to fetch org unit setting values.

In cases where settings for many org units have to be retrieved at once,
the settings lookups can take long enough that the in-transaction editor
on the child targeter can timeout.  Using the child's editor directly
for the lookups will prevent this timeout and make the lookups a little
bit faster, since a new connect will not be required for each lookup.

This timeout scenario can occur with settings like
circ.holds.max_org_unit_target_loops and
circ.holds.target_when_closed, when there is wide variety of targetable
copies, because each have to be fetched once per target-able copy circ lib.

A secondary optimization would be a batch org setting lookup that
batches on org unit instead of setting name.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Targeter accepts a list of hold ID's

Allow the caller to pass a list of hold ID's (consistent with the
current hold targeter).  This resolves the issue where the checkin
process attempts to retarget a set of holds via a single targeter call.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Hold copy permit test thinko repair

Pickup and requesting org unit IDs were passed in the wrong order to
the copy permit test.  This resulted in some items, particularly age
protected copies, appearing on the holds pull list even though they were
not (yet) permitted for hold capture at a remoted library.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Find parallel holds in main query

Identify holds to process by which metarecord the hold is (ultimately)
linked to within the main holds query instead of via a secondary filter.
This avoids the overhead of starting a new batch of hold targeters,
where each process has to fetch all possible holds, then filter down to
those targetable within the current parallel slot.  In thise case, each
process only retrieves the holds it plans to process.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Hold targeter release notes

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Hold targeter perl live tests

1. Batch of tests for concerto hold 1 / title hold
2. Batch of tests for concerto hold 265 / metarecord hold with
   holdable_formats restriction.
3. --skip-viable test

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Adds sample metarecord hold to concerto

Adds a holdable_formats option to concerto's populate_hold() function.
Inserts one metarecord hold for testing.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1596595 Hold targeter refactoring and optimization.

* New open-ils.hold-targeter service

* Ports hold targeter code to a Perl utility function, communicating w/
  the DB via cstore instead of storage.

* Adds a new global flag 'circ.holds.retarget_interval' for configuring
  the hold retarget interval in the database.

* Adds a new DB function to regenerating hold copy maps to make map
  deletion and creation more efficient.

* Adds an option for targeting holds in newest to oldest order.

* Caches all org unit settings per targeter run.

* Adds support for "skip_viable" option.  This tells the hold targeter
  to avoid modifying any holds that target viable copies.  AKA "fix
  broken" mode.

  For example, you might run in skip_viable mode with a retarget
  interval of 24hr once a day to repair non-viable holds, then also run
  the targeter in regular mode once a day with a retarget interval of 48
  hours to give staff 2 days to process viable holds.

* Hold target loops logic changes:

 ** Org units with fewer target attempts are prioritized during loop
    processing.  So, instead of segregating org units into 2 categetories,
    those attempted in the current loop and those not attempted, sort those
    not attempted by the number number of times they have been attempted.
    Within each grouping, prioritize by target weight/proximity as before.

 ** All org units that have been attempted less than the max configured
    amount are on the table for targeting, not just those that have been
    targeted less than the current loop max.  If no orgs with
    less-than-current-max attempts are found, try orgs that match the
    current max (but are still less than the configured max).

 ** When activated, target looping treats the pickup lib like any
    other org unit.  If a targeted copy at the pickup lib remains
    un-captured, at re-target time, a copy at a different branch is
    chosen (if one is available) even if other copies at the pickup
    lib are targetable.

* Parallel targeting support baked into service.

  Teach the targeter to process a subset of holds based on the number of
  parallel targeters at play and the parallel targeting slot each targeter
  instance occupies.

  As with the existing hold targeter, group holds by their metarecord to
  avoid multiple targeter processes targeting the same sets of potential
  copies.

* Logging / code refactoring and clean up.

* New hold_targeter_v2.pl script for batch hold targeting.  Existing
  targeter remains for backwards-compat.

hold_targeter_v2.pl options:

--verbose
    Print process counts

--parallel <parallel-process-count>
    Number of parallel hold processors to run.  This overrides any
    value found in opensrf.xml

--target-all
    Target all active holds, regardless of when they were last targeted.

--skip-viable
    Avoid modifying holds that currently target viable copies.
    In other words, only (re)target holds in a non-viable state.

--retarget-interval
    Override the 'circ.holds.retarget_interval' global_flag value.

--parallel-init-sleep
    Time to wait between starting each parallel instance.  Useful for
    avoiding dog-piling the DB.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Forward port 2.11.3 upgrade script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

release notes for 2.10.10

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#16663435: stamp database update

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#16663435 - Release Note for Missing Stripe Settings Permissions

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#16663435 - Stripe org settings lack view permissions.

Unprivileged users can retrieve organizational unit setting values
for setting types lacking a "view" permission.  When the feature adding
Stripe credit card processing was added, the upgrade script neglected to
add the VIEW_CREDIT_CARD_PROCESSING permission to the organizational unit
setting type (which was included in 0396.data.org-setting-payflowpro.sql).

Fresh installs are not affected, but anyone who upgraded through 0863.data.stripe-payments.sql
(included in the 2.5.3-2.6.0-upgrade-db.sql version upgrade script) and is
using Stripe credit card processing should run this script.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1646166 Hatch printing multi root-node templates

Print templates with no root element or root elements that contained
necessary attributes (id, style, etc.) failed to print correctly in
some casese with Hatch HTML printing because the root node was dropped
after compilation.  This commit changes how we extract the compiled HTML
from the page, using the more reliable method of pulling it directly
from the print element div instead of inspecting the compiled nodes.

Commit also wraps all content in <html/><body/> for good measure.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch templated print content type repair

Fixes a thinko in the Hatch code that set a bad default content type for
template-driven HTML printing.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch attach point is documentElement

Hatch now inserts its attribute into the root documentElement instead of
the body.  This is part of the move to using content_scripts instead of
declarativeContent for the extension.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch loader matches on explicit DOM content

Make it more evident in the browser staff markup that Hatch is getting
requested by the page.  Additionally, the <body> tag will never disappear,
though in theory <eg-navbar> could.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch settings migration

Support copying all settings from local storage to Hatch and vice versa
in the Hatch admin UI.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch availability display improvements

Hide printer settings in the print config UI when Hatch is not available
and provide better inline alerts.  Avoid attempts by the printer config
UI from talking to Hatch when Hatch is known not to be available.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 À la carte Hatch, on-call settings, strict access.

1. Hatch now supports a al carte features instead of requiring all-or-none
functionality.  Supported features currently include printing, settings,
and offline.  (Note: offline handling pending merge of offline UI code).

2. Adds support for on-call setting keys.  On-Call keys are those that
can be set/get/remove'd from localStorage when Hatch is not avaialable,
even though Hatch is configured as the primary storage location for the
key in question.

The initital target use case for on-call keys are those that allow the
user to login and perform basic admin tasks (like disabling Hatch) even
when Hatch is down.  AKA Browser Staff Run Level 3.

3. egHatch no longer attempts requests at Hatch, falling through to
local requests when Hatch fails.  With the exception of on-call keys
(above), either Hatch is used or local requests are used, depending on
the configuration.  The goal is to prevent any unintended and
confusing blending of local and remote data.  In other words, if Hatch
is broken, it needs to be fixed or disabled for regular work flow to
continue.

4. Hatch now has a dedicated UI under workstation administration.

5. Workstation admin splash page rearranged to take advantage of more
horizontal space and avoid pushing so many options down the page.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch print requires no print CSS

Avoid inserting the print CSS into the print content when printing
remotely.

Commit includes some refactoring of the print code to create more
obvious separation between remote vs. in-browser printing.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch extension connect via DOM, remote cache

Determine Hatch availability by checking for the presence of a
well-known Hatch attribute in the DOM, inserted into the page
by the extension at load time.

Cache get/set values when talking to the Hatch extension (on a per-page
basis) to reduce unnecessary Hatch I/O.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1646166 Hatch print configiguration interface

1. Query printers for available options via Hatch.
2. Allow the user to apply print options on a per-context / per-printer
   basis.
3. As before, store printer conifugration options via Hatch.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1640255 Hatch native messaging extension

Replaces Hatch Websockets communication layer with browser extension-
based communication.

Hatch API remains the same with 2 notable exceptions:

1. appendItem() API call has been removed.  It did not work as designed
   and (thus far) has served no purpose.  It was originally intended for
   offline data storage, but that will probably require something a
   little smarter.

2. The printer configuration API is no more.  This will be replaced with
   an in-app configuration page.  Note, this does not prevent use of the
   printer dialog, it only means settings are not collected from the
   printer dialog.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Apply sort for ident_type dropdown

We may want YAOUS for "do we want to sort ident_type by name"...

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Stamping upgrade script for separating fingerprint components

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1528901: avoid accidental bib fingerprint collisions

This patch fixes a problem where the bib fingerprint algorithm
could end up putting completely different works in the same
metarecord. For example,

100 $a Steel, Danielle
245 $a Blue

and

*no 1XX
245 $a Blue steel

previously (with stock config.biblio_fingerprint settings) got
a fingerprint of "bluesteel". With this patch, their fingerprints
are now:

"Title:blue Author:steel"

and

"Title:bluesteel Author:"

The upgrade script supplied with this patch remaps the metarecords
after updating the fingerprints. While existing metarecord holds
may get moved, note that there is no known way of ensuring that a
metarecord hold placed on a collided metarecord will end up attach
to whatever work the patron intended to request.

To test:

[1] Add records for "Blue" and "Blue steel".
[2] Note that they end up on the same metarecord.
[3] Apply the patch and perform the update.
[4] The two bibs should now be on separate metarecords.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Rogan Hamby <rogan.hamby@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Stamping upgrade script for including parts in bib fingerprints

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1553287: Add part information to biblio.fingerprint

Evergreen metarecord searching will sometimes group together different works
that are part of the same series because biblio.fingerprint doesn't incorporate
subfield n or p from the title. For example, bib records for the Mockinjay
movies list the Hunger Games in the 245a with Mockinjay in subfield p.
Without the part information in the fingerprint, Evergreen will group these
movies together with versions of the first Hunger Games book.

This branch adds parts subfields to biblio.fingerprint to allow us to
distinguish among different parts in a series.

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1663374: Release notes for metarecord search by default

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1663374: Allow metarecord searching by default

Before the TPAC, a site could configure the OPAC to use metarecord searching
by default, via a configuration file.  Here we bring that back.

A new setting is present in templates/opac/parts/config.tt2 to enable this
feature.  By setting this to a true value (normally 1) the TPAC will silently
include the #metabib search modifier in the search form on any interfaces that
do not have a UI component that allows the user to control the setting.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1573734: Stamping upgrade script for transcendent bibs in unapi-mmr

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1573734: Minor tweak to heading

A minor tweak to change the heading to sentence case to match other similar
headings in the summary.tt2 file.

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP1573734_Link_to_sibling_metarecord_bibs_in_record_detail_page

This feature will display sibling records when viewing a bib record in the OPAC.
Altered Record.pm to gather up additional metarecord information to pass to
misc_util.tt2 for parsing. Displayed on summary.tt2 styled in responsive in
style.css.tt2. Also fixed the URL in mmr search results for single bib results in
table.tt2. Transcendent bibs needed to be included in the unapi.mmr_mma function.

This code requires the code from LP1629108.
http://git.evergreen-ils.org/?p=working/Evergreen.git;a=shortlog;
h=refs/heads/user/blake/LP1629108-metarecord-constituent-result-reroute

Signed-off-by: blake <blake@mobiusconsortium.org>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Forward-port 2.11.2 Upgrade Script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Forward-port 2.11.1 Upgrade Script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1639236: fix display of temporary list items

Peer to the fix for bug 1638921.

To test
-------
[1] Apply patch.
[2] In public catalog, add one or more bibs to the temporary
    list ('My List').
[3] Click the 'View List' button, then verify that the titles
    are displayed.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

LP 1473054: No-op Checkin Should Not Always Float a Floating Copy.

Prior to this patch, a no-op checkin would not check if a copy should
float using the evergreen.can_float() function.  It would simply float
the copy to the org_unit where the checkin happened if the copy had a
float value set.

This commit changes the behavior to use evergreen.can_float() to
determine if the copy should float to the org_unit where the checkin
happened.  This change makes the behavior consistent with a regular
checkin.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Josh Stompro <stomproj@larl.org>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1647819 - Missing closing angle bracket in anon_list.tt2

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>