LP#1744385: Speed up highlighting

This commit removes a layer of opensrf-perl indirection and uses cstore
instead of storage for retrieval.  This trims seconds off the render time
of results and a bit off record detail.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Use series_title highlighting in OPAC

Here we replace the series title link generation based directly on the MARCXML
with the Display Field equivalent.  Note, the previous method created broken
links in many cases, because it included more in the search terms than were
being indexed by the stock series title definition.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Starting # ../../../../multi-source-attrs.sql

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Optimize real-field additions to virtual field searches

Now we only add on UNION query for each class providing real fields to a
virtual field, rather than a UNION per real field.  This should reduce
core-query run time.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Adjust virtual-combined-class real-field search

Instead of searching by combined field within the rank-addition real fields,
we'll just search on the fields itself.  This preserves the ranking additions
provided by the real-virtual mapping.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Various improvements based on testing

 * Improve author and publisher display fields
 * Reimplement Simple Record Extracts using Display Fields
 * Address potential failure in combined search collection
 * Provide useful helper function for inspecting transformed records
 * Implement MODS transforms specified by LoC documentation but not
   actually included in the stylesheet
 * Expand highlighting use to publisher, edition, and physical description
 * Reifying schema from updates

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Set best order for upgrade scripts

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Allow highlight disabling globally via config.tt2

Also, add CC0 highlighter icon from https://pixabay.com/en/highlight-highlighter-highlighting-2022407/
and provide highlight en/dis-able.

Signed-off-by: Mike Rylander <miker@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Additional seed data and display field use in the OPAC

... and teach subjects.tt2 how to search with a facet in HL mode (for genre)

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744385: Search and Result Display improvements

== Virtual Index Definitions

The practical purpose of Virtual Index Definitions is to supply an Evergreen administrator with
the ability to control the weighting and field inclusion of values in the general keyword index,
commonly referred to as "the blob," without requiring tricky configuration that has subtle semantics, an
over-abundance of index definitions which can slow search generally, or the need to reingest all
records on a regular basis as experiments are performed and the configuration refined. Significant
results of recasting keyword indexes as a set of one or more Virtual Index Definitions will be simpler
search configuration management, faster search speed overall, and more practical reconfiguration and
adjustment as needed.

Previous to this commit, in order to provide field-specific weighting to keyword matches against titles or authors, an
administrator must duplicate many other index definitions and supply overriding weights to those
duplicates. This not only complicates configuration, but slows down record ingest as well as search. It
is also fairly ineffective at achieving the goal of weighted keyword fields. Virtual Index Definitions will
substantially alleviate the need for these workarounds and their consequences.

  * A Virtual Index Definition is not required supply any configuration for extracting bibliographic
    data from records, but instead can become a sink for data collected by other index definitions
    which is then colocated together to supply a search target made up of the separately extracted
    data. Virtual Index Definitions are effectively treated as aggregate definitions, matching across
    all values extracted from constituent non-virtual index definitions.  They can further make use
    of the Combined class functionality to colocate all values in a class together for matching even
    across virtual fields.

  * Configuration allows for weighting of constituent index definitions that participate in a
    Virtual Index Definition. This weighting is separate from the weighting supplied when the index
    definition itself is a search target.

  * The Evergreen QueryParser driver returns the list of fields actually searched using every
    user-supplied term set, including constituent expansion when a Virtual Index Definition is
    searched. In particular, this will facilitate Search Term Highlighting described below.

  * Stock configuration changes make use of pre-existing, non-virtual index definitions mapped
    to new a Virtual Index Definition that implements the functionality provided by the
    keyword|keyword index definition. The keyword|keyword definition is left in place for the time
    being, until more data can be gathered about the real-world effect of removing it entirely and
    replacing it with Virtual Index Definition mappings.

  * New system administration functions will be created to facilitate modification of Virtual Index
    Definition mapping, avoiding the need for a full reingest when existing index definitions are
    added or removed from a virtual field.

== Increased use of Metabib Display Fields

In extention of changes proposed in other available branches, we here use Metabib Display Fields
to render catalog search results, intermediate metarecord results, and record detail pages.
This will requires the addition of several new Metabib Display Field definitions, as well as Perl
services to gather and render the data.

== Search Term Highlighting

This commit enables Search Term Highlighting in the OPAC on the main search results page, the record
detail page, and intermediate pages such as metarecord grouped results page. Highlighting
search terms will help the user determine why a particular record (or set of records) was retrieved.

Highlighting of matched terms uses the same stemming used to accomplish the search, as configured
per field and class.

This feature will help the user more quickly determine the relevance of a particular record by calling their
attention to search terms in context. Lastly, it will help familiarize the user with how records are
searched, including which fields are searched as well as exposing concepts like stemming.

== Interfaces

A new AngularJS "MARC Search/Facet Fields" interface has been created to replace the Dojo version, and
both have been extended to support Virtual Index Definition data supplier mapping and weighting.

== Settings & Permissions

The new Virtual Index Definition data supplier mapping table, config.metabib_field_virtual_map, requires
the same permissions as the MARC Search/Facet Fields interface: CREATE_METABIB_FIELD, UPDATE_METABIB_FIELD,
DELETE_METABIB_FIELD, or ADMIN_METABIB_FIELD for all actions

There is a new template-level global configuration variable in config.tt2 called search.no_highlight
which disables highlighting for users of that config.tt2 instance.

== Public Catalog

The public and staff catalog will make use of new APIs to identify and display highlight-augmented
values for those Display Fields used to render the search result pages, intermediate metarecord
constituent pages, and record detail pages.  Highlighting of terms will be performed using the
application of Template::Toolkit-driven CSS. A generic CSS class identifying a highlighted term,
along with CSS classes identifying the search class and each search field will be available for
use for customization of the highlighting. A stock CSS
template is provided as a baseline upon which sites may expand.

When highlighting is generally enabled, it may be turned on or off on a per-page basis through the use of
a UI component which will request the page again without highlighting.

== Backend

There now exist several new database tables and functions primarily in support of search highlighting.
Additionally, the QueryParser driver for Evergreen has been augmented to be able to return a data structure
describing how the search was performed, in a way that allows a separate support API to gather a highlighted
version of the Display Field data for a given record.

== Re-ingest or Indexing Dependencies

With the addition and modification of many Index Definitions, a full reingest is recommended.  However, search
will continue to work as it did before the changes in this commit for those records that have not yet been
reingested during that process.  Therefore a slow, rolling reingest is recommended.

== Performance Implications or Concerns

Because the Metabib Display Fields infrastructure will eventually replace functionality that is significantly more
CPU-intensive in the various forms of XML parsing, XSLT transformation, XPath calculation, and
Metabib Virtual Record construction, it is expected that the overall CPU load will be reduced by this
development, and ideally the overall time required to perform and render a search will likewise drop. It
is unlikely that the speed increase will be visible to users on a per-search basis, but that search in
aggregate will become a smaller consumer of resources.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Display field JS utils more docs

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Webstaff record summary uses display fields

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Webstaff In-House-Use uses display fields

Replace reporter.simple_record data with metabib display fields.

Use flat_display_entries instead of wide_display_entry partially as an
example, but also because it requires slightly less data munging on the
DB side.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Conflicts:
Open-ILS/web/js/ui/default/staff/circ/in_house_use/app.js

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Items out display uses collapsed display fields

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Webstaff display fields collapseMulti option

Support an option in the webstaff-side display field munging code to
collapse array/multi values down to a single comma-separated string.

This is useful for buidling displays (grids especially) where you have a
single spot to put a field's value (e.g. a list of ISBN's) and don't want
to munge the data by hand in each UI.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Webstaff Items Out uses display fields

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Conflicts:
Open-ILS/web/js/ui/default/staff/circ/patron/items_out.js

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1727487 Display field seed data WIP

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1676608: avoid constraint creation that requires a TARDIS

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

set correct file extension for 1093 schema update script

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

Stamping follow-up upgrade script for copy alerts

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: activate more copy alert types by default

Since users of 3.1 should be using the web staff client unless
they absolutely cannot switch from the XUL client yet, the copy
alert types for exceptional checkin and checkout statuses are now
active by default.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1748986 Release notes

Release notes for the new Billing Statement View.

Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1748986 Broaden billing interface labels

In a few places we use the word "Paid", but there are quite a few
things in that bucket (forgiveness, adjustments, etc.) which don't fit
well under the term "Paid".

Though we have some deep structural causes for this, we can take a baby
step in the right direction by sprinkling the term "Credited" in a few
key places.

Also, correct an mislabeled "Balance" field.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1748986 Billing Statement View

Over time, Evergreen has developed a rich set of features to support
various billing scenarios.  Unfortunately, our interface has not kept up
in some ways, and this leads to some confusion at times, particularly
for front line staff.

One way to bring clarity is to apply better grouping, labeling, and
ordering of the various transactional events.  By doing so, we can
generate a billing "statement" with similarities to the statements we
regularly encounter when dealing with other financial institutions.

This branch does so for the staff client view, but it also seems viable
to carry over the same idea to an eventual patron (or print) view as
well.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Stamping upgrade scripts for new copy alerts

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: Stop hold capture when an alert-force copy status change is requested

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: don't sound the klaxon for unusual copy statuses during checkin

During a successful checkin, play the success sound if an
unexpected copy status is noted in the success message -- it
may have been set via a copy alert.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: inject copy alert dialog in two more places

The copy alert dialog (if an item has relevant copy alerts)
is now injected into the dialog box series when handling
checkouts of items that are in transit or where the patron
record has overridable conditions that would block the checkout.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: provide DB update script to convert legacy copy alert messages

Legacy copy alert messages are moved to new normal checkout and
normal checkin copy alerts. This patch also converts the foreign
key relationship from asset.copy_alert to asset.copy to a "fake"
one using a constraint trigger.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: tweak defaults for alerts in vol/copy editor

Changed the defaults key for new-style copy alerts to be the same
as what was used for legacy copy alert messages; this means that
users who set editor defaults prior to upgrading are more likely
to have the Copy Alerts button be active out of the box.

Also moved the location of Add/Edit Copy Alerts in the defaults
tab.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: remove legacy copy alerts field from vol/copy editor

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: tweak copy alert type manager

The "Next Status" selector is now disabled unless the event type is
'Checkin'.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: allow focus-me to accept constant

A handfull of cases have arisen, including but not limited to
the copy alerts feature, where focus-me is set to simply "true"
rather than being bound to to a scope variable. This patch formalizes
this and gets rid of the following console warning:

angular.min.js:119 TypeError: model.assign is not a function
    at ui.js:23
    at angular.min.js:160
    at f (angular.min.js:45)
    at angular.min.js:48
(anonymous) @ angular.min.js:119

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: properly auto-override during missing checkout

This patch ensures that suppressing the checkout of missing copy alert
does, in fact, suppress the alert.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: update seed data for new installations

Prior to this patch, only the DB update scripts new about the
stock copy alert types and new OU settings.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: tweak labeling at circ/at owning library fields

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: add some sorting to copy alert dialogs

Copy alert types in drop-downs are now sorted by name
and copy alerts themselves are now consistently sorted
by ID (which will have the affected of putting the most
recent alert at the bottom in the copy alert manager dialog).

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: conditionally enable manage copy alerts button on item status details

The 'Manage' button for copy alerts on the Item Status Detail view
is now enabled only if there is at least one active copy alert. This
patch also tweaks how the copy alert dialogs sequence record update
and modal-closing so that the caller can be sure that the transaction
has committed.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: fix glitch with egCore.pcrud.apply()

pcrud.apply() is supposed to skip any entries in the list
of CUD actions that don't explicitly mark themselves as
being a creation, update, or deletion, but didn't manage
to fully skip them. As a consequence, the browser console
would note complaints that open-ils.pcrud.apply.$IDLCLASS
methods do not exist.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: fix positioning of copy alert buttons on Item Status Detail view

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: add release notes

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1676608: copy alert and suppression matrix

The Copy Alerts feature allows library staff to add customized alert
messages to copies. The copy alerts will appear when a specific event
takes place, such as when the copy is checked in, checked out, or
renewed. Alerts can be temporary or persistent: temporary alerts will be
disabled after the initial alert and acknowledgement from staff, while
persistent alerts will display each time the alert event takes place.
Copy Alerts can be configured to display at the circulating or owning
library only or, alternatively, when the library at which the alert
event takes place is not the circulating or owning library.  Copy Alerts
can also be configured to provide options for the next copy status that
should be applied to an item.  Library administrators will have the
ability to create and customize Copy Alert Types and to suppress copy
alerts at specific org units.

Copy alerts can be added via the volume/creator and the check in,
check out, and renew pages.  Copy alerts can also be managed at the
item status page.

Copy alert types can be managed via the Copy Alert Types page in
Local Administration, and suppression of them can be adminstered
via the Copy Alert Suppression page under Local Administration.

Co-authored-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1733695: Stamping upgrade scripts for multilingual search

Also, fixed a small typo in the 1094 upgrade script.

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Add release note for multilingual search

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1733695: Pull record attribute values from multiple sources

Previously, a multi-valued record attribute could only be extracted using
one strategy (XPath, tag+subfield, fixed field, etc).  For multi-valued
attributes, though, there's no reason to restrict this as long as the values
from various sources would, after normalization, have the same shape.  So
now we allow that, and we update the item_lang definition in order to allow
searching for records with multiple languages in various boolean ways.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1737016 Stamping upgrade script for easing constraints on afs.code

Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP1737016: Ease Constraints on afs.code

acq.funding_source.code currently has a UNIQUE
constraint applied, which can be confusing to
users. This branch only requires that a code be
unique to the funding source's owner, simplifying
the management of funding sources.

Signed-off-by: Jason Boyer <JBoyer@library.in.gov>
Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

Forward-port 2.12.10 upgrade script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Forward-port 3.0.4 upgrade script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744996 Stamping upgrade script for record merge tracking

Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744996 Record merge tracking release notes

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744996 Webstaff bib rec merged to link

Display a message in the web staff bib record display indicating when a
bib record has been merged to another record.  The message includes the
merge date and target record and is rendered as a link to the target
record.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1744996 Track bib record merges

Adds "merge_date" and "merged_to" fields for bib records.  Merge date
is applied to all records involved in a record merge at merge time.
merged_to is applied to all subordinate (merged) records and points to
the target record.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

LP#1694058: Stamping upgrade script for duplicate holds coust

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP# 1694058: Release notes entry for placing multiple holds

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Lp 1694058: Fix Issue With Place Holds Reported in Testing

When staff did have to override in order to place the hold, and the
"Place another hold for this title" link was subsequnetly used, the
inputs for the patron barcodes and some other fields on the place
holds page were duplicated.  To avoid this, we now use uniq from the
List::MoreUtils library when retrieving the hold targets list from the
CGI parameters.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: Final OPAC Changes for Multiple Hold Placement

Add JavaScript code to disable the number of copies selection when a
part is chosen for a record that has both parts and non parts holds
available.  If a part is chosen, the number of copies select should be
disabled and reset to 1.  It should be enabled again if the All Parts
option is chosen.  It does not appear if the hold requires a part.

Test Plan for the OPAC changes:

1. Set circ.holds.max_duplicate_holds to 5 for BR1.

2. Login to the OPAC as any patron from BR1.

3. Perform any search.

4. Select a title and click Place Hold.

5. See that the selection box for placing multiple holds does not appear on the place holds screen.

6. Place the hold to see that hold placement still works as expected.

8. Go to the patron’s list of holds in My Opac to see that the hold appears.

9. Cancel the hold so it doesn’t interfere with later testing.

10. Logout.

11. Login to the OPAC as any patron from BR2 or any branch other than BR1.

12. Perform any search.

13. Select a title and click Place Hold.

14. See that the selection box for placing multiple holds does not appear on the place holds screen.

15. Place the hold to see that hold placement still works as expected.

16. Go to the patron’s list of holds in My Opac to see that the hold appears.

17. Cancel the hold so it doesn’t interfere with later testing.

18. Logout.

19. Login to the web staff client as a circulator for BR1 at BR1.

20. Select a patron barcode for any BR1 patron.

21. Perform any search.

22. Choose a title without parts and click place holds.

23. See that the selection box for placing multiple holds appears with 1 as the default.

24. Click the selection box to see that the values go from 1 to 5.

25. Place any number of holds for the patron whose barcode was chosen in step 15.

26. Open the patron in the staff client and check the patron’s holds list to see that they have the correct number of holds for this title listed.

27. Repeat steps 21 – 26 with metarecord holds on one of the metarecord titles.

28. Perform a search and select a title.

29. Choose an item to place a copy hold for the same patron.

30. Notice that the multiple hold number selection box does not appear.

31. Place the hold as normal (if you like) to test that copy hold placement still works.

32. Search for a title with parts.

33. Select a part in the parts drop down or radio button.

34. Notice that the number of copies select box is reset to 1 and disabled when a part is selected.

35. Repeat the above steps for a BR2 circulation account logged in at BR2 (or any other branch staff).

36. Notice that the selection box never appears when placing holds where the org. unit setting does not apply.

37. Clear the org. unit setting for BR1 and repeat the above steps, if desired.

The web staff client tests should work in the XUL staff client as well.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: Add confirmation dialog for multiple title holds.

Add a dialog to confirm that the user really wants to place the
requested number of title or metarecord holds to the
validateHoldForm() function.

Along the way, we add a format() function to the JS String prototype
in the i18n_strings.tt2 so that we can have translated strings with
placeholders in JavaScript.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: OPAC changes for multiple title and metarecord holds.

We add the num_copies select box to the place_holds.tt2 whe appropriate.

The new select list generator has its own tt2 file:
Open-ILS/src/templates/opac/parts/multi_hold_select.tt2

Modify WWW/EGCatLoader/Account.pm to properly process multiple hold
requests for the same title or metarecord.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: Perl tests for backend multiple hold placement changes.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: Add backend code to allow multiple hold placement.

We add a constant for the circ.holds.max_duplicate_holds setting.

We modify Holds.pm to check if we're placing a title or metarecord
hold, that we have the CREATE_DUPLICATE_HOLDS permission, and that we
haven't placed more than the maximum allowed number of duplicate holds
before returning the HOLD_EXISTS event.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP 1694058: Add org. unit setting for multiple hold placement.

Add config.org_unit_setting_type circ.hold.max_duplicate_holds to set
the maximum duplicate title or metarecord holds allowed per patron.

Add pgtap test to make sure the new setting exists.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1739803: add angular tablesport to vendor bundle

Otherwise, offline breaks.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1739803 Add newly required dependency for jasmine-core

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1739803 Webstaff: Replace Grunt with Webpack

* Remove grunt devDependencies
* Add Webpack devDepenencies
* Copy and minify operations are now handled by Webpack via 'npm run
  build' for dev builds and 'npm run build-prod' for
  production/minified builds.
* Running 'npm run build-watch' executes webpack in --watch mode to
  watch for affected file changes and automatically rebuild.  Useful for
  development.
* Karma unit tests are now invoked directly from node via 'npm run
  test'.
* Docs and release installer updated to match.
* Removed long-outdated inline installer readme.

Webpack is configured to create bundles from sets of JS files.  As it
stands, there are 2 sets: core.bundle.js and vendor.bundle.js.  Core has
all of the EG core services that are loaded on every page.  Vendor
contains all of the 3rd-party dependencies (angular, etc.).  These 2
bundles are loaded on every web staff page (via base_js.tt2).

All other <script/> tags remain as they were.

When building in dev mode ('npm run build'), core service JS files are
bunded un-minified with an inline source map for debugging.  Vendor
files (angularjs, etc.) are always minified because they are quite
large.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1739803 Quiet some repetitive console messages for unit tests

These console logs repeat during unit test runs and add clutter (ditto
the browser console log).  I commented them out instead of removing them
since they may still be useful for debugging in the future.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1739803 Remove superseded 'extern' directory

angular-location-update.js is now managed via npm.  No need to retain a
copy in the repo.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1739803 Angular 1.6 + dependency updates

Rebuild package.json starting with Angular 1.6.  This resulted in a
number of dependency updates and small changes required to keep the
dependencies happy.

* Teach print.js to use promise-style $http responses, instead of
  .success() and .error()
* Remove unused '$http' dependency in hatch.js
* Fix egDate custom test matcher to work with newer version of
  karma-jasmine.
* Build IDL for test scripts using Grunt/exec "cwd" since Grunt fails to
  understand "&&" commands, like 'cd foo && bar'.
* For correctness, move dev-only depenencies into the package.json
  devDependencies section.

See also
https://docs.angularjs.org/guide/migration#migrating-from-1-5-to-1-6

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

Docs: fixing typo in 2.12.9 release notes

Signed-off-by: Jane Sandberg <sandbej@linnbenton.edu>

Release notes for 2.12.10

Signed-off-by: Jane Sandberg <sandbej@linnbenton.edu>

Adding 3.0.4 release notes

Signed-off-by: Jane Sandberg <sandbej@linnbenton.edu>

LP#1749992 Disable payment button during payment

Since the display is not refreshed until the payment finishes, it
is possible to fire off a second payment by double-clicking.

This commit is a simple way to disable the button while a payment is
in process, then enable it again after the display refreshes.

Since the 'sendPayment()' function is wrapped, we may need to move
this logic up, but this being a single promise is simpler, and it
solved the problem in testing.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Jason Stephenson <jason@sigio.com>

Lp 1746584: Stamping Upgrade Script

Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1746584: Adjust bib visibility test for patron browse

With updates to address visibility testing issues for LURIs, a change was made
to allow the default bib tests to supply the most appropriate query_int
operator with which to join those to non-default tests.  The browse code,
however, is all database-level and was not adjusted with the Perl code that
implements general search.  This commit addresses that issue by acknowledging
that the bib vis testing code to provide its own operator, either | or &, as
appropriate to the actual default test values.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1745499 De-Parallelify Item Status file upload

Fetch copies in a series instead of in parallel when loading copy
barcodes from a file in the Item Status interface.  This helps avoid
excessive pcrud process count.

Since this causes the action to take a little longer, the commit also
includes a progress dialog indicating copy retrieve progress.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1745499 Patron bucket from file query consolidation

Replace one-pcrud-call-per-barcode with a single (streaming) pcrud
search call to fetch patron cards when using the barcode file upload
option in the web staff pending patron bucket UI.  This avoids spawning
high number of pcrud processes.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Jason Stephenson <jason@sigio.com>

i18n: fix es-ES webstaff translation

Repairs a number of variables, spacing, and function names that were
mistranslated in the Spanish webstaff file.

Signed-off-by: Ben Shum <ben@evergreener.net>

Lp 1749593: Fix TypeError: Cannot set property 'grid' of undefined

Commit b35f0c0 added a reference to the grid in the grid.dataProvider
in services/grid.js in the web staff client.  This is great, but the
dataProvider could be undefined where it was being set.  This leads to
busted grid views and a TypeError in the console.

This commit moves the code down until after a fallback dataProvider is
used when the dataProvider is undefined and thereby avoids both
problems of adding the grid to an undefined dataProvider.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP1737540: Add Patron Information to Receipts

Adds the following fields to a patron object on print_data:
first_given_name
second_given_name
family_name
suffix
barcode
money_summary.balance_owed
money_summary.total_paid
money_summary.total_owed
expire_date
alias
has_email
has_phone

On the following receipts: Checkout, Items Out, and Bill Payment.

(money_summary left out on bill payment because it will always be out of date.)

Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1739648 - fix grid nextPage button by setting grid.totalCount

This wires up the grid.totalCount in the implemented DataProvider's
get method, which allows us to properly disable the next page button
for when we know there's no more data.

Signed-off by: Cesar Velez <cesar.velez@equinoxinitiative.org>

Signed-off-by: Jason Etheridge <jason@EquinoxInitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1739648 - fix item duplication in itemsout and holds grids

Since these grids have caching, if the offset was greater
the cached data length, the grid would try to fetch data again, even if
it's already there, pushing duplicate items into the cache. This should
prevent that.

Signed-off by: Cesar Velez <cesar.velez@equinoxinitiative.org>

Signed-off-by: Jason Etheridge <jason@EquinoxInitiative.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1730752 Fix minor bug with move-to-last

If you click "Make last visible" on the column that is already the last
visible, it bumps it down one position when it should not move. This
commit adjusts the logic so that columns that are before or already in
the last-visible slot (thus, '<' or '=') will end up in the last-visible
slot, and columns only go after the last-visible slot if they are
already after it.

Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Bill Erickson <berickxx@gmail.com>

LP#1730752 Grid column move-to-last fix

Grid column manager "move to last visible" now moves the column
correctly to the last visible slot instead of one slot after the last
visible slot.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Remington Steed <rjs7@calvin.edu>

LP#1730752 Grid colum 'sort visible to top' option

Adds a new button to the grid configuration dialog to sort visible
columns to the top of the dialog (i.e. the left of the grid).

Fix issue where last modified column remained styled after the dialog
closes.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

LP#1730752 Webstaff grid column batch config dialog

Adds a new "Manage Columns" grid action which opens a batch grid column
configuration dialog.  In the dialog, users can show/hide multiple
columns at once.  The column position actions
(left/right/far-left/far-right) and sort priority settings have also
been moved to this new UI.

The existing 'Configure Columns' action has been renamed to 'Managed
Column Widths' and now only supports making columns wider and narrower.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Docs: Add missing section to root.adoc

This section was separated into its own file a few months ago, and was
added to root_command_line_admin.adoc, but needs to also be added to the
main root.adoc. This commit does that.

Signed-off-by: Remington Steed <rjs7@calvin.edu>

LP#1739669 - add PaymentType and persistkey bill payment hist grid

This adds "circ.patron.billhistory_payments" as the persist-key for that
grid and also adds a Payment Type column. Note that the Payment Type is
that of the individual payment, while the Last Payment Type is that
of the most recent payment on the billing in question.

To test
-------
[1] Set up a patron bill that has multiple payments on it off
    different types (e.g., cash, credit, etc.)
[2] Apply the patch.
[3] In the payments tab of the Bill History page in the web staff
    client, note that there is now a Payment Type column available.
    Verify that it matches the types of the payments entered in
    step 1.
[4] Verify that column settings for that payment history grid can be
    saved.

Signed-off by: Cesar Velez <cesar.velez@equinoxinitiative.org>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Jason Etheridge <jason@EquinoxInitiative.org>

LP#1724052: move stat-cat cache initialization to patron search service

When the patron search was split out of the patron app per bug 1701001,
the startup code that copied the current patron stat-cat list into
egCore.env was not moved over as well and remained in the patron app. As
a consequence, the patron search-to-hold dialog would fail to display
any patrons in the results list that had statistical categories assigned.
This patch moves that bit of initialization into the service.

To test
-------
[1] Ensure that some patron records have statistical categories assigned.
[2] In the web staff client, perform a catalog search, place a hold,
    then use the 'Patron Search' button. Perform a search; note that
    patrons with statistical categories are not displayed and that
    errors are present in the browser debug console.
[3] Apply the patch and repeat step #2. This time, patrons that have
    stat cats should be included in the results.
[4] Perform a patron search in the main patron search interface;
    verify that patrons with statistical categories are retrieved.
[5] Directly go to the page listing stat cats for a patron (e.g.,
    /eg/staff/circ/patron/$ID/stat_cats). Verify that the name
    of the OU that owns the stat cat is displayed.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Cesar Velez <cesar.velez@equinoxinitiative.org>
Signed-off-by: Bill Erickson <berickxx@gmail.com>

LP1735572: replacing placeholder title attribute with something more meaningful

Signed-off-by: Jane Sandberg <sandbej@linnbenton.edu>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1743220: update EDI translator's README

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1743220: Update script to accommodate Ubuntu 16.04.

- renamed the script to "install-ubuntu.sh"
- changed the hard-coded Ruby version to a variable
  that depends on the Ubuntu release (per the lsb_release
  command)
- saw the script work on my 16.04 server

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1743262: (follow-up) disable submit button if approval code not supplied

This patch causes the submit button to be disabled on the CC payment
dialog if the user specifies recording an externally-process CC payment
but has not yet supplied an approval code.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1743262 CC external payment requires app. code

1. Indicate in the CC form that the approval_code field is required,
   styled consistently with the patron edit app.

2. Prevent the form dialog from closing via Submit when no approval code
   is set.

3. Handle payment failures better by preventing the post-API code from
   running (i.e. receipt printing) when the API fails.

To test
-------
[1] In the web staff client, attempt to record an externally-supplied
    credit card payment without specifying an approval code. Note that
    an alert message is presented.
[2] Apply the patch and repeat step 1. This time, the approval code is
    displayed as a required field and the dialog cannot be submitted
    until one is specified.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Terran McCanna <tmccanna@georgialibraries.org>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1743819: Use combcirc rather than circ to get circ data

This addresses a merge regression.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1746020 Fix Safari/iOS login issue

Works around an issue where users cannot log into the web client using iOS
because Safari, which all browsers running on iOS use to some extent, does not
support BroadcastChannel.

Many thanks to Galen Charlton for providing a diff with this solution!

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>

LP#1745486: avoid retrieving user by id::numeric during auth init

During open-ils.auth.authenticate.init, if looking up the user by barcode,
the actor.usr row is subsequently fetched by ID. However, the ID was
turned into a float, meaning that the query as sent to the database
was equivalent to

  SELECT * FROM actor.usr WHERE id = 123.0000;

While PostgreSQL will accept this, it ends up doing a sequential
scan of the actor.usr table rather than an index lookup, making the
retrieval up to two orders of magnitude slower than it needs to be
and adding a couple percent unecessary I/O load on large, heavily
used database. This patch fixes that.

To test
-------
[1] Turn on PostgreSQL statment logging and log in as a user
    by barcode. Note that there's a retrieval of actor.usr by
    a float form of the ID.
[2] Apply the patch and repeat step 1. This time, the query
    retrieves the row by the integer form of the ID.

Signed-off-by: Galen Charlton <gmc@equinoxinitiative.org>
Signed-off-by: Bill Erickson <berickxx@gmail.com>

LP#1743608 Replace barcode discards NULL/accidental entries

When replacing a patron's barcode in the patron editor, discard any
previous replacement attempts done in the current edit session.  This
prevents cases where secondary, etc. replacement cards are accidentally
created or NULL cards that result in ugly error messages.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Chris Sharp <csharp@georgialibraries.org>

LP#1739465 EDI consistent use of buyer org unit san

Use the org unit (buyer) SAN instead of the the seller SAN when the
BUYER_ID_INCLUDE_VENDCODE EDI attribute is enabled.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Jason Boyer <jboyer@library.in.gov>

adjust 20-hold-targeter.t to the "new normal"

First failure happened here:
http://testing.evergreen-ils.org/~live/archive/2018-01/2018-01-11_04:00:02/

Long term we need a better way to distribute concerto test assets

Signed-off-by: Jason Etheridge <jason@EquinoxInitiative.org>

LP1744489: Location Search Limiter

search.calculate_visibility_attribute_test expects
an array for the second parameter and was getting
a plain integer (or too many parameters).

Signed-off-by: Jason Boyer <JBoyer@library.in.gov>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Adjust COMMIT placement in 3.0.3 upgrade script

This moves the visibility update outside of the transaction to match
the statements made in the release notes.

Signed-off-by: Dan Wells <dbw2@calvin.edu>