LP#1304462: Add schema.org copyrightYear, manufacturer for RDA 264 fields

It looks like the best we can do is to define a "manufacturer" property (and
corresponding Organization entity) when 264 ind2="3"; and we can provide a
copyrightYear when we have 264 ind2="4".

Even then, MARC / RDA cataloging practices end up giving us copyright notices
like '@2012' instead of actual dates, so we have to regex the year out of the
notice to satisfy the Integer range for copyrightYear. Theoretically we'll be
in trouble if the copyright notice includes some other 4-digit number (for
example, a multipart work catalogued in a single record that has a date range),
but what are you gonna do? It's MARC / RDA.

Same for manufacturer name, which seems likely (if the LoC examples that Yamil
provided are any guide) to include statements like "Manufactured by Foobar"
instead of cleanly structured data. The RDA fields were added to MARC21 in
2011, you would have thought that the benefits of providing clean data would
have been obvious by then. Grumble grumble grumble. Yes, this is meant to be
a transcription field, and theoretically one could use a 7xx to record the
publisher/distributor/manufacturer/producer in a more cleanly stated factual
way that would lend itself to actual linked data (hey, maybe even providing a
link to an external resource that could act as an identifier), but NOBODY DOES
THAT.

So we do the best we can and soldier on.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1304462: Add additional RDA information to TTOPAC record summary.

This pulls information from the 264 tag where the indicator 2 has
the following values and displays the information below the Publisher
info:

0 - Producer (a,b,c)
2 - Distributor (a, b, c)
3 - Manufacturer (a, b, c)
4 - Copyright (c)

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1308768 Make RDA bibs loadable for testing purposes

Squash the RDA records into XML loading format via the magic
of 'yaz-marcdump -i marc -o marcxml' and some judicious regular
expressions.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1308768 Second set of test RDA records from LC - 6 total

Here is another  batch of test records from LC from this site:

http://catalog2.loc.gov/vwebv/searchKeyword
http://catalog.loc.gov/vwebv/searchKeyword

Here are links to the MARCXML versions of the files. Search for files with

XML records with 264 and ind2 set to _1 and _4
http://lccn.loc.gov/2014340080/marcxml - DVD - Jorge Mautner
http://lccn.loc.gov/2013335283/marcxml - CD - Claudia
http://lccn.loc.gov/2013493195/marcxml - SCORE - Wiegenlied

XML with 264 and ind2 set to _1 and _2
http://lccn.loc.gov/2013565186/marcxml - SCORE - Arias for bass
http://lccn.loc.gov/2013565190/marcxml - SCORE-CD - Arias for soprano

XML with 264 and ind2 set to _1 _2 and _4
http://lccn.loc.gov/2013568403/marcxml - SCORE - Intermediate_studies

Ind2 values key:
0 - Production
1 - Publication
2 - Distribution
3 - Manufacture
4 - Copyright notice date

I added both MARCXML and UTF8 MARC files for each record.

RDA_record_DVD_Jorge_Mautner
RDA_record_CD_Claudia
RDA_record_SCORE_Wiegenlied
RDA_record_SCORE_Arias_for_bass
RDA_record_SCORE-CD_Arias_for_soprano
RDA_record_SCORE_Intermediate_studies

Signed-off-by: Yamil Suarez <yamil@yamil.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1308768 Add 4 sample RDA records from LoC

At the suggestion of Dan Scott, I went to this LoC site:

http://catalog.loc.gov/cgi-bin/Pwebrecon.cgi?DB=local&PAGE=First

I used their "expert search"

with a query of "040e rda"

then used various "search limits" of "type"

Here are the 4 record filenames, plus the available LoC permalinks to them:

RDA_record_MAP_2012_Enchanted_Circle.mrc
http://lccn.loc.gov/2013585177

RDA_record_DVD-BLUE-RAY-MOVIE_Pineapple_express.mrc
http://lccn.loc.gov/2010600022

RDA_record_PHOTO_Srid_pa_ho.mrc
http://lccn.loc.gov/2011432135

RDA_record_SERIAL_IEEE_International_conference.mrc

I originally found more than 4 RDA records, but it was pointed out that they were
using older/outdated versions of RDA. For example, the records used the 260
tag instead of using the 264 tag.

Signed-off-by: Yamil Suarez <yamil@yamil.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1292705 trim unneeded fields from IDL2js

Avoid sending fields in the web-published IDL (IDL2js) that have no
value, as the keys in the JSON take up a lot of space.  Also avoid
repeating fields (selector) and default values (e.g. label defaults
to name) where the client can reasonably apply the defaults locally.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1347793: TPAC added content by ID release notes

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1347793: Teach TPac to load AC by Bib ID

So that we may get more than just jackets

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1246745: Remove OK message from SIP2 messages

Because having clients constantly say there is a message of "OK" gets annoying
very quickly, especially if it is displayed in a popup message instead of via
a "messages" button.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1351317 ACQ fund selector filters cont.

To improve load times, limit the funds we attempt to retrieve for
various fund selectors to those the user has permission to use.

Interfaces affected include the following:

* Purchase order copy grid
* Purchase order "New Charge" interface
* Invoice "Add charge..." interface
* Distribution formula configuration interface.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Docs: various AsciiDoc formatting fixes for docs

Fixed the 'bad first character' error, the bad apostrophe error. Removed various UTF-8 chars.
Fixed some numbered list formatting, to take out redundant manual numerals…

for example:

. 1 item
. 2 item
. 3 item

became:

. item
. item
. item

also added "=" to wrap around breaks in numbered lists

for example:

. Right-click on the value control for the fixed field that needs to be edited.

 image::media/ffrc1.jpg[]

 . Select the appropriate value for the fixed field from the menu options.

 became:

  . Right-click on the value control for the fixed field that needs to be edited.

  +
  image::media/ffrc1.jpg[]
  +
  . Select the appropriate value for the fixed field from the menu options.

Signed-off-by: Yamil Suarez <yamil@yamil.com>

LP#1351355: Add release note on change to XLSX format for Excel report output

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1351355: Use libexcel-writer-xlsx-perl package for Ubuntu Trusty

Since Ubuntu 14.04 Trusty has a more recent packaged version of
libexcel-writer-xlsx-perl, use that instead of installing from CPAN
for Excel::Writer::XLSX.

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1351355: Switch to XLSX format for Excel report output

We've always used Spreadsheet::WriteExcel::Big to generate Excel output
from reports. That module has a limitation of 64k rows, imposed by the
binary Excel format. Recently, the Excel::Writer::XLSX module has become
feature-complete enough that we can use that instead, and the XML format
files that it writes are now supported by the majority of installed
versions of Excel (and OpenOffice) -- the format arrived with Excel 2007,
released in 2006 (8 years ago). So, let's switch to that!

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 - stamping upgrade scripts for acq cancel display

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 remove redundant lineitem cancel display

Remove the cancel reason label displayed in the lineitem list pages
since the cancel reason is now displayed as the lineitem status for
cancelled lineitems.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 support canceling delayed copies

In the PO copy grid, allow cancelled-as-delayed copies to be canceled
again, so that true cancelation can be achieved as needed.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 sort ACQ cancel reason selectors

Sort lineitem and copy cancel reasons selectors by label.  In addition
to being generally useful, this helps to quick differentiate between
delayed and canceled items in the list.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Release notes

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Show delay/cancel reason print PO / worksheets

Display the cancel reason label in the print PO and lineitem worksheets.

Note: this only applies to templates which have not been locally
modified.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Support canceling already-canceled lineitems

If a lineitem is canceled and the cancel_reason has keep_debits == true
(i.e. the lineitem is "delayed"), allow the lineitem to be canceled
again, up until the point the lineitem cancel_reason has keep_debits ==
false, at which point, no more cancelations are allowed.

Similarly, when a copy is canceled with a keep_debits==true reason,
allow the copy to be canceled when its parent lineitem is canceled,
following the rules above.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Show cancel reason labels for lineitems/copies

In the standard lineitem list page, display lineitem states as
translatable strings instead of displaying the raw lineitem state code.
Additionally, when the state is 'cancelled', display the cancel_reason
label instead of "cancelled" to help differentiate between canceled and
delayed items.

Similarly, display the cancel reason label for canceled copies in the
copy edit grid.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 improve stock acq cancel reason labels

Add "Delayed:" and "Canceled:" prefixes to stock labels based on their
keep_debits flag to better differentiate between delayed and canceled
items in the UI.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Show delay count in ACQ lineitem summary

This affects the canned lineitem summary displayed in the lineitem
copies page and the invoice UI.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1270289 Split canceled into delayed vs canceled

The acq.lineitem_summary DB view (and related
acq::lineitem_summary_invoiceable IDL view) now differentitate between
canceled items and delayed items by inspecting the keep_debits flag on
the cancel reason.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

OpenSRF Services Update

Updating list of Evergreen-specific OpenSRF services as of 2.6. Many
thanks to Galen Charlton for providing me with an updated list.

Signed-off-by: Kathy Lussier <klussier@masslnc.org>

Docs: Improved AsciiDoc formating for tpac_meta_record_holds.txt

Replaced curly apostrophe with a straight one. Removed manual numbered list.

Signed-off-by: Yamil Suarez <yamil@yamil.com>

LP#1339190: Have Evergreen save authtoken state to support IO::Multiplex mode

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1339190: support disconnection for SIP multiplex purposes

This patch adds a disconnect method to close the OpenSRF
connect; this method is invoked only when the Net::Server::Multiplex
personality is in use.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1306019 move Business::Stripe to the 'force' list

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1306019 Debian Jessie makefile.install target

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>
Conflicts:
Open-ILS/src/extras/Makefile.install
docs/installation/server_installation.txt

LP#1302207 - Attempt to validate ISBNs in AddedContent.pm.

When getting ISBNs from the database, they often contain extra stuff
after the ISBN that sometimes causes problems for Business::ISBN.

This commit attempts to resolve some of that by looking only for the
part of the ISBN data that resembles an ISBN and using just that part.
If the ISBN data doesn't look like an ISBN, then it is discarded.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1302207 - Order AddedContent identifiers

When multiple exist coming out in a consistent order is preferred.

In this case, use ID order.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

Docs: How to create routing list and shows address on routing list

Signed-off-by: Erica Rohlfs <erohlfs@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>

Docs: How to use MARC Fixed Field Editor

Signed-off-by: Erica Rohlfs <erohlfs@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>

Docs: How to perform metarecord search and hold

Signed-off-by: Erica Rohlfs <erohlfs@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>

Docs: MARC Record Attribute Definitions, Multi Valued Fields, Composite Record Attributes

Defines RADS, MVF, and CRA and explains how to modify

Signed-off-by: Erica Rohlfs <erohlfs@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>

LP#1279998 marc stream importer release notes

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1279998 marc_stream_importer option no-match import; delete repairs

* Adds another command line option for --import-no-match, so that
  importing non-matching records is now optional.

* Improve vandelay response reporting to ensure that all imported
  records get cleaned up.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1279998 marc_stream_importer support alternate match strategies

Adds support for sending auto-overlay-1match and auto-overlay-best-match
in addition to auto-overlay-exact to Vandelay when performing the
import.  If no strategy is chosen, the script still defaults to
auto-overlay-exact.

These changes are managed with 3 new command line options:

--auto-overlay-exact
--auto-overlay-1match
--auto-overlay-best-match

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

Docs: Fix patron registration screenshot

The previously committed screenshot contains site-specific information
which is not broadly beneficial. This commit replaces it with a more
generic screenshot.

Signed-off-by: Remington Steed <rjs7@calvin.edu>

LP#1319519 Add to PO limits to new/pending PO's

Limit the auto-select output of the PO name text box when adding
records/lineitems to existing PO's to PO's with the "new" or "pending"
statuses.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Docs: How to use the MARC 007 Physical Characteristics Wizard

Signed-off-by: Erica Rohlfs <erohlfs@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>

Fix 030.schema.metabib.sql breakage.

The fix for LP 1322285 introduced a change to 030.schema.metabib.sql
that was not only not needed, but breaks building a fresh schema.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Docs: Update commands for authority importing script

The tools used for importing authority records from the command line have
been modified since the original docs were written. Testing revealed these
changes, which are reflected in this commit.

Signed-off-by: Remington Steed <rjs7@calvin.edu>

Docs 2.6: Update screens for register/edit patron

Update screenshots and wording to reflect new "Update Expire Date" button.

Signed-off-by: Remington Steed <rjs7@calvin.edu>

Stamping upgrade script for LP 1322285.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Add release notes for the no fixed field default upgrade.

A reingest is recommened after running the database script.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1322285: Exclude default values for fixed fields when ingesting

Default values for fixed fields that can exist in either 008 or 006
will cause search to be over-broad.  So, we avoid including those now.

I also took the time to move the baseline schema around a bit in order
to keep related code in more appropriate files and avoid continuously
redefining functions.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1348731: have SIP gateway use a login nonce

Since multiple SIP clients may use the same credentials, avoid the
same-username race condition to authentication by applying a login nonce
value.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1348731: Optional Auth login nonce to differentiate same-username logins

If multiple login attempts are made using the same username within a
very short period of time, a race condition exists where, upon
completion of the first login, the auth init cache data for any pending
logins are removed, since there can only be one instance of cached init
data per username.

This adds support for allowing the caller to pass in a random string
which is added to the cache key as a way to differentiate between logins
using the same username.

The seed is passed into auth init as an optional secondary parameter
and passed again (via the "nonce" argument) to auth complete to ensure
consistent cache keys across both interactions.

Example:

my $nonce = rand($$);

my $seed = request(
    'open-ils.auth',
    'open-ils.auth.authenticate.init', $username, $nonce );

my $response = request(
    'open-ils.auth',
    'open-ils.auth.authenticate.complete',
    {
        username => $username,
        password => md5_hex($seed . md5_hex($password)),
        type     => 'opac',
        nonce    => $nonce
    }
);

The race condition has been observed with the SIP2 gateway when
multiple devices have been configured to use the same account.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1308239 precat holds fulfillment logic repair

In cases where there is no hold on a precat copy, avoid trying to find
"related" holds, in part because it's unnecessary, but also because the
implementation assumes a fleshed $self->volume object, which is not
present during precat checkout.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1099979 Provide facility to merge parts in the Monograph Parts display

A new facility is provided to make it relatively simple to merge parts that should be named the same, but are
not.  The user will check-off the parts that need to be merged, and click on the new Merge Selected Parts
control, at which point the "winner" will be selected from a pop-up.

Signed-off-by: Dan Pearl <dpearl@cwmars.org>
Signed-off-by: Rogan Hamby <rogan.hamby@gmail.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1339118: Ignore permission checks for "jump" context

We don't worry about checking permissions on foreign objects when we're
simply using them to get a context OU for the local object permission
testing.  The "jump" field just gives us more layers of indirection, and
shouldn't cause a perm check, just like normal foreign context OUs.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1334693 make_release optional -j <osrf_js_path>

make_release supports a "-j" option for passing in the OpenSRF JS path:

make_release [options] -j /openils/lib/javascript

This is useful when running make_release, specifically the staff client
building portion, on a machine where the OpenSRF libs are available
(say, from a git checkout) but osrf_config is not available because
OpenSRF is not actually installed.

The script will attempt to find osrf_config and the JS path
automatically, so under normal circumstances, -j is not required.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#827442 Z39.50 will split the total cap between locations when multiple locations selected

This code does a bit of oversampling, and buffers the results so that a
full batch of results are returned.

In addition, the values in the hover text under "Displaying xxx of yyy records"
has been repaired, as it was easily confused.

Signed-off-by: Dan Pearl <dpearl@cwmars.org>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1341703 Thinko in Batch Edit (hidden by older OpenSRFs)

There's a bug on line 272 of O::A::Cat.pm where we called a non-existent
method named respond_complete on the invocant object. Instead, we need to
call that on the client object (spelled $conn in this method). Batch bib
edit won't work on new OpenSRF's until this is fixed.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1341013: Load apache mod CGI

As of Apache 2.4, mod CGI needs to be enabled directly and is not built
with apache.  So let's add it to the Makefile for Ubuntu Trusty 14.04.

Also, add handling for disabling unwanted apache conf like serve-cgi-bin,
which can break offline cgi-bin script alias.

Signed-off-by: Ben Shum <bshum@biblio.org>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1341013: Remove NameVirtualHost from eg.conf.in for Apache 2.4.

NameVirtualHost does nothing in Apache 2.4 and will be removed in
the next release.  We might as well get rid of it now and silence
a warning when starting Apache.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Forward-port 2.6.2 upgrade script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Forward-port 2.5.6 upgrade script

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Fix 950.data.seed-values.sql.

Code from the lost and paid copy status was missing an argument
on the insert.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Release notes entry for lost and paid status

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Jason Stephenson <jason@sigio.com>

LP#1198475: Wrapping upgrade script for lost and paid copy status.

Signed-off-by: Jason Stephenson <jason@sigio.com>

LP1198475: Add a new, optional, Lost and Paid copy status.

Add the Lost and Paid status to config.copy_status.

Add org_unit_settig to control if the copy status is used.

Add checks to O::A::Circ::Money::make_payments to check for LOST
status and org_unit setting and change the copy status to
Lost and Paid as appropriate.

Also add checks for Lost and Paid copy status wherever LOST copy
status is used.

Add the COPY_STATUS_LOST_AND_PAID event.

Add the event to ils_events.xml with id 7026.

Check for the event in circ/util.js in the staff client.

Add pgTAP tests for the existence of the Lost and Paid copy status
and the new org_unit setting to control if it isused.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Rogan Hamby <rogan.hamby@gmail.com>

LP#1234845: Stamping upgrade script for improved evergreen.ranked_volumes()

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1234845: Performance improvement to evergreen.ranked_volumes() database function.

For the client I analyzed logs from production Pg instance for ~ 10
days.

During this time, the single most time consuming query (summarized time
for all instances of the query, with different parameters) was:

SELECT * FROM unapi.bre ( ... ) AS "unapi.bre";

I profiled this function, and found that in my test case most of the
time (2.04s out of 2.06s, so ~ 99%) was spent in call to
unapi.holdings_xml() function.

When I profiled this function, I found that most of the time (sorry,
don't have the number now with me) was spent in call to
evergreen.ranked_volumes() function.

At this moment in my research something changed on the server I was
testing on, and all subsequent times were ~ 4-5 times lower, but the
ratios were more or less the same.

Anyway - call to evergreen.ranked_volumes() showed repeatable time (with
full caches/buffers) of ~ 380ms.

I modified the function by:
1. inlining actor.org_unit_descendants(?, ?)
2. inlining evergreen.rank_ou(?, ?, ?)
3. extracting depth calculation to separate call
4. switched to plpgsql (which gives me ability to use variables)
5. removed evergreen.rank_ou() and evergreen.rank_cp_status() from
   select clause - these are still in WINDOW definition, but they
   weren't used in the SELECT, so it's better to remove from there.
6. in passing renamed arguments to avoid name clash (argument depth vs.
   field depth)
7. in passing changed usage of $* to access parameters to using named
   parameters, for readability.

New function did the same work in ~ 18ms.

EDIT: Convert to SQL, keeping all of the improvements from depesz
EDIT2: Added Signed-off-by line for depesz, see http://markmail.org/message/rv4vaarwixeswqgu

Signed-off-by: Hubert depesz Lubaczewski <depesz@depesz.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

Force the installation of Business::Stripe on Ubuntu Trusty.

Apparently the required force was missed in the Makefile.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1254918 limit ACQ batch update fund retrieval by perms

In the ACQ batch update bar along the top of the PO page, limit the
number of funds which require permission checks on the server by
limiting the fund search to those at org units where the requesting user
has the CREATE_PURCHSE_ORDER or MANAGE_FUND permissions.

In other words, if a user only has create-po perms at Branch 1, we can
specifically request funds at that branch (or below) for display so that
the server (PCRUD) does not have to inspect unrelated funds for
permissibility.  This speeds up fund retrieval.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1254918: Allow skiping of user-object perms

Previous to this commit, permissions in Evergreen check a cominbation
of:
 * user-object permissions (does the user have a direct permission
   mapping to the object in question)
 * user-context permissions (does the user have the permission at the
   object's context location, whose field is defined in the IDL)
 * user-global permission (lacking a context location, does the user
   have the permission globally (at the top of the org tree) and therefore
   can apply the action to all objects of this typ)

In practice, there are almost no user-object permissions.  When retrieving
just on object from the database, the cost of this check is negligable to
the point that we can completely ignore it.  However, when retrieving a
large set of objects, such as the list of all funds in a large, consortial
environment, the cost to check the user-object permission adds up to a
noticable amount of time.

To address this, we add a new construct to the IDL instructing the PCRUD
infrastructure to skip user-object permission checking in those cases where
the design and use of the system makes user-specific object permissions
needless or superfluous.  This is embodied in a new XML attribute on the
<pcrud> element: ignore_object_perms.  When set to "true", pcrud will skip
all user-object permission checks, resulting in faster time-to-first-result.

Additionally, we add a new "owning_user" attribute on the <action> element
of the <pcrud> section. This new attribute specifies the field containing
the actor.usr.id of the user that "owns" the object.  This allows PCRUD to
test ownership of an object directly, and if the requesting user and owning
user are the same, the action is allowed.

Finaly, when "global_required" is "true" for the permission check, and there
is no "owning_user" attribute defined for the class in the IDL, we skip the
above-mentioned user-object permission check.  When "global_required" is
"false" or there is an "owning_user" attribute, we check for user permissions.

In all cases, the "ignore_object_perms" attribute is honored, and in its
presence we skip non-owner user-object permissions.

The net result is an immediate increase in speed for retrieval of objects
in the presence of the "global_required" attribute, and a mechanism to
increase the speed of specific cases of context-aware retrival by the use
of "ignore_object_perms".

We use this new mechanism to speed the retrieval of fund objects in the
ACQ interfaces that draw available-fund dropdowns.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1334693 ./configure avoid osrf_config without core

Avoid the check for and use of osrf_config during Evergreen ./configure
when run with --disable-core.  This allows the staff client to be built
and, in general, for make_release to be run on a machine that does not
have opensrf installed (or has multiple versions).

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1337550 remove schema.org itemOffered, add price property

We use the "offers" property to link the Product to the Offer, so there
is no reason to use a reciprocal "itemOffered" property to link back to
the Product from the Offer. The circular reference confuses some tools
(http://rdfa.info/play) and may complicate general processing, so let's
simply remove it.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1337550 Remove AggregateOffer schema.org instance

As our record details page lists each copy as a separate Offer (well, in
many cases anyway, unless paging gets invoked), the AggregateOffer
entity is not really necessary--and using it on the same page as
separate Offer entities is not recommended by at least one search engine
(per Google https://support.google.com/webmasters/answer/146750?hl=en
says a given page should include "_one_ of the following: Offer or
Offer-aggregate").

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP# 1330784: Release notes for sitemap builder

More like documentation than release notes, but more is probably better
than less.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1330784 Add a sitemap generator for Evergreen

Following the requirements at sitemaps.org, generate a
set of sitemaps that reflect the bib record's last edit
date, with 50,000 records per sitemap file.

Users can run this script targeting different libraries
and generating different output filenames using the
documented options in the script.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1308239 support holds fulfillment on precat copies

During checkout, allow holds on precat copies to get fulfilled.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1308239 Support pre-cat copy hold targeting

Remove an unused line of code in the hold targeter which was preventing
targeting of pre-cat copies.

In OpenILS::Utils::PermitHold::permit_copy_hold, neither in-db nor
script based hold viability checks inspect the value of the
"title_descriptor" field in the provided params.  Remove this field and
pre-cats just work.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Release notes entry for holds shelf expire change

Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1306753: Only look at holds that expire before 'today'

We should not count today when generating the hold expiration list.
So, we'll look for holds that expire before 'today' instead of those
that expire before 'now'.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Kathy Lussier <klussier@masslnc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1316814: Change potentially incorrect information display in hold_status.tt2

Removed word "circulating" from patron hold status message regarding the number of copies of the material.
Some copies may be ON ORDER and therefore not circulating.

Signed-off-by: Victoria Lewis <vcamklewis@gmail.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Documentation: added release notes for LP#1327284 Display "Imported As" column

LP#1327284 Display "Imported As" in Vandelay queue

Signed-off-by: Yamil Suarez <yamil@yamil.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1327284 Display Imported As column in vandelay queue

For Bib and Authority records which have been imported / merged /
overlayed, etc. into the system via Vandelay, show the record ID of the
catalog bib/auth record to which the record was imported.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Yamil Suarez <yamil@yamil.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1210161: Stamping upgrade script to rename bookbag to list

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1210161: Upgrade script to rename bookbag to list

Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1210161: Finish renaming bookbag to list

The JSPAC bookbag feature was renamed to "Lists" in TPAC, but several
references still exist to "bookbag", "book bag", "Book Bag", etc. in the
public and staff interfaces. This commit attempts to provide simple and
clear replacements for the old term. In some cases "list" seems best,
but where the context is uncertain "book list" is used to err on the
side of clarity. Some of these changes may be in old code that is no
longer used.

This commit also includes two minor wording changes - one to fix grammar,
and the second to update instructions for sharing a list.

Signed-off-by: Remington Steed <rjs7@calvin.edu>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Remove remaining references to Lucid from README and Makefile

There were still a few references to Ubuntu Lucid in README and makefile
comments area.  Also, the Makefile itself for Lucid was still there.

Remove these last traces forever!

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Fix README asciidoc syntax

Noticed when generating the asciidoc output to HTML there was an error in the
README file. This adds the proper syntax around the text blocks.

Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Quick clarification about which Ubuntu we mean.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Correcting typo: "eg_host.conf" -> "eg_vhost.conf".

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Adding further changes to the server install docs for Ubuntu 14.04:

- adding apache configuration instructions that adjust for the new
mpm_prefork module in Apache 2.4 on 14.04
- adding new standalone database dependency installation instructions
that rely on OS packages rather than CPAN where possible

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Ben Shum pointed out an error, which I have now corrected.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Change default location of libdbi libraries.

In libdbi 0.8.4, the default installed location has changed to
/usr/lib/x86_64-linux-gnu/dbd/.  On the advice of Thomas Berezansky,
I made the new location the default and ensured that the previous
locations are in the fallback.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Missed libtest-output-perl in the deb list.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Adding Business::Stripe; Moving CPAN stuff to debs where I can

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 Continuing to add trusty support and remove lucid.

Adding PostgreSQL 9.3 as the default database for 14.04.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1315531 adding trusty Makefile.install, removing lucid support

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

Documentation: Upgrade instructions examples

This commit adds a note (with examples) about upgrading the database schema
across major versions. It also reformats a long line into multiple lines,
changes a NOTE to a TIP, makes a small correction, and replaces a repetitive
command with a short explanation.

Signed-off-by: Remington Steed <rjs7@calvin.edu>

Documentation: Update upgrade instruction for 2.6.1

- Update location references for 2.6.1.
- Update database updates to include 2.6.1 update.
- Add a note regarding reingesting bib records after updates.

Signed-off-by: Robert Soulliere <robert.soulliere@mohawkcollege.ca>

Documentation: updated some SIP content

Signed-off-by: Yamil Suarez <yamil@yamil.com>

Documentation: added AsciiDoc version of old SIP docs from EG 1.6/2.0 docs

Signed-off-by: Yamil Suarez <yamil@yamil.com>