Query Parser merged copy / non-dynamic filters

When more than one copy-level filter (e.g. locations()) is used in a
query-parser query, all but the first are ignored.  The goal of this
work is to compress multiple copy-level filters into a single filter
that represents the full collection.  Wherever possible, boolean
structures will be honored, to the extent possible for post-search
copy-level filters.

Examples:

concerto locations(1,2) locations(3,4)

==> concerto locations(1,2,3,4)

( concerto locations(3,4,5) ) || (piano locations(3,5,7) )

==> ( concerto || piano ) locations(3,4,5,6,7)

( concerto locations(3,4,5) ) && ( piano locations(3,5,7) )

==> concerto piano locations(3,5)

Note, in the last 2 examples, the final query does not exactly match the
original.  This is because copy-level filters are applied after the
initial search and cannot be executed as part of the  nested query.  The
best we can do is create a representation of the final copy-level
filter, based on the nesting, and apply it to the final result of the
nested search.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Query Parser nested dynamic filters

Dynamic filters (from metabib.record_attr) are now parsed along with
search strings and facets as Query Parser descends the parse tree.  The
WHERE clause for the query as a whole is now a combination of the main
WHERE and the ON clause for JOINing to metabib.record_attr.  This gives
us the ability to create complex boolean nested queries using
SVF/record_attr filters, unlike before where nested filters were either
ignored or always treated as global filters.

For example:

concerto && ( ( item_type(a) subject|topic[Music] ) || item_form(a) )

This query now successfully limits the "concerto" search to results that
have either (item_type(a) AND subject|topic[Music]) OR item_form(a).

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

QueryParser test script

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Use spaces instead of tabs in QueryParser.pm

Copying swathes of SQL from logs into psql would often trigger the
autocompletion that psql offers, garbling a query awfully. Define the
local $spc var as two spaces and use that instead, leaving open the
option for reverting to tabs or anything else people prefer.

Also remove trailing whitespace, as this whole thing is about space.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Makes a warning go away when running fts-replacement.pl, but may have...

...consequences.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Fix typo in TEST_SETUP for QueryParser.pm

"author|coporate" doesn't exist, probably doesn't matter much in
principle but is worthwhile getting rid of the distraction.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

abstract query representations from QueryParser

When you perform a search, you now also get back an abstract
representation of your search query.  fts-replacement.pl is a test
script that shows you things that QueryParser does, including the new
abstract query feature, and it also reconstitutes a string from the
abstract query to demonstrate the correctness of that query.

[Also]
Make last-wins true for facets, filters and modifiers -- arg!; Parameterized values win in the staged-search QP wrapper

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

QueryParser: comma-delimit multiple WITH clauses

Bill Erickson's fix for my breakage of QueryParser.pm for the speedup
via the WITH common table expression usage inadvertently left out
the commas required to delimit multiple WITH clauses, resulting in SQL
query errors.

This fixes that oversight. Note that the fts-replacement.pl script came
in quite handy for testing this; recommended.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Add libnet-https-any-perl as precise deb requirement in Makefile.install.

Business::OnlinePayment::PayPal requires it, and it does not always want
to install from CPAN. It says it require either Net-SSLeay or
Crypt-SSLeay but the CPAN package never wants to install unless they
both are installed. The deb package for Ubuntu seems to do the right
thing.

Signed-off-by: Jason Stephenson <jason@sigio.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

QP support for nested WITH construction

Nested query plans build their own tsquery chunks which have to be
individually JOINed to the final query.  To do this, each tsquery SELECT
gets its own entry in the top-level WITH, complete with alias for
joining.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Optimize full text search with a CTE

The tsquery used directly in a JOIN was resulting in bad
plan with lots of nested loops and operations. Using a CTE
to define the query improves the plan.

Also, instead of ARRAY_AGG(DISTINCT foo), just return the
whole thing in an array. Not great for dupes, but we can
handle those inside search.query_parser_fts if we really
need to.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Vandelay authority existing queue search repair

When searching for an existing authority queue, search for an authority
queue, not a bib queue.  Apart from simply not working, the query will
fail with an "invalid input value for enum vandelay.bib_queue_queue_type"
and result in a client-side error.

https://bugs.launchpad.net/evergreen/+bug/989391

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Avoid collisions of normalized values going into metabib.browse_entry

This fixes a bug that prevented successful reingestion of bib records
during the 2.1->2.2 upgrade in some cases.  Reported by George Duimovich.

Key part here:

> ERROR: duplicate key value violates unique constraint
> "browse_entry_value_key"
> DETAIL: Key (value)=(545575) already exists.
> CONTEXT: SQL statement "INSERT INTO metabib.browse_entry (value) VALUES
>                     (metabib.browse_normalize(ind_data.value,

George confirmed that the changes to the version upgrade script fixed
the problem for him.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Be more prepared for malformed serial holding code data in upgrade scripts

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Move PLPERL dropping outside of 2.1-2.2 upgrade transaction

Sites might have added custom PLPERL database functions for migrations,
data clean up, etc, so don't make the success of the 2.1-2.2 upgrade
hinge on a database schema that exactly matches vanilla Evergreen;
just move it outside of the upgrade transaction and output a reassuring
note.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add missing weights fm_IDL entries

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

In the 2.1-2.2 upgrade script, move 0691 into a failures-are-ok zone

Mainly because it's already covered in the 2.1.1-2.1.2 upgrade script.
Thanks to George Duimovich for pointing this out in LP #997759.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Version Upgrade Cleanup

Merge tacked on transactions into the "primary" transaction.
Add in 0708 for tracking purposes.

Separate 0672 and 0679+0680 in the version-to-version upgrade script
They're all potentially slow.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Check if transaction needs closing after adding billings

This addresses the issue where issuing refunds results in a negative
ballance and it is then impossible to close the transaction by creating
new billings.

https://bugs.launchpad.net/evergreen/+bug/758982

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Nearest Hold: Look at 100 instead of 10 holds

At the suggestion of Mike Rylander.

Because DB-wise the extra 90 IDs isn't a big deal, and this way we get more
chances to capture (or block renewal, etc).

Jeff Godin claims they have done this and it has produced no issues for them.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Hold Capture: Run permit tests on "old" holds

Because we shouldn't be trusting that the copies are still valid.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Hold Editing: Retarget on some changes

The main thing to cover is pickup library, but check a few other things too.

Note that most of what is being checked likely doesn't change in any normal
workflows or interfaces, but it looks like they could anyway later.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Hold Targeter: Ensure old best still valid

Re-using a now invalid copy is a bad idea for various reasons.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Default email/phone hold pickup in TPac

Like JSPac does, but currently without the check of having phone/email.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

Retarget Local Holds: Use part ID properly

Because the mapping ID is meaningless unless you only create one part at a
time, assign them only once in the order you created them, etc.

Which I think pretty much describes most of my original test cycle.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

TPAC: Keep site() and depth() out of basic search box when widgets suffice

This is a short term but working solution to the problem described here:
https://bugs.launchpad.net/evergreen/+bug/986196

Now when you have a selection for site on the advanced search page, it
doesn't lead to redundant site() and depth() terms in your basic search
query box.

Item type selections and search class selections (keyword/author/etc)
can still lead to ugliness in the advanced search box, but that's
because in the advanced search page you get a multi-select widget for
item type and in a basic search page you only get a single-select
dropdown, so there's not a clean way to map your advanced page
selections to basic page selections.  Search classes are kind of the
same issue, since you have three dropdowns on the advanced search page
and one on the basic.

So the "bigger" problem is one that we will have to solve later, but for
the common case at least we don't get the extra site() and depth() for
now.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Fix hold has copy at lookup

Filter on available or reshelving, and add more hold type support for lookup
purposes (parts and issuance holds).

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Adding a small pile of missing permissions

ADMIN_ADDRESS_ALERT
VIEW_ADDRESS_ALERT
ADMIN_COPY_LOCATION_GROUP
ADMIN_USER_ACTIVITY_TYPE

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

TPAC: repair staff client End link for showing last record

In the embedded TPAC, when staff clicks the End link in the record
detail page to jump to the last record in the search results, it now
makes an intermediate jump through search code, which locates the last
record in the set (via CGI param find_last) then redirects to the record
detail page for the last record.  With this approach, we don't have to
pre-fetch the entire set of record IDs just to render the paging links.
Tip o' the hat to Mike R. for the design suggestion.

https://bugs.launchpad.net/evergreen/+bug/984070

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

TPAC: more intelligent detail paging #1

Only fetch a small page of records at a time when generating the paging
links in the detail page.

Part 2 will be to repair the 'Last' record button in the staff client,
which will not work with this change.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

TPac: Barcodes default to starting with digits

Because otherwise there is likely to be a lot of confusion when barcodes no
longer work, at all, for login when groups have no barcode regex.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Consensus was reached to remove editor-specific globs from .gitignore.

In a highly overengineered discussion out of scope with the actual breadth
of this very minor issue, everyone has come to the conclusion that
editor-specific globs don't really belong in the project's .gitignore,
given that git permits a global-level ignore file for users.

Instead, a HACKING file is herein added, with its first entry to explain
how developers can set the own global gitignore.

Signed-off-by: Bradley M. Kuhn <bkuhn@ebb.org>
Signed-off-by: Dan Scott <dan@coffeecode.net>

AutoSuggest: Escape ampersands properly

This fixes an issue reported by Yamil Suarez.

If you had relatively technical users composing searches with
QueryParser syntax, or if they were just typing ampersands for any
other reason, AutoSuggest would behave as if the ampersand marked the end
of user input.

This is fixed by applying the correct URI-encoding function for the
situation.

To be clear, QueryParser syntax does not actually affect suggestions;
such syntax is ignored.  AutoSuggest is not search.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

lp996776: Patch to fix the response if no configured status is detected.

SIP response messages that use circulation_status where defaulting to just 1
rather than 01 if the status was not detected. Since SIP needs a 2 character
response, this was causing issues in some 3rd party devices. Added quoting
around the 01 to force the 2 characters.

Signed-off-by: Steven Callender <stevecallender@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Stop saving patron barcode in cookies

This causes bad interactions between patron windows and normal catalog
windows. Examples:

Load a patron, load place hold catalog in patron window. Future loads of
non-patron catalogs will default to this patron.

Load Patron A from written note, and open Place Hold catalog. Start
searching for the item Patron A wants.
Get interupted by Patron B calling. Load Patron B, and open Place Hold
catalog. Search, place a hold for Patron B.
Return to Patron A, find item, go to place hold. Find Patron B's barcode
populated.

Instead, teach the staff javascript, that already knows how to load hold
preferences, how to grab the barcode from xulG. This barcode should be
specific to the patron window the catalog is embedded in, and won't 'leak'
to other catalog interfaces.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Roll back libjs version to 1.7.0

The install version of libjs (Spidermonkey) had been bumped to the
latest, 1.8.5, but it turned out that the tests for that had probably
been run on a system that had an old version of libjs source and/or
installed headers/libraries in place, as building libjs 1.8.5 is a
different beast entirely (different directory structure, etc).

In addition, there are several bugs along the lines of
https://rt.cpan.org/Public/Bug/Display.html?id=75058 that strongly
suggest that libjs-1.8.5 is not compatible with the
JavaScript::SpiderMonkey 0.21 Perl module.

Therefore, roll back to the tried-and-true libjs 1.7.0.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

We can't assume that 0526 was in fact run previously so we need to drop these more safely
to avoid producing an error if 0526 wasn't run previously

Signed-off-by: James Fournie <jfournie@sitka.bclibraries.ca>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

fix typo in CC payment form

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Upgrade 0704 was missing from the 2.1-2.2 upgrade script.

That upgrade added a parameter to search.query_parser_fts, without it,
Evergreen passes 11 parameters to the database but the searches fail because
there's only a 10 parameter function in the database.

Signed-off-by: James Fournie <jfournie@sitka.bclibraries.ca>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Stamping upgrade for 'inheritied' typo repair

Signed-off-by: Bill Erickson <berick@esilibrary.com>

Fix "inheritied" typo in global flag

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Fix typo in TPAC noticed by Warren Layton

Expiration needs to be spelled correctly; Warren Layton pointed out the
typo while working on a translation of the derived tpac.pot file. Many
thanks, Warren!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add missing upgrade scripts 0705, 0707 to point-to-point upgrade script

These come from bugfixes I pushed to master and rel_2_2 on 28 April 2012
without remembering to address the point-to-point version upgrade script.

See c208754eafadb005439800f7fedd33241fca7b65 (LP #980199) and
89438b46fc39270ac3d47345cd99caacf6b6dee1 (LP #919279).

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Prereqs: Remove Ubuntu Hardy references

We no longer support Ubuntu Hardy 8.04, so ditch any references to it in
the prerequisite installer.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Prereqs: update to latest available versions

* JavaScript-SpiderMonkey: from 0.20 to 0.21
* libjs: from 1.7.0 to 185-1.0.0
* yaz: from 4.2.17 to 4.2.32

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Prereqs: Remove references to CentOS / RHEL

The prereqs were focused on the 5.x series for CentOS and RHEL, which is
hella-out-of-date and never really worked anyway. Get rid of the noise
to focus on the signal.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Allow subscriptions at org units without volumes

Subscriptions are sometimes owned at the consortium or system
level, so forcing can_have_vols() to be true was incorrect.

This commit removes those checks.  In addition, we also remove
some dead code and make the subscription org unit selector
consistent with the distribution org unit selector.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add indexes to 2.1.2 upgrade script to speed up acq search

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add ISSN fix to the version upgrade script

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Address date sorting in Item Status and Copy Buckets interfaces, too

> The sort_value function for the date columns being used in those
> interfaces had no error protection, and were returning empty strings
> upon failure.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Fix date sorting in patron-related XUL interfaces

Null time stamps are now converted to dates in the Middle Paleolithic
era so they always sort as the lowest date.

Seriously, this is the minimum possible date you can express with a JavaScript
date object.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Fix LP 984039: correct Syndetic Kirkus Reviews

Use correct "filename" component of URL for retrieving Kirkus
Reviews content from Syndetic Solutions.

Correct filename confirmed by Bowker technical support, and by
empirical tests.

Signed-off-by: Jeff Godin <jgodin@tadl.org>
Signed-off-by: Michael Peters <mrpeters@library.in.gov>

Fix some "null" instead of blank values in JSPac

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Michael Peters <mrpeters@library.in.gov>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Release notes: clean up and introduce TPAC

General clean-up of the release notes for consistency and to support
PDF output:

* Reformat line-widths to 80 characters or less
* Mark interface window and element names as bold
* Fix up some formatting glitches and headers
* Make the "Documentation is available..." note standard & separated
  by one line; I suspect we will want to modify this globally, so it
  will be easier if it is consistent.

Also, give a brief introduction to the TPAC and mention the forthcoming
JSPAC deprecation in the next feature release.

Signed-off-by: Dan Scott <dan@coffeecode.net>

LP992377: More 2.2 release notes from Kathy Lussier

Kathy Lussier <klussier@masslnc.org> contributed significant additions
to the 2.2 release notes in https://bugs.launchpad.net/bugs/992377 -
thanks Kathy!

Signed-off-by: Dan Scott <dan@coffeecode.net>

additions to release notes for 2.2

Written by Sally Fortin <sfortin@esilibrary.com>

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Vandelay match set permission additions

Allow retrieve access for match points with the VIEW_IMPORT_MATCH_SET
permission (in addition to ADMIN_IMPORT_MATCH_SET).

Adds 2 new permissions to the database:

ADMIN_IMPORT_MATCH_SET
VIEW_IMPORT_MATCH_SET

From Jason Stephenson resolving conflicts:
> Conflicts:
>
>  Open-ILS/src/sql/Pg/950.data.seed-values.sql
>
> I had to change the ids of the new permissions because another branch
> had used one of the ids since this branch was last rebased.  I also edited
> the ids in the upgrade script to match what is in 950.data.seed-values.sql.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Update POT files for translators

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Update translations from Launchpad

Includes a small update to the update_pofiles to make it easier for
release managers and release maintainers to run translation updates.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Constrain serial.issuance.holding_code to be valid JSON or NULL

This avoids serial.materialize_holding_code() failing on bad data.  The
upgrade script will actually throw away bad values for
serial.issuance.holding_code.  This is no real loss, since bad data
there prevents any serials functions around the row in question from
working properly anyway.

This problem was reported by Martha Driscoll and Ben Shum.

*Also* put a couple of changes missed from the 0700 upgrade script into
210.schema.serials.sql.

Fix new serial constraint upgrades

1. None of the upgrades so far have moved is_json() from the public
to the evergreen schema.  That's probably a separate issue, but it
should be safe to call it unqualified, and that's what the rest of
the upgrade file does, so we will too.

2. Add a specific SET CONSTRAINT to avoid deferred trigger problems
when ALTERing the table.

3. Make sure that the unwanted columns on materialized_holding_code
do not exist regardless of your upgrade path.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Remove the "print_nav.tt2" from the TTPAC Password Reset

We no longer use "print_nav.tt2" in TTPAC, but it was still
displaying on the password reset page.  This branch removes it.

Signed-off-by: Michael Peters <mrpeters@library.in.gov>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Add missing ADMIN_ORG_UNIT_CUSTOM_TREE permission

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Michael Peters <mrpeters@library.in.gov>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

TPAC: Instrument the search results page

Because we want to know why search results can be slowish, add timelog()
entries to pertinent locations in Search.pm.

Quick results on my laptop with the concerto set:
  * 10 results = 1.1 seconds for get_records_and_facets()
  * 50 results = 4.2 seconds for get_records_and_facets()

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

tweak wording - ChangeLogs are generated during release

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

ChangeLog shouldn't merely be empty; it should tell reader where to find a change log.

Signed-off-by: Bradley M. Kuhn <bkuhn@ebb.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

autoreconf -f -i appears to clobber our own INSTALL file with the "standard" one.

autoreconf -i seems to still work correctly for building Evergreen, therefore,
we should recommend developers do that.

Signed-off-by: Bradley M. Kuhn <bkuhn@ebb.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

AUTHORS, NEWS, and INSTALL files should actually have reasonable content if they exist.

Specifically, this commit:
   * simply points INSTALL to README via symlink, since install instructions are there.
   * AUTHORS now notes that Evergreen keeps its authors in the git log.
   * NEWS now explains where release notes are.

Signed-off-by: Bradley M. Kuhn <bkuhn@ebb.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Do not hide copy counts from results in staff client.

Remove the check for whether you are a staff login or not.

Ideally, we would want the copy counts to be displayed in both
public catalog and staff client.

Signed-off-by: Ben Shum <bshum@biblio.org>
Signed-off-by: Olli-Antti Kivilahti <olli-antti.kivilahti@jns.fi>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Apply timelog() to TPAC record detail page

Early suggestion from results is that we either need to use unapi.bre more
smartly, or optimize it further.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Instrument the TPAC: add timelog() method to EGCatLoader

Meant for timing how long events take to generate a single TPAC page,
the timelog() method will provide timing in microsecond granularity of
various events required to build the page.

To invoke: $self->timelog("Event description...");

Builds up a context variable named "timing" containing a list of
arrays; each array entry contains a time and the event description.

Disabled by default; to enable, set DEBUG_TIMING = 1 in
OpenILS/WWW/EGCatLoader.pm

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Merge remote branch 'working/user/dbwells/serial_items_and_note_fixes'

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

unsaved data loophole

The Start/Previous/Next/End/Search Results buttons in the staff client OPAC
wrapper do not fire unsaved data warnings for the MARC editor when changing
records. This plugs that hole, but it's not a complete solution, as you can
still move away from the record by clicking on hyperlinks in the OPAC View,
though that's less likely to happen.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Michael Peters <mrpeters@library.in.gov>

Bootstrap via "autoreconf -f -i" instead of "autogen.sh"

It has always been potentially confusing to maintain two shell scripts
named "autogen.sh" for two distinct purposes in Evergreen. Take
advantage of "autoreconf" that is packaged with autoconf for dev
bootstrapping purposes and trash the old "autogen.sh" as a result.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Clean up and refine serial note support, part 3

Add needed menu entries for invoking the serial notes editor from
the list in the Items tab.

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Clean up and refine serial note support, part 2

Because of the way our notes are being rendered, a handful of
special XML characters can break the note interface when editing.
These characters are now properly encoded as entities.

Also, editing of newlines presents a similar issue with different
consequences, and it is handled similarly but separately.

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Clean up and refine serial note support, part 1

This commit fixes a number of minor problems with serial notes:

1) Serial notes are currently returned in "random" (database)
order.  Adding a create_date sort is a sensible default.

2) If you have many notes, they start to display in a squashed and
unreadable fashion.  Switching from a groupbox to a styled vbox
provides a simple workaround.

3) It is currently impossible to display newlines in notes.  We can
deal with this by changing the display style.

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Limit excess serial data fetching

Overfetching and duplication of data in the interface is both
inefficient and bug-inducing.  This reduces a couple big offenders.

First, in the items tab, we will store distribution and subscription
data separately, rather than duplicating for every row.  Second, we
will only redraw rows as needed rather than refresh the whole list so
often.  Finally, we no longer need to lookup call numbers separately,
as they are included in the one-time distribution fetch.

Signed-off-by: Dan Wells <dbw2@calvin.edu>

Better Prediction for Incomplete Chronologies

While relatively rare, some journals record only the year on the
cover, even if they come out monthly or weekly.  This commit
expands our previous support for serials with no chronology at
all to cover serials with partial chronology.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Acq: Refactor General Search for more smarts and speed

This started in response to problems discussed around
https://bugs.launchpad.net/evergreen/+bug/967824 , but it really
addresses a distinct issue from that bug.

Acq General Search relies on lots of joins to make several tables in Acq
searchable by attributes of any of the other tables for rows that happen
to be related.  This is about 1) making better joins and 2) making fewer
joins when you don't need them all for a given search.

Much thanks to Mike Rylander for help figuring out how to efficiently
implement the joins needed for acq.invoice, which is the tricky part.

Less importantly, but still significant for some searches, we also need
case insensitivity for searching on user-linked fields (General Search
always lets you search by any of username/family name/given name/barcode
for these fields) in order to take advantage of some indexes for speed.

This diagram of key Acq relationships is helpful:

https://docs.google.com/drawings/d/15ExkiYvq0skfobbocvPWxwdZkb7aykEZpLGfbP9PL04/view

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

More patron display css tweaks

To help prevent some "jumpy" interfaces due to borders and text appearing
and disappearing with selections and updates.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

add more penalty related CSS hooks

PATRON_HAS_CUSTOM_PENALTY (if the penalty is not a stock penalty, based on id)
PATRON_HAS_STAFF_ALERT (if the staff_alert boolean on the penalty is true)
PATRON_HAS_BLOCK (if there's anything in the penalty's block list)
PATRON_HAS_CIRC_BLOCK (if CIRC is in the block list)
PATRON_HAS_RENEW_BLOCK (if RENEW is in the block list)
PATRON_HAS_HOLD_BLOCK (if HOLD is in the block list)
PATRON_HAS_CAPTURE_BLOCK (if CAPTURE is in the block list)
PATRON_HAS_FULFILL_BLOCK (if FULFILL is in the block list)

also adds stock CSS for PATRON_HAS_STAFF_ALERT, a blue border around the patron
name.

In the color hierarchy, this comes after the normal Green/Lime status, but gets
trumped by any other penalty that sets a colored border.

So, for example, if a patron has no penalties, and you go to Messages and add an
"Alert" note, that equates to the penalty ALERT_NOTE, which has a staff_alert
setting of True.  On a refresh, the patron will then have a blue border around
their name.  If you then create a bill on that patron for $100, triggering the
PATRON_EXCEEDS_FINES penalty, then the patron will gain the normal purple or
lavender border, even though the penalty also has a staff_alert setting of True
and triggers PATRON_HAS_STAFF_ALERT CSS.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

lp#980303: don't complain about missing plperl

Now that use of PL/PERL has been dropped in favor of
using PL/PERLU for all Perl SPs, settings-tester.pl need not
check for it.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Dan Scott <dan.scott@laurentian.ca>

TPAC: Clear params when viewing lists in search results

Per LP977353, search terms are propagating when the list is being viewed
in "results" (HTML View), and therefore those search terms block the
display of most or all of the items in the list. Therefore, do not
propagate the other CGI params to the mkurl() call.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Add pref_ou query filter for preferred library searching

Include the user's "preferred search library" (as set in search
preferences, falling back to home OU) in searches, specifically for the
purposes of ensuring that located URIs at the user's preferred library
would trigger hits where physical copies would be out of scope.

Practical example:

1. User sets preferred search library to BR1.

2. They jump onto the catalogue, log in (which changes their search org
  to their preferred search library of BR1), but then for some reason
  change their search org in the org selector to BR3.

3. They issue a search for "Harry Potter and the Philosopher's Stone".
  BR3 doesn't hold any copies or have any located URIs, but SYS1 (BR1's
  parent) has a PotterMore licence and has added their 856 $9 SYS1 to a
  bib record.

As it currently stands, User is out of luck; they won't see any hits in
search results as there are no copies or located URIs in the BR3 scope.

The proposed enhancement would, however, make the search results contain
a hit for "Harry Potter and the Philosopher's Stone" at the user's
preferred search library.

Sites can trigger the preferred library as part of the query filters
using the "pref_ou(SHORTNAME)" syntax.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Nicer staff searches display in record details

Specifically, don't make us scroll down a few hundred pixels to see the
actual page content.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Dan Scott <dan@coffeecode.net>

fix sort bug introduced with multi-sort

The bug happens on columns without a defined sort_value

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Fix bill selection in the billing interface

We were looking for the checkbox column to be the first treecell in a treerow,
but the ever-present line number column now takes up that position.

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Bump 2.2 beta version number in upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

i18n: Robustify db-seed-i18n.py parsing

Faced with the perplexing use of a space before a comma in
oils_i18n_gettext() keys, db-seed-i18n.py's regex failed. The solution
for a sloppy regex? More powerful regex!

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

TPAC: Integrate i18n for TPAC into build process

Support the "standard" i18n build process for internationalization by
integrating the TPAC string extraction (via xgettext.pl) and update /
install bits. Also, add the base POT file to support translation in
Launchpad.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

TPAC: Protect against requests for non-existent records

If a record request is received for a record that does not exist (say,
if 100 records have been loaded and someone submits a request for
/eg/opac/record/399), rather than dying with a server error, return
immediately.

Eventually we'll want to provide an explicit "record was not
found error" in the TPAC record details; for now the TPAC just displays
zero bib detail.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Protect against empty default_CD_modifiers in opensrf.xml

If the app settings for the open-ils.search service in opensrf.xml had
an empty (but not entirely missing) <default_CD_modifiers> element, then
the open-ils.storage log would contain entries like the following:

Use of uninitialized value $class in hash element at
/usr/local/share/perl5/OpenILS/Application/Storage/QueryParser.pm

Protect against that problem with more defensive code in QueryParser.pm.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Avoid too-strict controller checks when fleshing for cstore, reporter-store

Move controller-verificiation from the beginning of recursive
doFieldmapperSearch() to nearer the end, right before we recurse, so we
only check the child class's controller if we're pcrud.  If we're not
pcrud, code that calls doFieldmapperSearch() from the outside will have
already done appropriate testing of the controller.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Org Unit Custom Tree supports add directly after delete

When deleting a node from the custom tree, it's necessary to save the
tree store after the final call to store.deleteItem, or the delete
operation will not complete.  Without this, it's not possible to add a
remove org unit back into the custom tree without reloading the UI.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Org unit custom tree sort repairs

Repairs a problem with detecting and storing the sort order of sibling
nodes within custom trees.  The original problem was the result of
comparing parent nodes for non-siblings because of a depth-first tree
traversal.  Now we process siblings in level-order before processing
child nodes.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Bug 957453: Fix error in database seed data

The use of an explicit ID in creating a new
action_trigger.event_definition row was followed by the use of the
CURRVAL() function to grab the most recently issued value for
the action_trigger.event_defintion_id_seq sequence - which happened to
be 100, due to a previously issued SETVAL() on the sequence.

This resulted in references to non-existent event definitions and thus
an error in creating the stock database schema.

By using an explicit ID for the dependent row, we avoid this error.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

README: Clarify PostgreSQL 9.1 vs. 9.0 remote server docs

Break out the PostgreSQL 9.1 or later instructions into their own
subsection to clarify how the steps differ from PostgreSQL 9.0.

Signed-off-by: Dan Scott <dan@coffeecode.net>

TPAC: Show deleted record warning for deleted records

At the cost of an extra database query per record displayed, we can
properly activate the "This record has been deleted..." message. Prior
to this commit, the message was embedded on every page but hidden via
CSS - which isn't great for search engines or source-reading types.

Now we only include & display the message if it has, in fact, been
deleted.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Ben Shum <bshum@biblio.org>

Stamp tpac value maps upgrade script

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Add "Simple" flag for selectors

This causes JSPac to ignore them and TPac to sort them above a divider.

Also fixes an issue where excessive escaping was being done on values. This
would break some values in the value map selectors.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>