2.5 Dev SQL schema/data update 2015-07-08

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-776 marc-stream control script config update

Explicitly run the stream importer in combined exact-match and no-match
import modes.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-776 MARC stream (connexion) parallel test script

Script for generating a series of parallel marc_stream_importer.pl
calls.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KCLS marc-stream uses updated parameter names

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-778 Credit payment additional logging

Log more info on credit card payments for better payment failure
diagnosis.

Avoid logging any credit card numbers.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-750 link SQL repair to upgrade

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN 1765 Fix authority reingest causing invalid entries

Restore old authority heading extraction code which grabs authority
browse headings properly and adds joiner text.

new file:   KCLS/sql/kmain-1765/KMAIN-1765-reingest-causing-false-browse-headings-rollback.sql
new file:   KCLS/sql/kmain-1765/KMAIN-1765-reingest-causing-false-browse-headings.sql

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

jbas-758 - change color/wording for long overdue and lost

... on staff client bills screen

bradley bonner - KCLS

add a patron type exclusion to patron expiration extenstion job.

... (for new recip group 93, One Year - Limit Holds)

Bradley Bonner - KCLS

Circ/Hold notices export osrf client environment var

Repair client logging for circ/holds notices by exporting the env
variable.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-756 Retain bib call number normalizers

Avoid deleting the bib call number normalizer during 2.5 SQL upgrade.
KCLS uses bib call number searches and the normalizers are set up as
they should be.

Specifically, this changes allows us to include punctuation in call
number searches, e.g. 641.5951

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-712 Build staff client per-machine

Default to using a per-machine registration build.

See "Per-machine Registration Build":

http://evergreen-ils.org/dokuwiki/doku.php?id=mozilla-devel:building_the_staff_client

Signed-off-by: Bill Erickson <berickxx@gmail.com>

Activate OSRF_LOG_CLIENT for marc_stream_importer

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-682 Remove duplicate Holds function definition

Function pickup_lib_changed_on_shelf_holds() in Holds.pm was duplicated
during 2.5 merge.  Remove the extra def to avoid warnings and keep
things clean.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-712 marc_stream_importer.pl control script

sudo ./eg-marc-stream-control.sh [start <password> | status | stop]

JBAS-712 ZOOM control script additions

./eg-zoom-control.sh [start|stop|status]

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-475 repair biblio main_fines syntax errors

Remove extra [% END %], close <div...>.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-680 SIP2 test scripts Error => Exception

except Error: ... is not valid.  Use Exception.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-680 util scripts conditional alert emails

Allow batch job emails to be sent on a conditional basis so that
individual scripts do not require modification depending on the host.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-680 util scripts osrf client logging via ENV

Avoid use of custom opensrf_core.client.xml, show sole purpose is to
force opensrf clieng logging, but using the new OSRF_LOG_CLIENT=1
environment variable.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN 1729 Bug in line item merge caused by KMAIN 1448

     Add in lines of code for lineitem merging which were not included
     in the 1448 sql fix

new file:   KCLS/sql/kmain-1729/KMAIN_1729_Bug_from_KMAIN_268.sql
new file:   KCLS/sql/kmain-1729/KMAIN_1729_Bug_from_KMAIN_268_rollback.sql

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

JBAS-638 Increase TPAC copy limit to 50 items

KMAIN 1448

Added a check to prevent a merged copy being associated with a deleted
call number in asset.merge_record_assets.

new file:   KCLS/sql/kmain-1448/KMAIN_1448_Bug_from_KMAIN_268.sql
new file:   KCLS/sql/kmain-1448/KMAIN_1448_Bug_from_KMAIN_268_rollback.sql

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

KMAIN 1685
Added a defaultsearch get paramater to allow the default search option
to be passed to browse when clicking the browse search link on the
advanced search page. Fixed issue where sort would be overridden by the advanced search result page

modified:   KCLS/openils/var/templates_kcls/opac/advanced.tt2
modified:   KCLS/openils/var/templates_kcls/opac/browse_results.tt2
modified:   KCLS/openils/var/templates_kcls/opac/parts/advanced/browse.tt2
modified:   KCLS/openils/var/templates_kcls/opac/parts/advanced/search.tt2
modified:   KCLS/openils/var/templates_kcls/opac/results.tt2

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

KMAIN 1558

Added a javscript sort to browse_results.tt2 to display cross references
in alphabetical order. 1558 Made sort more modular

modified:   KCLS/openils/var/templates_kcls/opac/browse_results.tt2

Signed-off-by: Michael Glass<mglass@catalystitservices.com
Conflicts:
KCLS/openils/var/templates_kcls/opac/browse_results.tt2

KMAIN 1639

    Added a permission group for update items, "UPDATE_ITEMS"

new file:   KCLS/sql/KMAIN-1639/KMAIN-1639-Add-update-permissions-rollback.sql
new file:   KCLS/sql/KMAIN-1639/KMAIN-1639-Add-update-permissions.sql
modified:   Open-ILS/xul/staff_client/chrome/content/cat/opac.js

Signed-off-by:(Michael Glass)<mglass@catalystitservices.com>

KMAIN 1352

Added an inline style to the sees link, modified positioning of number
  of links. Fixed broken link issue

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

KMAIN-1510

Added regex to remove dashes from browse results display. Regex
was used vs. refactor of code causing dash due to time constraints on
modifing existing database functions

modified:   KCLS/openils/var/templates_kcls/opac/browse_results.tt2

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

KMAIN-1683 Possible bug in update items code

Update items was not fetching the mint_condition column for a copy.  Added
functionality to correct this issue.

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Publisher/asset.pm
modified:   Open-ILS/xul/staff_client/server/cat/update_items.js

jbas-640 -- remove $h subfield from marc templates (dvd & audiobook)

JBAS-357 - this fixes the error message received when staff attempt to delete a patron note.  bb.kcls

JBAS-475 + additional discussion. fix links on ecomm pages, hide help.tt2, add ask KCLS link to footers

JBAS-216 set editor/edit_date on cat_date change

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-216 clear cat date button

Adds a button to MARC edit UI to clear the cat date value for a
record.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-brick-manager attach prompt on -attach actions

Instead of forcing an attach when -g is present, only apply -g when an
explicit attach option (roll-attach, start-attach) is selected.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-brick-manager / eg-updater -g attach prompt

-g for both scripts now causes execution to pause before attaching a
server by prompting the user to continue or exit.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

Rename to eg-brick-manager for install

Move brick-manager.sh to eg-brick-manager.sh to better namespace the
executable for installation into /usr/bin, etc.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

Staff client builds show build date (as before).

Updates about.html (under staff client Help) to remove the confusing
"HeadURL" variable and replace it w/ a Build Date value.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Conflicts:
Open-ILS/xul/staff_client/chrome/content/main/about.html

JBAS-679 2.5 circ settings transaction wrapper

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-679 2.5 circ org settings

Apply values for new org unit settings circ.tally_lost,
ui.circ.items_out.lost, and ui.circ.items_out.claimsreturned.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

DB upgrade: drop/recrecreate constraints in one go as before; debugging

Signed-off-by: Bill Erickson <berickxx@gmail.com>

2.5 upgrade debugging; missing metabib_field updates

1. Added some additional notices for debugging.

2. Never enountered an error with this, but noticed a table
   which referred to metabib_field needed it's constraint
   updated as well.. metabib.browse_call_number_entry_def_map

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-495 2.5 upgrade more logs/debugging

Signed-off-by: Bill Erickson <berickxx@gmail.com>

adding secondary collection hq update for 2.5 update

Signed-off-by: Bill Erickson <berickxx@gmail.com>

2.5 DB; log big updates; avoid big selects

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-495 combined 2.4.1 to 2.5.7 DB upgrade

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-648 2.5 dev db export

Adds export data tables for floating groups and z39 index field maps.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-679 hide conjoined items commands in bib display

We don't use conjoined items, hide the actions in the record detail
UI to avoid confusion, etc.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Conflicts:
Open-ILS/xul/staff_client/chrome/content/cat/opac.xul

enable prod and staging clusters in brick manager

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN 1715 No Cross References on 2.5

   Add a call to function which creates sees headings to load browse in
   browse.pm

Signed-off-by: Michael Glass <mglass@catalystitservices.com>
modified:   Open-ILS/src/perlmods/lib/OpenILS/WWW/EGCatLoader/Browse.pm

eg-updater use series ID for builds stamp

When building a client installer, be sure the
builds/current-client-build.zip (and related files) use the same 'build'
directory as the installer.  This ensures the build series (stamp) ID
matches the installer series (stamp) ID.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-update stamp staff builds w/ version string

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-updater gracefully handles apache not running

Before, the script would exit because the apache stop command would
return non-zero.

Includes minor wording changes.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-480 Updated DB dev schema/data export

MARC update memory leak repair; minor browse fixes;

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-639 Brick manager script

New brick-manager.sh script for stopping, starting, detaching,
attaching, and updating clusters of bricks.  Default clusters include
production, staging, and testing, though the user can optionally
specifify a single server (mainly for testing).

eg-updater.sh gets new commands for stop / start only and detach /
attach only.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

add new ID for nonresident property owner - it should exclude from updating.

Adding collection-hq scripts

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-573 eg-stats collector script tracking/updates

Use unix::syslog, which is already installed, instead of custom (?)
Logger module.  Remove CPU and RAM stats, since this are better
monitored via external monitoring (zabbix, nagios, etc.)

Install stats collector and keeplive script to /openils/bin

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-479 clean up forked children in throttle_disbatcher.pl

When registering a sig handler for CHLD, we have to waitpid
for child procs to clean them up or defunct procs will proliferate.

Also update counts with each reaped child, since that's the only
accurate way to know how many children have completed their tasks.

See http://perldoc.perl.org/perlipc.html#Signals SIGCHLD

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN-1653
Removed the deprecated link to 'basic search' which appeared on the
browse search results page.

modified:   KCLS/openils/var/templates_kcls/opac/parts/searchbar_browse.tt2

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

Recover auto search submission on sort selector change

Avoid applying two onchange() handlers to a single element, since only
one will ever fire.  In this case, the extra handler prevented the
automatic form submission from running a new search.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN-1616 let mkurl() build the URL for us

Instead of manually mangling the URL, let the existing mkurl() routine
handle that for us.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN-1634 Clicking advanced search link from browse search result opens blank page

Removed url paramaters which referenced default pane, made links
explicitly define pane

cross ported from 65ef57d

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   KCLS/openils/var/templates_kcls/opac/parts/searchbar.tt2
modified:   KCLS/openils/var/templates_kcls/opac/parts/searchbar_browse.tt2

KMAIN-1633 Changing sort order on results changes advanced search order

 Added check for being on advanced search page before modifying sort order
 cache

cross port of 33c9e4d

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   Open-ILS/web/js/ui/default/opac/simple.js

KMAIN-1617

Added a span in searchbar.tt2 to make the font sizes match styling of browse search page

modified:   openils/var/templates_kcls/opac/parts/searchbar.tt2

cross ported from f95da61

Signed-off-by: Michael Glass <mglass@catalystitservices.com>

KMAIN-1619 Advanced Sort Relevance Bug

Added a storage string to window.name, which allows the sort result
filter to persist across multiple advanced queries in the same tab

cross port of 2482783

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   KCLS/openils/var/templates_kcls/opac/parts/advanced/search.tt2
modified:   KCLS/openils/var/templates_kcls/opac/parts/filtersort.tt2
modified:   Open-ILS/web/js/ui/default/opac/simple.js

KMAIN-1621 Fix permissions for modified_since_export_record_importer

Removed sudo in system commands for modified_since_export_record_importer script

Signed-off-by: Dan Reuther <dreuther@catalystsolves.com>
modified:   bs_files/modified_since_export_record_importer.pl
Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>

KMAIN-1604 Modify database connection script and export timeout fix

Set the timeout to 3 seconds in backstage_export.pl to avoid timing out on bib exports.

Changed the database connect sub to connect to apps => 'open-ils.storage' instead of reporter.
Made this change in several files.

Signed-off-by: Dan Reuther <dreuther@catalystsolves.com>

KMAIN-1603 Search Links follow default tab

Added the correct pane option to the searchbar code.

cross ported from a01eecc

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   KCLS/openils/var/templates_kcls/opac/parts/searchbar.tt2

KMAIN-1602: Advance search relevance sort bug

Changed search.tt2 to default to Relevance for Advanced search while retaining
the default search for browse by removing the passing of the value to filesort.tt2

cross port of 61dcfcd

Signed-off-by: Dan Reuther <dreuther@catalystitservices.com>
modified:   KCLS/openils/var/templates_kcls/opac/parts/advanced/search.tt2

JBAS-500 Additional JS cleanup for 2.5 staff client

Loading JSAN from within the TPAC templates more than once was causing
the staff client to lock up.  Plus, there's no reason to load it more
than once.  Kill that and a few other duplicate imports.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-updater typo; remove unneeded staff bulid vars

Signed-off-by: Bill Erickson <berickxx@gmail.com>

KMAIN-1666

Removed add_default_sort function from browse_results tt2 page

modified:   KCLS/openils/var/templates_kcls/opac/browse_results.tt2

Signed-off-by: Michael Glass <mglass@catalystitservices.com>
Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-500 repair JS syntax error in TPAC JS loader

* Recover missing '}'
* Reformat to remove tab characters and make easier to read.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-updater standalone staff build; auto-detach

* Adds a new -k flag for building a staff client without any other
  code deployments or restarts.  Git checkout flags, if specified,
  are honored.

* Removes the -d (no detach) option.  The script now automatically
  detaches if it finds a ping.txt file.  Otherwise, it skips the
  detach step.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-updater chown/restart improvements

* Navigate NFS shares when chowning /openils after an install.
* Add -o option for performing restart only (no code updates).
* Add -f option to modify service startup sleep time.  Some servers take
  a lot longer than others for all services to start up.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

eg-updater -c doc update

The -c command now forces a rebuild instead of skipping it.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-449 SIP test scripts and sample config

sip-read-only.py -- item info, patron info, and patron status messages

sip-checkout-checkin.py -- checkout out and back in copes

pysip2-client.ini.example -- sample configuration file

README.asciidoc -- usage

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Conflicts:
.gitignore

Conflicts:
.gitignore

JBAS-449 improve script dir names

Better clarify the purpose of each script directory.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 warn when leaving brick detached

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 eg-updater staff client build additions

Track specific versions on the server, but stamp clients with the series
ID instead of the build ID, so older clients can use new server files by
default.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 remove more hard-coded XUL version strings

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 brick updater additions

* If no branch/tag/pull options are specified, install whatever code is
  present in the repository

* Toggle -c.  No configure/clean is run by default.

* If no client build ID is specified, use the current date

* Run build commands as the owner of the current directory, not
  necessarily as opensrf.

* Move all post-install steps into the main script to finalize support
  for running the script as a non-opensr user.

* Adds support for a code series (-i) parameter for symlinking the
  staff client to support persistent intra-series links.

* eg-updater.sh -x now builds a Windows staff client.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-481 update sequences for sample data

When cherry-picking data to insert for various large tables (bibs,
auths, copies, etc.), update the ID sequence for each table to match the
maximum ID used, so that the correct sequence values may be used on
future inserts.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-328 sample authority data / export improvements

Added authority records to sample data exporter and applied some general
improvements to the exporter process.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-315 add circ anonymization crontab entries

Signed-off-by: Bill Erickson <berickxx@gmail.com>

Revert "LP#1386347 hard-coded queue stats for captured holds"

Return to calculating queue position for captured holds from the
copy map instead of assuming queue position 1.

This reverts commit 23171c7debf33f71ef0d59d2f8b3cdebc8a08f9f.

CMD59864 improved log file cleanup

 * use -mtime instead of -ctime for finding files to delete
 * clean up empty directories
 * extend notes on why we're not using logrotate

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 eg-updator uses fast service shutdown

osrf_control --stop-all uses a graceful shutdown, which is useful when
it's not clear if activity is ongoing, but takes longer than a
non-graceful shutdown.  Since we don't stop services when they may be
in use, we don't need graceful shutdown.  Use --fast-shutdown-all
instead, which tells each service to stop and clean up immediately.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 eg-updator avoids extra git server lookup

Only call git fetch or pull once, so the user won't be
prompted for multiple SSH key logins when using keys/passwords.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 EG server updater script

Script for applying and deploying Evergreen updates to an Evergreen
server.  Supports various ways to get the code from git (pulling,
brancheds, tags) and options for how to install the code (web files
only, full rebuild, install only).  See -h for usage.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-415 make autogen less warn-y for less chatty updates

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-315 circ anon script repair variable thinko

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-315 circ anon script supports configurable windows

Allow the anonymizer to process arbitrarily large windows of
circulations based on their xact_finish date.  This makes it faster to
re-process old circs to accommodate changes in user settings which makes
older circs eligible for anonymization.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-258 circ purge log max date

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-258 install non-standard bin files

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-255 repair dev data expor search path

add 'public' to search path so triggers which run for some i
pg_dump'ed data can succeed.

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-255 updated production schema export

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-255 schema exporter script

Signed-off-by: Bill Erickson <berickxx@gmail.com>

JBAS-255 add hold request cancel causes to demo data export

Includes update to seed data export to pull in the new values.

Signed-off-by: Bill Erickson <berickxx@gmail.com>