LP#1315525: Add trusty target and remove lucid from README

Signed-off-by: Ben Shum <bshum@biblio.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1315525: Updating Makefile.install for Ubuntu 14.04. Removing lucid support.

Signed-off-by: Chris Sharp <csharp@georgialibraries.org>
Signed-off-by: Ben Shum <bshum@biblio.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1286248: remove osrf_ctl.sh

As osrf_ctl.sh was deprecated in favor of osrf_control, this patch
removes the deprecated script entirely.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1285915: document that perl2JSON doesn't order hash keys

This patch documents that JSON strings returned by
OpenSRF::Utils::JSON->perl2JSON() should not be expected to have
hash keys sorted in any particular order.  It also adjusts a
corresponding test case to consistently pass under Perl 5.18, which
introduces hash order randomization.

Forcing JSON output to be in canonical form is another option, and
easily done by JSON::XS, but would add overhead.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1234816: improve const-correctness of osrfCachePutString and osrfCachePutObject

Since the cache key is not modified by osrfCachePutString and
osrfCachePutObject, this patch changes the key parameter of those
two functions from char* to const char*.  It also updates one
caller osrfCachePutObject to not cast away const-ness.

This patch has no functional impact, but enables future callers
of osrfCachePut* to pass constant strings without having to
cast away the const-ness.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1306044 Removing deprecated jabber register script

This script is no longer user, since ejabberdctrl is used instead.
What's more, this script uses a Perl package (libnet-jabber-perl) which
is no longer available in Debian (Jessie).

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1306044 Debian Jessie Makefile.install target

* Removes Perl Net::Jabber as a dependency.  There is no Jessie package
  for this and OpenSRF hasn't used it in a long time.

* Leaving Debian Squeeze in place for now

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1292214: Improve docgen output

Docgen output would be a bit more useful if it respected the formatting
(such as it is) of the signature content provided by the developer. So,
let's make that happen.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1179660: remove OpenSRF.pm AUTOLOAD

Instead of simply producing an error message in the OpenSRF logs, calls
to nonexistent subroutines are now fatal errors which will stop code
execution.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1286198: use --ignore-orphans rather than --are-there-no-prisons

The joke was fine while it lasted, but might be confusing to somebody
who doesn't catch the literary reference.  This patch also fixes
a minor typo.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1286198: Teach osrf_router to (optionally) write its own PID files

Also, tiny bit of noise squelching on osrf_control/opensrf-perl.pl

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1286198: Offer ability to ignore what seem like orphan processes when starting things

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1286198: When doing router-specific things, we don't need as much configuration loaded

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1284137: Avoid WARN logging on router shutdown

Log received signals as DEBUG (misc signal) or INFO (during shutdown)
in the router, since these are not error conditions, but normal
operations.

A warning may ultimately be logged at a higher level when the signal is
unexpected.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1155446: add Debian/Ubuntu deps required for Python tests to pass

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1066131: srfsh.py should not require opensrf.settings

Update srfsh.py to connect to the opensrf network without automatically
reading the opensrf.setting server data.  This allows srfsh.py to run a
non-private network.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1170484: log failure to load library for C app as an error

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Merge branch 'rel_2_3'

fix typo and remove repeated word

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

osrf_control router-de/re-register and reload commands

Added support for the following new command line options:

--router-de-register
--router-de-register-all
    Sends a SIGUSR1 signal to the selected service(s), which causes each
    service's listener process to send an "unregister" command to all
    registered routers.  The --all variant sends the signal to all
    running listeners.  The non-(--all) variant requires a --service.

--router-re-register
--router-re-register-all
    Sends a SIGUSR2 signal to the selected service(s), which causes each
    service's listener process to send a "register" command to all
    configured routers routers.  The --all variant sends the signal to
    all running listeners.  The non-(--all) variant requires a --service.

--reload
--reload-all
    Sends a SIGHUP signal to the selected service(s).  SIGHUP causes
    each Listener process to reload its opensrf_core.xml config file
    and gracefully re-launch drone processes.  The -all variant sends
    the signal to all services.  The non-(-all) variant requires a
    --service.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

x

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

typo fix

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

osrf_control router-de/re-register and reload commands

Added support for the following new command line options:

--router-de-register
--router-de-register-all
    Sends a SIGUSR1 signal to the selected service(s), which causes each
    service's listener process to send an "unregister" command to all
    registered routers.  The --all variant sends the signal to all
    running listeners.  The non-(--all) variant requires a --service.

--router-re-register
--router-re-register-all
    Sends a SIGUSR2 signal to the selected service(s), which causes each
    service's listener process to send a "register" command to all
    configured routers routers.  The --all variant sends the signal to
    all running listeners.  The non-(--all) variant requires a --service.

--reload
--reload-all
    Sends a SIGHUP signal to the selected service(s).  SIGHUP causes
    each Listener process to reload its opensrf_core.xml config file
    and gracefully re-launch drone processes.  The -all variant sends
    the signal to all services.  The non-(-all) variant requires a
    --service.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

recover osrf_control router start

With the addition of service verification, which ensures that a service
is meant to run on the requested host, we lost the ability to start the
router by itself, since the router is never explicitly configured to run
anywhere.  This patch assumes the router is always a valid service.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

recover osrf_control router start

With the addition of service verification, which ensures that a service
is meant to run on the requested host, we lost the ability to start the
router by itself, since the router is never explicitly configured to run
anywhere.  This patch assumes the router is always a valid service.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Wells <dbw2@calvin.edu>

OpenSRF client disconnect robustification (Perl)

* Improve detection of client connection state with jabber server

  Be more aggressive in testing and responding to failed connectivity.
  It can happen in various ways, depending on what's happening to the
  jabber server (death, delay, graceful shutdown).  With these changes
  we attempt to cover all the bases and detect as early as possible that
  a connection has died, specifically when trying to create a new
  connection after one has failed.

* Do a better job of cleaning up dead connections

  Transport::PeerHandle now has a reset() action which disconnects (when
  possible) and clears the global connection reference.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

OpenSRF client disconnect robustification (Perl)

* Improve detection of client connection state with jabber server

  Be more aggressive in testing and responding to failed connectivity.
  It can happen in various ways, depending on what's happening to the
  jabber server (death, delay, graceful shutdown).  With these changes
  we attempt to cover all the bases and detect as early as possible that
  a connection has died, specifically when trying to create a new
  connection after one has failed.

* Do a better job of cleaning up dead connections

  Transport::PeerHandle now has a reset() action which disconnects (when
  possible) and clears the global connection reference.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Protect subrequests from post-complete messages

Subrequests (AKA method_lookup()-based API calls) sometimes append
final-lvalue responses to the response list even after respond_complete()
has been called from within the implementation method.  This commit
discards all post-respond_complete values, protecting against extra,
spurious values being returned to the ultimate client.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1180849: test case - ignoring subrequest responses after respond_complete()

This patch adds a regression test for verifying that subrequests
ignore additional responses after respond_complete() is called.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Protect subrequests from post-complete messages

Subrequests (AKA method_lookup()-based API calls) sometimes append
final-lvalue responses to the response list even after respond_complete()
has been called from within the implementation method.  This commit
discards all post-respond_complete values, protecting against extra,
spurious values being returned to the ultimate client.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1180849: test case - ignoring subrequest responses after respond_complete()

This patch adds a regression test for verifying that subrequests
ignore additional responses after respond_complete() is called.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Add some additional boolean-related JSON tests

Add some additional boolean-related JSON tests, enable use strict /
use warnings for JSON tests.

Signed-off-by: Jeff Godin <jgodin@tadl.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1257264: Use the built-in JSON-y test for bools

This removes a dependency on internal details of JSON::XS's
implementation of Boolean types which changed with the release
of JSON::XS 3.0.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jeff Godin <jgodin@tadl.org>

LP#1257264: make test cases for JSON::XS Boolean-ness more generic

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jeff Godin <jgodin@tadl.org>

Add some additional boolean-related JSON tests

Add some additional boolean-related JSON tests, enable use strict /
use warnings for JSON tests.

Signed-off-by: Jeff Godin <jgodin@tadl.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1257264: Use the built-in JSON-y test for bools

This removes a dependency on internal details of JSON::XS's
implementation of Boolean types which changed with the release
of JSON::XS 3.0.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jeff Godin <jgodin@tadl.org>

LP#1257264: make test cases for JSON::XS Boolean-ness more generic

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jeff Godin <jgodin@tadl.org>

LP#1224647: remove two invalid tests

The patch for bug 1204123 changes the client_recv()
to not set the transport_client error flag, as most
of the circumstances where it would have been set were
for cases where the call to select() was interrupted
by a signal, which is not an error per se.

This patch removes two tests that were therefore
made invalid, restoring the ability of the test suite
to pass.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

osrf_control --start/stop/restart-services

Provide commands for controling non-router services.  This is useful in
a multi-server environment where the router runs on a different server.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

LP#1204123 repair makefile.am warning

Avoid trailing space after backslash

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1204123 osrf_control warn and exit on bad host

Any time a start action is issued (start, start_all, restart,
restart_all), osrf_control will first verify that the selected hostname
(or localhost) hosts the requested service(s).  If not, the user is
warned and the script exits before any action is taken.

Note: we do not make a similar verification for stop and signal actions,
since those may be reasonably be used even when a service is not
configured to run on the selected host.

Thanks to Jason Stephenson for the suggestion.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1204123 osrf_control --diagnostic improvements

Assessing the state of each PID for each service for error conditions.

Minor cleanup.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1204123 osrf_control --diagnostic

Command prints information about running services, including
descrepencies between running vs configured and PS listing vs PID files.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 osrf_ctl.sh improvement

Removing no-longer-supported --verbose flag from osrf_ctl.sh stub

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 osrf_control doc updates

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

C SIGHUP handling and config reloading

Sending the HUP signal to a C Listener process now results in the
following:

 * Reload the opensrf_core config
 * update the log file level
 * kill idle child processes
 * child processes that are active when the signal is received are
   tracked and killed once they become idle.
 * New children are spawned per the min child settings

The primary use case for these changes is temporarily changing the log
level for a given service for debug purposes.  It may also
be used, for example, to gracefully recover excess RAM consumed by a
child process.

opensrf.xml (opensrf.settings config) is not reloaded, so min/max child
settings will not be affected.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 more osrf_ctl/control script cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 more osrf_ctl/control script cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 osrf_control improved sample usage

Use a more realistic default usage message.  --config and --pid-dir have
sane defaults, so people will not normally need to specify those.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 install opensrf-perl.pl as osrf_control

Symlink osrf_control to opensrf-perl.pl to act as the replacement for
osrf_ctl.sh.  I chose "osrf_control" since it matches more closely to
"osrf_config" -- also it's probably less confusing than calling it
osrf_ctl, which would likely get confused w/ osrf_ctl.sh

TODO: documentation

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 opensrf-perl.pl improve logging

Log messages by default.  Replace --verbose flag with --quiet flag.

Also treat all messages the same, instead of separating them into info
and debug.  They're all pretty useful.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 opensrf-perl.pl expansion continued

* improved cleanup of stale pid files during startup
* added --force-clean-process option to kill orphan (no pidfile)
  processes during startup
* other minor cleanup

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 opensrf-perl.pl expansion / replace osrf_ctl

opensrf-perl.pl can now stop/start/signal/etc. all opensrf services,
regardless of language.  It is in effect a replacement for osrf_ctl.sh
with considerably broader powers.

To ease transition, osrf_ctl.sh has been taught to pass
start/stop/restart_all commands through to opensrf-perl.pl.

The layout of commands has changed some (e.g. --start-all instead of
--action start_all) and a host of new commands have been added.

Below are the full set of commands.  See --help for full descriptions:

--config
--pid-dir
--settings-startup-pause
--localhost
--service
--verbose
--no-daemon
--help
--start-all
--start
--restart-all
--restart
--stop-all
--stop
--graceful-shutdown-all
--graceful-shutdown
--fast-shutdown-all
--fast-shutdown
--immediate-shutdown-all
--immediate-shutdown
--kill-with-fire
--signal-all
--signal
--signal-timeout

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 Remove osrf_ctl debug echos

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 Improved per-service control (C/Perl)

C opensrf no longer mantains a single master process.  Instead, like
Perl, each Listener process writes its own PID file and can be managed
individually.  Related to this, much code was cleaned up in
osrf_system.c.

osrf_ctl.sh now has the ability to stop/start individual services for
Perl and C, using the new -s <service> option.  Examples:

osrf_ctl.sh -l -a restart_c -s opensrf.math
osrf_ctl.sh -l -a restart_perl -s opensrf.settings

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 osrf_ctl.sh supports sending signals

Using the following new options to osrf_ctl.sh, the script can now send
signals to any/all OpenSRF Listener processes:

-a signal / signal_all
-k <signal> [value passed to 'kill -s']
-s <service>

With an action of 'signal' and service provided by -s, the specified
signal is sent only to the listener process of the service.

With an action of 'signal_all', the specified signal is sent to all
listener prcesses.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 Don't treat interrupts as errors

Interrupted calls to select() are generally not errors, but more likely
signals received by the process.  Avoid setting the transport_client
error flag to true in these cases.  Otherwise, after one signal is
received, no other outbound communication can occur on the client
connection.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 SIGUSR2 causes router re-register (Perl/C)

When a listener process receives the USR2 signal, the 'register' command
is sent to all known routers.  This allows for the addition of new
routers to running opensrf services.

If a register command is sent to a router for which the process is
already successfully register, the router will safely discard it, so
multiple SIGUSR2 calls are safe.

Minor int => bool clarification repair to existing C shutdown
(prefork_clear) code.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 opensrf.settings reload file option

opensrf.settings API calls

opensrf.settings.host_config.get
opensrf.settings.default_config.get

now sport an additional "reload" boolean parameter.  When set, the settings
file (opensrf.xml) will be reloaded from the file system to pick up any
changes which have occurred since the last load/reload.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 SIGTERM graceful shutdown (C)

When a TERM signal is received, the listener parent process will wait
for all child processes to complete any active tasks before killing the
child processes and shutting down.

Receiving a SIGINT or SIGQUIT results in a non-graceful shutdown.

In all cases, the system first un-registers with all routers.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 SIGUSR1 causes router unregister (Perl/C)

$ kill -s USR1 <listener_pid>

The listener process will unregister all router connections.  This
allows services to remove themselves from consideration for new
inbound requests while allowing their drone processes to complete
any currently running tasks.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 SIGTERM causes graceful shutdown (Perl)

When sent the SIGTERM signal, listener processes will wait for all child
processes to complete their currently running tasks before killing all
child processes and exiting.

SIGQUIT and SIGINT can still be used for semi-graceful shutdowns, where
the listener de-registers and cleans up child processes, but does not
wait for child processes to finish their tasks.

To kill with fire, SIGKILL is still your friend.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP1204123 Set SIGCHLD handler to DEFAULT for children (perl)

Remove the special SIGCHLD handler applied to the parent/listener
process from spawned child processes (drones) by setting child handler to
DEFAULT.  Otherwise, if an OpenSRF drone process spawns a sub-process,
the drone will execute the SIGCHLD handler meant for the Listener when
the sub-process dies, wherein hijinks ensue.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

silence some uninitialized warnings

Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1188195: add tests for setting default client locale

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1188195: Default per-process client locale (Perl)

Get/set the locale used by all new client sessions
for the current process.  This is primarily useful
for clients that wish to make a series of opensrf
calls and don't wish to set the locale for each new
AppSession object.

The caller should reset the locale when done using
reset_locale(), as the locale will otherwise persist
for the current process until set/reset again.

This is not for SERVER processes, since they
adopt the locale of their respective callers.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1208860: fix sprintf without format string.

Fixes error preventing installation on Debian testing and
removes warning on earlier versions of Debian.

Signed-off-by: Pasi Kallinen <pasi.kallinen@pttk.fi>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP1198983 disable multipart/mixed for Firefox

Only allow multipart mixed/replace message within the Evergreen staff
client for now.  Eventually, multi-part messages will be wholly
deprecated.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

LP#1162907: don't require installing RPC::XML

RPC::XML is not required by OpenSRF, although it is an
Evergreen dependency.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Multisession blocking repair

The new socket blocking code for multisession failed to take into
account that socket activity outside of the main block could lead to a
deadlock situation.  For example:

* Check status of request A -> not complete
* Check status of request B -> whatever
* Request A may now be complete, since checking the status of any request
  affects all requests
* Return to blocking loop because we think there is pending data, but in
  fact all data has already been pulled from the socket.

The solution is for session_reap() to make a sweep and check for changes
in requests that are now complete as a side-effect of checking for
completed requests.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

When running methods for clients, send plain warnings to "real" logs

Code inside an OpenSRF application method may use Perl libraries that warn
and carp like most Perl code is wont to do.  Instead of letting
those message go to STDERR where they can be easily missed (and take up
lots of disk space on application boxes), why not catch them and
redirect them to our "real" logs using OpenSRF::Utils::Logger ?

Deployment of this change would probably have the side effect of bringing
to light bugs in applications (Evergreen) that will suddenly seem very
noisy.

Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Minor whitespace repairs in Server.pm

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Perl SIGHUP handling and config reloading

Sending the HUP signal to a Perl Listener process now results in the
following:

 * Reload the opensrf_core config
 * re-init the logger
 * kill idle child processes
 * child processes that are active when the signal is received are
   tracked and killed once they become idle.
 * New children are spawned per the min child settings

The primary use case for these changes is temporarily changing the log
level (or log file) for a given service for debug purposes.  It may also
be used, for example, to gracefully recover excess RAM consumed by a
child process.

Not all values in opensrf_core.xml are affected by a SIGHUP.  Since the
goal is a gracful reload, no attempt is made by the listener process to
re-connect to jabber or re-register with the opensrf router(s).  Child
processes will by necessity connect to Jabber during startup, though, so
any changes to the jabber configuration will affect child processes.  In
general, it's best to affect jabber configuration changes with a true
service restart.

opensrf.xml (opensrf.settings config) is not reloaded, so min/max child
settings will not be affected.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1101254: remove memory leak in HTTP translator

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Debian wheezy Makefile.install target

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Block on recv instead of loop/polling in MultiSession

When the time comes to wait for responses to arrive, block on the XMPP
socket (which uses select() under the covers) until data arrives,
instead of looping furiously and calling receive in non-blocking mode.
Before this change, waiting on responses resulted in long-running CPU
spikes.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Stop using a non-standard default PREFIX for installs

Working towards packaging, we will be better off if we start getting used to
installing OpenSRF in standard FHS directories.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1132247: fix compilation warnings in C test cases

Also, since osrfList maintains a list of pointers, not
values, adjust some of the test cases to discourage
anybody inclined to copy-and-paste from the test cases
from storing pointers to stack variables in an osrfList.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Logger.pm whitespace cleanup

Apply 4-space "tabs" consistently.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Enable client logtrace with environment vars

Supports a new environment variable OSRF_LOG_CLIENT which, if true,
enables control and generation of the client log trace value.  This is
the same as setting <client>true</client> within the opensrf core
configuration file.

As a shortcut, if the MOD_PERL environment variable is set, assume
client=true.

This allows clients and non-clients to share an opensrf core
configuration file, when previously the only difference between the two
was the <client> setting.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Lebbeous Fogle-Weekley <lebbeous@esilibrary.com>

Test for Apache executable in sbin dirs

Debian apparently doesn't include /usr/sbin in the default user PATH, so
add an APXS2-like lookup with likely locations if we don't find the
apache executable in our standard path.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>
Signed-off-by: Ben Shum <bshum@biblio.org>

Support Apache 2.4 client IP address lookups

The Apache 2.4 API replaces the conn_rec->remote_ip member with
conn_rec->client_ip or conn_rec->useragent_ip (per
http://httpd.apache.org/docs/2.4/developer/new_api_2_4.html). client_ip
seems to be the best choice for us, to avoid everything being logged
from the load balancer or proxy instead of the client's address.

This code detects the version of Apache and uses client_ip if it is 2.4
or greater.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Prevent "uninitialized value" warnings in parameter logging

Use of uninitialized value $p[0] in join or string at
/usr/local/share/perl/5.10.1/OpenSRF/Application.pm line 130.

This is caused when the array of method params contains null/undef
values.  Prevent the warnings by replacing these values w/ empty
strings.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Change OSRF_JAVA_DEPSDIR so building Java just works.

OSRF_JAVA_DEPSDIR was being set to /opt/java by configure without any
documentation to that effect. The src/java/deps.sh downloads the deps files
to src/java/deps. This means that you cannot just build java without either
copying the jars from src/java/deps or altering src/java/Makefile.

This edit changes the AC_SUBST call to replace OSRF_JAVA_DEPSDIR with deps,
so that you can at least build java without making any changes.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Safer casting in java config parsing

Java config parsing, in particular getString and getInt, no longer fail
when encountering a number value in the internl JSON->Map object.

Java does not allow the following cast:

String s = (String) someNumber;

Instead, rely on the object's toString() which is safe and guaranteed
to exist.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Typo in configure.ac: 'framweork'

Reported by David Busby of edoceo in
https://bugs.launchpad.net/opensrf/+bug/1080458 - thanks David!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add 2.1.2 ChangeLog entries

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Bump version numbers for 2.1.2

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Whitespace in OpenSRF/System.pm

Spaces not tabs.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Move setting of OpenSRF::Application::shared_conf to load_bootstrap_config.

shared_conf was not available and broke clients that were not in a
service, such as the Evergreen CStoreEditor.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Bump release numbers, create 2.1.1 change log

Signed-off-by: Dan Scott <dan@coffeecode.net>
Conflicts:
ChangeLog

ChopChop is dead, long live ChopChop.

It was never fully baked, nor was it secure, nor does it compile cleanly
with -Wall, nor does it provide any useful examples for working with
opensrf, etc.  Time to clear out.  So long, chopchop.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Bump libopensrf version-info revision and age

The log redaction functionality changed the source files (thus 'age'
gets bumped) and is backwards-compatible (thus 'revision' gets bumped)
but maintains the same interface (thus 'current' stays the same).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Purge the wildly out-of-date Roadmap document

Signed-off-by: Dan Scott <dan@coffeecode.net>

Protect against empty/invalid log_protect sections

Connectivity would fail if the log_protect section of opensrf_core.xml
was empty, or contained only comments, as it does in the default
example. Add a simple guard against this potential problem.  This fix
will also protect against cases where the 'log_protect' section
contains text rather than separate configuration elements.

Credit to Dan Scott for finding the bug and working out how to fix it.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Consolidate duplicate osrfMethodVerifyContext handler

Log redaction was not occuring in some cases because the code was using
the OSRF_METHOD_VERIFY_CONTEXT macro instead of the similarly named
function which does the same thing.  This change points the macro at the
function so that all code uses the same underlying code.

Note this change turns on CALL param logging unconditionally, whereas
users of the macro would previously have been able to avoid CALL logging
via the OSRF_LOG_PARAMS variable.  In practice, little code uses the
macro and all code enables OSRF_LOG_PARAMS.  If we need to add this
control back, it can be added directly to osrfMethodVerifyContext().
For now, it's one less env variable we need to define.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Log redaction for sensitive input values, Perl side

This commit attempts to do the same as the C log redaction fix,
but now at the Perl level.  The Perl configuration code was a
little more crufty than the C side, so an additional feature was
added to Config.pm to support the new 'shared' section.  At some
point we should consider a ground-up rewrite of Config.pm, as the
code seems to suffer some from its INI file roots.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Log redaction for sensitive input values, C side

Some service/methods deal with sensitive information (passwords,
financial, etc.).  All input values (e.g. gateway method params)
are currently logged in the activity log regardless of your log
level.  This commit will allow you to redact the params of any
method which matches a configurable set of left-anchored string
values.

This commit adds the initial config, and covers redaction of method
parameters sent through the gateway, the translator, and more general
OpenSRF C applications.

Signed-off-by: Dan Wells <dbw2@calvin.edu>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Fix installation on Ubuntu Precise.

Remove libreadline5-dev and replace with libreadline-dev for Ubuntu
and Debian.  This installs libreadline6, but everything still works
since there's nothing version specific in our use of libreadline.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Use apt-get instead of aptitude on Debian / Ubuntu

Reports from the field state that aptitude is not installed by default on
Ubuntu any longer; thus go with the sure thing.

Signed-off-by: Dan Scott <dscott@laurentian.ca>