Forward-port Dan McMahill's portability patches r1907 and r1908

Improve support for building, compiling, and running OpenSRF on non-Linux
distributions such as NetBSD.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1909 9efc2488-bf62-4759-914b-345cdb29e865

Provide a thread if the translator wasn't passed one in the request headers

The OpenSRF-over-HTTP spec says that the translator will generate a thread
in the response if one wasn't passed in the request; however, we were trying
to pass a null pointer back and that doesn't work so well.

As we're already generating a reasonably unique string for the purposes
of delim in the multipart data response, let's also use that for the
response thread when necessary.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1906 9efc2488-bf62-4759-914b-345cdb29e865

Add an example Apache virtual host configuration and curl script for testing the math service

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1905 9efc2488-bf62-4759-914b-345cdb29e865

Prevent WebKit-based browsers (Chrome and Safari) from requesting multipart

"You want the multipart? YOU CAN'T HANDLE THE MULTIPART!"

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1904 9efc2488-bf62-4759-914b-345cdb29e865

Added some fault tolerance to the inbound-to-unixserver message handoff process.  In some conditions, the unix socket will result in sigpipe (anecdotally, seen more oftenvirtualized environments).  these changes add a call to select before writing to the socket to check for socket availability and add a sigpipe handler that forces the inbound process to wait a brief period of time before trying the delivery again

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1901 9efc2488-bf62-4759-914b-345cdb29e865

similar to recent opensrf-c changes, keep active and idle child procs in separate lists for faster access and simpler code.  also some formatting/comment updates

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1900 9efc2488-bf62-4759-914b-345cdb29e865

Bug fix.

When all the servers for a given server go away, the router deletes the
server class from its internal data structures.  However that can happen
in the middle of a loop receiving successive messages from that server.

The old code would continue trying to read more messages from the
deleted server class, leading to a segfault.

The new code checks to see whether the server class still exists.  If
not, it breaks out of the loop.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1899 9efc2488-bf62-4759-914b-345cdb29e865

Reverting to a previous version believed to be good.
A recent update introduced a nasty bug, not yet squashed.

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1898 9efc2488-bf62-4759-914b-345cdb29e865

1. Correct some mangling of the linked list pointers that
keep track of child processes.

2. Rearrange the way we we keep track of how many children we
have.  The old way was a little dodgy in some situations.

3. Plug some memory leaks in osrf_prefork_register_routers().

4. Add more doxygen-style comments.

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1897 9efc2488-bf62-4759-914b-345cdb29e865

Patch from Joe Atzberger:

When running from command-line, logger warns "Logger found no config.  Using STDERR" but in fact fails to do so.  That blocks atomic testing of dependent modules, including almost all of EG's Application and Utils.

Also, in _write_file when failing to sysopen the target file, the die message reports a different variable than the one actually targeted.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1896 9efc2488-bf62-4759-914b-345cdb29e865

Get on board the typo train - woo woooooo!

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1895 9efc2488-bf62-4759-914b-345cdb29e865

keep the typo around for a while ... sorry, dbs ;)

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1894 9efc2488-bf62-4759-914b-345cdb29e865

Address long-standing typo: clense_ISO8601

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1893 9efc2488-bf62-4759-914b-345cdb29e865

Instead of keeping all child processes in a single list, keep them in two
separate lists: one list of those which are currently servicing requests,
and another list of idle children.  Move the children back and forth as
their status changes.

This change has three advantages:

1. When searching for an active child, there is a smaller list to search.

2. When doing a select() to identify children that have become available,
we can look for messages only from the active children, since the idle
ones won't write anything back to the parent.  (Actually we could have
done this with a single list, but we didn't.)

3. Probably most important: since the idle list functions as a stack, we
assign the next request to the child that was most recently active, or was
most recently launched.  That's the child that is most likely still to be
physically in memory.  Formerly we assigned requests to children approximately
on a round-robin basis.  As a result we assigned each new request to the
child that was most likely to be swapped out.

Also, in prefork_clear(): kill each child process individually.  Sending a
SIGKILL to the entire process group kills the parent as well as the
children.

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1892 9efc2488-bf62-4759-914b-345cdb29e865

Refactored the signal handling so that we shut down in an orderly
fashion instead of calling _exit() from inside a signal handler.

M    include/opensrf/osrf_system.h
M    src/libopensrf/osrf_system.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1891 9efc2488-bf62-4759-914b-345cdb29e865

Close a substantial resource leak in drone processes.

A drone inherits the transport_client of its parent process,
including a socket and a substantial amount of memory.  The
old code avoided freeing the transport_client in order to
avoid disconnecting the parent from Jabber.

The new code contrives to reclaim the resources without
sending a disconnect to Jabber.  Hence the parent remains
connected.

M    include/opensrf/transport_client.h
M    include/opensrf/transport_session.h
M    src/libopensrf/osrf_system.c
M    src/libopensrf/transport_session.c
M    src/libopensrf/transport_client.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1890 9efc2488-bf62-4759-914b-345cdb29e865

Tinkering with comments and white space; nothing substantive.

M    src/libopensrf/osrf_system.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1889 9efc2488-bf62-4759-914b-345cdb29e865

1. For keeping track of the child processes: use a doubly-linked
list instead of a singly-linked list.  The resulting list manipulations
are both simpler (fewer special cases) and faster (no need to traverse
then entire list just to find the end).

2. Maintain a free list of prefork_child structures that have been
allocated but are not currently in use.  Allocate from the free list
when possible, in order to avoid churning through malloc() and free().

3. When initializing prefork_child.appname: assign it the same value
as the corresponding field in the parental prefork_simple, instead of
creating a separate copy.  The parental copy will remain valid until
after all the prefork_children are gone.

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1888 9efc2488-bf62-4759-914b-345cdb29e865

In srf_app_server_session_init(): if the requested session already
exists, treat it as an error.

M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1887 9efc2488-bf62-4759-914b-345cdb29e865

Added or modified a lot of comments; made some minor tweaks to white space.

Eliminated the min_children member of the prefork_child structure.  We
didn't use it for anything, and it made no sense anyway.

Moved the closing of the child's file descriptors into prefork_child_free()
in order to eliminate duplicated code.  Also we were closing two of the
file descriptors twice.

prefork_child_free() now returns void instead of a pointless int.

In reap_children(): reset the child_dead at the beginning of the function
instead of at the end.  Otherwise we could miss a SIGCHLD that occurs during
the function.

Pass NULL as the second parameter to waitpid().  We don't do anything with the
children's return codes, so there's no need to capture them.

Eliminated all calls to osrf_clearbuf() as pointless.

In prefork_clear(): instead of sleeping for a second after sending the SIGKILL
to the child processes, go through a waitpid() loop.  (In practice this
function is all but unreachable anyway.)

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1886 9efc2488-bf62-4759-914b-345cdb29e865

Moved nested #includes out of osrf_prefork.h and into the implementation files.
Somne of the #includes turned out to be unnecessary, so I eliminated them.

In osrf_prefork.c: instead of dynamically allocating a prefork_simple,
allocate it on the stack.  That way we avoid a malloc() and free().

Renamed prefork_free() to prefork_clear(), since it no longer frees the
prefork_simple itself, but only memory owned by the prefork_simple.  Also
it now returns void instead of int, since there are no errors to detect
or report.

Added some comments.

M    include/opensrf/osrf_prefork.h
M    src/libopensrf/osrf_system.c
M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1885 9efc2488-bf62-4759-914b-345cdb29e865

Mostly tidying up white space and comments.  Also rearranged
the #includes a bit.

M    src/libopensrf/osrf_prefork.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1884 9efc2488-bf62-4759-914b-345cdb29e865

Finished adding doxygen-style comments to document the app session
functions.  Removed comments from the header so that they wouldn't
override more complete comments in the implementation file.

Tweaked the white space here and there.

Changed the return code in a few cases, for consistency.  A couple of
functions seemed unable to decide whether 0 was good and 1 was bad,
or vice versa.

M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1883 9efc2488-bf62-4759-914b-345cdb29e865

Incorporate _osrf_app_request_resend into osrf_app_session_request_resend(),
which had been its only caller.  The code is trivial enough that it will be
simple to break out again if necessary.  Meanwhile having it all in a single
function makes it more readable.

Free the hash table of requests correctly; i.e. all of each linked list, not
just the first node.

Various additions and refinements to comments; occasional tweaks to white space.

M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1882 9efc2488-bf62-4759-914b-345cdb29e865

Changed the way pending requests are stored in an osrfAppSession.

Before, pending requests were stored in a so-called request_queue.
However it wasn't a queue at all, except in name.  It was an
osrfList, i.e. an expandable pointer array used as a random
access container.  Request ids were used as subscripts into the
array.

Since we don't reuse request ids (except in the theoretical case
of a wraparound), the array grew without limit.  This unbounded
growth in the memory footprint could create problems for a
long-running busy process.  It might have contributed to the
rumored instabililty of chopchop, our homegrown Jabber server.

Now, pending requests are stored in a hash table, where each
of 64 slots holds a doubly linked list.  There should be no
effect on performance unless there are hundreds or thousands
of pending requests at once, in which case we would probably
get bogged down anyway.

M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1881 9efc2488-bf62-4759-914b-345cdb29e865

Add a stream parser for JSON, and a format_json utility
that uses it.

A    include/opensrf/jsonpush.h
A    src/c-apps/format_json.c
A    src/libopensrf/jsonpush.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1880 9efc2488-bf62-4759-914b-345cdb29e865

Add routines for calculating SHA1 and MD5 digests, based on the
gnutls package.  These routines are designed to replace the
current functions shahash() and md5sum(), but they are not
drop-in replacements because they have different signatures.

Prerequisites: packages gcrypt and gnutls.

This code is based on a contribution by Jason Stephenson.

A    include/opensrf/osrf_digest.h
A    src/libopensrf/osrf_digest.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1879 9efc2488-bf62-4759-914b-345cdb29e865

1. In the parent router process: wait for all of the immediate
child processes to terminate before exiting.

This change eliminates the need for the shell script invoking
the router to sleep before running a ps to identify the effective
router processes (which are grandchildren of the parent). By the
time the parent exits, the children will have launched the
grandchildren and exited.

2. If any of the immediate child processes terminates abnormally
(either a non-zero return code or termination by a signal), issue
a warning message to that effect. This message goes to standard
error, since the parent process never opens a log file.

3. Apply the volatile qualifier to a couple of variables that
are updated asynchronously by a signal handler.

M    src/router/osrf_router.c
M    src/router/osrf_router_main.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1878 9efc2488-bf62-4759-914b-345cdb29e865

Correct a typo in a warning message

M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1877 9efc2488-bf62-4759-914b-345cdb29e865

Log a warning message whenever the deprecated function
osrfAppSessionMakeRequest() is called.

M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1876 9efc2488-bf62-4759-914b-345cdb29e865

Replace calls to osrfAppSessionMakeRequest() with
calls to osrfAppSessionSendRequest().

M    src/gateway/osrf_json_gateway.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1875 9efc2488-bf62-4759-914b-345cdb29e865

Replace calls to osrfAppSessionMakeRequest() with
calls to osrfAppSessionSendRequest().

M    src/c-apps/osrf_version.c
M    src/c-apps/osrf_math.c
M    src/libopensrf/osrf_settings.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1874 9efc2488-bf62-4759-914b-345cdb29e865

1. In osrf_app_session.[ch]: Create a new function
osrfAppSessionSendRequest(), similar to osrfAppSessionMakeRequest()
but without the param_strings parameter.

2. Replace the old function with the new one in srfsh.c.

M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c
M    src/srfsh/srfsh.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1873 9efc2488-bf62-4759-914b-345cdb29e865

Remove vestigial TODO now that it is TODONE

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1872 9efc2488-bf62-4759-914b-345cdb29e865

So. libmemcached has only been packaged on really fresh distros. Install from source elsewhere.

Thanks for the nudge from Bill Erickson.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1871 9efc2488-bf62-4759-914b-345cdb29e865

Add three new functions:

osrfListSwap() -- swaps the contents of two osrfLists

osrfStringArrayClear() -- renders an osrfStringArray empty

osrfStringArraySwap() -- swaps the contents of two osrfStringArrays

M    include/opensrf/osrf_list.h
M    src/libopensrf/string_array.c
M    src/libopensrf/osrf_list.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1870 9efc2488-bf62-4759-914b-345cdb29e865

Transition from libmemcache to libmemcached - an actively maintained memcached client library.

As of this commit, you (I'm looking at you, buildbot) will require the pkg-config and
libmemcached development packages to build and run OpenSRF.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1869 9efc2488-bf62-4759-914b-345cdb29e865

Eliminated the function pointer osrf_stack_entry_point so that
osrf_app_session_queue_wait() can call osrf_stack_process() directly.
This change entails some juggling of declarations, headers, and the
like, but does not substantively affect the processing.

Also: made a number of other minor changes, mostly to comments
and white space.

M    include/opensrf/osrf_stack.h
M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c
M    src/libopensrf/osrf_stack.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1868 9efc2488-bf62-4759-914b-345cdb29e865

Added some comments, tinkered with white space;
no substantive changes

M    src/libopensrf/osrf_stack.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1867 9efc2488-bf62-4759-914b-345cdb29e865

Prevent infinite loop (with logging) in child process reaping.

From the perl docs on waitpid:

Note that on some systems, a return value of "-1" could mean that child processes are being automatically reaped.  See perlipc for details, and for other examples.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1865 9efc2488-bf62-4759-914b-345cdb29e865

Futher cleanup for autoconf substituted variables

examples/multisession-test.pl:
  * Remove "use lib" statement as OpenSRF Perl modules are now installed in a
    standard location

configure.ac:
  * Use equality instead of assignment operator when checking for $prefix
  * Add copyright statement to header

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1864 9efc2488-bf62-4759-914b-345cdb29e865

Partial fix for launchpad bug 489294: OpenSRF seems to depend on explicit --prefix configure option

In the process of creating Perl and Python scripts using AC_SUBST(sysconfdir),
autoconf would generate variables like '${prefix}' if no explicit --prefix
option was passed to configure - and this would cause those scripts to fail
with syntax errors.

We can work around that, and so we shall. The bigger question is whether
creating scripts with hardcoded defaults results in problems when it comes
to creating system packages; according to http://www.gnu.org/software/hello/manual/autoconf/Installation-Directory-Variables.html
one should try to defer these changes to the Makefile so that the
destination directory can be specified at make or make install time,
instead.

At least this gets us working with no explicit configure options again.
Perhaps a packaging expert can help us out of this mire :)

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1863 9efc2488-bf62-4759-914b-345cdb29e865

Replacing calls to the old JSON parser with calls to the
new JSON parser.

M    src/gateway/osrf_json_gateway.c
M    src/c-apps/osrf_math.c
M    src/c-apps/timejson.c
M    src/libopensrf/osrf_json_test.c
M    src/libopensrf/osrf_message.c
M    src/libopensrf/osrf_cache.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1862 9efc2488-bf62-4759-914b-345cdb29e865

Patch from Jeroen van Meeuwen (Fedora Project) <kanarip@fedoraproject.org> to use $(APXS2)

Attached patch makes the auto foo respect the --with-apxs ./configure option for src/gateway/Makefile.am.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1858 9efc2488-bf62-4759-914b-345cdb29e865

Tinkering with comments and white space.

Enclose local #included files with quotes instead
of angle brackets.

M    include/opensrf/osrf_app_session.h
M    src/libopensrf/osrf_app_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1857 9efc2488-bf62-4759-914b-345cdb29e865

Eliminated two members of the osrfMessage structure:
result_string and sender_tz_offset.  Neither is used for
anything, and either may be easily reinstated if necessary.

I was tempted to eliminate the protocol member as well,
since it isn't used for anything either.  However it's
populated from one of the parameters to osrf_message_init().
Getting rid of the protocol member properly would ramify
to all the code that calls osrf_message_init(), which would
be a lot of work to undo if necessary, so I left it alone.

M    include/opensrf/osrf_message.h
M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1856 9efc2488-bf62-4759-914b-345cdb29e865

1. Changes to comments and white space.

2. Eliminated the macro OSRF_MAX_PARAMS, which is nowhere used.  It was
all but unusable anyway, since it included a terminal semicolon.

I considered eliminating the macro OSRF_XML_NAMESPACE as well, since
it is also unused.  However I stayed my hand, since it would be more
difficult to reconstruct if the need arose.

M    include/opensrf/osrf_message.h
M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1855 9efc2488-bf62-4759-914b-345cdb29e865

Move the libxml headers out of the header and into the
implementation file.

The files that #include osrf_message.h compile just fine
without the nested libxml headers, and there's no reason
to make the compiler paw through them.

M    include/opensrf/osrf_message.h
M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1854 9efc2488-bf62-4759-914b-345cdb29e865

Replace the the call to osrf_message_deserialize()
with a call to osrfMessageDeserialize().

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1853 9efc2488-bf62-4759-914b-345cdb29e865

Create a new function osrfMessageDeserialize(), as a
replacement for osrf_message_deserialize().

The older osrf_message_deserialize() receives an array of
pointers to populate, along with a maximum number.  If the
JSON input contains more than the maximum number of
messages, the extras are silently discarded.  This design
forces the calling code to guess how many messages it
might ever receive at one time, with no way to determine
whether its guess was good enough.

The newer function returns an osrfList of pointers, and
can therefore return all the messages it finds in the
input, with no risk of loss.

M    include/opensrf/osrf_message.h
M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1852 9efc2488-bf62-4759-914b-345cdb29e865

Created a new function osrfListClear() to take an existing
osrfList and make it empty.

M    include/opensrf/osrf_list.h
M    src/libopensrf/osrf_list.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1851 9efc2488-bf62-4759-914b-345cdb29e865

Pulled the creation of a single osrfMessage from a jsonObject
into a separate function.  This change simplifies
osrf_message_deserialize(), and will make it easier to create
a replacement for it.

Also: tinkered with some of the comments and white space.

M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1850 9efc2488-bf62-4759-914b-345cdb29e865

Tidied up various things:

1. Miscellaneous adjustments to white space.

2. Added doxygen-style comments to document all functions.  Removed most
comments from the header so that they won't override those in the
implementation file.

3. Slightly rearranged or otherwise tweaked the logic here and there
for clarity.

4. osrf_messasge_set_locale() now returns a const pointer, to discourage
the calling code from changing or freeing the message's copy of the
locale.

5. Eliminated the full_param_string member of osrfMessage.  We weren't
using it for anything, except to initialize it to NULL.

6. Plugged several memory leaks (potential but not actual).

7. Made osrfMessageToJSON a static function.  No other source file
needs to call it.

8. Replaced a couple of calls to jsonObjectToSimpleString() with calls
to jsonObjectGetString(), in order to eliminate a malloc and free.

M    include/opensrf/osrf_message.h
M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1849 9efc2488-bf62-4759-914b-345cdb29e865

1. Fixed a bug whereby the display of request results was not showing up
when pretty-printing was turned off.  We were calling jsonObjectGetString()
when we should have been calling jsonObjectToJSON(), and thereby getting
NULL instead of a usable string, for any but the most trivial of results.

Also: applied some minor refinements to nearby code.

2. In handle_request(): eliminated a couple of superfluous variables.

3. Corrected an erroneous statement in the help message.  Request output
passes through less when raw_print is false, not when it's true.

4. Tidied up the white space here and there.

M    src/srfsh/srfsh.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1848 9efc2488-bf62-4759-914b-345cdb29e865

No substantive changes.

Corrected some erroneous comments, and tweaked the
white space here and there.

M    include/opensrf/utils.h

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1847 9efc2488-bf62-4759-914b-345cdb29e865

Miscellaneous minor tweaks:

1. Moved nested #includes out of the header file and into the
implementation files as needed.

2. Additions and refinements to comments; adjustments to white space.

3. Changed several functions to return void instead of int, since we don't
look at the return values anyway.

4. Added the const qualifier to several function parameters.

5. In osrfRouterHandleAppRequest(): initialize arr[], an array of pointers,
by setting each pointer to NULL.  We had been using memset() on the lot,
relying on a the non-portable assumption that a NULL pointer is
represented by all-bits-zero.

6. Minor rearrangements of the logic here and there, mostly to free things
as soon as we're done with them instead of waiting until the end of the block,
or to defer the declarations of things until we're about to use them.

7. Replaced a couple of calls to jsonObjectToSimpleString() with calls to
jsonObjectGetString(), in order to eliminate a malloc() and a free().

8. Renamed osrfRouterHandleAppResponse() to osrfRouterSendAppResponse(),
which is more descriptive and less vague.

M    src/router/osrf_router.h
M    src/router/osrf_router.c
M    src/router/osrf_router_main.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1846 9efc2488-bf62-4759-914b-345cdb29e865

Corrected a glitch in the command-line parser.  Now commas
are treated as the equivalent of white space between
parameters.  For example { "a":5 },{ "b":true } is parsed as
two separate JSON objects, even though there is no white space
between them.

M    src/srfsh/srfsh.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1845 9efc2488-bf62-4759-914b-345cdb29e865

Several bug fixes:

1. In osrfRouterRun(): eliminate the counting of sockets.  Rely
on the traversal of the class list to cover all the active
sockets.  Otherwise we would enter an infinite loop if we had just
deleted a class with an active socket.

2. In osrfRouterClassHandleIncoming(): in the case of an error
message that we can't reroute to a different node, do a continue
instead of a return.  Otherwise we delay any further messages that
may be enqueued for the same class, and possibly skip them entirely.

Also, in the same scenario: free the message before continuing, in
order to avoid a memory leak, and clear the transaction id for the
logging routines.

3. In osrfRouterClassHandleBounce(): remove the dead node when it is the
last one left for its class.  Remove the class as well, since it is
no longer usable.  We had been leaving the dead node around, for no
good reason.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1844 9efc2488-bf62-4759-914b-345cdb29e865

1. Further refinement of comments.

2. In osrfRouterClassHandleIncoming() and osrfRouterClassHandleBounce():
rearranged the logic a bit for clarity.

3. In _osrfRouterFillFDSet(): reuse the osrfHashIterator that's available
in the osrfRouter instead of creating and destroying a fresh one.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1843 9efc2488-bf62-4759-914b-345cdb29e865

Eliminate a potential (if unlikely) memory leak:  Free a
transport_message.error_type before overlaying it.

M    src/libopensrf/transport_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1842 9efc2488-bf62-4759-914b-345cdb29e865

1. Added an osrfHashIterator as a member of osrfRouter, so that
we can reuse it when repeatedly traversing the list of classes.
This way we don't have to create and destroy an osrfHashIterator
on every iteration.

2. In osrfRouterRun(): eliminated a pointless hash look up in the
innermost loop.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1841 9efc2488-bf62-4759-914b-345cdb29e865

1. Changed several functions that were returning int so that
they return void instead.  We weren't checking the return codes
anyway, since the functions in question handle their error
conditions on their own.

2. Eliminated a pointless memset().

3. For message received from the top-level transport_client, we
have to branch according to whether the message is a command
or an app request.  I moved that decision up one level in the
calling hierarchy.

Rationale:  the two branches are peers.  Neither should be
treated as if it is a subordinate of the other.  That peerage
is better expressed by making them two branches of the same if
statement, rather than conditionally calling one of the branches
from inside the other.

Minor performance benefit: for one of the branches we avoid an
extra layer of function call.

4. Related to the above: renamed osrfRouterHandleMessage() to
osrfRouterHandleCommand(), since handling commands is all it
does now.  Also rearranged its logic a bit.

5. Extended and refined the comments.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1840 9efc2488-bf62-4759-914b-345cdb29e865

In the main loop of the router: if the select call fails for
any reason other than an harmless signal (i.e. one whose
handler didn't set a switch to stop the loop), then break
out of the loop and terminate.

The old code would ignore the error and keep looping, using up
ca. 98% of the CPU until somebody killed it.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1839 9efc2488-bf62-4759-914b-345cdb29e865

1. Move the declaration of osrfRouter out of the header
and into osrf_router.c.  There's no need for any other
source file to know about the internals.

2. Eliminate the ROUTER_SOCKFD macro in favor of the new
client_sock_fd() function.  Reason: it needlessly coupled
the osrfRouter and osrfRouterClass structures by requiring
each of them to have a member named "connection".

3. Further tinkering with the comments.

M    src/router/osrf_router.h
M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1838 9efc2488-bf62-4759-914b-345cdb29e865

New function: client_sock_fd().  It returns the socket fd used
by the transport_session underlying a specified transport_client.

Purpose: increase the level of encapsulation, so that the
calling code doesn't need to know about three layers of internals.

M    include/opensrf/transport_client.h
M    src/libopensrf/transport_client.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1837 9efc2488-bf62-4759-914b-345cdb29e865

Changed the signal handling.

There are very few things you can safely do within a signal handler, and
shutting down an osrfRouter is not among them.

Now the signal handler just sets a switch for the main loop to look at.
The select call looks for errno == EINTR and then looks at the switch
that the signal handler sets.  If the switch is set, we exit the otherwise
infinite loop.  Then we free the osrfRouter and re-raise the signal.

M    src/router/osrf_router.h
M    src/router/osrf_router.c
M    src/router/osrf_router_main.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1836 9efc2488-bf62-4759-914b-345cdb29e865

Fixed a bug in osrfRouterClassFree().  We were trying free
the same osrfRouterClass twice -- once directly, and once
by an unintended recursion.

M    src/router/osrf_router.c
M    src/router/osrf_router_main.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1835 9efc2488-bf62-4759-914b-345cdb29e865

Tinkering with white space and comments.  No
substantive changes.

M    src/router/osrf_router.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1834 9efc2488-bf62-4759-914b-345cdb29e865

1. Tidy up the white space.

2. Add copious comments, mostly doxygen-style, to document
the functions and the transport_client struct.

3. In client_connect(): plug a memory leak by freeing
client->xmpp_id before overlaying it.  Plug a potential
similar leak in client_send_message().

4. In client_send_message(): return 1 (an error) instead of
0 (success) when the first parameter is NULL.

M    include/opensrf/transport_client.h
M    src/libopensrf/transport_client.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1833 9efc2488-bf62-4759-914b-345cdb29e865

exit with error code when tools are not found

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1832 9efc2488-bf62-4759-914b-345cdb29e865

give decodeJS a way to try to load a class that was requested but does not yet exist

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1831 9efc2488-bf62-4759-914b-345cdb29e865

Add doxygen-style comments to document the
transport_message structure.

M    include/opensrf/transport_message.h

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1830 9efc2488-bf62-4759-914b-345cdb29e865

1. Tidy up the white space.

2. Add doxygen-style comments to document all functions.

M    src/libopensrf/transport_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1829 9efc2488-bf62-4759-914b-345cdb29e865

1. In endElementHandler(), responding to an error: don't explain what a
401 error is unless that's the error that happened.

2. In parseWarningHandler() and parseErrorHandler(): issue messages via
the usual logging routines instead of writing them to stdout and stderr.

3. Finish the doxygen-style commenting.

M    include/opensrf/transport_session.h
M    src/libopensrf/transport_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1828 9efc2488-bf62-4759-914b-345cdb29e865

1. Added comments to document the process of connecting to Jabber.

2. Added doxygen-style comments to document the final two functions.

3. Several minor performance tweaks and rearrangements.

M    src/libopensrf/transport_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1827 9efc2488-bf62-4759-914b-345cdb29e865

Improve the 'help' output for srfsh:
  * Document the method-name parameter for the introspect command
  * Document the currently supported srfsh variables
  * Reorganize the help slightly to place more emphasis on
    introspect and request and cut down on some of the blank lines.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1826 9efc2488-bf62-4759-914b-345cdb29e865

1. Moved several macros from the header to the implementation file.  They aren't used
anywhere else.

2. Renamed SERVER_SOCKET and CLIENT_SOCKET to LISTENER_SOCKET and DATA_SOCKET,
respectively.  The new names more accurately reflect the uses to which the two
socket types are put.  (Note that some so-called CLIENT_SOCKETs were, in fact,
opened by servers.)

3. Changed socket_open_udp_server() to open a DATA_SOCKET (formerly called a
CLIENT_SOCKET) instead of a LISTENER_SOCKET (formerly called a SERVER_SOCKET).
Otherwise an attempt to wait on such a socket would wind up treating it like
a listener.  That doesn't work for UDP.  In practice this change has no effect,
since no application ever calls this function anyway.

4. Always close a socket before removing the associated socket_node.  Otherwise we
will leak sockets in some situations.

5. Tinkered further with the comments, especially in the header file.

M    include/opensrf/socket_bundle.h
M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1825 9efc2488-bf62-4759-914b-345cdb29e865

Merged _socket_route_data() into its only caller, after untangling its logic.

The old function traversed the linked list of socket_nodes in a loop,
examining each node at the bottom of the loop in order to identify the next
node.  It went through elaborate and confusing gyrations to avoid dereferencing
a pointer for a node that had been deleted.

A better solution is to get a pointer to the next node *before* deleting the
current one.  The resulting code is simple and easy to understand.

M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1824 9efc2488-bf62-4759-914b-345cdb29e865

Implemented session_connected(), which had been declared in the header but never
defined.

Changed transport_client.c to use session_connected(), so that it wouldn't need to
see a declaration of jabber_machine.

Moved from transport_session.h to transport_session.c: several macros and the
declaration of jabber_machine, of which none are needed elsewhere.

Removed some comments from the header so that they won't override more complete
comments in the implementation file.

In session_connect(): inserted a return statement in order to bypass some
superfluous string comparisons.

Added the const qualifier to the return type of get_xml_attr().  We don't want to
be able to overwrite the text returned by the XML parser.

In endElementHandler(): look for "stream:error", to match the opening tag, instead
of "error:error".

Resest status_buffer along with the other buffers.

Introduced several minor performance tweaks.

Added more doxygen-style comments for documentation.

M    include/opensrf/transport_session.h
M    src/libopensrf/transport_session.c
M    src/libopensrf/transport_client.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1823 9efc2488-bf62-4759-914b-345cdb29e865

Various cleanups in transport_session.c:

1. In init_transport(): guard against a NULL server parameter.

2. In session_free(): if the session is still open, disconnect it.

3. In session_connect():  if we open a socket but are unable to connect to Jabber, close the
socket and set the sock_id member to zero.  If the socket is already open, return an error,
instead of reusing the existing socket (and trying to overlay any open Jabber session).

4. In session_connect(): guard against an invalid auth_type.

5. In session_connect(): corrected some errors in the way we calculate buffer sizes,

6. In session_disconnect(): send a disconnect message only if the socket is still open.

7. Tidied up white space and comments in various places.

8. Added doxygen-style comments to document some of the functions.

M    src/libopensrf/transport_session.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1822 9efc2488-bf62-4759-914b-345cdb29e865

Eliminated _socket_route_data_id() as a separate function, incorporating
its contents into the end of socket_wait().

Rationale: _socket_route_data_id() was called in only a single place.
It was little more than a mildly obfuscated if test, branching to two
very different functions.  Having this code fragment in a separate function
just made the logic harder to follow.

Also: added a couple more doxygen-style comments.

M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1821 9efc2488-bf62-4759-914b-345cdb29e865

1. In socket_connected(): if the select() fails because it is interrupted
by a signal, it doesn't mean that the socket is invalid, so try again.

2. In _socket_handle_client_data(): remove two unnecessary calls to the
osrf_clearbuf macro.

3. Add more doxygen-style comments to document the functions; edit a few
existing comments in various ways.

M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1820 9efc2488-bf62-4759-914b-345cdb29e865

1. In socket_open_tcp_client(): use getaddrinfo() instead of gethostbyname().
The latter is obsolete, according to the man page and other sources.

2. Add doxygen-style comments to document several more functions.

M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1819 9efc2488-bf62-4759-914b-345cdb29e865

1. Moved the declaration of socket_node from the header into the
implementation file.  No other source files need to be exposed
to it.

2. Contrived to avoid leaking sockets in case of error exits;
sometimes by changing the sequence of operations, sometimes by
inserting a close().

3. In socket_open_tcp_client() and socket_open_udp_client():
removed the call to bind().  Ordinarily a client socket doesn't
need to know or care what its local address is.

4. In socket_open_udp_client(): eliminated the second and third
parameters, which define the remote address.  That information
wasn't going anywhare anyway.  For a UDP socket, you have no
use for the remote address until you actually try to send or
receive.

5. Added doxygen-style comments to document some of the functions.

M    include/opensrf/socket_bundle.h
M    src/libopensrf/socket_bundle.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1818 9efc2488-bf62-4759-914b-345cdb29e865

1. Replace the old JSON parser (jsonParseString()) with a newer, faster one
(jsonParse()).

2. Because the new JSON parser is strict about syntax errors that the old
parser would ignore, it was necessary to parse the srfsh command line more
intelligently.  Otherwise it would be impossible to build a JSON string
internally with reliably correct syntax.

Hence: instead of using strtok() to break up the command line into tokens, we
now use a rudimentary recursive descent parser to isolate JSON strings as
distinct arguments, even if they contain embedded white space.

As a fairly benign side effect of these changes, the treatment of commas
in the command line is changing a bit.  All parts of the command line
(not just JSON strings) may now be optionally separated by commas.

3. We now use an osrfStringArray to hold the results of parsing, rather
than a bare array of pointers.

4. The function formerly known as "parse_request" is now named "process_request",
because it does a lot more than just parsing.

M    src/srfsh/srfsh.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1817 9efc2488-bf62-4759-914b-345cdb29e865

Clean up and clarify configure help and messages a wee bit

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1816 9efc2488-bf62-4759-914b-345cdb29e865

Chop chopchop out of the default make / install target

chopchop is a basic XMPP server that is not used in production, so
let's not bother with building and installing it in the default configuration.

We introduce a new configure option, --enable-chopchop, for those who do
want to build and install chopchop.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1815 9efc2488-bf62-4759-914b-345cdb29e865

Add doxygen-style comments to document macros, and an overview
at the top.

M    include/opensrf/log.h

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1814 9efc2488-bf62-4759-914b-345cdb29e865

Add doxygen-style comments to document all functions and all variables
at file scope.

In log.h: remove some existing comments so that they won't override
the more complete comments in log.c.

M    include/opensrf/log.h
M    src/libopensrf/log.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1813 9efc2488-bf62-4759-914b-345cdb29e865

Add a '-l' option to treat the hostname as 'localhost', to match osrf_ctl.sh.

This will be useful in testing and tutorial scenarios.

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1812 9efc2488-bf62-4759-914b-345cdb29e865

1. osrfLogGetXid now returns a pointer to const.  We don't want the
calling code to be able to overwrite the cached copy of the
transaction id.

2. Add doxygen-style comments to document some of the functions.

M    include/opensrf/log.h
M    src/libopensrf/log.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1811 9efc2488-bf62-4759-914b-345cdb29e865

Performance tweak to the logging routines.

_osrfLogToFile() is no longer a variadic function.  We always sent it the
same format string, and there was no point in sending a variable-length
parameter list that never actually varied in length.

Now we send it a fixed-length parameter list -- and thereby avoid two
calls to vsnprintf() that had been hidden in the VA_LIST_TO_STRING macro.

Also: added doxygen-style comments to several of the functions.

M    src/libopensrf/log.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1810 9efc2488-bf62-4759-914b-345cdb29e865

Fix a bug in md5sum() (which only affected code compiled
with debugging turned on).

md5sum() builds an md5 message digest in a buffer.  Originally
it used memset() to initialize the buffer with binary zeroes.
At some point the call to memset() was replaced with the
osrf_clearbuf() macro.  When compiled in debugging mode,
osrf_clearbuf() fills the buffer with exclamation points;
otherwise it reverts to the original memset().

In this case the use of osrf_clearbuf is inappropriate, because
we use strcat() to build the message digest, two bytes at a
time.  We don't need to use memset(), but the first byte needs
to be initialized to a nul byte so that strcat() will work as
intended.  Hence:

1. Remove the call to osrf_clearbuf().

2. Put a nul byte at the beginning of the buffer.

Also, I made the buffer smaller.  There's no reason for it
to be 256 bytes long.

M    src/libopensrf/utils.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1809 9efc2488-bf62-4759-914b-345cdb29e865

Small performance tweak.

Replaced two occurrences of jsonParseString( "[]" ) with the
equivalant (and faster) call to jsonNewObject( JSON_ARRAY ).

M    src/libopensrf/osrf_application.c
M    src/srfsh/srfsh.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1808 9efc2488-bf62-4759-914b-345cdb29e865

Performance tweak to message handling.

In five locations in osrf_message.c, we were turning a jsonObject into
a JSON string, only to parse it again back into a jsonObject:

-- osrf_message_add_object_param()
-- osrfMessageToJSON() (two occurrences)
-- osrf_message_deserialize() (two occurrences)

That's silly.

This new version copies the original jsonObject directly, with no round
trip through a JSON string.  We use jsonObjectDecodeClass() to do the
copy, in order to make sure that all class hints are decoded into
classnames.

(Until recently, jsonObjectDecodeClass() would remove classnames that were
already present.  That's presumably the reason for the curious and
inefficient two-step procedure that we were using up till now.)

Also: In two locations (in osrf_message_add_object_param() and
osrf_message_add_param())  We used jsonParseString() to parse a
hard-coded "[]".  I replaced those calls with equivalent (and faster)
calls to jsonNewObjectType( JSON_ARRAY );

Also: in osrf_message_set_result_content() I eliminated a pointless test
for nullity of the json_string variable.  An earlier test already
guarantees that json_string is not NULL.

M    src/libopensrf/osrf_message.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1807 9efc2488-bf62-4759-914b-345cdb29e865

Created a new function osrfHashExtract().  It extracts an item with a
given key from an osrfHash, without destroying it, leaving the rest
of the osrfHash intact.

M    include/opensrf/osrf_hash.h
M    src/libopensrf/osrf_hash.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1806 9efc2488-bf62-4759-914b-345cdb29e865

Tweak jsonObjectDecodeClass so that it preserves classnames
that are already present.  The previous version would add
new classnames, if it found them encoded, but would drop
any old ones.

At present this change will have no effect.  Apart from a
couple of recursive calls, the only function that calls
jsonObjectDecodeClass() is jsonParseString().  In that case,
we pass a freshly parsed jsonObject that can't possibly
have any classnames yet.

However this change will enable us to use this function
elsewhere (specifically in osrf_message.c), resulting in
simpler and faster code.

M    src/libopensrf/osrf_json_tools.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1805 9efc2488-bf62-4759-914b-345cdb29e865

Enhance the performance of the recursive descent JSON parser,
mainly the jsonParse() function.

1. The old version would create a jsonObject and then copy it, with
possible modifications, via a call to jsonObjectDecodeClass(), in
order to decode class hints into the classname member.  Finally, it
would throw away the original jsonObject.

The copying operation is expensive, and the new version eliminates
it.  When decoding is desired (which is nearly always), execution
passes through a parallel version of the get_hash() function, which
does the decoding on the fly.

In my benchmarking, the new version reduces the parsing time by
around 35 - 45 percent.  It is now at least twice as fast as the
older jsonParseString() function, which uses a finite state
machine instead of recursive descent.

2. In get_number(): instead of allocating and destroying a
temporary growing_buffer, use the one available in the
Parser structure.

3. In osrf_json.h: Applied some pedantic corrections to the
doxygen comments for the old parser.

--------

In all cases tested, the new version produces results identical
to those of the old version.  The results are also identical to
those of the older parser, apart from error detection.

M    include/opensrf/osrf_json.h
M    src/libopensrf/osrf_parse_json.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1804 9efc2488-bf62-4759-914b-345cdb29e865

Change the return type of jsonObjectGetString so that it
is a pointer to const char, instead of to non-const char.

We don't want the calling code to be able to modify the innards
of the jsonObject, at least not by this back door.

I have already examined all uses of this function and modified
them where necessary to avoid compile problems.

M    include/opensrf/osrf_json.h
M    src/libopensrf/osrf_json_object.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1803 9efc2488-bf62-4759-914b-345cdb29e865

1. Add doxygen-style comments to document functions in the
recursive-descent JSON parser.  Tidy up or correct existing
comments here and there.

2. In report_error(): add the const qualifier to the
third parameter.

M    include/opensrf/osrf_json.h
M    src/libopensrf/osrf_parse_json.c

git-svn-id: svn://svn.open-ils.org/OpenSRF/trunk@1802 9efc2488-bf62-4759-914b-345cdb29e865