LP1579144: On Login, Send Location to ILS

If the CP field is sent with message 93, include
that string with the login account in case the ILS
can make use of it.

Signed-off-by: Jason Boyer <jboyer@library.in.gov>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1180468: update license statement to GPL v2 or later

In 2011, all current contributors and copyright holders
to SIPServer approved switching the license from GPLv2
to GPLv2 or later:

<http://libmail.georgialibraries.org/pipermail/open-ils-general/2011-April/004657.html>k

In 2013, contributor Jeff Godin also confirmed approval of
the license change:

https://bugs.launchpad.net/sipserver/+bug/1180468/comments/2

All subsequent contributors have either already approved of the
license switch or have done work-for-hire coding for organizations
that have approved the change.

Consequently, this patch adjusts all references to the GPLv2
to specify that the current license is GPLv2 or later.  This
patch also adds copyright and copying statements to a few
files that lacked them.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jeff Godin <jgodin@tadl.org>

LP#1464748: don't toss terminal account information prematurely

This patch ensures that when the PreFork Net::Server personality
is in use, terminal login information is not prematurely cleared
between *_transport() and sip_protocol_loop().  This, in conjunction
with the patch for bug 1463459, fixes a problem where a SIP
client that connects, issues a 93 request, then a 99 request, could
get an incorrect 98 response.

To test fixes for 1463459 and 1464748:

[1] Set up a SIP configuration with at least two institutions
    with different capabilities and at least one account
    for each institution.  Assume that account A1 is for
    institution I1 and A2 for I2.

[2] Prior to applying the patches for 1463459 and 1464748,
    start the SIP server and try the following sequence:

    a. 93 to log in as A2
    b. 99 to get SC status
    c. Note that the 98 response has values for I1, not I2

[3] Apply the patches and restart SIP, then repeat the steps
    in [2].  This time, the 98 response should have the
    values for I2.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1463459: make SC Status handler recognize logged-in SIP session

Due to MsgType not having an account field, handle_sc_status should
be checking $server, not $self, for account information. As a result
of checking the wrong field handle_sc_status always assumes the
session is not logged in and returns status based on the first account.

When this account is not flagged for some capabilities and the client
expects/needs those capabilities the client may determine it can't
function and disconnect, even though the login actually has those
capabilities. This patch fixes that; it also adjusts how
$server->{account} is checked (definedness, not existence).

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

LP#1298985: Protect against bad summary types

Ensure that if we are asked for summary information in Patron Information that
we have any form of definition for it *and* we have code to call. If neither
case is true pretend they didn't ask for any to begin with.

Testing notes
-------------
Here is an example of the sort of request that, prior to this patch,
could cause a SIPServer backend to crash:

6300020150615    111700      Y   AOUinst|AAuser|

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1425135 Log message duration w/ millisecond granularity

Log message processing duration with finer granularity.  This is
especially useful for diagnosing SIP speed issues for automated
materials handling, where small changes in speed can have a big impact.

New message logs at DEBUG level.

Signed-off-by: Bill Erickson <berickxx@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Typo fix for inline documentation (cut/paste hazard)

Signed-off-by: Mike Rylander <mrylander@gmail.com>

LP#1339190 Add support for the "Multiplex" personality

We use Net::Server::Multiplex to reduce resource consumption.  In
this mode, SIPServer will maintain connection state in the main
listening process and fork workers as needed to handle individual
requests.

Initial implementation by Mike Rylander, with a conversion from
File::Queue to Memcache, and LOTS of debugging, by Bill Erickson.

Some highlights:

* A fork fence for max concurrent in-flight requests

* Allow the ILS to save state in IO::Multiplex mode

* Optimistic login using fork-and-check

When a SIP child process is spawned to handle a new connection login,
the pending login is tracked in the parent process (by PID) and the
child indicates to the parent that the login has succeeded by storing
login success/failure plus some state information in memcache.  Any time
the parent wakes up to process a message, it checks for completed logins
so they can be resolved as OK in the parent and the state information
is extracted and stored for future conversation with the resolved client.

* Let workers hang around for a bit for higher-rate clients

For some clients, such as AMH (sorters), the per-message connections
cause too much latency.  So, instead, we'll let their backends hang
around for a while.  This is controlled by a new attribute on the
server-params element, worker-keepalive, as a peer to the personality
value.  This value can also be set on the institution and login elements
to support finer-grained keepalive tuning.

This is measured in seconds and the default is 5. A value of 0 here
will disable this feature altogether.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Blake GH <blake@mobiusconsortium.org>

LP#1339190 Unroll recursion-based processing chain

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1338761: add support for Relais extensions to message 24

The Relais SIP2 client expects that the Patron Status Response
(msg 24) will contain certain non-standard fields that are more
properly included in the patron information response:

- patron home address
- patron email
- patron home phone

In addition, and contrary to the specification, Relais expects that
the variable fields in the response will be given in the order that
they appear in the spec.

This patch ensures that the Patron Status repsonse emits the
institution ID, patron ID, and personal name in that order.  It also
adds a new institution option, relais_extensions_to_msg24, to make
the response includes the additional fields.  For example:

  <relais_extensions_to_msg24 enabled="true" />

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1338731: support clients that send 99 then 93 when starting a raw connection

This patch adds the option, for raw transports, to allow clients
to send the SC Status (99) message first, then the Login (93)
message. It's arguable whether such behavior is standard or not,
but at least one SIP2 client (Relais), inflexibly requires such
behavior.

This option is enabled using the service-level attribute
"allow_sc_status_then_login".

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1042850: Add TCP-level keepalive

Some client TCP stacks fail to actually close down their sockets
all the way, leading to a pile up of stale backends that can never
go away.

So, we will use Linux's TCP_KEEPALIVE tuning capabilities to probe
the connection on a regular basis.  This should detect the half-
closed situation and let the backend shut itself down.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Timeout in protocol loop

To (hopefully) prevent dead connections from hanging around.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

LP#1227273: Clear account info at start and end of connection

Otherwise re-used processes may re-use account information.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1070470: Limit variable fields to 255 characters.

The SIP2 protocol document specifies that variable fields are to be from
0 to 255 characters in length, not counting the field identifier or the
delimiter.

This branch adds some defensive coding to Sip::add_field to truncate any
field values that are longer than 255 characters to 255 characters before
adding them to the response.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1180479: Koha Bug 3723: Correct return of Institution in Patron Info Resp

While the comment correctly notes that the order of variable length
fields is not fixed some units expect mandatory fields to
follow the sequence in the protocol definition and fail
parsing otherwise. Moved institution id to its expected
place in the patron information response.

Signed-off-by: Galen Charlton <gmcharlt@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Conflicts:

Sip/MsgType.pm

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1070466: Pack, then unpack total in debug_split_print.

The checksum needs to be a 16bit value, so we pack, then unpack the
checksum total in debug_split_print to guarantee that.  Some longer
messages have generated 32-bit checksums.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1070466: Print to STDERR in Sip/Checksum::debug_split_print.

debug_split_print was printing to STDOUT, which goes to the client. This
causes the client to hang up because it is not receiving the expected
response from the server.  Explicitly printing to STDERR in this
function resolves this and you can continue your session while also
debugging checksum calculations.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1336825 Fix log level on find_service warning

Sip::Configuration::find_service tries to log a warning when it does
not find a matching service defined for a given
address/port/protocol tuple.

This uses the correct LOG_WARNING log level, ensuring that the
desired message is logged.

Thanks to Jason Boyer for catching this!

Signed-off-by: Jeff Godin <jgodin@tadl.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Revert "LP#1296937: (follow-up) $ids_only is now the last parameter for ->charged_items"

This reverts commit c97d64412bc12a8df1a8734dcdb48b2bfba6362d.

Signed-off-by: Jeff Godin <jgodin@tadl.org>

LP#1296937: (follow-up) $ids_only is now the last parameter for ->charged_items

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1296937: Call _items functions with ids_only parameter

So that we don't do full lookups of titles when we only care about
counts.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Set langauge value for patron info response

Ensure the 3-char language field has a value (defaulting to '000') in
the patron info response.  Without the value, there is a 3-char offset
in the response message fixed fields.

Signed-off-by: Bill Erickson <berick@esilibrary.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Derefrence fixed fields in handle_fee_paid

Properly dereference fixed fields in handle_fee_paid so that the ILS layer receives fixed fields fee type, payment type, currency type

Fixes LP 1015227

Signed-off-by: Jeff Godin <jgodin@tadl.org>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>

Return proper renewal OK field on checkout fail

This will allow (hopefully) the self check to know that a renewal was
attempted on checkout failure (if the flag is set).

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Support "chargeable loans" via SIP2.

Pass FID_FEE_ACK to checkout message in MsgType.pm.

Also return fee info when checkout fails, so patron can
acknowledge the fee.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Bill Erickson <berick@esilibrary.com>

Replace failing unit tests with 17 valid checkout tests

These 17 checkout tests came from a 3M Vseries checkout running with the
UTF8 encoding set.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

AZ field also needs to be in the output message.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>
Signed-off-by: Dan Scott <dan@coffeecode.net>

Checksum calc needs to include the 'AZ' portion

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Convert checksum to hex value inside checksum() function

Rather than returning the integer value of the checksum and converting
that to a hex value only when it is appended to the returned message,
return the hex value from checksum() itself. This enables the unit tests
for Sip::Checksum to be run meaningfully.

Signed-off-by: Dan Scott <dan@coffeecode.net>

Restore Unicode checksum algorithm

This checksum algorithm was verified to work with
3M V-series self-check machines running with encoding
Unicode, which is important to sites with large
collections of non-English materials.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

encode to UTF8 consistently

In read_SIP_packet(), we decode the incoming packet as UTF8 and then
encode it again before writing to the log, but not before returning the
message. We were instead encoding the incoming message in a subsequent
call, which is not the recommended Perl practice of decoding input and
encoding output.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prevent corruption of SIP messages in logs

Non-ASCII characters were not being decoded before being
written to the logs, thus resulting in heinous corruption
in the logs. decode_utf8() is our friend.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Item extra ILS-defined fields

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Support ILS-defined extension fields

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Restore the debug code that was deleted in a previous commit,
per Joe Atzberger's suggestion.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Fix the properties of the Fee Paid message in MsgType.pm so that
the server actually parses the messages.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Fix checksum generation so that it actually works with clients.

Signed-off-by: Jason Stephenson <jstephenson@mvlc.org>

Check for sip_expire before trying to use it.

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Add FID_PATRON_EXPIRE where required for export.

Patron Expiration in PA

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>

Allow whitespace "lines" to be skipped during login

This keeps clients who might have bad line-endings in the game.
In particular, this would help systems where an expect-driven login
process might be different than the rest of the client interaction.

Die if no listeners in config, give better log messages

Also tighten debug messages: one warning at the end listing all failed is good enough.
Certainly better than just throwaway debug messages listing what we are going to try.
Otherwise if we succeeded, we don't need to know about the ones that failed, just
report the successful one.

Perltidy and cleanup.

VERSIONing, it's good for you.

Extension for exposing patron internal ID via Patron Information

Used by some AMH systems

Spec compliance on line-endings

\r not CRLF

An extra test from CASSIE

Note: checksumming is still NOT recommendedl

Adjust comment

Item Info extensions and general cleanup

Cleanup and adjustment

bad_barcode is is better than berick for clarity.

Update to current default EG values.

Startup and shutdown scripts

Adapted from the versions I wrote for Koha SIP

Perltidy/whitespace cleanup

Tiny comment

Disable checksums in tests

Holds test disabled by default (for evergreen)

Propagate $inst_id to checkout handler

Needed for holds routing logic

At least attempt to use the same formatting....

Catch undef parameter (avoid warning/failure on substr)

Use common vars from SIPtest (stop hardcoding individual tests)

Whitespace and stylistic cleanup only.

Use more of SIPtest.pm exported values, avoid hardcoding

Not an Exporter and not implemented

Avoid undef warning, provide lanuage failover to 000 (unknown/default)

Pure stylistic and whitespace changes

Failover to language '000' (unknown/default)

Tighter indent

Executable python script

Checksum computation overhaul

This adds advanced debugging of checksum computation.

Note: good sample data is lacking.  I think most of the actual
checksum lines included in the test are questionable.  The only
one that computes accurately seems to be the example from the
3M SIP Developers Guide that specifically addresses checksum
computation.  The others from the same guide seem invalid!

I think the debugging output suggests the implementation is
consistent with the specified instructions, despite unavailability
of sample data to confirm.

Debug output capability

whitespace cleanup

Extra read_it catches telnet confirmation prompt

Tests are executable

Robust string cleaning and flexible CRLF from Socket

Simple test showing telnet vs. RAW handling.

Cleanup and more paranoid whitespace filtering

Kill useless sub _count_tests

Correct log message: Sip::MsgType::_initialize

not Sip::MsgType:_initialize (one colon)

Get rid of weird evals, useless use's

There are no scripts committed that use DATA handles, so those
eval blocks are not part of a known application.  And that
behavior is super sketchy, especially with multiple scripts, likely
in combination!

LOG_ERROR is not a valid loglevel.

LOG_ERR is.

Append extensions fields to checkin response

Add back FID_HOME_LIBRARY

Patron password is a required field

Alert type is part of the checkin extensions

Add 3M extension constants and structuralize EXPORT_TAGS

LOG_WARN is not a valid syslog loglevel

LOG_WARNING is.

Proper id (copy/paste error)

Script should be executable.

Alarm messages that mean something.

Additional log messages, or log message content borrowed from my work on Koha.
Also some blasts of perltidy.

Allow log ident string to be pulled from ENV

This supports running multiple SIP interfaces on the same box,
even as the same user.

Initial Commit

From openncip.cvs.sourceforge.net:/cvsroot/openncip
.gitignore added

Dan Scott's patch:

Item status response 18 was returning CJ0|CM0| which are invalid
according to the SIP2 specification; they should either be
18-char fixed fields or not there at all (as they're optional).

It looks like it was just a reversed test. In looking through
Sip/MsgType.pm in that area, I put together a patch which
prevents those fields from being generated if the incoming value
is 0 - and separates out the value assignment & test into
separate statements, which should make the code a bit easier to
read.

As an aside, I believe the same problem was preventing the due
date (AH) from being returned in the item status response.

Minor fix to UTF8 support

Various utf8 fixes

Restore the byte-by-byte checksum method, since the Unicode-aware
version breaks with very new 3M self-check units, according to dbs.

Fix missing parens in hash dereference

Log incoming connections promptly

Only try to strip off the leading newline if there's actually
content in the record at all (eliminate perl 'Use of
uninitialized value' warning).

Untested fix for dealing with the incorrect record terminators
transmitted by Cen-Tec self-check hardware.

Handle various dates associated with items consistently.

Add copyright statements