Ebook processing - more pythonic string coercion

Avoid the regurgitation of errors due to trying to add a string to an
integer

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks script code cleanup

Lots of accumulated whitespace / line length code convention issues.
This makes pylint happier (from 8.65 to 9.44).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Adding 2 options to prep_ebook_records.py script

This supports 2 additional options to Dan Scott's ebook script:

    -t / --tcn : The name of the file to route TCN duplicates to.

The tcn search takes the 001 and does an OpenSRF open-ils.search.biblio.tcn
call.

   -u / --url : The name of the file to route URL duplicates to.

The url search is based on the 856u field and is done with the OpenSRF
open-ils.search.biblio.multiclass.query call.

Signed-off-by: Art Rhyno <art632000@yahoo.ca>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add a gale code for the Gale electronic resources

Every electronic resource provider has to be different, eh? Sheesh.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Leddy to the list of libraries for circ_date_to_expire

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP: Create and push barcodes from Web UI

Now that we're beyond basic testing, go ahead and create accounts or
push barcodes into LDAP for realz.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ensure we only generate unique barcodes

Rather than looping over existing barcodes only when we update the
patron account, let's not return duplicate barcodes in the first place,
mmmkay?

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prep for use in mod_wsgi

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use synchronous methods and cleaner results

Rather than calling ldap.result(), which results in awkward lists of
lists which are hard to handle, just iterate over the results from
ldap.search_s() (which, btw, is now a synchronous call).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Revert debug code that showed all LDAP attributes

Not that I mind verbosity, but unless you request the custom attributes
specifically, you only get the default LDAP attributes. And I'm more
interested in the custom ones.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Experimental web.py frontend for creating Conifer accounts

Use web.py to surface a simple Web UI for generating Conifer accounts
based on the Laurentian ID of a given user. Required a little
refactoring of ldap_osrf_sync to make it usable as a module rather than
just as a script, but that's all for the better.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Carry over the leader from the original record

We iterate over every field of the original record to create the new
record. Except... the leader is not an iterable field. So we were
pushing default leaders onto every new record we were creating. That
is... suboptimal to the max.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Update codes for new located URI scoping behaviour

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Avoid double-proxying boreal links

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Address encoding errors due to 1st UTF8 usage in options

We have to tell Python that our strings are UTF-8, naturally.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Boreal to the ebook handling script

Also simplify some code paths through the power of Python list
comprehensions and dictionaries, instead of repetitive code.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Fully-qualified CN is not a good basis for email addresses

Not unless you really like cn=Foo,ou=Bar@foobar.ca as an email address,
anyway.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Generate email addresses where none are in LDAP

Per discussion with MLaferriere, we should expect to see LDAP entries
without a 'mail' attribute, and should build email addresses based on
the CN. For additional flourish, append @laurentian.ca or
@laurentienne.ca based on the language preference.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP sync: If EG user found, reactivate

In theory, we won't be asked to create a user that already exists in
Evergreen if they are already there and active. So, go ahead and set the
"active" flag to true and update the account expiry date when we are
asked to create an existing user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

More robust identity value handling for LDAP tooling

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Adjust to new values of permission groups in 2.1

We shifted the permission group IDs when we upgraded to 2.1 and have to
compensate accordingly in this hard-coded script.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add located URI update script (PGSQL function)

Given MARCXML, modifies the 856 $9 subfields to map to owning systems
rather than individual branches to address the located URI visibility
change in 2.1.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP: More robust processing and error reporting

Don't die if we don't have an lulColleagueId; spit out the attributes
that we have ready at hand to help identify the problem record.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Don't srip our own 924 field from the record

Also, a lot of other changes to make the ebrary option actually work.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebrary CEL: Work towards ebook requirements

Of most importance, copy the incoming 001 value identifying the Ebrary
record into the 924 for use in SFX lookups.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Boreal preferences for ebooks

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Handle "thornloe" profile

Apparently our LDAP system or a system upon which it depends is either
enforcing an 8-char limit for some reason, or we have to deal with
typos. Whatever.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP patron load: map "thornloe" to staff

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP patron load: handle more errors more gracefully

It's possible for users in LDAP to not have email; instead of absolutely
dying, just warn and move on to the next user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Don't update the barcode if user was not created

Check the return value and bail if the user creation was a failure.
For large updates, one can use --create and --push to update barcodes
for users who already exist.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use the new opt_in_override method to search for users

Now that we have the opt_in_override method, use it to find users who
might exist in any OU in the consortium, rather than just the
workstation OU.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add and use a patron search that overrides opt-in invisibility

Something like this is required for API calls that need to operate
against a number of libraries in a given instance that are using opt-in;
otherwise, attempts to search for users will fail and you may end up
creating near-duplicates etc.

The implementation adds an
open-ils.actor.search.patron.advanced.opt_in_override method to
open-ils.actor, which, if invoked, checks to see if the caller has the
OPT_IN_OVERRIDE permission. If so, then the crazy_search ignores the
normal opt-in limits and searches all pertinent users in the database.

As a global permission, OPT_IN_OVERRIDE is a blunt instrument. Others
might want to put together a more refined version that uses OU depths to
define boundaries.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Conflicts:
Open-ILS/src/perlmods/lib/OpenILS/Application/Actor.pm
Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Publisher/actor.pm

More defensive error handling

When users aren't opted-in, we can't search for them. Fiddlesticks! This
was breaking the script rather annoyingly; now we print out an error and
move on to the next user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Correct a dangling reference to a raw variable

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Pass User objects rather than raw vars

Also strip out functions that are not used in this script relating to
the creation of barcodes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Handle new 'Proxy' lulAffiliation a bit more gracefully

In general, if we don't have an explicit profile, just return.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

New --push-barcode option updates LDAP with Evergreen barcodes

By default, the --create-users option will update LDAP with the new
barcode that was generated for the new users.

One can also use a --query of some type and pass --push-barcode to
retrieve the barcodes for all of the LDAP users from Evergreen and then
push those barcodes into their respective LDAP accounts.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Generate barcodes and push them into LDAP

Call the new custom API to open-ils.actor for generating barcodes;
accepts one argument, user ID, which gets the barcode set to their new
value. If no arg is passed, just generates a new barcode and returns it
(should be useful on the patron editor screen).

As far as pushing the barcodes into LDAP goes, I can't confirm that the
updates are actually working, because I can't see them, but the lack of
errors suggests that it's working.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Command line options for queries and actions

Use the argparse module to enable override of user/password/hostname
options at the command line, as well as to enable different types of
queries (for example, via LDAP cn / sn / id / createTimestamp) and
enable particular actions (display the LDAP data and/or create new users
in Evergreen).

Much better than manually editing the script each time.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Getting LDAP synchronization production ready

* Search for user before attempting to create the user
* Set the default expiry date by profile
* Document how we're currently populating barcodes

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Get working OpenSRF integration, genericize a bit

Still need to teach the beast how to provision barcodes, then write
those back to LDAP as well. Pushing the LDAP mapping into the User class
init method seems like a reasonable way to genericize this a bit; sites
could replace the User class implementation.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Towards a periodic OpenSRF-speaking LDAP patron sync script

Still need to factor out the mapping of LDAP schema to Evergreen
attributes further but patience, patience.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

What we _actually_ ran for the first load of student data

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add lulStudentLevel filter for students

Prefer lulStudentLevel to distinguish between undergrad and grad
students.

Left-pad, with zeroes, Colleague IDs that are shorter than 7 digits.

Don't update names from LDAP as they appear to lack Unicode support.

Sundry small pylint fixes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

It's nice when a script actually runs

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Avoid generating barcodes that are already in the database

And complain when we get a colleague ID that is not the expected size.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Push errors to STDERR consistently

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Clean up LDAP synchronization tool further

A few syntax errors here, a few logic errors there... that's what we
have test servers for.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add email address into COPY input

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Fix filter error, improve key existence test

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Break barcode generator into smaller pieces

This should make it easier to expose evergreen.lu_generate_barcode() for
manual purposes (e.g. for creating a new user on the fly in the Register
Patron UI).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Progress on the LDAP patron loading script

Many functions defined and individually tested, still need to put this
together in working order.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Progress towards reality - generating staging table inserts

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LU loaded T&F content onto ebrary, thus no CRKN T&F for them

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add a script for quickly checking for encoding errors

Also update the ldap_sync script to be more grown-up.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Way too little LDAP code

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Laurentian _does_ have T&F - just not on ScholarsPortal for now

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Automate the CRKN processing with a little script

Parallelized via ( &) for your convenience.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ensure fixed fields are correct and avoid bad public notes

One more iteration based on the UWin team's set of feedback on the
hopefully penultimate processing round for the CRKN records.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add a few more T&F data uncorruption fixes

Note that we're now seeing conflicting patterns, so some
legitimate characters are getting corrupted by the script,
while others could go either way (l stroke vs modifier prime).
As long as the fix rate is 95%+ then I'm happy.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

And append the ' ; ' to 506 $b as well

In our refactoring, we messed up the 506 $b. Sigh.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

For the Oxford vs. Cambridge thing, add periods

We lost consistency due to the sorting out of the combined CUP & OUP
MARC records in that the hard-coded publisher names did not end with a
period.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Be more consistent when applying the period to 710 $a

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Refine based on feedback from Windsor

1) 506 $a and $b both need to end with ' ; '; try to make this happen
   even if the command line is screwed up.

2) Ensure the incoming 710 $a ends with a period.

Also, do not generate a 506 for Algoma if publisher == Cambridge

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add more carons, based on outliers from CRKN_OUP

Note that in at least one case, this would result in MUSICA becoming
MSICA. Sigh. Finally the conflicts arrive.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Correct I BREVE for Mr. Sakharov

We were adding an extra i to the composed I BREVE chars.

Also log diffs so we can eyeball the changes and know that they are
good.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Replace C with acute accent as well

Signed-off-by: Dan Scott <dscott@laurentian.ca>

More search and replace operations

S cedilla, combining ligatures, modifier letter prime

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use composed breves, add combining dot above

Signed-off-by: Dan Scott <dscott@laurentian.ca>

R CARON is another good one

Signed-off-by: Dan Scott <dscott@laurentian.ca>

S with combining acute accent (lower and uppercase)

We can use the composed codepoint for these instead of going the
decomposed route, for more accuracy and great justice.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Apply the modified letter half ring throughout

Looks like it can be an inplace modification, so let's do it.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Combining breve for Mr. Sakharov

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Iterating through CRKN_OUP.mrc for more corruption to fix

Tildes, accute accents, cedillas, we got em all.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Begin addressing the specific manglings of the CRKN records

To begin with, correct the mangled macrons and modifier letter half ring
that are popular in the Arabic language. Here's hoping that correcting
these byte sequences doesn't lead to corruption elsewhere.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Reuse an existing 040 if possible

The switcharound left us still appending the 040 to the new record,
which had no fields, rather than amending the existing 040 on the
incoming record.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Support optional --platform argument

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Revert inadvertent damage caused by last commit

Two different copies of the Conifer repo = damage!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Check for 020$z, 024$a,$z for ISBNs

Either our MARC record sources are horribly corrupted, or the SFX
knowledge base is questionable, or both, as we're having to search
cancelled/invalid/non-ISBNs to get matches in SFX for our electronic
records.

Also, use 506 $9 to record our institutional ID in authorization notes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Refine the 506 $3 punctuation decision

From Graham Staffen:

My definitive answer (until I develop a revised definitive answer) is
that a period would always punctuate the end of the subfield except in
two instances: 1) a closing parenthesis, 2) a closing square bracket. I
have this from our MARC coding trainer who could think of no other
instances when a period is not employed.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Include an ISBN in the error log if available

This should help with identifying problem records.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Include record count in 598 $c, conditional . in 506 $e

We might as well include the record offset in the 598 so that we can
track which record includes a given problem.

Also, according to Shuzhen, we only want to add a period at the end of
the 506 $e subfield in particular cases (like when it ends in a letter
or number; not with punctuation).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Final (?) tweaks for ebook processing

  * 506 punctuation
  * Enable Algoma to not have 856s in Cambridge records
  * Add the --platform option (although we might not use it)

Dan Scott <dscott@laurentian.ca>

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add 598 field to track MARC file source

Also shift 506 institutional code to subfield 9 despite the MARC
standard suggesting that it should be in subfield 5.

Also add semicolons to the 506 fields for better display. Still
need to add spaces, though.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Change link text for Windsor to "Available online"

Per proposal #1 of the June 22, 2011 Conifer ebook specification
document, Windsor wanted to change their link text to the simpler
"Available online". Making it so.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Check for a hit in SFX for every library we have enabled

It's possible that one of the libraries has not yet turned on a given
target in SFX, so we don't want any false negatives. And if a library
hasn't opted into a particular package, they shouldn't be one of the
enabled flags passed to this script.

Also, clean up ISBN marking and access note creation, as we were
modifying the wrong MARC record.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Implement ISBN lookup in SFX

Check the SFX knowledgebase for a matching ISBN and mark it via the
magical $9 SFX subfield so that we can key off of that for subsequent
queries via the catalogue.

Given that only one library may be running this script for a set of
ebook records, ensure that we're checking the results.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

On closer inspection, 506$e != 710$a

The 710 is being used for the imprint, while the 506$e is being used to
identify the online platform.

It's questionable whether this should be required - for example, a 506
wouldn't be necessary for Project Gutenberg materials - but let's go
with that for now anyway.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add 506 note handling per Windsor proposal

The 506 note is for access restrictions; we will generate one 506 field
per instutition, with a customized $a message, the consortial license
identified in the $b, and the publisher in $e, along with the library
symbol in $5 to enable the catalogue to control the display of the
message in an appropriate scope.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Conifer's laundry list of tools and scripts

Again, in the interest of expediency, get the Conifer tools into a
branch, we can factor them out further later.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add params support to show in opac function

Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Ben Shum <bshum@biblio.org>

LP#1175287: make sure tsearch2 is removed, regardless of its origin

A sufficiently old Evergreen database might still have tsearch2
exist as an unpackaged contrib, so convert it to an extension first.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

adjust release notes references to refer to 2.4.0

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

update upgrade instructions for 2.4.0 release

- specify minimum supported PostgreSQL version as 9.1
- specify minimum supported OpenSRF version as 2.2.0
- update schema upgrade instructions and miscellaneous
  references to 2.3

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

revisions to installation instructions

- Remove references to PostgreSQL 9.0; 9.1 is recommended
  for Evergreen 2.4.
- Clarify that the latest version of OpenSRF now means 2.2
  or later.
- Increase chances that somebody following the instructions
  precisely doesn't run into a problem during the configure step.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Signed-off-by: Mike Rylander <mrylander@gmail.com>

Make sure the "running" indicator goes away

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

Add a $cache_timeout-based backstop for infinite loops

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

"Queue Compression" -- let one do the work for all identical, concurrent searches

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>

LP#1174359: follow-up on dropping the reporter.classic_item_list view

Add note for the benefit of any Evergreen admin who may
need to recreate that view.  Also, update the point schema
update script.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>

LP#1174359 Need to drop reporter.classic_item_list

ERROR: cannot drop view metabib.full_rec because other objects depend on it
DETAIL: view reporter.classic_item_list depends on view metabib.full_rec
HINT: Use DROP ... CASCADE to drop the dependent objects too.

Beginning at line 55 of the upgrade script, several views and functions are dropped
so metabib.full_rec can be dropped. One of them is missing.

We need to drop reporter.classic_item_list as well, for the script to work.

Signed-off-by: Michael Peters <mpeters@emeralddata.net>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>