Recognize more DOIs for Springer books

Signed-off-by: Dan Scott <dan@coffeecode.net>

Use the HTTPS version of Scholars Portal books

Signed-off-by: Dan Scott <dan@coffeecode.net>

Stop appending periods to publisher/platform

Signed-off-by: Dan Scott <dan@coffeecode.net>

Add a date cutoff option for Scholars Portal books

Signed-off-by: Dan Scott <dan@coffeecode.net>

Tweak for better Oxford Scholarship Online handling

Use the DOI to determine platform for 956 Springer

Signed-off-by: Dan Scott <dan@coffeecode.net>

Run black and pylint-3 against prep_ebook_records.py

Signed-off-by: Dan Scott <dan@coffeecode.net>

Add an input pattern to the web UI for patron-load

Signed-off-by: Dan Scott <dan@coffeecode.net>

More robust patron-load interface

Feels bad to be hard-coding the path in the template, but something in
the reverse proxy broke, so let's just ensure that we're complying with
expectations. Not a bad thing to add in an isnumeric() check for
example.

Signed-off-by: Dan Scott <dan@coffeecode.net>

Robustify in face of new affiliation: "Collaboration"

Also map "Collaboration" to the same as "Affiliate" (Staff).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Tweak graduate vs. undergraduate profile determination

If lulPrimaryAffiliation = 'Student', we also need to check
lulStudentLevel to determine if they are graduate or undergraduate
students.

Signed-off-by: Dan Scott <dan@coffeecode.net>

Python is case-sensitive, remember?

Signed-off-by: Dan Scott <dan@coffeecode.net>

Another invalid Colleague ID pattern to skip over

Signed-off-by: Dan Scott <dan@coffeecode.net>

Be really strict about invalid lulColleagueId values

Signed-off-by: Dan Scott <dan@coffeecode.net>

Prefer URIs for relators in RDA fields

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Support Python 3

Switch to requests and beautifulsoup4 modules, use the
interoperable print() function, adjust to the updated
exceptions approach, and use dict.items() instead of
the (gone) dict.iteritems().

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prefer RDA fields (33x) to GMD

Strip out the GMD (245 $h) and add 336, 337, 338 fields
that include our desired content, media, and carrier.

These should probably be made optional as well, for example
for different content types, or for records that are already
RDA-compliant.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add a "cut-field" option to strip fields

Note that this will strip all instances of the field from every
record, so use with care.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Make 'consortium' flag optional

As not all purchases are consortial in nature.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ensure the leader says we are a text record

Of course, we might want to revisit this with an option to support serials as
well.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prep ebooks: we know if it's Springer

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Off-by-one error in 008 munging

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Avoid entering entirely empty library hours

If every day is closed, then calculating a due date leads to infinity. Which
wreaks havoc on your database queries...

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Hours parsing tool

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Don't label the 956 platform, because we know not what it is

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Clean up ISBN fields while we're processing

Might as well put junk into 020q if we have it.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Args can be UTF8 people too!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Hack to support Oxford DOIs in 956 fields

ScholarsPortal MARC records put Oxford DOIs in their 956 fields instead
of 856; let's use both of them and hope that no other records use a 956
that doesn't actually resolve.

Also, if the URL is for books.scholarsportal.info, identify
ScholarsPortal as the platform.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Default to HTTPS for ebook / SFX links

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Script for generating cover images

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Connect to the right OpenSRF host for authentication

Signed-off-by: Dan Scott <dscott@laurentian.ca>

We don't have a code for some exceptions

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Refine Alumni mappings

Give them the correct (non-reader) profile mapping and 5 years expiry
date, because alumni never really expire.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prefer primary affiliation over student level

When figuring out the intended profile for a given account, let primary
affiliation win; we have accounts that started as students and are now back as
faculty, and the lulStudentLevel still identifies them as undergrads. That
ain't right!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Update profile mappings for faculty and grads

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add visitor profile parsing

We have a strange category of students who come here for the summer but are not
officially LU students, so treat them as visitors. More work may need to be
done to distinguish them from guests.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Skip NO_COLLEAGUE_ID situation

Rather than literally using "NO_COLLEAGUE_ID" as the colleague ID, refuse to
create or update the corresponding record. Any LDAP records created through the
normal process should have colleague IDs, even for visitors/guests.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Make loginExpirationTime attribute great again

If the LDAP record has this attribute, it should trump everything.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Support query parm of "creation end time"

Having both a start and end time enables staging of
updates over swathes of users by time.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add platform identifier to the 856 link text

We want "Available online / Disponible en ligne (<platform>) so let's do
that.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Remove Windsor options from book script

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Colleague IDs are now alphanumeric

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Guest affiliates map to Reader accounts

Signed-off-by: Dan Scott <dscott@laurentian.ca>

When updating a user, do not reset their password

Also, avoid a logic issue where if we have the barcode in hand it
prevented us from syncing the user's attributes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Repopulate bookbags based on ACQ funds

Now that we're using acquisitions, commit ourselves to an approach that
populates our existing bookbags using the fund codes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Make the web form reflect the patron load/update

Now that we sync the LDAP attributes directly through the web form, tell
the user that.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Improve debug output

For some exceptions, we don't get a message object with an info key, so
be more tolerant.

Also, dump the DN when we dump the general data.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Alumni (from DN) trumps all else

We need to reflect Alumni status, which comes only from the DN, rather
than from the primary affiliation, etc, so trump everything else with
that.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use the lower-case version of the CN

Because CamelCase names don't work well when people are logging in with
lower case names.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Fix an "always OSUL" thinko

A conditional that always returns true but looks conditional is a little
nasty!

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Do not create accounts for applicants

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Do a better job of tolerating missing credentials.py

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Adjust ldap_osrf_sync for generic BC generation

Signed-off-by: Dan Scott <dscott@laurentian.ca>

EResource handling improvements

* Add the ability to read (via -F xml) and write (via -T xml) MARCXML
  records. Writing XML records will place one per line, making it
  ideal for inserting into a database via COPY().
* Make the "Mark ISBN for SFX" functionality optional via the -I flag,
  as not all electronic resources have ISBNs. (Hi, journals and music
  records).
* Reduce code duplication significantly

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Insert fields in order in ebook processing

pymarc 2.8.5 offers the add_ordered_field() method for inserting fields
in the correct numerical order in the record - so use that. Note that
you may have to run "easy_install --upgrade pymarc" to get the latest
version of pymarc installed.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Delete ILL copies as well as ILL call numbers

Evergreen 2.3 likes to show available copies in the holdings maintenance
window even if the parent call numbers are deleted. So, do what we
should have done before and delete the copies too.

Guard against deleting copies that have been renewed rather than having
their due dates extended.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks: Only output one record, no matter how many dupes

If you specify dupe-checking by TCN, URL, and ISBN, you only want to
generate one output record per input record, no matter how many types of
matches you get - so short-circuit the logic.

Also, handle the case where you're not specifying all dupe checks :)

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks: Laurentian's wildcard cert expired, use plain HTTP

Rather than frightening people with expired certificate warnings in
their browser, just send them to HTTP. Sigh.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks: handle multiple dupe options

process_fields() modifies the base record, and we were inadvertently
running the base record through the ringer every time we checked for
dupes - which would be evidenced by the addition of one 506 and 590 per
consortial member per dupe check we ran.

In the process of cleaning this up, try to dedupe some of our own code
(heh). We can probably go futher but this is a good start.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks: add an option to clean diacritics

Some sets of records seem to come with cleaner diacritics than others.
Huzzah for an increasingly UTF8 world?

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebook processing - more pythonic string coercion

Avoid the regurgitation of errors due to trying to add a string to an
integer

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebooks script code cleanup

Lots of accumulated whitespace / line length code convention issues.
This makes pylint happier (from 8.65 to 9.44).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Adding 2 options to prep_ebook_records.py script

This supports 2 additional options to Dan Scott's ebook script:

    -t / --tcn : The name of the file to route TCN duplicates to.

The tcn search takes the 001 and does an OpenSRF open-ils.search.biblio.tcn
call.

   -u / --url : The name of the file to route URL duplicates to.

The url search is based on the 856u field and is done with the OpenSRF
open-ils.search.biblio.multiclass.query call.

Signed-off-by: Art Rhyno <art632000@yahoo.ca>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add a gale code for the Gale electronic resources

Every electronic resource provider has to be different, eh? Sheesh.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Leddy to the list of libraries for circ_date_to_expire

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP: Create and push barcodes from Web UI

Now that we're beyond basic testing, go ahead and create accounts or
push barcodes into LDAP for realz.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ensure we only generate unique barcodes

Rather than looping over existing barcodes only when we update the
patron account, let's not return duplicate barcodes in the first place,
mmmkay?

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Prep for use in mod_wsgi

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use synchronous methods and cleaner results

Rather than calling ldap.result(), which results in awkward lists of
lists which are hard to handle, just iterate over the results from
ldap.search_s() (which, btw, is now a synchronous call).

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Revert debug code that showed all LDAP attributes

Not that I mind verbosity, but unless you request the custom attributes
specifically, you only get the default LDAP attributes. And I'm more
interested in the custom ones.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Experimental web.py frontend for creating Conifer accounts

Use web.py to surface a simple Web UI for generating Conifer accounts
based on the Laurentian ID of a given user. Required a little
refactoring of ldap_osrf_sync to make it usable as a module rather than
just as a script, but that's all for the better.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Carry over the leader from the original record

We iterate over every field of the original record to create the new
record. Except... the leader is not an iterable field. So we were
pushing default leaders onto every new record we were creating. That
is... suboptimal to the max.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Update codes for new located URI scoping behaviour

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Avoid double-proxying boreal links

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Address encoding errors due to 1st UTF8 usage in options

We have to tell Python that our strings are UTF-8, naturally.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Boreal to the ebook handling script

Also simplify some code paths through the power of Python list
comprehensions and dictionaries, instead of repetitive code.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Fully-qualified CN is not a good basis for email addresses

Not unless you really like cn=Foo,ou=Bar@foobar.ca as an email address,
anyway.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Generate email addresses where none are in LDAP

Per discussion with MLaferriere, we should expect to see LDAP entries
without a 'mail' attribute, and should build email addresses based on
the CN. For additional flourish, append @laurentian.ca or
@laurentienne.ca based on the language preference.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP sync: If EG user found, reactivate

In theory, we won't be asked to create a user that already exists in
Evergreen if they are already there and active. So, go ahead and set the
"active" flag to true and update the account expiry date when we are
asked to create an existing user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

More robust identity value handling for LDAP tooling

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Adjust to new values of permission groups in 2.1

We shifted the permission group IDs when we upgraded to 2.1 and have to
compensate accordingly in this hard-coded script.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add located URI update script (PGSQL function)

Given MARCXML, modifies the 856 $9 subfields to map to owning systems
rather than individual branches to address the located URI visibility
change in 2.1.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP: More robust processing and error reporting

Don't die if we don't have an lulColleagueId; spit out the attributes
that we have ready at hand to help identify the problem record.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Don't srip our own 924 field from the record

Also, a lot of other changes to make the ebrary option actually work.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Ebrary CEL: Work towards ebook requirements

Of most importance, copy the incoming 001 value identifying the Ebrary
record into the 924 for use in SFX lookups.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add Boreal preferences for ebooks

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Handle "thornloe" profile

Apparently our LDAP system or a system upon which it depends is either
enforcing an 8-char limit for some reason, or we have to deal with
typos. Whatever.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP patron load: map "thornloe" to staff

Signed-off-by: Dan Scott <dscott@laurentian.ca>

LDAP patron load: handle more errors more gracefully

It's possible for users in LDAP to not have email; instead of absolutely
dying, just warn and move on to the next user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Don't update the barcode if user was not created

Check the return value and bail if the user creation was a failure.
For large updates, one can use --create and --push to update barcodes
for users who already exist.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Use the new opt_in_override method to search for users

Now that we have the opt_in_override method, use it to find users who
might exist in any OU in the consortium, rather than just the
workstation OU.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Add and use a patron search that overrides opt-in invisibility

Something like this is required for API calls that need to operate
against a number of libraries in a given instance that are using opt-in;
otherwise, attempts to search for users will fail and you may end up
creating near-duplicates etc.

The implementation adds an
open-ils.actor.search.patron.advanced.opt_in_override method to
open-ils.actor, which, if invoked, checks to see if the caller has the
OPT_IN_OVERRIDE permission. If so, then the crazy_search ignores the
normal opt-in limits and searches all pertinent users in the database.

As a global permission, OPT_IN_OVERRIDE is a blunt instrument. Others
might want to put together a more refined version that uses OU depths to
define boundaries.

Signed-off-by: Dan Scott <dscott@laurentian.ca>
Conflicts:
Open-ILS/src/perlmods/lib/OpenILS/Application/Actor.pm
Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Publisher/actor.pm

More defensive error handling

When users aren't opted-in, we can't search for them. Fiddlesticks! This
was breaking the script rather annoyingly; now we print out an error and
move on to the next user.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Correct a dangling reference to a raw variable

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Pass User objects rather than raw vars

Also strip out functions that are not used in this script relating to
the creation of barcodes.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Handle new 'Proxy' lulAffiliation a bit more gracefully

In general, if we don't have an explicit profile, just return.

Signed-off-by: Dan Scott <dan@coffeecode.net>
Signed-off-by: Dan Scott <dscott@laurentian.ca>

New --push-barcode option updates LDAP with Evergreen barcodes

By default, the --create-users option will update LDAP with the new
barcode that was generated for the new users.

One can also use a --query of some type and pass --push-barcode to
retrieve the barcodes for all of the LDAP users from Evergreen and then
push those barcodes into their respective LDAP accounts.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Generate barcodes and push them into LDAP

Call the new custom API to open-ils.actor for generating barcodes;
accepts one argument, user ID, which gets the barcode set to their new
value. If no arg is passed, just generates a new barcode and returns it
(should be useful on the patron editor screen).

As far as pushing the barcodes into LDAP goes, I can't confirm that the
updates are actually working, because I can't see them, but the lack of
errors suggests that it's working.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Command line options for queries and actions

Use the argparse module to enable override of user/password/hostname
options at the command line, as well as to enable different types of
queries (for example, via LDAP cn / sn / id / createTimestamp) and
enable particular actions (display the LDAP data and/or create new users
in Evergreen).

Much better than manually editing the script each time.

Signed-off-by: Dan Scott <dscott@laurentian.ca>

Getting LDAP synchronization production ready

* Search for user before attempting to create the user
* Set the default expiry date by profile
* Document how we're currently populating barcodes

Signed-off-by: Dan Scott <dscott@laurentian.ca>