Replace vandelay.match_bib_record() with the new tree-y version

Merge branch 'vandelay-improvement' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Improvements to search tuning

 * Move to in-core fts function, instead of the compat wrapper provided by the tsearch2 contrib
 * Provide default cover density tuning (config file)
 * Move default preferred language settings from storage to search, where they make more sense

More on the CD tuning:

  Evergreen uses a cover density algorithm for calculating relative ranking of matches.  There
  are several tuning parameters and options available.  By default, no document length normalization
  is applied.  From the Postgres documentation on ts_rank_cd() (the function used by Evergreen):

      Since a longer document has a greater chance of containing a query term it is reasonable
      to take into account document size, e.g., a hundred-word document with five instances of
      a search word is probably more relevant than a thousand-word document with five instances.
      Both ranking functions take an integer normalization option that specifies whether and how
      a document's length should impact its rank. The integer option controls several behaviors,
      so it is a bit mask: you can specify one or more behaviors using | (for example, 2|4).

          0 (the default) ignores the document length

          1 divides the rank by 1 + the logarithm of the document length

          2 divides the rank by the document length

          4 divides the rank by the mean harmonic distance between extents (this is implemented only by ts_rank_cd)

          8 divides the rank by the number of unique words in document

          16 divides the rank by 1 + the logarithm of the number of unique words in document

          32 divides the rank by itself + 1

      If more than one flag bit is specified, the transformations are applied in the order listed.

      It is important to note that the ranking functions do not use any global information, so it
      is impossible to produce a fair normalization to 1% or 100% as sometimes desired. Normalization
      option 32 (rank/(rank+1)) can be applied to scale all ranks into the range zero to one, but of
      course this is just a cosmetic change; it will not affect the ordering of the search results.

  In Evergreen, these options are set via search modifiers.  The modifiers are mapped in the
  following way:

      * #CD_logDocumentLength  => 1  :: rank / (1 + LOG(total_word_count))   :: Longer documents slightly less relevant
      * #CD_documentLength     => 2  :: rank / total_word_count              :: Longer documents much less relevant
      * #CD_meanHarmonic       => 4  :: Word Proximity                       :: Greater matched-word distance is less relevant
      * #CD_uniqueWords        => 8  :: rank / unique_word_count             :: Documents with repeated words much less relevant
      * #CD_logUniqueWords     => 16 :: rank / (1 + LOG(unique_word_count))  :: Documents with repeated words slightly less relevant
      * #CD_selfPlusOne        => 32 :: rank / (1 + rank)                    :: Cosmetic normalization of rank value between 0 and 1

  Adding one or more of these to the default_CD_modifiers list will cause all searches that use QueryParser to apply them.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20180 dcc99617-32d9-48b4-a31d-7c20da2025e4

one more fix, for Show in Catalog on issuance holds

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20178 dcc99617-32d9-48b4-a31d-7c20da2025e4

display issuance label, not subscription label

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20176 dcc99617-32d9-48b4-a31d-7c20da2025e4

add Part Holds to Actions for this Record -> View Holds.  Also add xul support for displaying issuance holds (needs testing)

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20174 dcc99617-32d9-48b4-a31d-7c20da2025e4

support Part Holds in xul lists

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20171 dcc99617-32d9-48b4-a31d-7c20da2025e4

no need to flesh the record here

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20170 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Working ML method to update a tree

typo

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20168 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

improve comments on a couple config tables

Based on suggestions from Mike Rylander and Thomas Berezansky.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20162 dcc99617-32d9-48b4-a31d-7c20da2025e4

script to update DB object comments

New script, update-db-comments.sh, to be run as part of upgrades
to refresh comments on database schema objects.  Usage is:

  update-db-comments.sh db-host db-port db-name db-user db-pass

The helper script grab-db-comment.pl is what actually parses out
the comment statements.

To avoid repetition, the list of default SQL scripts to use when
initializing an Evergreen database has been moved to a new file
called sql_file_manifest.

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20161 dcc99617-32d9-48b4-a31d-7c20da2025e4

minor improvements to database object comments

* remove copyright, license verbiage, and C-style comment marking
  from the comments; these can live in the SQL scripts
* updated several copyright headers
* minor improvements to documentation of a couple tables

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20160 dcc99617-32d9-48b4-a31d-7c20da2025e4

fixes Edit Volumes action by flattening the volume objects before updating them

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20158 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Terminology change, more consitent with existing crad editor

make the "Your Expression" preview more accurate by

showing "NOT (a OR b OR c)" instead of "(a NOR b NOR c)".

This really only matters in the case of a single clause inside the
negated expression:

Now such a thing shows up as "NOT (a)" versus "(a)"

in the MARC Editor, put the callnumber and barcode textboxes for Fast Item Add on a separate row

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20151 dcc99617-32d9-48b4-a31d-7c20da2025e4

Enable relative paths in i18n testing scripts

We were 98% of the way there; now we no longer need to
cd into the same directory as the i18n testing scripts
to run them with meaningful output. Should be useful
for adding these to the CI server.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20148 dcc99617-32d9-48b4-a31d-7c20da2025e4

Don't check .js files for entities

Must have asked this script to check JS files for valid entities
for a reason at some point in the dark past, but it couldn't have
been a very good reason; we're getting a false positive that needs
to be hushed now. Better to just stop looking for XML entities in
JavaScript.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20145 dcc99617-32d9-48b4-a31d-7c20da2025e4

Empty strings in oils_i18n_gettext() throw i18n errors

When you run 'make newpot', if you have an empty string in an
oils_i18n_gettext() function, you'll see errors like:

Error in line 1712 of SQL source file: 'NoneType' object has no attribute 'group'

This satisfies the i18n build process and also serves as a
more evident placeholder for expanded descriptions if someone
feels so inclined in the future.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20139 dcc99617-32d9-48b4-a31d-7c20da2025e4

Add new macros for print templates.

%-TRIM%
Trims whitespace before the macro

%TRIM-%
Trims whitespace after the macro

%SUBSTR(#)%...%SUBSTR_END%
Take substring starting at position # to end of string.
If # is negative count backwards from end of string.

%SUBSTR(#,#)%...%SUBSTR_END%
Same as previous, but limit to second provided number characters after start point.
If second number is negative, count backwards instead of forwards.

TRIM macros inside of SUBSTR will be replaced first, then SUBSTR, then TRIM outside of SUBSTR.

Author: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Thomas Berezansky <tsbere@mvlc.org>
Signed-off-by: Jason Etheridge <jason@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20137 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

fix Add Items off of volumes by changing the label key in copy_shortcut to callnumber composite key

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20136 dcc99617-32d9-48b4-a31d-7c20da2025e4

trace statements.  need to change how copy_shortcut is constructed in parent interfaces

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20135 dcc99617-32d9-48b4-a31d-7c20da2025e4

trace statements

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20134 dcc99617-32d9-48b4-a31d-7c20da2025e4

trace statements

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20133 dcc99617-32d9-48b4-a31d-7c20da2025e4

comment tweak

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20132 dcc99617-32d9-48b4-a31d-7c20da2025e4

Allow NULL "use restriction" fields for located URIs

The asset.uri.use_restriction field, which is really a sort of public notes
field for 856 fields, was grabbing the $u subfield (URL) as a sort of last-gasp
effort to give it some data. However, the effect was rather odd and led to
workarounds like Conifer's skin to avoid displaying the use restriction field
if its value was identical to the URL, etc.

Instead, stop grabbing $u and handle the case where use_restriction column is
NULL gracefully, just like the schema intended.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20123 dcc99617-32d9-48b4-a31d-7c20da2025e4

Do not clear auri links in default skin

The dojo orphan() call which attempted to wipe any non-located 856s
was actually wiping the located 856s in the record detail display.

Removing the extra call makes this work in Firefox and Chromium,
at least.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20120 dcc99617-32d9-48b4-a31d-7c20da2025e4

Delete ##URI## call numbers and uri_call_number_map entries on bib reingest

This approach will lead to some acn/auricnm ID inflation, but it works.

Addresses LP# 761130 (immortal ##URI## entries in asset.call_number) reported
by Ben Shum and LP# 761085 (cannot delete bib with ##URI## volumes) reported
by Jason Etheridge.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20117 dcc99617-32d9-48b4-a31d-7c20da2025e4

Admin -> Server Administration -> Import Match Sets

That's where you'll find the interface for the match set expression
editor in the staff client.

move parts to conify namespace

UI perfection. it previews. it saves...

(or if it would if the ML method were done, but it will be easy now)

I just need to move things to the conify path and add staff client menu
entries

prune unused script; purpose now served by eg_db_config.pl

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20115 dcc99617-32d9-48b4-a31d-7c20da2025e4

Protect dumb JavaScript engines from having to deal with actual Unicode

The holdings_xml format did not include an XML declaration, but adding that
as we do here still does not make the Firefox and Chromium JS engines capable
of consuming XML that contains Unicode content outside of the base ASCII
range.

So, we invoke entityize() to convert anything outside of the realm of
ASCII to XML entities. An alternative would be to invoke entityize() in
OpenILS::Application::SuperCat::unAPI::acn but it's not clear if that
would interfere with any other uses.

With this change, library names / copy location names with Unicode content
can be displayed correctly on the search results page.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20112 dcc99617-32d9-48b4-a31d-7c20da2025e4

comment cleanup, etc

You can now replace the root node of the tree with anything,

and the children will be automatically deleted.  This makes it easier to
create a single-node tree with no operators, if the user should so
desire.

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge more fixed field extraction from trunk

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

make sure user can only add reasonbly valid match points to the tree

MORE: Properly support extracting MARC21 fixed fields from the leader, not just the 00x controlfields, in the "all fixed fields" version

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20107 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge fixed field extraction from trunk

Merge branch 'vandelay-improvement' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Properly support extracting MARC21 fixed fields from the leader, not just the 00x controlfields

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20104 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

1) implemented working replace mode 2) autocreate new tree on launch if needed

thinko in for-in-array loop, uncovered by error testing from Ben Shum

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20101 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Support mulitiple subfield-9 values in a single 856 tag

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20100 dcc99617-32d9-48b4-a31d-7c20da2025e4

Protect pcrud-ish retrieve from an empty result set

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20094 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

lots of things here, but nearly last big UI todo is...

to implement openils.vandelay.TreeDndSource._is_replaceable() and then
make the changes to itemCreator

Restore URIs in marcxml-uris unAPI format

At some point (r16750) we started doing a numeric comparison of
$flesh instead of just checking to see if $flesh was defined; this
returned false when $flesh == 'uris', preventing URIs from being
included in the marcxml-uris unAPI format.

This restores URIs to marcxml-uris and so we can revert the extra
BibTemplate call in rdetail_summary.xml.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20091 dcc99617-32d9-48b4-a31d-7c20da2025e4

Specify the holdings_xml unAPI format for URI calls

The unAPI marcxml-uris format is not returning URIs at the moment.
While we're getting that fixed, use the holdings_xml format to
get the URI job done; requires an extra JS call, but that's
better than not working at all.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20088 dcc99617-32d9-48b4-a31d-7c20da2025e4

Escape rather than filter SIMILAR TO metacharacters in patron crazy search

The filtering I introduced in r19983 was overly aggressive, and included
characters that weren't actually SIMILAR TO metacharacters. Instead, escape
each character, carefully going through the list of metacharacters listed at
http://www.postgresql.org/docs/8.4/interactive/functions-matching.html

Works for email addresses like "foo.bar+baz@example.com".

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20085 dcc99617-32d9-48b4-a31d-7c20da2025e4

Address LP #754880, where printing happens before the progress dialog can be
cleared in the alternate holds pull list print interface

Additionally, provide the usual "print page" button so that the list can be
reprinted at will

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20082 dcc99617-32d9-48b4-a31d-7c20da2025e4

upgrade script for consistency w/ schema change in r20073

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20079 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

tweaks to quick_metarecord_map.sql

* used version from wiki, which provides same results as the
  previous version but performs better on large databases
* now works without editing (a vacuum cannot run inside of a transaction)
* don't do vacuum full, just a regular vacuum analyze

[1] http://evergreen-ils.org/dokuwiki/doku.php?id=scratchpad:random_magic_spells#how_to_generate_metarecords_for_a_newly_loaded_bib_batch

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20075 dcc99617-32d9-48b4-a31d-7c20da2025e4

Ability to delete nodes from working tree. Show metadata about match_set.

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

rely on search_path to locate the extract_marc_field() function which is now installed in the 'evergreen' schema by default

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20073 dcc99617-32d9-48b4-a31d-7c20da2025e4

Add an autogrid-based interface for CRUD ops on vms objects, with links to the tree editor

Merge branch 'vandelay-improvement' of ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Usability

1) the tree editor will only let bool_op nodes have children

2) you can't put the unset "dummy" node from the leftside onto the tree

incidentally, gave fm objects a toString method that identifies their
classname hint, as an aid to debugging in general

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Thinko in the delete query for copy visibility caching

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20070 dcc99617-32d9-48b4-a31d-7c20da2025e4

Protect search against all-deleted bibs by pinning the estimation ratios in that case

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20069 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

strip useless whitespace from XML output for transfer size reduction

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20065 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

add SVF data to in-db unAPI

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20063 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

repaired SQL upgrade syntax error

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20060 dcc99617-32d9-48b4-a31d-7c20da2025e4

Add support for Multi-Homed Items (aka Foreign Bibs, aka Linked Items)

Evergreen needs to support the ability to attach a barcoded item to more than one bibliographic record.  Use cases include:
  1. Barcoded E-Readers with preloaded content
    * Readers would all be items attached to a single "master" bib record in the traditional way, through call numbers that define their ownership
    * Each reader, as a barcoded item, can be attached through Multi-homed Items to records describing the list of preloaded content
    * These attached Multi-homed Items can be added and removed as content is swapped out on each reader
  2. Dual-language items
    * Cataloger decides which of several alternate languages is the primary, and attaches the barcoded item to that record in the traditional way
    * Alternate language records are attached to this item through Multi-homed Items
  3. "Back-to-back" books -- two books printed upside down relative to one another, with two "front" covers
    * Cataloger decides which of the two titles is the primary, and attaches the barcoded item to that record in the traditional way
    * Alternate title record is attached to this item through Multi-homed Items
  4. Bound Volumes -- Sets of individual works collected into a single barcoded package
    * Cataloger decides which of the titles is the primary (or creates a record for the collection as a whole), and attaches the barcoded item to that record in the traditional way
    * Remaining title records for the collected peices are attached to this item through Multi-homed Items

Functionality funded by Natural Resources Canada -- http://www.nrcan-rncan.gc.ca/com/

Please see http://git.esilibrary.com/?p=evergreen-equinox.git;a=shortlog;h=refs/heads/multi_home for the full commit history.

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20056 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Add a trigger function to simulate FKEY constraints on inherited tables

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20053 dcc99617-32d9-48b4-a31d-7c20da2025e4

ARG! LEAVE MY CHANGE THERE!

Another corrected trunk merge ... silly git

Corrected merge from trunk

Final cleanup for the base schema, re search_path ... I hope

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20052 dcc99617-32d9-48b4-a31d-7c20da2025e4

Fix functions stranded in the evergreen schema without a search path reference (ugly but mechanical)

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20047 dcc99617-32d9-48b4-a31d-7c20da2025e4

add missing upgrade script

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20044 dcc99617-32d9-48b4-a31d-7c20da2025e4

a little progress on the match set editor:

now we can retrieve a tree from the server and use it as the basis of
our dijit.Tree widget. Still work to be done. Can't save anything yet.

Note to self: borrow dojo dnd's "copy" operation (as opposed to move) to
mean replacing a node in the tree, rather than adding to the tree.

Re the permissions I changed, actual users of Evergreen hate having as
much granularity as there was before, and it just confuses people trying
to figure out what perms to give to whom.

Note to self 2: add ADMIN_IMPORT_MATCH_SET to ppl

Merge branch 'vandelay-improvement' of git+ssh://yeti/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

for testing vmsp trees

Let's not be picky about permissions here; an item needs to go where it needs to go :)

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20040 dcc99617-32d9-48b4-a31d-7c20da2025e4

fix my overzealous editing of configure.ac

Signed-off-by: Galen Charlton <gmc@esilibrary.com>
git-svn-id: svn://svn.open-ils.org/ILS/trunk@20039 dcc99617-32d9-48b4-a31d-7c20da2025e4

Merge branch 'vandelay-improvement' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

Merge branch 'master' of git+ssh://yeti.esilibrary.com/home/evergreen/evergreen-equinox into vandelay-improvement

patch from jamesrf for lp#756880 for Grocery Billing Location in Bill Patron wizard

git-svn-id: svn://svn.open-ils.org/ILS/trunk@20036 dcc99617-32d9-48b4-a31d-7c20da2025e4