Improvements to search tuning
authormiker <miker@dcc99617-32d9-48b4-a31d-7c20da2025e4>
Mon, 18 Apr 2011 20:00:15 +0000 (20:00 +0000)
committermiker <miker@dcc99617-32d9-48b4-a31d-7c20da2025e4>
Mon, 18 Apr 2011 20:00:15 +0000 (20:00 +0000)
commit32a73c614c2e8576bbe6376800395e0f8d94c479
tree9318f44e691966072041b19c48e7c7986fc4848f
parent8d7bb0d7b9f41554a278a51afadb28e3cfce6474
Improvements to search tuning

 * Move to in-core fts function, instead of the compat wrapper provided by the tsearch2 contrib
 * Provide default cover density tuning (config file)
 * Move default preferred language settings from storage to search, where they make more sense

More on the CD tuning:

 Evergreen uses a cover density algorithm for calculating relative ranking of matches.  There
 are several tuning parameters and options available.  By default, no document length normalization
 is applied.  From the Postgres documentation on ts_rank_cd() (the function used by Evergreen):

     Since a longer document has a greater chance of containing a query term it is reasonable
     to take into account document size, e.g., a hundred-word document with five instances of
     a search word is probably more relevant than a thousand-word document with five instances.
     Both ranking functions take an integer normalization option that specifies whether and how
     a document's length should impact its rank. The integer option controls several behaviors,
     so it is a bit mask: you can specify one or more behaviors using | (for example, 2|4).

         0 (the default) ignores the document length

         1 divides the rank by 1 + the logarithm of the document length

         2 divides the rank by the document length

         4 divides the rank by the mean harmonic distance between extents (this is implemented only by ts_rank_cd)

         8 divides the rank by the number of unique words in document

         16 divides the rank by 1 + the logarithm of the number of unique words in document

         32 divides the rank by itself + 1

     If more than one flag bit is specified, the transformations are applied in the order listed.

     It is important to note that the ranking functions do not use any global information, so it
     is impossible to produce a fair normalization to 1% or 100% as sometimes desired. Normalization
     option 32 (rank/(rank+1)) can be applied to scale all ranks into the range zero to one, but of
     course this is just a cosmetic change; it will not affect the ordering of the search results.

 In Evergreen, these options are set via search modifiers.  The modifiers are mapped in the
 following way:

     * #CD_logDocumentLength  => 1  :: rank / (1 + LOG(total_word_count))   :: Longer documents slightly less relevant
     * #CD_documentLength     => 2  :: rank / total_word_count              :: Longer documents much less relevant
     * #CD_meanHarmonic       => 4  :: Word Proximity                       :: Greater matched-word distance is less relevant
     * #CD_uniqueWords        => 8  :: rank / unique_word_count             :: Documents with repeated words much less relevant
     * #CD_logUniqueWords     => 16 :: rank / (1 + LOG(unique_word_count))  :: Documents with repeated words slightly less relevant
     * #CD_selfPlusOne        => 32 :: rank / (1 + rank)                    :: Cosmetic normalization of rank value between 0 and 1

 Adding one or more of these to the default_CD_modifiers list will cause all searches that use QueryParser to apply them.

git-svn-id: svn://svn.open-ils.org/ILS/branches/rel_2_1@20181 dcc99617-32d9-48b4-a31d-7c20da2025e4
Open-ILS/examples/opensrf.xml.example
Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Driver/Pg/QueryParser.pm
Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Driver/Pg/fts.pm
Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/Publisher/metabib.pm