LP#1066326: Allow component partitioning of ingest
authorMike Rylander <mrylander@gmail.com>
Sat, 13 Oct 2012 15:38:55 +0000 (11:38 -0400)
committerGalen Charlton <gmc@esilibrary.com>
Thu, 28 Feb 2013 18:12:46 +0000 (13:12 -0500)
commit79d7d07b131903e5232144a69027b57274a9af35
treeaf6e79045e0f3bc620ea6737c7aeb72aad6ca06b
parentf1c1d0b0de3b170cc1cc6ec0b2b1800c9e01177c
LP#1066326: Allow component partitioning of ingest

The component parts of the indexing process are fairly flexible. In some
places they can be called with parameters that control the behavior, and
other places will respond to global and/or internal flags.  However, there
is some inconsistency to which parts will react to each mechanism.

Previous to this commit, there was no way to cause ingest to skip specific
parts of the indexing process (search / facet / browse, in particular)
even though the stored procedure responsible for this had the ability to
perform, and parameters for the control of, this behavior.  Now, when any
of the parameters are false (the default, saying "do not skip") it will
check the value of a related global flag and, if enabled, skip that part
of the ingest.

This will allow one to do perform massive, batch, parallel ingests of bib
records, something that was effectively blocked by the way browse ingest
is performed.  By disabling browse ingest during the main record loading,
and then performing only the browse ingest later, one can significantly
reduce the time required to load massive batches of records.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Signed-off-by: Galen Charlton <gmc@esilibrary.com>
Open-ILS/src/sql/Pg/030.schema.metabib.sql
Open-ILS/src/sql/Pg/950.data.seed-values.sql
Open-ILS/src/sql/Pg/upgrade/XXXX.schema.partitioned-ingest.sql [new file with mode: 0644]