Allow component partitioning of ingest user/miker/partitioned-ingest-settings
authorMike Rylander <mrylander@gmail.com>
Sat, 13 Oct 2012 15:38:55 +0000 (11:38 -0400)
committerMike Rylander <mrylander@gmail.com>
Sat, 13 Oct 2012 15:38:55 +0000 (11:38 -0400)
commita7a463c0e3045481adccb5caceef14ae2feeeb63
tree0f1759143c24d526e3cab37471edd49beffb5c5e
parentcbf389d42138d18990539a6281be191d8dc6dee2
Allow component partitioning of ingest

The component parts of the indexing process are fairly flexible. In some
places they can be called with parameters that control the behavior, and
other places will respond to global and/or internal flags.  However, there
is some inconsistency to which parts will react to each mechanism.

Previous to this commit, there was no way to cause ingest to skip specific
parts of the indexing process (search / facet / browse, in particular)
even though the stored procedure responsible for this had the ability to
perform, and parameters for the control of, this behavior.  Now, when any
of the parameters are false (the default, saying "do not skip") it will
check the value of a related global flag and, if enabled, skip that part
of the ingest.

This will allow one to do perform massive, batch, parallel ingests of bib
records, something that was effectively blocked by the way browse ingest
is performed.  By disabling browse ingest during the main record loading,
and then performing only the browse ingest later, one can significantly
reduce the time required to load massive batches of records.

Signed-off-by: Mike Rylander <mrylander@gmail.com>
Open-ILS/src/sql/Pg/030.schema.metabib.sql
Open-ILS/src/sql/Pg/950.data.seed-values.sql
Open-ILS/src/sql/Pg/upgrade/XXXX.schema.partitioned-ingest.sql [new file with mode: 0644]