lucene-solr-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Noble Paul നോബിള്‍ नोब्ळ् <noble.p...@corp.aol.com>
Subject Re: no error delta fail with DataImportHandler
Date Fri, 04 Dec 2009 04:50:45 GMT
probably you can try out this
http://wiki.apache.org/solr/DataImportHandlerFaq#fullimportdelta

and it may give you more info on what is happeining

On Thu, Dec 3, 2009 at 10:58 PM, Thomas Woodard <gtfoomw@hotmail.com> wrote:
>
> Unfortunately that isn't it. I have tried id, product_id, and PRODUCT_ID, and they all
produce the same result. It finds the modified item, but then does nothing.
>
> INFO: Running ModifiedRowKey() for Entity: product
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
> INFO: Creating a connection for entity product with URL: jdbc:oracle:oci:@dev.eline.com
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.JdbcDataSource$1 call
> INFO: Time taken for getConnection(): 283
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed ModifiedRowKey for Entity: product rows obtained : 1
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed DeletedRowKey for Entity: product rows obtained : 0
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder collectDelta
> INFO: Completed parentDeltaQuery for Entity: product
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder doDelta
> INFO: Delta Import completed successfully
> Dec 3, 2009 9:25:25 AM org.apache.solr.handler.dataimport.DocBuilder execute
> INFO: Time taken = 0:0:0.404
>
>
>> From: noble.paul@corp.aol.com
>> Date: Thu, 3 Dec 2009 12:50:15 +0530
>> Subject: Re: no error delta fail with DataImportHandler
>> To: solr-user@lucene.apache.org
>>
>> the deltaQuery select 'product_id' and your deltaImportQuery uses
>> ${dataimporter.delta.id}
>> I guess it should have been ${dataimporter.delta. product_id}
>>
>> On Wed, Dec 2, 2009 at 11:52 PM, Thomas Woodard <gtfoomw@hotmail.com> wrote:
>> >
>> > I'm trying to get delta indexing set up. My configuration allows a full index
no problem, but when I create a test delta of a single record, the delta import finds the
record but then does nothing. I can only assume I have something subtly wrong with my configuration,
but according to the wiki, my configuration should be valid. What I am trying to do is have
a single delta detected on the top level entity trigger a rebuild of everything under that
entity, the same as the first example in the wiki. Any help would be greatly appreciated.
>> >
>> > <dataConfig>
>> > á á<dataSource name="prodcat" driver="oracle.jdbc.driver.OracleDriver"
url="jdbc:oracle:oci:@XXX"
>> > á áuser="XXX" password="XXX" autoCommit="false" transactionIsolation="TRANSACTION_READ_COMMITTED"/>
>> >
>> > á á<document>
>> > á á á á<entity name="product" dataSource="prodcat" query="
>> > á á á áselect dp.product_id, dp.display_name, dp.long_description, gp.orientation
>> > á á á áfrom dcs_product dp, gl_product gp
>> > á á á áwhere dp.product_id = gp.product_id" transformer="ClobTransformer,HTMLStripTransformer"
>> > á á á ádeltaImportQuery="select dp.product_id, dp.display_name, dp.long_description,
gp.orientation
>> > á á á áfrom dcs_product dp, gl_product gp
>> > á á á áwhere dp.product_id = gp.product_id
>> > á á á áAND dp.product_id = '${dataimporter.delta.id}'"
>> > á á á ádeltaQuery="select product_id from gl_product_modified where last_modified
> TO_DATE('${dataimporter.last_index_time}', 'yyyy-mm-dd hh:mi:ss')"
>> > á á á árootEntity="false"
>> > á á á ápk="PRODUCT_ID">
>> > á á á á á á<!-- COLUMN NAMES ARE CASE SENSITIVE. THEY NEED TO BE ALL
CAPS OR EVERYTHING FAILS -->
>> > á á á á á á<field column="PRODUCT_ID" name="product_id"/>
>> > á á á á á á<field column="DISPLAY_NAME" name="name"/>
>> > á á á á á á<field column="LONG_DESCRIPTION" name="long_description"
clob="true" stripHTML="true" />
>> > á á á á á á<field column="ORIENTATION" name="orientation"/>
>> >
>> > á á á á á á<entity name="sku" dataSource="prodcat" query="select ds.sku_id,
ds.sku_type, ds.on_sale, '${product.PRODUCT_ID}' || '_' || ds.sku_id as unique_id
>> > á á á áfrom dcs_prd_chldsku dpc, dcs_sku ds
>> > á á á áwhere dpc.product_id = '${product.PRODUCT_ID}'
>> > á á á áand dpc.sku_id = ds.sku_id"
>> > á á á árootEntity="true" pk="PRODUCT_ID, SKU_ID">
>> > á á á á á á á á<field column="SKU_ID" name="sku_id"/>
>> > á á á á á á á á<field column="SKU_TYPE" name="sku_type"/>
>> > á á á á á á á á<field column="ON_SALE" name="on_sale"/>
>> > á á á á á á á á<field column="UNIQUE_ID" name="unique_id"/>
>> >
>> > á á á á á á á á<entity name="catalog" dataSource="prodcat" query="select
pc.catalog_id
>> > á á á á á á á á á á á á á áfrom gl_prd_catalog pc, gl_sku_catalog
sc
>> > á á á á á á á á á á á á á áwhere pc.product_id = '${product.PRODUCT_ID}'
and sc.sku_id = '${sku.SKU_ID}' and pc.catalog_id = sc.catalog_id" pk="SKU_ID, CATALOG_ID">
>> > á á á á á á á á á á á á<field column="CATALOG_ID" name="catalogs"/>
>> > á á á á á á á á</entity>
>> >
>> > á á á á á á á á<entity name="price" dataSource="prodcat" query="select
ds.list_price as price
>> > á á á á á á á á á á á á á áfrom dcs_sku ds
>> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
>> > á á á á á á á á á á á á á áand ds.on_sale = 0
>> > á á á á á á á á á á á á á áUNION
>> > á á á á á á á á á á á á á áselect ds.sale_price as price
>> > á á á á á á á á á á á á á áfrom dcs_sku ds
>> > á á á á á á á á á á á á á áwhere ds.sku_id = '${sku.SKU_ID}'
>> > á á á á á á á á á á á á á áand ds.on_sale = 1"
>> > á á á á á á á á á á á á á ápk="SKU_ID">
>> > á á á á á á á á á á á á<field column="PRICE" name="price"/>
>> > á á á á á á á á</entity>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="studio" dataSource="prodcat" query="select
gs.name from gl_product_studio gps, gl_studio gs where gps.studio_id = gs.studio_id and gps.product_id
= '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID">
>> > á á á á á á á á<field column="NAME" name="studio"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="star" dataSource="prodcat" query="select gc.name
from gl_contributor gc, gl_product_contributor gpc
>> > á á á á á á á áwhere gc.contributor_id = gpc.contributor_id and gpc.product_id
= '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
>> > á á á á á á á á<field column="NAME" name="stars"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="director" dataSource="prodcat" query="select
gc.name from gl_contributor gc, gl_product_director gpd
>> > á á á á á á á áwhere gc.contributor_id = gpd.contributor_id and gpd.product_id
= '${product.PRODUCT_ID}'" rootEntity="false" pk="PRODUCT_ID, CONTRIBUTOR_ID">
>> > á á á á á á á á<field column="NAME" name="directors"/>
>> > á á á á á á</entity>
>> >
>> > á á á á á á<entity name="keyword" dataSource="prodcat" query="select
dcs_category.display_name as keyword_name
>> > á á á á á á á á á á á áfrom dcs_cat_chldprd, dcs_category, gl_category
>> > á á á á á á á á á á á áwhere gl_category.availability = 0
>> > á á á á á á á á á á á áand gl_category.exclude_in_vivisimo = 0
>> > á á á á á á á á á á á áand dcs_category.category_id = gl_category.category_id
>> > á á á á á á á á á á á á á áand dcs_cat_chldprd.category_id = dcs_category.category_id
>> > á á á á á á á á á á á á á áand dcs_cat_chldprd.child_prd_id =
'${product.PRODUCT_ID}'
>> > á á á á á á á á á áunion
>> > á á á á á á á á á áselect display_name as keyword_name
>> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st,
gl_tag tag
>> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
>> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
>> > á á á á á á á á á á á á á áand tag.type in (0,1)
>> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'
>> > á á á á á á á á á áunion
>> > á á á á á á á á á áselect display_name as keyword_name
>> > á á á á á á á á á á á áfrom gl_product_scene ps, gl_scene_tag st,
gl_tag tag
>> > á á á á á á á á á á á áwhere ps.scene_id = st.scene_id
>> > á á á á á á á á á á á á á áand st.tag_id = tag.tag_id
>> > á á á á á á á á á á á á á áand tag.type = 2
>> > á á á á á á á á á á á á á áand ps.product_id = '${product.PRODUCT_ID}'"
rootEntity="false" pk="PRODUCT_ID, KEYWORD_NAME">
>> > á á á á á á á á<field column="KEYWORD_NAME" name="keywords"/>
>> > á á á á á á</entity>
>> > á á á á</entity>
>> > á á</document>
>> > </dataConfig>
>> >
>> >
>> > _________________________________________________________________
>> > Windows Live Hotmail gives you a free,exclusive ágift.
>> > http://www.microsoft.com/windows/windowslive/hotmail_bl1/hotmail_bl1.aspx?ocid=PID23879::T:WLMTAGL:ON:WL:en-ww:WM_IMHM_7:092009
>>
>>
>>
>> --
>> -----------------------------------------------------
>> Noble Paul | Principal Engineer| AOL | http://aol.com
>
> _________________________________________________________________
> Windows 7: Unclutter your desktop. Learn more.
> http://www.microsoft.com/windows/windows-7/videos-tours.aspx?h=7sec&slideid=1&media=aero-shake-7second&listid=1&stop=1&ocid=PID24727::T:WLMTAGL:ON:WL:en-US:WWL_WIN_7secdemo:122009



-- 
-----------------------------------------------------
Noble Paul | Principal Engineer| AOL | http://aol.com

Mime
View raw message