gora-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From FRANCISCO XAVIER SUMBA TORAL <xavier.sumb...@ucuenca.edu.ec.INVALID>
Subject Re: Redis datastore
Date Mon, 17 Jun 2019 04:29:02 GMT
Hello Madhawa,

Thanks for your comment. Yeah, I will address that this week. And I have a question:

Redis doesn't have a schema as other data stores, so is it okay to leave functions such as
createSchema, deleteSchema y schemaExists with no implementation?

Best,
Xavier.

> On Jun 15, 2019, at 16:03, Madhawa Kasun Gunasekara <madhawa30@gmail.com> wrote:
> 
> Hi Xavier,
> 
> You should consider other data types also, not only Hashes. [1] Sometimes
> users like to store data in String data type as well. Please check on that
> as well
> 
> [1] https://redis.io/topics/data-types
> 
> Thanks,
> Madhawa
> 
> 
> On Sat, Jun 15, 2019 at 8:20 PM FRANCISCO XAVIER SUMBA TORAL
> <xavier.sumba93@ucuenca.edu.ec.invalid> wrote:
> 
>> Hello,
>> 
>> My weekly report is updated on the wiki. Also, I moved all the code from
>> master the branch GORA-527. And did the following tasks.
>> 
>> Port to test containers (Docker redis)
>> Add connections mode configuration (cluster, replicated, …)
>> Implement put, exists, get, delete
>> Fix Alfonso comments (reading configuration file as in HBase)
>> 
>> Best,
>> Xavier.
>> 
>>> On Jun 10, 2019, at 22:53, FRANCISCO XAVIER SUMBA TORAL <
>> xavier.sumba93@ucuenca.edu.ec> wrote:
>>> 
>>> Thanks Alonso for your comments.
>>> 
>>> I will analyze the code from HBase. Thanks for your suggestion…
>>> 
>>> Also, my code is in master, but I will move to the branch 527, it will
>> be easier to trace changes.
>>> 
>>> 
>>> Best,
>>> Xavier.
>>> 
>>>> On Jun 10, 2019, at 18:20, Alfonso Nishikawa <
>> alfonso.nishikawa@gmail.com> wrote:
>>>> 
>>>> Hi, Xavier.
>>>> 
>>>> I don't see your branch GORA-527 told in your report.
>>>> What I would want to ask for is to add the same functionality to load
>> the
>>>> mapping from configuration in you RedisStore [1] as in HBase's store
>> [2].
>>>> This will have implications on your readMapping that in HBase was done
>> by
>>>> passing an InputStream instead of a file name.
>>>> 
>>>> [1] -
>>>> 
>> https://github.com/cuent/gora/blob/master/gora-redis/src/main/java/org/apache/gora/redis/store/RedisStore.java#L78
>>>> [2] -
>>>> 
>> https://github.com/jhnmora000/gora/blob/master/gora-hbase/src/main/java/org/apache/gora/hbase/store/HBaseStore.java#L92
>>>> 
>>>> Regards,
>>>> 
>>>> Alfonso Nishikawa
>>>> 
>>>> El lun., 10 jun. 2019 a las 4:16, FRANCISCO XAVIER SUMBA TORAL
>>>> (<xavier.sumba93@ucuenca.edu.ec.invalid>) escribió:
>>>> 
>>>>> Thanks for your comments.
>>>>> 
>>>>> I pushed my commits and updated the report.
>>>>> 
>>>>> During this week I want to decide what redisson codec works best for
>>>>> gora’s use case and I will also solve the comments of the libraries
>>>>> comparison.  I will keep updating you guys during the week any blocker
>> or
>>>>> new tasks that come along.
>>>>> 
>>>>> 
>>>>> Best,
>>>>> Xavier.
>>>>> 
>>>>> 
>>>>>> On Jun 9, 2019, at 23:43, carlos muñoz <carlosrmng@gmail.com>
wrote:
>>>>>> 
>>>>>> Hi Xavier
>>>>>> 
>>>>>> The document looks great. I have left a few comments. I would like
to
>>>>> read
>>>>>> other valorations .
>>>>>> Also, please make sure to publish your weekly process on the Wiki
>> space.
>>>>>> 
>>>>>> Regards,
>>>>>> Carlos
>>>>>> 
>>>>>> El vie., 7 jun. 2019 a las 23:01, FRANCISCO XAVIER SUMBA TORAL
>>>>>> (<xavier.sumba93@ucuenca.edu.ec.invalid>) escribió:
>>>>>> 
>>>>>>> Sorry, try again. Anybody should be able to access? I set for
>> everyone.
>>>>>>> 
>>>>>>> 
>>>>>>> 
>>>>> 
>> https://docs.google.com/document/d/17RlGIu_SaPo7O2J7k_htg1UDDO9ah41u8cCYUURC7BM/edit?usp=sharing
>>>>>>> 
>>>>>>> 
>>>>>>> Best,
>>>>>>> Xavier
>>>>>>>> On Jun 7, 2019, at 23:59, Kevin Ratnasekera <
>> djkevincr1989@gmail.com>
>>>>>>> wrote:
>>>>>>>> 
>>>>>>>> Hi Xavier,
>>>>>>>> 
>>>>>>>> I requested access to the docs. Can you please give permissions?
>>>>>>>> 
>>>>>>>> Regards
>>>>>>>> Kevin
>>>>>>>> 
>>>>>>>> On Sat, Jun 8, 2019 at 9:23 AM FRANCISCO XAVIER SUMBA TORAL
>>>>>>>> <xavier.sumba93@ucuenca.edu.ec.invalid> wrote:
>>>>>>>> 
>>>>>>>>> Hello
>>>>>>>>> 
>>>>>>>>> I think that redisson is the option to support redis
in gora.
>>>>>>>>> 
>>>>>>>>> There is an analysis here [1]. What do you think? After
some
>>>>>>> suggestions I
>>>>>>>>> can add those results to the wiki.
>>>>>>>>> 
>>>>>>>>> Best
>>>>>>>>> Xavier
>>>>>>>>> 
>>>>>>>>> [1]
>>>>>>>>> 
>>>>>>>>> 
>>>>>>> 
>>>>> 
>> https://docs.google.com/document/d/17RlGIu_SaPo7O2J7k_htg1UDDO9ah41u8cCYUURC7BM/edit?usp=drivesdk
>>>>>>>>> 
>>>>>>>>> On Wed, Jun 5, 2019, 9:16 AM FRANCISCO XAVIER SUMBA TORAL,
<
>>>>>>>>> xavier.sumba93@ucuenca.edu.ec> wrote:
>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> On Wed, Jun 5, 2019, 1:31 AM Kevin Ratnasekera, <
>>>>>>> djkevincr1989@gmail.com
>>>>>>>>>> 
>>>>>>>>>> wrote:
>>>>>>>>>> 
>>>>>>>>>>> Hi Xavier,
>>>>>>>>>>> 
>>>>>>>>>>> Thank you for the update. Take your time on the
research for
>>>>> selecting
>>>>>>>>> the
>>>>>>>>>>> Redis client library, you dont need to compare
all Redis clients,
>>>>>>> take a
>>>>>>>>>>> subset/few looks most promising ( by comparing
community,
>>>>>>> functionality
>>>>>>>>>>> etc
>>>>>>>>>>> ). There are only very few recommended from redis.io.
[1] (
>> Jedis,
>>>>>>>>>>> Lettuce
>>>>>>>>>>> and Redisson ) Let's focus on these 3, about
high lever data
>>>>>>> structures
>>>>>>>>>>> etc. Let s do a comparison once you complete
that research work.
>>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> Okay, I will work on that comparison.
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>>> As Carlos mentioned, If you do have troubles
setting up embedded
>>>>>>> server,
>>>>>>>>>>> you could always use [1] to spin up Redis server
instance from
>>>>> docker
>>>>>>>>>>> image. This is the same approach we have taken
on Aerospike and
>>>>>>> CouchDB
>>>>>>>>>>> datastore tests. That way you can spin up a real
instance of
>> Redis
>>>>>>>>> server,
>>>>>>>>>>> you wont be having any limitations compared to
these mock
>> servers.
>>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> Thanks I am looking into aerospike implementation.
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>> 
>>>>>>>>>>> 
>>>>>>>>>>> [1] https://redis.io/clients#java
>>>>>>>>>>> [2] https://www.testcontainers.org/
>>>>>>>>>>> 
>>>>>>>>>>> Regards
>>>>>>>>>>> 
>>>>>>>>>>> 
>>>>>>>>>>> Best ,
>>>>>>>>>> 
>>>>>>>>>> Xavier
>>>>>>>>>> 
>>>>>>>>> 
>>>>>>>>> --
>>>>>>>>> Advertencia legal:
>>>>>>>>> Este mensaje y, en su caso, los archivos anexos son
>>>>>>>>> confidenciales, especialmente en lo que respecta a los
datos
>>>>>>> personales, y
>>>>>>>>> se dirigen exclusivamente al destinatario referenciado.
Si usted
>> no lo
>>>>>>> es
>>>>>>>>> y
>>>>>>>>> lo ha recibido por error o tiene conocimiento del mismo
por
>> cualquier
>>>>>>>>> motivo, le rogamos que nos lo comunique por este medio
y proceda a
>>>>>>>>> destruirlo o borrarlo, y que en todo caso se abstenga
de utilizar,
>>>>>>>>> reproducir, alterar, archivar o comunicar a terceros
el presente
>>>>>>> mensaje y
>>>>>>>>> ficheros anexos, todo ello bajo pena de incurrir en
>> responsabilidades
>>>>>>>>> legales. Las opiniones contenidas en este mensaje y en
los archivos
>>>>>>>>> adjuntos, pertenecen exclusivamente a su remitente y
no
>> representan la
>>>>>>>>> opinión de la Universidad de Cuenca salvo que se diga
expresamente
>> y
>>>>> el
>>>>>>>>> remitente esté autorizado para ello. El emisor no garantiza
la
>>>>>>> integridad,
>>>>>>>>> rapidez o seguridad del presente correo, ni se responsabiliza
de
>>>>>>> posibles
>>>>>>>>> perjuicios derivados de la captura, incorporaciones de
virus o
>>>>>>>>> cualesquiera
>>>>>>>>> otras manipulaciones efectuadas por terceros.
>>>>>>>>> 
>>>>>>> 
>>>>>>> 
>>>>>>> --
>>>>>>> Advertencia legal:
>>>>>>> Este mensaje y, en su caso, los archivos anexos son
>>>>>>> confidenciales, especialmente en lo que respecta a los datos
>>>>> personales, y
>>>>>>> se dirigen exclusivamente al destinatario referenciado. Si usted
no
>> lo
>>>>> es
>>>>>>> y
>>>>>>> lo ha recibido por error o tiene conocimiento del mismo por cualquier
>>>>>>> motivo, le rogamos que nos lo comunique por este medio y proceda
a
>>>>>>> destruirlo o borrarlo, y que en todo caso se abstenga de utilizar,
>>>>>>> reproducir, alterar, archivar o comunicar a terceros el presente
>>>>> mensaje y
>>>>>>> ficheros anexos, todo ello bajo pena de incurrir en responsabilidades
>>>>>>> legales. Las opiniones contenidas en este mensaje y en los archivos
>>>>>>> adjuntos, pertenecen exclusivamente a su remitente y no representan
>> la
>>>>>>> opinión de la Universidad de Cuenca salvo que se diga expresamente
y
>> el
>>>>>>> remitente esté autorizado para ello. El emisor no garantiza
la
>>>>> integridad,
>>>>>>> rapidez o seguridad del presente correo, ni se responsabiliza
de
>>>>> posibles
>>>>>>> perjuicios derivados de la captura, incorporaciones de virus
o
>>>>>>> cualesquiera
>>>>>>> otras manipulaciones efectuadas por terceros.
>>>>>>> 
>>>>> 
>>>>> 
>>>>> --
>>>>> Advertencia legal:
>>>>> Este mensaje y, en su caso, los archivos anexos son
>>>>> confidenciales, especialmente en lo que respecta a los datos
>> personales, y
>>>>> se dirigen exclusivamente al destinatario referenciado. Si usted no lo
>> es
>>>>> y
>>>>> lo ha recibido por error o tiene conocimiento del mismo por cualquier
>>>>> motivo, le rogamos que nos lo comunique por este medio y proceda a
>>>>> destruirlo o borrarlo, y que en todo caso se abstenga de utilizar,
>>>>> reproducir, alterar, archivar o comunicar a terceros el presente
>> mensaje y
>>>>> ficheros anexos, todo ello bajo pena de incurrir en responsabilidades
>>>>> legales. Las opiniones contenidas en este mensaje y en los archivos
>>>>> adjuntos, pertenecen exclusivamente a su remitente y no representan la
>>>>> opinión de la Universidad de Cuenca salvo que se diga expresamente y
el
>>>>> remitente esté autorizado para ello. El emisor no garantiza la
>> integridad,
>>>>> rapidez o seguridad del presente correo, ni se responsabiliza de
>> posibles
>>>>> perjuicios derivados de la captura, incorporaciones de virus o
>>>>> cualesquiera
>>>>> otras manipulaciones efectuadas por terceros.
>>>>> 
>>> 
>> 
>> 
>> --
>> Advertencia legal:
>> Este mensaje y, en su caso, los archivos anexos son
>> confidenciales, especialmente en lo que respecta a los datos personales, y
>> se dirigen exclusivamente al destinatario referenciado. Si usted no lo es
>> y
>> lo ha recibido por error o tiene conocimiento del mismo por cualquier
>> motivo, le rogamos que nos lo comunique por este medio y proceda a
>> destruirlo o borrarlo, y que en todo caso se abstenga de utilizar,
>> reproducir, alterar, archivar o comunicar a terceros el presente mensaje y
>> ficheros anexos, todo ello bajo pena de incurrir en responsabilidades
>> legales. Las opiniones contenidas en este mensaje y en los archivos
>> adjuntos, pertenecen exclusivamente a su remitente y no representan la
>> opinión de la Universidad de Cuenca salvo que se diga expresamente y el
>> remitente esté autorizado para ello. El emisor no garantiza la integridad,
>> rapidez o seguridad del presente correo, ni se responsabiliza de posibles
>> perjuicios derivados de la captura, incorporaciones de virus o
>> cualesquiera
>> otras manipulaciones efectuadas por terceros.
>> 


-- 
Advertencia legal: 
Este mensaje y, en su caso, los archivos anexos son 
confidenciales, especialmente en lo que respecta a los datos personales, y 
se dirigen exclusivamente al destinatario referenciado. Si usted no lo es y 
lo ha recibido por error o tiene conocimiento del mismo por cualquier 
motivo, le rogamos que nos lo comunique por este medio y proceda a 
destruirlo o borrarlo, y que en todo caso se abstenga de utilizar, 
reproducir, alterar, archivar o comunicar a terceros el presente mensaje y 
ficheros anexos, todo ello bajo pena de incurrir en responsabilidades 
legales. Las opiniones contenidas en este mensaje y en los archivos 
adjuntos, pertenecen exclusivamente a su remitente y no representan la 
opinión de la Universidad de Cuenca salvo que se diga expresamente y el 
remitente esté autorizado para ello. El emisor no garantiza la integridad, 
rapidez o seguridad del presente correo, ni se responsabiliza de posibles 
perjuicios derivados de la captura, incorporaciones de virus o cualesquiera 
otras manipulaciones efectuadas por terceros.

Mime
View raw message