Loading...

railsfrance@googlegroups.com

[Prev] Thread [Next]  |  [Prev] Date [Next]

Re: [RailsFr] Perf et fichier CSV Julien Kirch Wed Feb 22 02:00:10 2012

Bonjour,

comme le domaine est assez balisé je me permet de suggérer une bonne ressource 
"de référence":
http://www.amazon.com/Data-Warehouse-ETL-Toolkit-Techniques/dp/0764567578/ref=sr_1_1?ie=UTF8&qid=1329900409&sr=8-1
ça ne te dira pas quel framework ruby choisir mais quels sont les problèmes qui 
t'attendent et les typologies de solutions suivant tes besoins, et la lecture 
est très plaisante

Retour perso:
- pour les export/import dans une base SQL le CSV (aka tables externes ou autre 
suivant les vendeurs) va souvent beaucoup plus vite que du SQL par contre la 
validation risque de faire du tout ou rien
- pour un bon ratio simplicité/coup d'évolution/performance un mini ETL maison 
qui travaille sur du CSV en entrée et sortie en utilisant une archi de plugins 
pour les transformations/validations fonctionne bien (et au besoin se 
parallélise bien)

/A

On Feb 22, 2012, at 9:58 AM, thierry henrio wrote:

> 2012/2/22 Sylvain Abélard <[EMAIL PROTECTED]>
> Bonjour,
> 
> j'ai régulièrement des besoins d'import / export de fichiers de plus en plus 
> volumineux, CSV / XLS vers ma base et inversement.
> 
> Pourquoi est-ce plus volumineux ?
> Le csv est un export complet ?
> As-tu moyen de limiter le csv a ce qui a changé ?
> Est-ce que tu peux diviser le travail ? (table, ligne, ...)
>  
> Jusqu'ici les perfs de l'import me suffisaient mais l'overhead de Rails 
> commence se faire lourd et je cherche à faire mieux.
> 
> Si ce que tu cherches est importer | exporter un csv, je trouve que ça 
> ressemble à une commande
> As-tu besoin d'un serveur|service web pour qu'une commande s'exécute ?
> Une commande shell, qui est une option que tu listes, est possible
> (peu importe en quoi elle est implémentée)
> rails n'a rien à voir la dedans ?
> 
> ?, Thierry
>  
> 
> -- 
> Vous avez reçu ce message, car vous êtes abonné au groupe "Railsfrance" de 
> Google Groups.
> Pour transmettre des messages à ce groupe, envoyez un e-mail à l'adresse 
> [EMAIL PROTECTED]
> Pour résilier votre abonnement envoyez un e-mail à l'adresse [EMAIL PROTECTED]

-- 
Vous avez reçu ce message, car vous êtes abonné au groupe "Railsfrance" de 
Google Groups.
Pour transmettre des messages à ce groupe, envoyez un e-mail à l'adresse [EMAIL 
PROTECTED]
Pour résilier votre abonnement envoyez un e-mail à l'adresse [EMAIL PROTECTED]