PostgreSQL La base de donnees la plus sophistiquee au monde.

Forums PostgreSQL.fr

Le forum officiel de la communauté francophone de PostgreSQL

Vous n'êtes pas identifié(e).

#1 07/02/2017 17:19:03

pitpoule
Membre

Datawarehouse et Postgresql

Bonjour,

Est ce que vous avez des liens vers des préconisations pour mettre en place un datawarehouse sous Postgresql (la version la plus récente, 9.6) ?
J'ai lu pas mal de choses et souhaitais avoir un retour:
- Comment tailler le serveur ?
- Utilisation des tablespaces pour séparer les écritures
- Utilisation de hot standby pour séparer lectures et écritures
- Désactivation du vacuum ?? (ce point là me parait bizarre...).
- Utilisation d'Index BRIN ?


Bref, je suis preneur de toute info ou retour d'expérience.

Merci !

Hors ligne

#2 08/02/2017 01:08:10

rjuju
Administrateur

Re : Datawarehouse et Postgresql

Difficile de donner des conseils aussi vague, sans même savoir ce que vous entendez exactement par datawarehouse ni l'utilisation que vous voulez en faire.  Un serveur avec suffisamment de ressources est effectivement une bonne idée.  Vous ratez sinon à priori deux grandes fonctionnalités de la 9.6 : le parallélisme et la modification de la visibility_map qui permet de connaître les blocs qui ne contiennent que des lignes freezées.

Hors ligne

#3 08/02/2017 10:51:41

pitpoule
Membre

Re : Datawarehouse et Postgresql

rjuju a écrit :

Difficile de donner des conseils aussi vague, sans même savoir ce que vous entendez exactement par datawarehouse ni l'utilisation que vous voulez en faire.  Un serveur avec suffisamment de ressources est effectivement une bonne idée.  Vous ratez sinon à priori deux grandes fonctionnalités de la 9.6 : le parallélisme et la modification de la visibility_map qui permet de connaître les blocs qui ne contiennent que des lignes freezées.

Merci pour ce retour. Mes infos sont vagues car le projet en lui même est encore assez vague, la volumétrie va se situer aux alentours du To avec une grosse table principale, qui sera d’ailleurs partitionnée. Pour le moment, je souhaitais avoir des informations les plus larges possibles pour faire les bons choix.... j'ai plusieurs pistes mais je ne voudrais pas rater des fonctionnalités importantes. Donc merci pour m'avoir rappeler le parallélisme et la visibility_map. smile

Hors ligne

#4 08/02/2017 13:14:28

gleu
Administrateur

Re : Datawarehouse et Postgresql

Même réponse que rjuju. Un ajout cependant: ne pas désactiver le VACUUM. Merci smile


Guillaume.

Hors ligne

#5 08/02/2017 15:49:00

pitpoule
Membre

Re : Datawarehouse et Postgresql

gleu a écrit :

Même réponse que rjuju. Un ajout cependant: ne pas désactiver le VACUUM. Merci smile

J'imagine le but de la désactivation du vacuum la journée et de son activation en batch la nuit: éviter que les disques grattent en permanence et/ou monopolise du CPU.... mais je ne vois pas comment on peut éviter une explosion de la taille des fichiers dans le cadre d'un datawarehouse où une grosse partie des données est mise à jour constamment.

Hors ligne

Pied de page des forums