DEDIBOX-NEWS.COM

Mogui · 2007-05-04 15:36:31

Salut,

Bon, bien du temps est passé depuis mon première essai qui avait échoué à cause de mon disque dur.
Et tant mieux ! Avec le temps, j'ai pu me rendre compte que mon ancienne architecture était très mauvaise et ne permettais pas de gérer la charge des machines sereinement.

Depuis un petit mois maintenant, je travail à nouveau sur un panel de gestion d'hébergement mutualisé.
Celui-ci n'est pas autant avancé que l'ancien, mais je suis content du boulot effectué.

Architecture :
Il peut y avoir différent cas, je vais citer celui qui me semble le plus logique.

Un serveur se charge de la répartition (LVS) : il redirige les requêtes HTTP(S) sur un des deux serveur 'web' disponible.
Il redirige aussi les emails vers un ou deux serveurs mails en fonction du nombre de serveurs installés.
Les requêtes FTP vont quant à elle vont directement sur le serveur NFS du cluster client.

Trois serveurs dit 'frontaux' de charge de recevoir les requêtes HTTP(S) et de les traiter.

Il y a un serveur MySQL derrière avec un autre pour la réplication MySQL.
Le deuxième sert de backup MySQL et serveur NFS.

On se retrouve avec :
- Un serveur de répartition des charges "LVS"
- Deux serveurs frontaux
- Un serveur Mail + DNS
- Un serveur MySQL
- Un serveur NFS + réplication MySQL

L'avantage de cette architecture est de pouvoir ajouter un serveur frontal "dans la foulée" et ainsi mieux répondre aux montées de charge.

Le panel se veut "multi-clusters".
Ainsi plusieurs clusters pourront fonctionner parallèlement et leurs configuration pourra différer.

Il y aura une gestion des paiements. Ainsi que les offres, gratuite ou payante.

Autre avantage, sera le fait de ne plus avoir de safe_mode, et d'avoir plusieurs extensions dont php, python ou encore PERL.
Chaque utilisateur aura son UID et les bon chmod seront accordés de façon à cloisonner chacun.
Un accès ssh sera probablement proposé.

Technique:
Voila, je vous ai exposé ce que je désire faire, maintenant un peu plus dans l'actuel :
Le panel se compose de deux manières :
- L'interface
- Les daemons

1, L'interface
Elle est motorisé par PHP5.
Elle est écrite en Programmation orienté objet. Elle est commenté.
Il y a une gestion des erreurs (exceptions), elle est multi-template et multi-langue.
Le tout mixé à la web 2.0 avec du ajax et des effets scriptaculous.

2, Les daemons
Ils seront écrit en bash et PHP
Pas plus d'info à ce niveau pour le moment.

Screens de dev'
Voir le Fichier : Image1.png
Voir le Fichier : Image2.png

Prix
Vu la complexité de la chose, je doute fortement que cela intéresse les petit hébergeurs.
De ce fait, le prix d'une licence 2 ou 3 ans devrait coûter entre 4 et 10 milles euros.
Dans certains cas, celle-ci pourra être offerte.

Si vous avez des remarques, ou attentes, n'hésitez pas

Dernière modification par Mogui (2008-08-22 11:43:02)

J@r0d · 2007-05-04 15:50:37

Et bien beau boulot et bonne continuation dans ton entreprise et dans ta futur ^^

goldyfruit · 2007-05-04 16:34:33

Bon courage.

Jérémy · 2007-05-04 16:42:24

Par multi serveurs , tu envisage donc un systeme de répartition de charge ?

Car je suis en "pour projet" actuellement un tel panel , donc ca m'intéresse ton idée

Mogui · 2007-05-04 16:46:04

Ca dépend de ce que tu entend par "repartition des charges" ?
-> Cluster
-> Gerer les clients sur plusieurs serveurs

Dernière modification par Mogui (2007-05-04 17:34:27)

john · 2007-05-05 16:12:43

ça à l'air très sympa comme truc, bon courage

Mogui · 2007-05-05 16:15:50

john a écrit:
ça à l'air très sympa comme truc, bon courage

Courage...
Je risque d'en manquer..
Mon disque dur vient de faire un coups de pute.. (ca fait juste le deuxieme)

Bref, je peux tout recoder a partir de zero

Jérémy · 2007-05-05 17:27:32

J'entendais un systeme a peu pres de clusterisation , avec RoundRobin par exemple

Mogui · 2007-05-05 17:32:21

Jérémy a écrit:
J'entendais un systeme a peu pres de clusterisation , avec RoundRobin par exemple

Bah, pour faire des clusters, je ne sais pas encore..

Le principe, c'est que pour le panel, un serveur de fichier = 1 adresse IP..

Si tu trouves un moyen de faire des clusters avec une seule adresse IP "public", ca devrait le faire

Calimero · 2007-05-05 17:32:31

Jérémy a écrit:
J'entendais un systeme a peu pres de clusterisation , avec RoundRobin par exemple

Round Robin et cluster, ca va pas trop ensemble.

Jérémy · 2007-05-05 17:53:53

Oui je sais bien que ce terme pour une répartition de charge via round robin n'est pas exacte mais dans un réseau non controlé (dans le sens ou ne peux pas se pointer et ajouter un serveur de clusterisation) on est un peu obligé de faire une répartition de charge via round robin

Perso je planche sur une structure pour le moment :
Serveur central NFS avec copie des sites sur les frontaux pour un acces plus rapide et un dossier "files" par site pour un acces direct sans copie sur les frontaux (ou via rsync)
Seveur SQL unique ( qui gerera le NS2 également )
Un serveur DNS principale qui gere le Round Robin et supprime toutes les X minutes les Serveurs qui ne pinguent pas et les remets quand cela reping

Ensuite une répartition des Serveurs SQL , mais a ce niveau la ca se complique, soit le cluster que Mysql propose (je ne sais pas ce qu'il vaut) soit un NFS également

Je précise que cette structure serait uniquement pour mon usage et non pas pour de la revente

Dernière modification par Jérémy (2007-05-05 17:55:03)

Calimero · 2007-05-05 18:00:50

Pour le round robin, je sais pas si ca vaut le coup de mettre en place une usine à gaz (avec ping, "sortie" des serveurs) sachant que t'as une latence conséquente.
Si on part là dessus, je lorgnerais directement load balancing (LVS, RadWare...).

Pour MySQL, la fonction cluster (NDB) dans l'état actuel de choses ne permet que de travailler en RAM. Ca peut quand même sérieusement limiter les choses pour certaines applis.
Quand à NFS et MySQL, je vois pas trop le rapport ? Tu voudrais faire quoi ?

A mon sens, si t'as une application avec beaucoup de lecture et peu d'écriture (cas typique), c'est réplication + couche applicative qui redirige là où il faut.

Ne pas oublier les informations de session (si utilisées par les applis).

Jérémy · 2007-05-05 18:05:59

En gros j'aurais aimer que les serveurs MYSQL puisent sur un seul et meme serveur de données

J'en suis actuellement qu'a mon début de projet , je ne connais pas toutes les possibilités et limites des technologies que je veux utiliser

Calimero · 2007-05-05 18:08:49

Jérémy a écrit:
En gros j'aurais aimer que les serveurs MYSQL puisent sur un seul et meme serveur de données

A part corrompre tes données (si ca démarre), je pense pas que t'obtiendrais grand chose. :happy:

Jérémy · 2007-05-05 18:23:26

ok

Donc pour la clusterisation SQL seul le NDB serait fesable ?

Calimero · 2007-05-05 18:34:45

Dans le sens cluster, oui.
Si t'es patient, ils parlent de faire du clustering sur disque... mais ca sent le MySQL 6 (ou 7 ).

Sinon, y a les solutions de master/slave, mais ca implique que l'applicatif soit assez intelligent.

Jérémy · 2007-05-05 19:08:28

oué bon de toute maniere je suis du genre a pas consommer beaucoup de SQL , j'optimise en général beaucoup
Donc pour le moment ca ira , déja un round robin et un rsync je pense que ca peut etre pas mal

J@r0d · 2007-08-04 09:28:08

Alors ca en est ou ce panel ?

Mogui · 2007-08-04 10:18:48

Ben comme dit plus haut, mon disque dur a craché, et j'etait un peu dégouté, donc je bosse sur le panel Kelio ( http://dev.kelio.org/Page.html )

Mais je garde le projet ! Je le reprendrais quand j'aurais finis le panel actuel

J@r0d · 2007-08-04 10:31:36

Et t'a pas encore tout recoder

Mogui · 2007-08-04 10:45:44

J@r0d a écrit:
Et t'a pas encore tout recoder

Ya une chose qu'on apelle "motivation" qu'a pris un coups quand ce {#ç(!!!( disque dur à laché

J@r0d · 2007-08-04 12:10:50

Fallait pas prendre un maxtor

Remarque suffit d'une fois pour que le mot "sauveagarde" prenne tout son sens et une valeure infinie

J@r0d · 2007-09-04 11:42:36

Ca avance kelio ? Septembre est proche

Mogui · 2008-08-22 00:30:01

Petit up

DeLoVaN · 2008-08-22 11:32:22

Un petit point sur l'avancement Mogui ?

Sinon, pour ajouter quelque chose sur le MySQL, la solution que j'ai retenue quand j'ai du faire du clustering à été la réplication actif/actif.
En fait, depuis le 5.1.je-sais-plus-quoi, NDB est capable de gérer les données sur disque.le problème étant que les colonnes qui possèdent un index doivent forcément être en RAM.
La réplication master/master marche bien, mais la reprise sur panne peut se réveler assez acrobatique...

DEDIBOX-NEWS.COM

#1 2007-05-04 15:36:31

Préparation d'un panel Multi-serveurs et grosses infrastructures

#2 2007-05-04 15:50:37

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#3 2007-05-04 16:34:33

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#4 2007-05-04 16:42:24

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#5 2007-05-04 16:46:04

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#6 2007-05-05 16:12:43

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#7 2007-05-05 16:15:50

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

john a écrit:

#8 2007-05-05 17:27:32

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#9 2007-05-05 17:32:21

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

Jérémy a écrit:

#10 2007-05-05 17:32:31

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

Jérémy a écrit:

#11 2007-05-05 17:53:53

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#12 2007-05-05 18:00:50

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#13 2007-05-05 18:05:59

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#14 2007-05-05 18:08:49

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

Jérémy a écrit:

#15 2007-05-05 18:23:26

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#16 2007-05-05 18:34:45

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#17 2007-05-05 19:08:28

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#18 2007-08-04 09:28:08

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#19 2007-08-04 10:18:48

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#20 2007-08-04 10:31:36

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#21 2007-08-04 10:45:44

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

J@r0d a écrit:

#22 2007-08-04 12:10:50

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#23 2007-09-04 11:42:36

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#24 2008-08-22 00:30:01

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

#25 2008-08-22 11:32:22

Re: Préparation d'un panel Multi-serveurs et grosses infrastructures

Pied de page des forums