# Mon cluster - premières impressions...



## iManu (21 Novembre 2003)

Je viens de recevoir un troupeau de G5 (si ça vous interesse allez voir: http://homepage.mac.com/manuelbardies/cluster.html : arrivée des cartons, mon copain Charles qui m'a aidé à monter tout ça, et le cluster en place...).
J'ai déballé, installé la RAM supplémentaire, Panther, etc...
Une grosse demi-journée, transfert des cartons vides au local poubelle compris, c'est pas la mort. Seul souci, une des barettes mémoires était naze, faut changer. Au fait, contrairement à l'affirmation du grossiste, les barettes vont par paires.
Je fais des essais réseau demain (LE test...).

Bon, je suis très content, mais:
1) Le Xserve G4 (qui va piloter les G5) est livré avec Jaguar (pourtant Panther/server existe, non ?)

2) je ne trouve pas les dev tools sur mon DVD système... Je dois me taper le téléchargement ? C'est curieux, sur le site Apple, ils indiquent que les Dev Tools sont livrés avec les G5... A re-regarder de près...

Et sinon... ben j'aurais du bien regarder avant, mais il n'y a qu'une sortie VGA à l'arrière du Xserve, donc mon joli 20" Apple va avoir besoin d'un adaptateur... et d'une ralonge !

La suite au prochain numéro...


----------



## WebOliver (21 Novembre 2003)

Y en a qui ont de la chance... 
	

	
	
		
		

		
			





 Dans quel cadre utilises-tu ce cluster?


----------



## maousse (21 Novembre 2003)

iManu a dit:
			
		

> Bon, je suis très content, mais:
> 1) Le Xserve G4 (qui va piloter les G5) est livré avec Jaguar (pourtant Panther/server existe, non ?)
> 
> 2) je ne trouve pas les dev tools sur mon DVD système... Je dois me taper le téléchargement ? C'est curieux, sur le site Apple, ils indiquent que les Dev Tools sont livrés avec les G5... A re-regarder de près...


1) ou, 10.3 server existe, tu dois avoir droit à une mise à jour gratuite vers panther (voir le site applestore, avec le numéro de série de ta machine... enfin, c'est quand même mesquin de ne pas avoir panther d'origine, ça voudrait dire qu'il ne se vend pas tant de xserve que ça ? 
	

	
	
		
		

		
		
	


	




 )

2)heu, ça doit être un package dans ton dossier /Applications, me semble-t-il, si tu as fait l'installation de base.

Sinon, l'alim électrique de toute l'étagère passe par le fil blanc branché au mur derrière ?


----------



## iManu (22 Novembre 2003)

> 1) ou, 10.3 server existe, tu dois avoir droit à une mise à jour gratuite vers panther (voir le site applestore, avec le numéro de série de ta machine... enfin, c'est quand même mesquin de ne pas avoir panther d'origine, ça voudrait dire qu'il ne se vend pas tant de xserve que ça ?  )


Oui, il paraît que j'aurai la mise à jour. Mais comme disait mémé, ça la fout mal... 


> 2)heu, ça doit être un package dans ton dossier /Applications, me semble-t-il, si tu as fait l'installation de base.


Oui, merci. Comme j'étais 'sensibilisé' Jaguar, j'ai pas pensé à regarder là. OK, dev tools installés. Dans la série 'premières impressions sur Panther, le changement de shell ça me fait drôle... Dans un premier temps, je suis revenu à tcsh...


> Sinon, l'alim électrique de toute l'étagère passe par le fil blanc branché au mur derrière ?


Lol, non. Les photos c'est pour montrer que c'est monté, pas que ça tourne! Il reste à faire les branchements/cablage réseau, et ça sera plus coquin...
L'alim stabilisée sera branchée Mardi, et ça devra faire comme ça pendant un certain temps. Comme j'ai quand même pas un budget illimité, il me reste à trouver des sous pour:
1) un troupeau d'onduleurs (car l'alim stabilisée/secourue n'évite pas les pannes de courant)
2) un système de stockage (Xserve-Raid)
J'espère y arriver début 2004...

Sinon le pourquoi de la chose: je travaille dans un labo INSERM, et on simule les interactions radiations/matière en Médecine Nucléaire:
comment se font l'émission, la propagation et la détection des photons émis par les radiopharmaceutiques injectés aux patients,  et aussi quelle est la dose de radiation délivrée au patient lors du processus.
... et il faut plein de calculs...


----------



## decoris (22 Novembre 2003)

WebOliver a dit:
			
		

> Y en a qui ont de la chance...
> 
> 
> 
> ...



oui oui, pq tant de puissance???
en tous cas ça donne super bien...


----------



## WebOliver (22 Novembre 2003)

decoris a dit:
			
		

> oui oui, pq tant de puissance???
> en tous cas ça donne super bien...



Il vient de l'expliquer... un post au-dessus du tien. 
	

	
	
		
		

		
		
	


	




En tout cas, j'aimerais bien avoir ça chez moi.


----------



## jeromemac (22 Novembre 2003)

WebOliver a dit:
			
		

> Il vient de l'expliquer... un post au-dessus du tien.
> 
> 
> 
> ...



oh oui moi aussi, mais je crains que ma copine, qui n'aime pas le bruit pour dormir, ça la dérangerait un peu tout ses ventilos


----------



## WebOliver (22 Novembre 2003)

jeromemac a dit:
			
		

> oh oui moi aussi, mais je crains que ma copine, qui n'aime pas le bruit pour dormir, ça la dérangerait un peu tout ses ventilos



Déjà qu'elle doive te supporter.


----------



## jeromemac (22 Novembre 2003)

WebOliver a dit:
			
		

> Déjà qu'elle doive te supporter.



chui pas ventilé moi


----------



## WebOliver (22 Novembre 2003)

jeromemac a dit:
			
		

> chui pas ventilé moi



Ça te ferait du bien pourtant...


----------



## jeromemac (22 Novembre 2003)

WebOliver a dit:
			
		

> Ça te ferait du bien pourtant...



ouais je commande ça ou en quite ou en gilet, peut etre monter tout ça directement dans la barbac....

















mais n'empeche ça me fait rever de voir autant de G5 qui marche d'un coup.....


----------



## ficelle (22 Novembre 2003)

les derniers xserve ont un niveau sonore acceptable ?

je me verrais mal bosser à coté du miens (premiere generation), sont bruit etant equivalent à un aspirateur lancé à pleine puissance


----------



## jeromemac (22 Novembre 2003)

ficelle a dit:
			
		

> les derniers xserve ont un niveau sonore acceptable ?
> 
> je me verrais mal bosser à coté du miens (premiere generation), sont bruit etant equivalent à un aspirateur lancé à pleine puissance



t'exagere pas un peu non 
	

	
	
		
		

		
		
	


	







 ou alors t'as un aspirateur nouvel génération 
	

	
	
		
		

		
		
	


	






franchement le G5 ils fait vraiment pas beaucoup de bruit


----------



## ficelle (22 Novembre 2003)

jeromemac a dit:
			
		

> t'exagere pas un peu non
> 
> 
> 
> ...



relis ma question  
	

	
	
		
		

		
		
	


	




je parlais du xserve !


----------



## jeromemac (22 Novembre 2003)

ficelle a dit:
			
		

> relis ma question
> 
> 
> 
> ...



désolé


----------



## iManu (22 Novembre 2003)

Les nouveaux Xserve (mange-disque) ont un niveau sonore correct, surtout comparés aux premiers (à tiroir). J'ai encore 2 Xserve première génération prêtés par Apple pour test, et c'est difficilement supportable de travailler à côté, c'est vrai.
Celui qui vient d'arriver pour le cluster a un niveau sonore OK... Ca devrait le faire, même dans mon bureau.
Par contre, les G5 sont hyper silencieux ! Je suis très surpris, car c'est bien moindre que les G4 (j'avais lu, mais faut l'entendre pour le croire...).


----------



## Anonyme (22 Novembre 2003)

iManu a dit:
			
		

> Par contre, les G5 sont hyper silencieux ! Je suis très surpris



Attend qu'il tourne a plein régime, tu verras ton silence prendre un coup avec tant de Xserve


----------



## iManu (22 Novembre 2003)

J'ai 15 G5 et un seul Xserve.
On verra bien ...
De toutes façons, il n'y avait pas 36 possibilités...
Pas encore de Xserve G5, donc j'ai pris des G5 et un Xserve G4 pour administrer.
Si j'avais pu prendre des Xserve G5, c'est clair que j'aurais du investir dans un caisson insonorisé.
Là... c'est sans doute pas nécessaire.
J'ai fait bosser 1 des G5 pour voir, et même avec le ventilo à fond, c'est moins bruyant qu'un G4... et bien moins que je Xserve G4 nouvelle version.
Je vous tiendrai au courant  
	

	
	
		
		

		
		
	


	




Par contre, je pense installer Condor pour gérer les tâches. Quelqu'un a de l'expérience avec ce logiciel ?


----------



## decoris (23 Novembre 2003)

WebOliver a dit:
			
		

> Il vient de l'expliquer... un post au-dessus du tien.



sorry, j'avais tellement de fenetre ouvertes que qd je suis arrivé à celle-ci, il avait déjà répondu...


sinon, ne penses-tu pas que ça va être un chouia horrible de travailler dans des conditions pareilles?


----------



## iManu (23 Novembre 2003)

> ne penses-tu pas que ça va être un chouia horrible de travailler dans des conditions pareilles?


Ben franchement... non...
D'abord j'ai 2 pièces: la mienne et celle de mes étudiants. Initialement je devais installer le cluster dans la 'salle de calcul', i.e. la pièce des étudiants (2 à 4 selon les saisons...). Mais ça aurait pas mal retréci leur espace vital - comparé à ma grande pièce où je suis tout seul. En plus, si ça doit faire suer, autant que ce soit qu'une seule personne (quelle abnégation !).
Mais surtout - et encore une fois en me donnant le droit de changer d'avis plus tard éventuellement - pour l'instant, ça va...
Dès la semaine prochaine je fais un essai de réseau/test de fonctionnement avec les 15 G5 + le Xserve et je vous dirais. Mais je suis moins inquiêt qu'au début...

PS comment tu fais quand tu cites quelqu'un pour avoir 'posté à l'origine par...' ? Tu utilises citation, mais après ?


----------



## iManu (23 Novembre 2003)

iManu a dit:
			
		

> > ne penses-tu pas que ça va être un chouia horrible de travailler dans des conditions pareilles?
> 
> 
> Ben franchement... non...
> ...



OK j'ai compris


----------



## WebOliver (23 Novembre 2003)

iManu a dit:
			
		

> (...) PS comment tu fais quand tu cites quelqu'un pour avoir 'posté à l'origine par...' ? Tu utilises citation, mais après ?



Tu cliques sur _Citer_ à droite du message que tu veux citer.


----------



## decoris (23 Novembre 2003)

WebOliver a dit:
			
		

> Tu cliques sur _Citer_ à droite du message que tu veux citer.



grillé!


----------



## krigepouh (23 Novembre 2003)

Aaaah iManu !! Je vois enfin ton "antre" 
	

	
	
		
		

		
		
	


	




 . C'est toi sur la photo ?


----------



## iManu (23 Novembre 2003)

krigepouh a dit:
			
		

> Aaaah iManu !! Je vois enfin ton "antre"
> 
> 
> 
> ...


lol, salut Mr K  
	

	
	
		
		

		
		
	


	



Non, c'est mon copain Charles, vendeur Mac de son état, qui m'aide à installer la bestiole.
Au fait, et si je lançais un grand jeu: trouvez un nom pour le cluster à iManu ?
BigMac, c'est déja pris, pis à 1085 G5 de moins qu'eux, je peux pas trop frimer...
QuickAndToast ? au moins c'est européen  
	

	
	
		
		

		
		
	


	




Au fait, depuis le patch 1.10 Dar-Dauprune est de nouveau sur Bnet. Tu reviens ?


----------



## Marcus (23 Novembre 2003)

En tout cas, tres joli bureau 
	

	
	
		
		

		
		
	


	



je veux le meme chez moi


----------



## JPTK (24 Novembre 2003)

Salut 
	

	
	
		
		

		
		
	


	




Sinon, les étudiants, ils en disent quoi ? Ils connaissaient le mac ?


----------



## decoris (24 Novembre 2003)

je suppose que tu as commander tes powermac Bi 2GHz sans superdrive et sans modem...


----------



## iManu (24 Novembre 2003)

decoris a dit:
			
		

> je suppose que tu as commander tes powermac Bi 2GHz sans superdrive et sans modem...


Cette manip n'est pas 'recommandée' par Apple, pour diverses raisons (livraison par exemple)... Je suis donc l'heureux propriétaire (enfin, dépositaire, faut pas exagérer non plus  
	

	
	
		
		

		
		
	


	




 ) de 15 superdrives...
Ca fait un peu curieux.
Le seul truc sur lequel j'ai tenu bon (après m'être informé) c'est sur la mémoire, achetée directement chez un fournisseur tiers.
Dans le même ordre d'idée, il y a peu de possibilités de négocier un prix. Simplement (ça semble pourtant normal, non 
	

	
	
		
		

		
		
	


	




 ) j'ai été en contact (enfin) directement avec des gens d'Apple. Faut dire qu'on est un des seuls labos INSERM de la ville équipé en Macs (80 !), et que bon, ça commence à bien faire de ne jamais être pris en compte ... J'ai eu de bons contacts avec les techs d'Apple, qui semblent compétents, et des prêts de machines pour tester. De même la livraison a été réalisée en un temps record.
A côté de ça ... comme pas mal d'utilisateurs, on n'a pas une très bonne image des commerciaux d'Apple, qu'en général on ne voit jamais.
Heureusement que le revendeur local (sur les photos) est compétent et sympa, sinon on aurait switché WinTell depuis longtemps.


----------



## iManu (24 Novembre 2003)

jaipatoukompri a dit:
			
		

> Salut
> 
> 
> 
> ...


Ben on essaie de sélectionner à l'entrée si possible...
J'ai des thésards, qui s'y mettent petit à petit (un d'entre eux vient d'acheter son premier AluBook, l'est en pleine phase d'accoutumance rapide  
	

	
	
		
		

		
		
	


	




 ).
Les autres stagiaires par exemple ceux qui viennent d'école d'ingénieurs n'ont pas trop de souci, du moins quand ils connaissent déjà Linux ou Unix. Je trouve que les réactions sont plutôt bonnes. Bien sur, ceux qui ne connaissent que WinTell... j'essaie d'éviter, pour eux comme pour moi.
J'ai même eu un stagiaire cet été qui est venu de Lyon rien que pour le plaisir de faire son stage sur Mac (via MacStudent).

Bref: Avis aux amateurs  
	

	
	
		
		

		
		
	


	









Y a même une cafetière et une bouilloire pour les buveurs de thé


----------



## Thierry6 (24 Novembre 2003)

Marcus a dit:
			
		

> En tout cas, tres joli bureau
> 
> 
> 
> ...



moi aussi moi aussi


----------



## Anonyme (24 Novembre 2003)

iManu a dit:
			
		

> Bref: Avis aux amateurs



J'ai sauté une étape là, un stage dans quel domaine ?


----------



## iManu (24 Novembre 2003)

Florent a dit:
			
		

> J'ai sauté une étape là, un stage dans quel domaine ?



Informatique/physique médicale.
En gros, on doit pouvoir établir des sujets de stage à la demande, en fonction des compétences/désirs des étudiants, et en fonction du cursus (stage ingé, DEA, Master, etc... faut quand même que ce soit pour une durée intéressante pour le labo - si c'est trop court, c'est peu rentable). A savoir aussi que la politique de l'INSERM est de NE PAS rémunérer les stagiaires. J'ai des fois des possibilités (vac), mais c'est l'exception... Ici on travaille pour la gloire 
	

	
	
		
		

		
		
	


	



Ah, si, pour les diplômés des grandes écoles, il y a des possibilités d'accueil dans les unités INSERM sur des périodes de 1 an renouvelable une fois, après examen des dossiers + présentation d'un projet. Ca peut marcher, et le salaire dans ce cas est alligné sur celui des chercheurs - je vous dis pas combien pour pas vous faire rire/pleurer, c'est selon 
	

	
	
		
		

		
		
	


	



Enfin, il est possible d'accueillir des post-docs, selon les modalités courantes (dossier, + bourse, 1 à 3 ans selon le type de poste).

Ce qui me manque:
Expérience en calcul parallèle,
Admin cluster,
Simulation numérique,
Imagerie médicale,
Calcul dosimétrique,
Portage de soft unix -&gt; Mac
Je sais, ça fait pas mal, mais c'est justement un des intérêts de la chose je trouve:
Selon le profil des étudiants, on trouve toujours un sujet adapté...
Par contre, faut pas être allergique au Mac, mais sur ce forum ça doit pas être un souci...


----------



## Anonyme (25 Novembre 2003)

iManu a dit:
			
		

> Admin cluster,



Excuse moi, mais mort de rire quand même


----------



## iManu (25 Novembre 2003)

Florent a dit:
			
		

> Excuse moi, mais mort de rire quand même


Oui, je comprends... 
	

	
	
		
		

		
		
	


	









Mais bon, on va y arriver !


----------



## iManu (29 Novembre 2003)

Bon, Jeudi on a effectué les branchements.
Pas de souci...
Je n'ai pas configuré l'accès internet sur toutes les machines, juste sur une, pour tester que le switch fonctionnait correctement.
En gros, la config sera la suivante:
Le Xserve a 2 ports gigabits. L'un ira vers l'extérieur (avec une adresse IP visible), l'autre vers le switch. Chaque G5 aura une adresse IP bidon, permettant de voir le Xserve, mais sans accès à internet.
Si tout se passe normalement, le Xserve pourra sortir et être vu,  et les G5 ne communiqueront qu'avec le Xserve.

Bonne nouvelle: le bruit.
Je confirme qu'avec les 15 machines allumées, le bruit est quasi inaudible. Le Xserve est en gros équivalent à un G4 (et bien plus silencieux que les anciens Xserves).
En fait, ce qui fera le plus de bruit c'est la clim, qui sera sans doute nécessaire car en sortie des G5, ça chauffe un peu...

Voila, RV en cours avec Apple pour configurer le Xserve, plus de nouvelles à suivre...

 Au fait, c'est la gloire!  
Un filet en page 28 de SVMmac (c'est MOI le grand institut de recherche français  
	

	
	
		
		

		
		
	


	




 )
Pis une dépêche sur Mag'Plus 
Je cours m'acheter un press-book


----------



## melaure (29 Novembre 2003)

Ton expérience est intéressante. J'ai l'impression qu'Apple va faire chuter les coût d'un cluster et qu'on pourrait bientôt en voir pas mal. Pourras-tu partager ton expérience de la mise en place du cluster et de comment tu fais du calcul partagé ?


----------



## iManu (29 Novembre 2003)

melaure a dit:
			
		

> Pourras-tu partager ton expérience de la mise en place du cluster et de comment tu fais du calcul partagé ?


Oui, c'est un peu l'idée.
C'est vrai que ça fait rire, mais j'ai aucune expérience de gestion de cluster... C'est pour ça que des gens d'Apple vont bientôt venir au labo pour le set-up.

En fait, mes problèmes sont en général des 'embarrassingly parallel computations' en ce sens que le caractère parallèle des calculs est vraiment réduit:
Je simule des particules, elles sont indépendantes, de même que leur effet sur la matière: on a simplement sommation des effets.
RQ: le cas 'standard' du calcul massivement parallèle, c'est soit dans le domaine de la gestion de base de donnée lourde, soit quand les 'évènements' sont liés, exemple en hydrodynamique: par exemple dans un Y, ce qui arrive d'un coté du tuyau a un impact sur ce qui arrive de l'autre côté, et à la jonction faut tenir compte de l'ensemble, etc...

Dans mon cas, c'est simple: si je simule 100 milliards de particules en 10 jours sur une machine, j'obtiens strictement le même résultat en 1 jour si j'ai 10 machines équivalentes en baterie...
Reste quelques soucis:
comment gérer les tâches, par exemple lancer, depuis le Xserve, un job qui sera exécuté sur les 15 G5, en répartissant la charge de travail puis en récupérant les résultats (et en les mettant en forme). En gros, le but c'est de rendre la chose aussi transparente que possible pour l'utilisateur. Quand un programme est compilé dans cette optique (par exemple avec MPI), on a de jolis utilitaires pour faire ça (pooch par exemple). Si ce n'est pas le cas, soit on improvise (shell script - Applescript peut-être?), soit on transforme le code pour qu'il supporte MPI (pas ma tasse de thé, mais bon, si j'arrive à avoir des étudiants motivés, c'est sans doute un bon sujet de stage).
Dans ce second cas, il faut penser à la division du travail en batches exécutables sur les divers noeuds, mais le problème essentiel est la reconstruction d'un fichier de sortie unique à la fin des calculs.

J'ai d'autres contraintes, par exemple le cluster devra être attaquable à distance par les collègues qui viendront exécuter leurs codes chez nous. Faudra gérer ça aussi.

Je ne suis pas inquiet car je sais que des solutions existent (dans le monde Linux par exemple, Condor?). Reste qu'il faut les mettre en oeuvre, et essayer - si possible - de tirer au mieux profit du côté Mac de la chose (si en plus c'est convivial...).

Bon, c'est un résumé rapide du contexte. Je pense à terme faire une page dédiée au cluster, sa vie, son oeuvre, etc... Faut du temps, c'est tout...
Reste que pour moi c'est important, car si ça peut motiver des étudiants à venir chez moi, c'est tout bon...


----------



## WebOliver (9 Décembre 2003)

On parle de toi sur *Vnunet*. 
	

	
	
		
		

		
		
	


	




 Enfin tu devais être au courant.


----------



## iManu (9 Décembre 2003)

Vi, j'ai vu...
' Little Big Mac ' c'est adopté.. 
	

	
	
		
		

		
		
	


	



Bon, quand c'est qu'ils viennent me l'installer, maintenant ? 
	

	
	
		
		

		
		
	


	



Pasque c'est pas tout, mais faut que ça bosse maintenant !


----------



## c-66 (9 Décembre 2003)

Roh c'est quand même incroyable toute la matière sur ces forums, on aurait de quoi faire des news pour MacG sans problème plusieurs fois par jour. Dommage qu'on en aie pas fait une news avant d'autant plus que l'info était à portée mais au moins c'est fait  Faudrait un système d'alerte pour "sujet intéressant pour les news" hein Benjamin ? 
	

	
	
		
		

		
			





En tout cas bravo pour ce choix et merci pour toutes ces infos. A mon boulot on a reçu plus d'une centaine de G5 mais pas pour un cluster, uniquement des postes de travail individuel... dommage


----------



## Thierry6 (11 Décembre 2003)

tu pourrais pas aller expliquer aux gens de Chasseurs d'images comment configurer un serveur, et comment traiter les commerciaux d'Apple ça calmerait tout le monde sur le "forum d'à coté" !!!


----------



## iManu (27 Décembre 2003)

Bon, c'est pas pour relancer le sujet, mais comme j'ai dit que je vous tiendrais au courant... Voici la suite de mes fabuleuses aventures au pays des clusters...

La formation sur OsX server était prévue initialement sur 4 jours.
En fait, pour diverses raisons que je vais détailler, on va faire 2 x 2 jours. 
En fait, cette suite va pas mal parler d'Apple Care - et de mes déboires avec cette honorable institution  
	

	
	
		
		

		
		
	


	



Il faut dire le contexte: 
- 15 G5 pour le calcul (little big mac)
- 1 Xserve pour l'administration
Avec 15 G5 et un Xserve, pas question de multiplier par 15 les installs, mises à jour etc... Sans savoir comment faire, nous avions dans l'idée le système génial qui consiste à avoir un modèle et à l'installer sur toutes les machines. Les termes NetBoot et NetRestore n'évoquaient alors pas grand chose pour moi, mais bon, on était croyant; non-pratiquant mais croyant...

En fait, il faut avoir un modèle (master, mais le terme est à banir désormais il parait  
	

	
	
		
		

		
		
	


	




). Pas de souci, de toutes façons je comptais 'sacrifier' un des G5 pour le développement et les tests. Donc on s'orriente vers:
- 1 G5 de développement
- 14 G5 de production (petit 'little big mac')
- 1 Xserve chef d'orchestre
J'avais bien préparé un G5, pour en faire un master, et hop, le jour de l'arrivée du formateur, il démarre pas, odeur de fumée, et diagnostic des personnes compétentes appelées à son chevet : une alim défuntée pématurément ...
Pas de souci ! AppleCare est là !
On est Mardi, début d'après-midi.
Premier appel: message du répondeur: 'nous sommes en formation, veuillez rappeler dans 3 heures'. En fait, comme il est déjà 15 heures, ça leur laisse juste le temps de sortir de réunion avant la fermeture à 18 heures, et hop...  
	

	
	
		
		

		
		
	


	



Appel désespéré (et quelque peu revendicatif ) de mon copain Charles (celui qui m'a vendu et installé les machines, c'est lui qu'on voit sur les photos sur mon site) chez Apple: on arrive à ouvrir notre appel. En fin d'après-midi, AppleCare rappelle le bureau pour s'assurer de la panne: diagnostic, c'est bien l'alim, commande est faite, compter 2 jours.
Donc - et c'est dommage de pas passer plus de temps sur ce sujet parce que vraiment ça s'est bien passé - on décide avec le formateur que ça sera plutôt 2 fois 2 jours, comme ça on a le temps que la machine soit réparée. Je vous reparlerai plus tard de l'install, quand même...
Ah, oui, autre chose, pour ceux qui suivent,  
	

	
	
		
		

		
		
	


	




 mon Xserve a été livré avec Jaguar server, et pas Panther  
	

	
	
		
		

		
		
	


	



Bref j'ai hurlé un peu, et le formateur est arrivé avec une version de Panther Server, limitée au 31/12, en attendant une version définitive qui devait m'être envoyée en urgence.
Et, M'sieur Apple, j'attends encore ! Dans 5 jours mon Xserve est mort  
	

	
	
		
		

		
		
	


	



RETOUR sur mon G5 en rade: 2 jours plus tard (le Jeudi matin) quelqu'un se présente au labo pour la réparation. Après vérif, il aparait qu'il a reçu un processeur et pas une alim. Un aller retour pour rien, et on en reprend pour 3 jours... Appel (furieux) à la boite qui devait faire la réparation, mais eux m'assurent que c'est Apple qui leur donne l'adresse, les refs et la pièce à remplacer, donc c'est chez Apple que ça a foiré.
Appel chez Apple (merci le téléphone main libre qui permet de travailler pendant la demi-heure d'attente) et là, ben on sait pas, on était pas là au début, tout ça, bref rien à cirer, de toutes façons il n'y a a pas de délai imposé pour effectuer la réparation, donc ta gueule...
Moi je décide de reviser ma configuration:
- 1 G5 HS
- 1 G5 de développement avec une partition pour faire un master
- 13 G5 de production (petit petit little big mac ?)
... et un Xserve paramétré lors de la formation, merci à Victor, sans blague, il est sympa et efficace.
Et je commence à faire mon master. On est Lundi, déjà, le temps passe, et le mec qui doit faire la réparation m'annonce que ça sera bon pour Mardi matin.
Au fait, vous ais-je dit que je comptais prendre des vaccances entre Noël et le premier de l'an ? Bref, fallait tout boucler avant le Mercredi après-midi.
Mardi matin (vers midi) arrivée du tech pour la réparation.
Démontage de l'alim, difficile, c'est vrai qu'elle est un peu planquée sur un G5. Echange standard. Essai de redémarrage: rien. Appel à AppleCare... Ils envoient une carte mère et 2 procs. Moi je m'en fous: j'ai mon master prêt sur un des G5, je vais bientôt tester, le reste... faut être philosophe...
Mercredi matin: test de NetRestore:
L'image disque du master est sur le Xserve, je NetBoote un des 13 G5, et miracle, ça marche... Je vis un grand moment de bonheur... 
	

	
	
		
		

		
		
	


	



Comme je suis fondamentalement parano (mais c'est pas moi qui ai commencé), je teste sur une autre machine, au hasard, et ça marche aussi !  
	

	
	
		
		

		
		
	


	



Je décide de tester sur 2 machines à la fois, et ça plante...
Je vous passe les différentes combinaisons testées, mais bon, il n'y a que la première machine qui passe, les autres non (bien sur, avec un seul écran, c'est pas facile de suivre le démarage de 2 systèmes à la fois...).
On est Mercredi 24 Décembre, fin d'après-midi, soit je rentre à la maison, soit je divorce. Je réfléchis, mais bon, il y a un bon repas prévu le soir, je décide de rentrer...

Voila...
Je suis en vacances, et j'essaie de me détendre.
Je veux oublier que dans 5 jours je n'aurais plus de licence pour mon OsX server.
Mon G5 ne sera sans doute pas réparé, car même si certains étudiants sont au labo (merci les petits scarabées  
	

	
	
		
		

		
		
	


	




 ), ça m'étonnerait que ça bouge beaucoup d'ici Janvier.
Le 2, je repartirais joyeux vers le monde mystérieux du clustering. D'ici là j'écume les forums dédiés aux élevages intensifs de Mac. Je profite que mes enfants soient occupés par leurs joujoux par milliers. 
Je crois que j'ai trouvé la cause du problème. Je vais peut-être essayer d'aller au labo en douce, mais faut pas que ma femme le sache, sinon elle me bute. Je vais lui dire que je vais au bordel, ça passera plus facilement...

Bonnes fêtes à tous 
	

	
	
		
		

		
		
	


	




... Et au fait, Joyeux Noël aussi à Apple...
Si z'avez pas d'idées pour les résolutions de début d'année, j'ai des suggestions à vous faire


----------



## cham (8 Janvier 2004)

iManu a dit:
			
		

> Et, M'sieur Apple, j'attends encore ! Dans 5 jours mon Xserve est mort



En même temps, tu as passé le bug de l'an 2000 sans problème, alors pour 2004 ça peut bien secouer un peu 
	

	
	
		
		

		
		
	


	




Bon, bonne année donc et comment vont ton cluster, ta femme et tes enfants ?


----------



## maousse (9 Janvier 2004)

cham a dit:
			
		

> Bon, bonne année donc et comment vont ton cluster, ta femme et tes enfants ?


tu es sûr de l'ordre des trois, là ?


----------



## iManu (9 Janvier 2004)

cham a dit:
			
		

> Bon, bonne année donc et comment vont ton cluster, ta femme et tes enfants ?


Pas mal, merci  
	

	
	
		
		

		
		
	


	



En ce qui concerne le cluster, ben mon G5 a été réparé cet après-midi (2 proc et une carte mère... l'est pas venu pour rien le réparateur cette fois  
	

	
	
		
		

		
		
	


	




 ).
Mon OsX server est enfin installé avec une licence qui va jusqu'en 2005 - d'ici là on sera à la version chat persan du système, pas de souci...
Reste le netBoot/netRestore...
J'ai encore des trucs à apprendre. Mon problème est toujours que je ne peux netBooter qu'une machine à la fois. Par contre, le netRestore fonctionne pour plusieurs machines en même temps. C'est juste le lancement de l'image minimale qui ne se fait que sur une machine. J'ai regardé les forums, et soit c'est lié à mon switch, soit c'est un souci de permission/verrouillage de l'image minimale. Je vais me replonger dans la doc... Mais bon, ça se précise.

De plus, je viens de regarder de près Xgrid, et ça a l'air d'être pile poil ce qu'il me faut. Vivement que je trouve le temps de tester.

Voilou, suite au prochain numéro...


----------



## Lupin sansei (10 Janvier 2004)

maintenant qu'Apple a rendu public un beta de Xgrid, est ce que tu pense l'utiliser pour le cluster?


----------



## iManu (10 Janvier 2004)

> maintenant qu'Apple a rendu public un beta de Xgrid, est ce que tu pense l'utiliser pour le cluster?


Je suis dessus... 
	

	
	
		
		

		
		
	


	



En gros, mes G5 sont maintenant opérationnels, et je commence à tester mes codes dessus.
L'idée, bien sur, c'est de tout lancer - et récupérer - à partir du Xserve (G4). Ce qui veut dire que je dois préparer des exécutables, installés sur le G4, mais qui tournent sur les G5.
Xgrid me semble complètement adapté à mes besoins


----------



## cham (10 Janvier 2004)

> cham a dit:
> 
> 
> 
> ...



C'est pour ça que je ne joue pas souvent pas au PMU !


----------



## Yip (14 Janvier 2004)

Du nouveau pour little big Mac iManu ?  
	

	
	
		
		

		
		
	


	




En tous cas j'aime bien ses aventures, je vais peut-être tenter de faire un cluster avec mon G4 400, mon Alu 12", l'imac 500 et aussi le PowerMac 7300


----------



## Anonyme (15 Janvier 2004)

Et le T610 
	

	
	
		
		

		
		
	


	




 !


----------



## Yip (15 Janvier 2004)

Euh... ah oui, j'ai failli l'oublier celui-là, merci Florent  
	

	
	
		
		

		
		
	


	




Bon sa puissance de calcul risque d'être négligeable, mais ça me rapproche des 1100 éléments hein.  
	

	
	
		
		

		
		
	


	




Xgrid tourne dessus


----------



## Macthieu (1 Février 2004)

où es-tu rendu avec le cluster??

est ce qu'il va toujours bien??


----------



## iManu (1 Février 2004)

Tout va bien ... en gros...
Je devrais avoir du nouveau demain, parce que la personne qui fait la formation revient demain et j'ai une liste de questions en suspens...

Pour l'instant: c'est silencieux, ça chauffe et j'ai pas encore fait le tour de la mise en oeuvre...

Faut que je me dépêche avant que les G5 soient obsolètes


----------



## mad'doc (31 Juillet 2004)

2 questions:
1) Tu ne postes plus sur ce sujet, donc ça marche bien ?
2) Pourquoi ne pas profiter du dévouement des MacUsers pour utiliser Xgrid à l'instar de Xgrid Stanford ?
Non pas que je sois chauvin, mais quand j'entends que les chercheurs Français ont des restrictions budgétaires tous les ans, il faut bien trouver des solutions gratuites mais efficaces...
Et là, rien que sur MacG, il y a un sacré potentiel de calcul partagé


----------



## Lupin sansei (1 Août 2004)

mad'doc a dit:
			
		

> Non pas que je sois chauvin, mais quand j'entends que les chercheurs Français ont des restrictions budgétaires tous les ans, il faut bien trouver des solutions gratuites mais efficaces...
> Et là, rien que sur MacG, il y a un sacré potentiel de calcul partagé



je suis partant!


----------



## iManu (3 Août 2004)

Salut à tous 



			
				mad'doc a dit:
			
		

> 1) Tu ne postes plus sur ce sujet, donc ça marche bien ?


Pas trop mal...
Je dois dans un premier temps remercier l'implication des Apple's boys sur ce coup là. Les personnes avec qui j'ai été en contact, où qui sont venues me/nous former sont très pointues, et efficaces.
Le point...
Cluster opérationnel... 
enfin y a encore du taf ... :mouais:

*Le fonctionnement:*
Les clients se connectent via vpn sur le Xserve, où ils ont un compte.
De là, ils lancent leurs simulations grace à un script, qui permet de lancer via Condor différentes tâches sur les divers noeuds du cluster. Quand le travail est fini, le script concatène les résultats, donc l'utilisateur récupère une seul fichier.

En gros, là où sur une machine tu fais:
Gate toto.mac
Sur le cluster ça devient:
CondorGate toto.mac N
où N est le nombre de noeuds demandés. Bref, pour l'utilisateur c'est transparent. 

*Pourquoi Condor ?*
- J'ai testé Xgrid (i.e. mes étudiants, harcelés par moi et sous la contrainte, etc...  )
Le souci, c'est que la version (c'est jamais qu'une bêta) ne gère pas bien les transferts de 'gros' fichiers, et mes résultats font jusqu'à plusieurs Go... Donc on attend Tiger avec impatience...

- J'ai aussi (idem  ) testé Pooch , mais c'est surtout utile pour les applications parallélisées avec MPI. Souci, celle que j'utilise se bloque quand on lance de trop grosses simulations (en résumé, le buffer excède sa taille max, et le code n'est pas modifiable... ça a été développé à une époque où il ne semblait pas possible de lancer de trop gros jobs... j'attends la mise à jour...).

Condor est gratuit, gère les files d'attente, bref ça correspond à mes besoins...



			
				mad'doc a dit:
			
		

> 2) Pourquoi ne pas profiter du dévouement des MacUsers pour utiliser Xgrid à l'instar de Xgrid Stanford ?
> Non pas que je sois chauvin, mais quand j'entends que les chercheurs Français ont des restrictions budgétaires tous les ans, il faut bien trouver des solutions gratuites mais efficaces...
> Et là, rien que sur MacG, il y a un sacré potentiel de calcul partagé


A voir...
Pour l'instant, la solution Xgrid ne marche pas pour moi.
Dans le futur, pourquoi pas...
Par contre, un des problèmes à régler, c'est le volume de donnée à transférer, en entrée et en sortie. En gros, même si on diminue le nombre de particules à simuler (ce qui diminue le temps de calcul pour chaque machine), la géométrie peut quand meme être compliquée, donc les fichiers d'entrée/sortie volumineux.
Je crois que dans un premier temps, on va se concentrer sur une solution locale (Little Big Mac) puis, toujours sur le réseau local (i.e. rapide) voir si on peut récupérer les Macs du labo quand ils sont inactifs. Après... ça demanderait sans doute une re-écriture sévère du code pour décomposer les tâches en tout petits bouts, style seti...

*Problèmes en suspens:*
La linéarité des perfs: Si je regarde le temps gagné, on doit pouvoir faire mieux...
En gros, si je multiplie par 2 le nombre de noeuds, je ne divise pas par 2 le temps de calcul, et ça me gène... Bien sur tout n'est pas parfait dans ce bas monde, mais on devrait pas être loin. Actuellement, (par exemple) 16 noeuds équivalent à 10 noeuds 'théoriques', i.e. les perfs que j'aurais avec 10 noeuds si on avait une linéarité parfaite. Un stagiaire analyse les performances, le but étant de déterminer où on peut gagner...

L'alim    
J'ai acheté des onduleurs, pour faire face aux coupures, micro où non... En gros, comme je suis sur le circuit secouru, si coupure il y a, elle ne dure pas plus de quelques secondes. Bref, du boulot typique pour un onduleur. Selon les données constructeur, j'ai acheté 8 onduleurs 800 VA, soit:
1 pour le Xserve et le switch
7 pour 14 G5, donc 2 G5/onduleur
Ben ça le fait pas... Le Xserve tient, pas les G5... Or, en cette période d'orage, les coupures sont fréquentes. Bref, un de mes étudiants a perdu une smulation qui tournait depuis 30 jours   
Ca veut dire qu'il faut bosser aussi sur le type de travail qu'on envoie à faire, et essayer de faire des 'petits' jobs, comme ça on ne perd jamais beaucoup de données... Mais bien sur, pour celà il faut que la linéarité soit bonne...

D'autres nouvelles plus tard...
J'ai espoir de pouvoir passer le Xserve en Xserve G5, et d'acquérir un système Xraid, pour compléter la bestiole... mais chut, c'est pas officiel, je vous ai rien dit... :rateau:


----------



## mad'doc (3 Août 2004)

Merci pour les infos


----------



## tatouille (4 Août 2004)

> J'ai espoir de pouvoir passer le Xserve en Xserve G5, et d'acquérir un système Xraid, pour compléter la bestiole... mais chut, c'est pas officiel, je vous ai rien dit...



bah dit moi ya des credits chez toi   

un cluster de g5 pas mal 

je suis d'accord avec toi j'ai essayé de mettre en prod xgrid
sous la tutel des cnrsseux pas moyen

fais tu de la spectro de masse ?


----------



## iManu (4 Août 2004)

tatouille a dit:
			
		

> bah dit moi ya des credits chez toi


Ben, on va pas se plaindre...
Ceci dit, ça m'a pris 2-3 ans pour y arriver...
En gros, à l'INSERM ou au CNRS, faut anticiper pas mal, c'est à dire demander maintenant ce dont tu auras besoin dans 2 ans... ou plus!
Par exemple, dès que j'ai su que j'allais avoir mon cluster, j'ai cherché les sources de financement pour le compléter... Mais bon, dans mon domaine (cancer) en ce moment, il y a des sous, et on peut grapiller des miettes...
Ca fait bizarre de dire des miettes. Mais par rapport au coût de la recherche en médecine, un cluster c'est pas grand chose. Le souci, c'est que c'est quand même dur à obtenir...



> fais tu de la spectro de masse ?


Nan, moi c'est des simulations des interactions rayonnement-matière dans le domaine médical...


----------



## tatouille (5 Août 2004)

> Mais par rapport au coût de la recherche en médecine, un cluster c'est pas grand chose. Le souci, c'est que c'est quand même dur à obtenir...



oui je dirais meme que c'est indispensable en 2004 ..........
et que la recherche c'est l'avenir et la force economique d'un pays........
mais certains ont du mal a concevoir que des gens pensent a l'avenir
plutot qu'a son beau siege en cuir ...................
mais tu peux etendre à n'importe quelle recherche chimie biologie ..........

c'est quand meme une belle reussite ce cluster


----------



## macboy (8 Avril 2005)

question du soir bonsoir...
que devient ce cluster??
a t il fait des bébés... encore plus de G5??


----------

