# Installer Wget



## @bou @n@ss (18 Mai 2003)

Salut,

J'ai téléchargé Wget mais après l'avoir configuré, j'ai toujours :
Command not found ;-(

Qu'est-ce que j'ai loupé ?

Merci


----------



## maousse (18 Mai 2003)

tu t'y est pris comment pour l'installer ?

avec un 
"./configure 
make
make install" ?

ça t'as mis un message d'erreur pendant ce processus ?
Tu as bien suivi le readme qui accompagne les sources du programme ?
Où as-tu trouvé le tarball ?

Sinon, tu peux l'installer avec fink, c'est très commode et sans échec, assuré, et tu auras accès a des centaines d'autres programmes du même genre


----------



## @bou @n@ss (18 Mai 2003)

<blockquote><font class="small">Post&eacute; &agrave; l'origine par maousse:</font><hr /> * tu t'y est pris comment pour l'installer ?

avec un 
"./configure 
make
make install" ?

ça t'as mis un message d'erreur pendant ce processus ?
Tu as bien suivi le readme qui accompagne les sources du programme ?
Où as-tu trouvé le tarball ?

Sinon, tu peux l'installer avec fink, c'est très commode et sans échec, assuré, et tu auras accès a des centaines d'autres programmes du même genre 
	

	
	
		
		

		
		
	


	


* 

[/QUOTE]

<blockquote><font class="small">Post&eacute; &agrave; l'origine par maousse:</font><hr /> * 

avec un 
"./configure 
Pas de message d'erreur.
Je vais relire le readme.

Le tarball ? késako ?

*


----------



## maousse (18 Mai 2003)

le tarball, c'est l'archive tar, désolé d'avoir utilisé un anglicisme 
	

	
	
		
		

		
		
	


	




en général, ./configure n'est pas suffisant
il faut aussi faire "make" et "make install", la procédure est indiquée dans le readme

sinon, je te le répète, si tu comptes installer de nombreux petits programmes en ligne de commande, etc... fink est de loin la meilleure solution


----------



## @bou @n@ss (18 Mai 2003)

J'ai déjà désinstallé fink 2 fois par manque de place (latex me prenait pas moins de 300Mo) ! Je lui préfère i-Installer mais celui-ci ne propose pas wget.

Quant à l'installation manuelle de wget, elle me donne ceci :
 <font color="red"> make[1]: Nothing to be done for `all'.
[aa:~/Desktop/wget-1.8.2] aa% make install
cd src &amp;&amp; make CC='gcc' CPPFLAGS='' DEFS='-DHAVE_CONFIG_H -DSYSTEM_WGETRC=\"/usr/local/etc/wgetrc\" -DLOCALEDIR=\"/usr/local/share/locale\"' CFLAGS='-O2 -Wall -Wno-implicit' LDFLAGS='' LIBS='-lssl -lcrypto ' prefix='/usr/local' exec_prefix='/usr/local' bindir='/usr/local/bin' infodir='/usr/local/info' mandir='/usr/local/man' manext='1' install.bin
../mkinstalldirs /usr/local/bin
/usr/bin/install -c wget /usr/local/bin/wget
/usr/bin/install: /usr/local/bin/wget: Permission denied
make[1]: *** [install.bin] Error 71
make: *** [install.bin] Error 2
 </font>


----------



## Bobbus (19 Mai 2003)

Il y a bien une erreur à l'installation car le 'make install' essaie de copier les binaires dans le dossier approprié '/usr/local/bin', dans lequel seul l'utilisateur root a le droit d'écrire.
Essaie de faire sudo make install, ça devrait passer, ou alors su puis make install (mais il faut avoir activer le compte root)

Bob


----------



## @bou @n@ss (19 Mai 2003)

Merci, ça marche mais ./wget ne fonctionne pas et il faut taper /usr/local/bin/wget pour lancer wget !
Sans faire des alias, il y a bien un fichier à modifier, un PATH ou quelque chose dans le genre, non ?


----------



## Bobbus (19 Mai 2003)

Normalement si wget est /usr/local/bin, faire 'wget' (sans ./) doit pouvoir suffire. Sinon il faut redéfinir ta variable d'environnement PATH pour y inclure /usr/local/bin

Bob


----------



## @bou @n@ss (19 Mai 2003)

<blockquote><font class="small">Post&eacute; &agrave; l'origine par Bobbus:</font><hr /> * Normalement si wget est /usr/local/bin, faire 'wget' (sans ./) doit pouvoir suffire. Sinon il faut redéfinir ta variable d'environnement PATH pour y inclure /usr/local/bin
* 

[/QUOTE]

Et c'est justement ça qui m'intrigue : wget est bien dans /usr/local/bin, mais ./wget ne marche pas et en plus il n'y a pas d'entrée man pour wget malgré un /usr/local/man/man1/wget.1.

Une idée ?


----------



## @bou @n@ss (19 Mai 2003)

Quant à mon PATH, il est ainsi :

<font color="red"> 
path = (                                                    \
                ~/bin                                           \
                /usr/local/bin /usr/bin /bin                    \
                /usr/local/sbin /usr/sbin /sbin                 \
           )
 </font>


----------



## Bobbus (20 Mai 2003)

./wget ne peut marcher de toutes façons que si tu es dans le répertoire /usr/local/bin

Pour moi, ça reste un problème tout bête de PATH mal configuré.


----------



## vnsullivan (22 Mai 2003)

<blockquote><font class="small">Post&eacute; &agrave; l'origine par @bou @n@ss:</font><hr /> * Quant à mon PATH, il est ainsi :

<font color="red"> 
path = (                                                    \
                ~/bin                                           \
                /usr/local/bin /usr/bin /bin                    \
                /usr/local/sbin /usr/sbin /sbin                 \
           )
 </font>    * 

[/QUOTE]

Bizarre. Si ton path contient /usr/local/bin, ça devrait marcher. As-tu réussi à te sortir de toutes ces embrouilles? Si c'est le cas, peux-tu nous dire ce qui n'allait pas? Ça peut toujours être utile pour ceux qui vont venir après toi si tu clos le thread proprement 
	

	
	
		
		

		
		
	


	



Merci de ta réponse.

vn


----------



## @bou @n@ss (22 Mai 2003)

Aucun changement !

Je (me) tape tjs le /usr/local/bin/ avant la commande ;-(


----------



## olof (23 Mai 2003)

Es-tu  *vraiment* sur de ton path ?

que donne un


```
echo $PATH
```

???


----------



## @bou @n@ss (23 Mai 2003)

<blockquote><font class="small">Post&eacute; &agrave; l'origine par olof:</font><hr /> * Es-tu  vraiment sur de ton path ?

que donne un



		Bloc de code:
	

echo $PATH


???  * 

[/QUOTE]

echo $PATH
/Users/aa/bin/powerpc-apple-darwin:/Users/aa/bin:/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin


----------



## vnsullivan (23 Mai 2003)

Holàlà!
Et un challenge! Un!
C'est vrai que c'est très bizarre ton problème, surtout que l'opération étant tellement basique, l'erreur doit certainement l'être aussi, et ça ne devrait pas être bien compliqué à résoudre...
Alors est-ce que tu peux commencer par nous donner le message d'erreur précis? Est-ce tout simplement un "command not found"? Tu peux nous faire un copier/coller de ton term?

vn


----------



## @bou @n@ss (23 Mai 2003)

<blockquote><font class="small">Post&eacute; &agrave; l'origine par vnsullivan:</font><hr /> * Holàlà!
l'opération étant tellement basique, l'erreur doit certainement l'être aussi, et ça ne devrait pas être bien compliqué à résoudre...vn   * 

[/QUOTE]

Je faisais du ./wget  
	

	
	
		
		

		
		
	


	




Le wget tout seul marche bien  
	

	
	
		
		

		
		
	


	




Merci, vous m'avez bien aidé?


----------



## Funnix (7 Juin 2014)

Youpi  je ne suis pas seul IDEM pour moi, alors je vais faire un joli copier coller qui résume mon pb (qui ressemble méchament au meme que @bou @n@ss)

Je me sens compris tout d'un coup (sur le forum d'app... c'est très bof la réponse...)

Primo : imacdejristophe:~ CompteKikoff$ /usr/local/bin/wget
-bash: /usr/local/bin/wget: Permission denied

Secondo : voici mon path :
imacdejristophe:~ CompteKikoff$ echo $PATH
/opt/local/bin:/opt/local/sbin:/opt/local/bin:/opt/local/sbin:/Users/CompteKikoff:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/X11/bin

Ma petite histoire : je vous laisse la version américaine, je pense que mon anglais se comprend assez bien (si pb de trad, dites le moi)

I dowloaded the WGET. I move it in a personal Folder (called *myWget*) then I start compilation in that *personal *Folder :

Step One :
./configure --with-ssl=openssl

Step Two :
make

Step Three :
sudo make install

I finally have this sump-up in the XTERM window at the end of the compilation :
     configure: Summary of build options:
Version:           1.15
     Host OS:           darwin13.2.0
     Install prefix:    /usr/local
     Compiler:          gcc
     CFlags:             -O2 -Wall 
     LDFlags:           
     Libs:              -lssl -lcrypto -ldl -lz 
     SSL:               openssl
     Zlib:              yes
     Digest:            yes
    NTLM:              yes
    OPIE:              yes
    Debugging:         yes

Then....didn't work !!!!!!!!!!!!
imacdejristophe:myWGET CompteKikoff$ wget
-bash: wget: command not found


----------



## Funnix (7 Juin 2014)

En plus j'essaie de tester la commande su sous Maverick
mais...je mets le meme mot de passe que celui de l'ouverture de session mais ca marche pas 

because ???

qqn sait ?

---------- Nouveau message ajouté à 22h38 ---------- Le message précédent a été envoyé à 22h36 ----------

imacdejristophe:Users CompteKikoff$ cd /usr/local/
imacdejristophe:local CompteKikoff$ ls
bin    clamXav    etc    include    info    lib    man    share
imacdejristophe:local CompteKikoff$ 
imacdejristophe:local CompteKikoff$ cd bin/
*-bash: cd: bin/: Permission denied
imacdejristophe:local CompteKikoff$ *

---------- Nouveau message ajouté à 22h39 ---------- Le message précédent a été envoyé à 22h38 ----------

imacdejristophe:Users CompteKikoff$ cd /usr/local/
imacdejristophe:local CompteKikoff$ ls
bin    clamXav    etc    include    info    lib    man    share
imacdejristophe:local CompteKikoff$ 
imacdejristophe:local CompteKikoff$ cd bin/
*-bash: cd: bin/: Permission denied
imacdejristophe:local CompteKikoff$ *


----------



## bompi (7 Juin 2014)

Utilise plutôt "sudo" qui permet d'exécuter une commande avec des droits administrateurs.
Et pour avoir un shell avec les droits d'administration, c'est "sudo -s"

Il y a de multiples façons d'obtenir wget : compilation autonome, Fink, MacPorts par exemple.
Le projet Rudix offre des paquets tout faits, très pratiques. Et puis on peut aussi prendre Homebrew.


----------



## edd72 (8 Juin 2014)

bompi a dit:


> Utilise plutôt "sudo" qui permet d'exécuter une commande avec des droits administrateurs.
> Et pour avoir un shell avec les droits d'administration, c'est "sudo -s"



Oui car su permet de switcher vers le user root, et à moins que tu aies défini un mot de passe pour le user root, le mdp du user root tu ne le connais pas 
_(et puis c'est pas une très bonne pratique)_


----------



## Funnix (8 Juin 2014)

génial ta commande sudo -s CA FONCTIONNE MAINTENANT 

---------- Nouveau message ajouté à 12h12 ---------- Le message précédent a été envoyé à 12h04 ----------

génial merci pour le conseil et la commande sudo -s


maintenant ca marche nikel. Le Truc c'est que j'ai testé la commande ci dessous et j'ai l'impression que wget n'arrive pas à aspirer le site qui est en aspx.

Pour plus de sécu j'ai mis des XXX 


wget -r -l10 --user=XXXXX --password=XXXXX http://XXXXX/default.aspx

Je n'ai que la premiere page  (qui est celle qui sert à demander le login/mdp)

++

ENCORE MERCI POUR VOS REPONSES

---------- Nouveau message ajouté à 12h29 ---------- Le message précédent a été envoyé à 12h12 ----------

bash-3.2# wget -r -l10 --user=xxxx --password=xxxx http://xxxxx/default.aspx
--2014-06-08 12:06:14--  http://xxxx/default.aspx
Resolving xxxx... gg.gg.2.gg
Connecting to xxxxx|ggg.gggg.2.gg|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25594 (25K) [text/html]
Saving to: 'xxxx/default.aspx'

100%[======================================>] 25,594       114KB/s   in 0.2s   

2014-06-08 12:06:15 (114 KB/s) - 'xxxx/default.aspx' saved [25594/25594]
Loading robots.txt; please ignore errors.

--2014-06-08 12:06:15--  http://xxxx/robots.txt
Reusing existing connection to xxxx.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 26 [text/plain]
Saving to: 'xxxx/robots.txt'

100%[======================================>] 26          --.-K/s   in 0s      

2014-06-08 12:06:15 (2.48 MB/s) - 'oxxxxxm/robots.txt' saved [26/26]

FINISHED --2014-06-08 12:06:15--

---------- Nouveau message ajouté à 12h32 ---------- Le message précédent a été envoyé à 12h29 ----------

merci SUDO FONCTIONNE mais je n'arrive pas à aspirer le site en aspx car je n'ai que la premiere page d'enregistrée (celle du login/mdp)..

On y est presque, voici mes logs (avec des xxx pour anonymiser)
qqn sait la commande pour enregistrer un site aspx ?

bash-3.2# wget -r -l10 --user=xxxx --password=xxxx http://xxxxx/default.aspx
--2014-06-08 12:06:14--  http://xxxx/default.aspx
Resolving xxxx... gg.gg.2.gg
Connecting to xxxxx|ggg.gggg.2.gg|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25594 (25K) [text/html]
Saving to: 'xxxx/default.aspx'

100%[======================================>] 25,594       114KB/s   in 0.2s   

2014-06-08 12:06:15 (114 KB/s) - 'xxxx/default.aspx' saved [25594/25594]
Loading robots.txt; please ignore errors.

--2014-06-08 12:06:15--  http://xxxx/robots.txt
Reusing existing connection to xxxx.com:80.
HTTP request sent, awaiting response... 200 OK
Length: 26 [text/plain]
Saving to: 'xxxx/robots.txt'

100%[======================================>] 26          --.-K/s   in 0s      

2014-06-08 12:06:15 (2.48 MB/s) - 'oxxxxxm/robots.txt' saved [26/26]

FINISHED --2014-06-08 12:06:15--


----------



## Funnix (9 Juin 2014)

Pas d'idée meilleure pour by passer la page d'authent et avoir les autres pages ?


----------



## bompi (9 Juin 2014)

Il te faut un _website crawler_ (robot d'indexation (?) en français) ou alors un peu de programmation.
As-tu essayé avec _curl_ ?

Ne retrouvant plus le nom de celui que j'utilisais il y a quelques années, j'ai fait une petite recherche et il semble que Nutch est capable de faire cela ; mais c'est un peu plus compliqué que manipuler _wget_ ou _curl_.


----------



## Funnix (10 Juin 2014)

Non pas essayé curl, j'essaie juste de trouver la bonne syntaxe pour Wget.

je comprends pas le pb avec Wget pourquoi il ne me donne que la première page


----------



## bompi (10 Juin 2014)

Tout dépend de la manière dont est faite l'authentification et de la complexité des formulaires (avec JavaScript ou pas, par exemple).
En clair, il faut souvent des produits qui permettent de remplir des formulaires, qui gèrent les cookies etc. Autrement dit, des robots capables de dérouler un scénario.


Tu dois pouvoir enchaîner des commandes wget successives pour le faire, comme ici, au second post. Mais cela ne marchera pas dans tous les cas. Si du JavaScript côté client est requis, je doute que wget sache se débrouiller ; il faut alors des outils plus sophistiqués.


----------



## Funnix (10 Juin 2014)

merci bompi 

j'ai fait un copier coller des 2 lignes WGET proposées et en adaptant et bien j'arrive à récupérer un page aspx en local...
...mais elle est vide quand je l'ouvre avec Safari !!!

Ce te parait ok ?
(il faut faire un script au marteau et au burin ?)


----------



## bompi (10 Juin 2014)

Dis-toi qu'il faut que tu reproduises avec un outil (un outil intégré ou un script, en un langage de ton choix (PHP, Bash etc.)) la cinématique du site.

Par ailleurs, pour lire le contenu de la page ASP retournée, utilise plutôt un éditeur de texte pour voir si elle est vide ou non et, dans ce cas, ce qu'elle contient.


----------



## Funnix (11 Juin 2014)

yep tu as raison avec text editor la page arrive ...
...sauf que j'ai juste la première page d'authent...

je vois pas comment faire pour utiliser les autres outils que tu me proposes, tu peux m'en dire plus ? site web existant avec démo par ex ferait l'affaire

++:love:


----------



## bompi (11 Juin 2014)

Regarde les différentes options de wget regardant les cookies : il y a de fortes chances que le site que tu veux aspirer utilise un cookie (ou plus) pour stocker les informations de session.
_wget_ a, par exemple, des options pour enregistrer les cookies avant de quitter ou les recharger avant d'envoyer une requête. Il faut sans doute s'inspirer de ça.
Si tu parcours le site avec Firefox, tu pourras voir quels cookies utilise le site.

Nutch a l'air assez complet et il y a un tuto ici (et d'autres : il suffit de chercher).

Encore une fois : si tu veux aspirer un site dynamique (avec des formulaires, éventuellement de l'authentification), tu dois en examiner la cinématique et écrire tes scripts ou paramétrer les outils en fonction de ça. Donc : d'abord analyser puis choisir le bon outil puis réaliser.


----------

