在用wget抓取数据的时候,有的时候需要用户登录才能进行。这种情况下就需要时用cookie.
先看下面的代码:
wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies -O output/login.html --post-data "username=NNNNNNNNNNN&password=MMMMMMMMMMM" http://www.xxxxxxxxxxxxxx.org/login
wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies -O output/directory-list.html "http://www.xxxxxxxxxxxxxxx.org/list?category=resturants&page=1"
第一个操作,就是先获得一个cookie,用来登陆并保存此session,然后在后面的抓数据的过程中使用此session和cookie.
注意:
http://www.xxxxxxxxxxxxxx.org/login要换成对应的登陆页面的url
--post-data "username=NNNNNNNNNNN&password=MMMMMMMMMMM" post数据里面的参数要根据登陆页面里面对应的参数设定。
第二个操作,就是用上面的cookie去验证用户,并取得一个有效的连接,进而去取得数据。
--load-cookies 就是载入你上一个操作所取得的cookie.
在抓取数据的时候,我自己用了一个脚本,如下,以供参考:
get --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies -O login.html --post-data "username=xxxxxxxxxx&password=11111111111111111" http://www.mmmmmmmmmmmmmmmmmm.mmmmmmmmm/login
for i in {1..89}
do
for j in {1..20}
do
echo i=$i -- j=$j
echo "wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies -O $i-$j.html 'http://www.ccccccccccccccc.ccccccccccc/directory/resturant/list?keyword=&class=$i&page=$j'"
wget --no-dns-cache --no-cache --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies -O $i-$j.html "http://www.qqqqqqqqq.xxxxxxxxx/directory/bar/list?keyword=&class=$i&page=$j"
done
|----------------------------------------------------------------------------------------|
版权声明 版权所有 @zhyiwww
引用请注明来源 http://www.blogjava.net/zhyiwww
|----------------------------------------------------------------------------------------|
posted on 2009-10-27 18:20
zhyiwww 阅读(3980)
评论(0) 编辑 收藏 所属分类:
linux