有没有批量抓取并验证而且自动导入到代理的扩展

 http://www.xicidaili.com/nn/这么多一个个弄太麻烦了。要是有扩展可以批量导入就好了

批量获取from bs4 import BeautifulSoup
import urllib2


of = open('proxy.txt' , 'w')

for page in range(1, 160):
    html_doc = urllib2.urlopen('http://www.xici.net.co/nn/' + str(page) ).read()
    soup = BeautifulSoup(html_doc)
    trs = soup.find('table', id='ip_list').find_all('tr')
    for tr in trs[1:]:
        tds = tr.find_all('td')
        ip = tds[1].text.strip()
        port = tds[2].text.strip()
        protocol = tds[5].text.strip()
        if protocol == 'HTTP' or protocol == 'HTTPS':
            of.write('%s=%s:%s\n' % (protocol, ip, port) )
            print '%s=%s:%s' % (protocol, ip, port)

of.close()

接着验证代理是否可用#encoding=gbk
import httplib
import time
import urllib
import threading

inFile = open('proxy.txt', 'r')
outFile = open('available.txt', 'w')

lock = threading.Lock()

def test():
    while True:
        lock.acquire()
        line = inFile.readline().strip()
        lock.release()
        if len(line) == 0: break
        protocol, proxy = line.split('=')
        headers = {'Content-Type': 'application/x-www-form-urlencoded',
            'Cookie': ''}
        try:
            conn = httplib.HTTPConnection(proxy, timeout=3.0)
            conn.request(method='POST', url='http://e.meituan.com/m/account/login', body='login=ttttttttttttttttttttttttttttttttttttt&password=bb&remember_username=1&auto_login=1', headers=headers )
            res = conn.getresponse()
            ret_headers = str( res.getheaders() )
            html_doc = res.read().decode('utf-8')
            print html_doc.encode('gbk')
            if ret_headers.find(u'/m/account/login/') > 0:
                lock.acquire()
                print 'add proxy', proxy
                outFile.write(proxy + '\n')
                lock.release()
            else:
                print '.',
        except Exception, e:
            print e

all_thread = []
for i in range(50):
    t = threading.Thread(target=test)
    all_thread.append(t)
    t.start()
    
for t in all_thread:
    t.join()

inFile.close()
outFile.close()

http://www.lijiejie.com/crawl-and-verify-http-proxies-python/网上找的但不知道怎么用

http://blog.csdn.net/u014595019/article/details/50166385 还有这个，请问怎么用呢

warb：批量获取from bs4 import BeautifulSoup
import urllib2


of = open('proxy.txt' , 'w')

for page in range(1, 160):
    h...回到原帖

这个脚本怎么使用？

warb：接着验证代理是否可用#encoding=gbk
import httplib
import time
import urllib
import threading

inFile = open('proxy.txt', 'r')
outFi...回到原帖

这脚本做什么用处？

python 代码，要安装 Python运行环境
如果是Windows不想装，可以改写为 powershell 代码

安装了python可是http://www.jb51.net/article/90783.htm这里的代码运行后无反应呀

找到一个https://github.com/nladuo/AutoShadowsocks但是这个模块怎么加入到里面呢。请傻瓜教程

不知底细的代理也敢用，看来你真不把自己的账号密码当回事。

warb：找到一个https://github.com/nladuo/AutoShadowsocks但是这个模块怎么加入到里面呢。请傻瓜教程回到原帖

https://www.visualstudio.com/downloads/ 下载Visual Studio，用其打开AutoShadowsocks.sln文件，进行编译

taoww：https://www.visualstudio.com/downloads/ 下载Visual Studio，用其打开AutoShadowsocks.sln文件，进行编译回到原帖

能说详细点吗，使用的是windows系统。谢谢提醒安全问题，只是使用免费的账号。现在提供免费的很多，用一段就不能使用了，一个个换麻烦，想找从网页上直接抓取并导入代理的方法。

大家看看http://www.jb51.net/article/90783.htm这里的脚本复制后放到python里面回车后不能运行。

不错，总算从你的帖子里找到了点有用的东西。看国内的一些视频需要用。反正没那些视频网站的账号，他们拿到我的cookies也没什么问题………………………………吧。