因為大人的原因,
所以我要透過很多Web Proxy去代替我爬資料,
不過由於我手上根本沒這麼多Proxy可用,
又加上有人把Google Appengine當成一種Proxy來用,
所以......我就毫不知恥的直接寫程式讓Google幫我爬這些資料了(心虛)。
原始碼在這,有興趣想玩的請參考。
解釋一下原理好了,
基本上只是利用Google幫我查詢「Powered by ProxyPy v1.4 site:appspot.com」這個字串,
我再把裡面的網址用正規式爬出來而已,
算是個相當簡單的小工具。
不過要注意一下,
由於Google對於頻繁的查詢是會有ban掉的措施,
所以使用時請自重,
否則弄到同一區域網路的其他人不能用就好笑了。
所以我要透過很多Web Proxy去代替我爬資料,
不過由於我手上根本沒這麼多Proxy可用,
又加上有人把Google Appengine當成一種Proxy來用,
所以......我就毫不知恥的直接寫程式讓Google幫我爬這些資料了(心虛)。
原始碼在這,有興趣想玩的請參考。
解釋一下原理好了,
基本上只是利用Google幫我查詢「Powered by ProxyPy v1.4 site:appspot.com」這個字串,
我再把裡面的網址用正規式爬出來而已,
算是個相當簡單的小工具。
不過要注意一下,
由於Google對於頻繁的查詢是會有ban掉的措施,
所以使用時請自重,
否則弄到同一區域網路的其他人不能用就好笑了。
留言