httpclient使用代理ip
生活随笔
收集整理的這篇文章主要介紹了
httpclient使用代理ip
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
在瀏覽一些網(wǎng)站的時候由于各種原因,無法進(jìn)行訪問。?
頻繁訪問也可能導(dǎo)致ip被封鎖而導(dǎo)致無法訪問網(wǎng)站,這在我們爬取數(shù)據(jù)過程中經(jīng)常遇到。
這時我們需要通過IE,FireFox進(jìn)行Http的代理設(shè)置,?
當(dāng)然httpClient也為我們提供這樣的設(shè)置 。
代理ip用很多種形式,可以找到一個可用Ip或者使用goagent,或者購買代理ip池。
那在httpclicent中要怎么樣運用呢。我們以goagent為例。
goagent打開后,只要通過127.0.0.1 端口8087來訪問 就可以了
httpclient的具體用法有兩種 ?post和get,具體使用方法可參考:
HTTPClient模塊的HttpGet和HttpPost
要調(diào)用代理,只需要增加以下代碼:
HttpHost proxy = new HttpHost("127.0.0.1",8087, null); httpclient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy);如果代理需要用戶,密碼進(jìn)行驗證?
httpClient.getCredentialsProvider().setCredentials(new AuthScope(proxyHost, proxyPort),new UsernamePasswordCredentials(userName, password));
完整例子:
public static void main(String args[]) {StringBuffer sb = new StringBuffer();//創(chuàng)建HttpClient實例HttpClient client = getHttpClient();//創(chuàng)建httpGetHttpGet httpGet = new HttpGet("http://www.csdn.net");//執(zhí)行try {HttpResponse response = client.execute(httpGet);HttpEntity entry = response.getEntity();if(entry != null){InputStreamReader is = new InputStreamReader(entry.getContent());BufferedReader br = new BufferedReader(is);String str = null;while((str = br.readLine()) != null){sb.append(str.trim());}br.close();}} catch (ClientProtocolException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}System.out.println(sb.toString()); }//設(shè)置代理public static HttpClient getHttpClient() {DefaultHttpClient httpClient = new DefaultHttpClient();String proxyHost = "proxycn2.huawei.com";int proxyPort = 8080;String userName = "china\\******";String password = "*******“httpClient.getCredentialsProvider().setCredentials(new AuthScope(proxyHost, proxyPort),new UsernamePasswordCredentials(userName, password));HttpHost proxy = new HttpHost(proxyHost,proxyPort);httpClient.getParams().setParameter(ConnRouteParams.DEFAULT_PROXY, proxy);return httpClient; }導(dǎo)入:commons-logging-1.1.jar,httpclient-4.0-beta2.jar ,httpcore-4.1-alpha1.jar 和 commons-codec-1.4.jar架包
總結(jié)
以上是生活随笔為你收集整理的httpclient使用代理ip的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java XXE 漏洞
- 下一篇: logisim 数码管输出设计