大家都知道 使用httpClient能模拟浏览器发起请求,得到想要的反回结果。
但在互联网中存在这样一种情况,某些资源只有登录后才可以查看或下载
例如:百度文库、部分论坛(只有登录后才可以看某些板块)
浏览器实现这个效果需要如下几个步骤:
Ø 1请求一个需要登录的页面或资源
Ø 2服务器判断当前的会话是否包含已登录信息。如果没有登录重定向到登录页面
Ø 3手工在登录页面录入正确的账户信息并提交
Ø 4服务器判断登录信息是否正确,如果正确则将登录成功信息保存到session中
Ø 5登录成功后服务器端给浏览器返回会话的SessionID信息保存到客户端的Cookie中
Ø 6浏览器自动跳转到之前的请求地址并携带之前的Cookie(包含登录成功的SessionID)
Ø 7服务器端判断session中是否有成功登录信息,如果有则将请求的资源反馈给浏览器
下面使用HttpClient模拟上述过程,这里只实现手工发起登录,并携带Cookie发起第二次请求资源的过程。(网上实际有过好多这样的例子,这里只是自己写出来备忘)
此处请求的是Iteye的博客主页,其他地址需要手动构建下URL。
本文是一个的是 httpClient 4.2.5 httpCore 4.2.4
有这两个jar包
使用maven构建的,需要下载jar包的可以使用添加如下依赖
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.2.5</version> </dependency>
没有maven支持的也可以到apache的网站上去下载,方式有好多种或联系我
下面给出Java代码
package org.jshand.utils.http; import java.io.FileOutputStream; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.CookieStore; import org.apache.http.client.methods.HttpGet; import org.apache.http.client.methods.HttpPost; import org.apache.http.impl.client.DefaultHttpClient; import org.apache.http.impl.conn.PoolingClientConnectionManager; import org.apache.http.util.EntityUtils; /** * TODO(用一句话描述该文件的作用) * * @title: HttpClientDemo.java * @author zhangjinshan-ghq * @date 2014-6-11 14:59:04 */ public class HttpClientDemo { /** * The main method. * * @param args the arguments * @throws Exception the exception */ public static void main(String[] args) throws Exception { getResoucesByLoginCookies(); } /** * 根据登录Cookie获取资源 * 一切异常均未处理,需要酌情检查异常 * * @throws Exception */ private static void getResoucesByLoginCookies() throws Exception { HttpClientDemo demo = new HttpClientDemo(); String username = "XXXXXXXXX";// 登录用户 String password = "XXXXXXXX";// 登录密码 // 需要提交登录的信息 String urlLogin = "http://www.iteye.com/login?name=" + username + "&password=" + password; // 登录成功后想要访问的页面 可以是下载资源 需要替换成自己的iteye Blog地址 String urlAfter = "http://314649444.iteye.com/"; DefaultHttpClient client = new DefaultHttpClient(new PoolingClientConnectionManager()); /** * 第一次请求登录页面 获得cookie * 相当于在登录页面点击登录,此处在URL中 构造参数, * 如果参数列表相当多的话可以使用HttpClient的方式构造参数 * 此处不赘述 */ HttpPost post = new HttpPost(urlLogin); HttpResponse response = client.execute(post); HttpEntity entity = response.getEntity(); CookieStore cookieStore = client.getCookieStore(); client.setCookieStore(cookieStore); /** * 带着登录过的cookie请求下一个页面,可以是需要登录才能下载的url * 此处使用的是iteye的博客首页,如果登录成功,那么首页会显示【欢迎XXXX】 * */ HttpGet get = new HttpGet(urlAfter); response = client.execute(get); entity = response.getEntity(); /** * 将请求结果放到文件系统中保存为 myindex.html,便于使用浏览器在本地打开 查看结果 */ String pathName = "d:\\myindex.html"; writeHTMLtoFile(entity, pathName); } /** * Write htmL to file. * 将请求结果以二进制形式放到文件系统中保存为.html文件,便于使用浏览器在本地打开 查看结果 * * @param entity the entity * @param pathName the path name * @throws Exception the exception */ public static void writeHTMLtoFile(HttpEntity entity, String pathName) throws Exception { byte[] bytes = new byte[(int) entity.getContentLength()]; FileOutputStream fos = new FileOutputStream(pathName); bytes = EntityUtils.toByteArray(entity); fos.write(bytes); fos.flush(); fos.close(); } }
相关推荐
主要介绍了java web中 HttpClient模拟浏览器登录后发起请求的相关资料,需要的朋友可以参考下
Java,通过 httpclient 获取 cookie 模拟登录 ,登录后携带cookie发起下一个请求
本人的测试用,包括压缩及解压缩,完整模拟,处女作,不想做伸手党
但是考虑到一些服务授权的问题,很多公司提供的页面往往并不是可以通过一个简单的URL就可以访问的,而必须经过注册然后登录后方可使用提供服务的页面,这个时候就涉及到COOKIE问题的处理。我们知道目前流行的***页...
用HttpClient来模拟浏览器GET_POST,技术简单学!!
JAVA-用HttpClient来模拟浏览器GET,POST.docx
模拟登录 不提供用户名密码
HttpClient模拟登录实例,模拟登录网站,获取用户信息,登录后数据,带验证码登录,带解析HTML实例。
HttpClient模拟http发送post和get请求
此资源为新浪微博和腾讯微博的HttpClient4模拟登录的代码Sina.java为新浪的,TencentClient.java为腾讯的。
httpclient模拟登录淘宝源码,测试可用。5分重别人那下下来的,jar包没有的我都加全了 httpclient模拟登录淘宝源码,测试可用。5分重别人那下下来的,jar包没有的我都加全了
httpclient模拟post请求json封装表单数据的实现方法 httpclient模拟post请求json封装表单数据的实现方法
NULL 博文链接:https://javasam.iteye.com/blog/2117845
java HttpClient 发送GET请求和带有表单参数的POST请求教程例子
NULL 博文链接:https://shaozhen.iteye.com/blog/950472
不会的可以在评论区留言哈,这是我自己做项目用到的。所以绝对可用!同时共享出来给到大家
httpclient 请求两种方式,如果有cookie可加上cookies,同步获取返回值
本代码是httpclient发送get请求和post请求demo,具体描述参考博客 HttpClient发送get请求和post请求