2018-08-02 1 利用WebView获取网页静态网页的
2018-08-02 本文已影响91人
IT烟酒僧
关于webview的使用,这里不多做赘述,不会使用的可以找度娘,这里主要实现如何利用webview分别获取静态和动态页面的数据及如何解析获得的数据
//在页面中加载WebView控件
private WebView webView;
private FrameLayout flWebContent
webView = new WebView(this);
flWebContent.addView(webView);
//设置webview属性
webView.getSettings().setJavaScriptEnabled(true);
webView.getSettings().setCacheMode(WebSettings.LOAD_NO_CACHE);
webView.getSettings().setAllowFileAccess(true);
webView.getSettings().setAppCacheEnabled(true);
webView.getSettings().setDomStorageEnabled(true);
webView.getSettings().setDatabaseEnabled(true);
webView.getSettings().setSupportZoom(true);
webView.getSettings().setBuiltInZoomControls(true);
webView.getSettings().setLoadWithOverviewMode(true);
WebViewClient类
在加载页面时不得不提的一个类,webviewClient类,此类一般用来处理各种通知及请求事件,另外,如果在app内嵌套webview,且不想让其调起系统浏览器时,就需调用这个类,而且想要拦截网页中的ajax请求时,也需要在此类中操作
webView.setWebViewClient(new WebViewClient() {
private String substring;
private String newurls;
//打开网页时不调用系统浏览器， 而是在本WebView中显示；在网页上的所有加载都经过这个方法,这个函数我们可以做很多操作
@Override public boolean shouldOverrideUrlLoading(WebView view, String url) {
if (url.contains("pay_order_id=") || url.contains("bizOrderId")) {
}
}
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Override
public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
return false;
}
//在加载页面资源时会调用，每一个资源（比如图片）的加载都会调用一次
@Override public void onLoadResource(WebView view, String url) {
super.onLoadResource(view, url);
}
//开始载入页面调用的，我们可以设定一个loading的页面，告诉用户程序在等待网络响应。
@Override public void onPageStarted(WebView view, String url, Bitmap favicon) {
super.onPageStarted(view, url, favicon);
}
//此方法用来拦截网页中的网络请求,稍后另看
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Nullable @Override
public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {
return super.shouldInterceptRequest(view, request);
}
//在页面加载结束时调用,可以关闭loading 条，切换程序动作,另外正在加载HTTP响应的body内容，也会回调该方法，获取对应url地址
@Override public void onPageFinished(WebView view, String url) {
super.onPageFinished(view, url);
}
//加载给定url资源内容
@Override public void onPageCommitVisible(WebView view, String url) {
super.onPageCommitVisible(view, url);
}
//加载页面的服务器出现错误时（如404）调用
@Override public void onReceivedError(WebView view, int errorCode, String description,
String failingUrl) {
super.onReceivedError(view, errorCode, description, failingUrl);
}
//webView默认是不处理https请求的，页面显示空白，需要进行如下设置
@Override
public void onReceivedSslError(WebView view, SslErrorHandler handler, SslError error) {
super.onReceivedSslError(view, handler, error);
// 特别注意：5.1以上默认禁止了https和http混用，以下方式是开启 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) { mWebView.getSettings().setMixedContentMode(WebSettings.MIXED_CONTENT_ALWAYS_ALLOW); }
}
});
获取网页数据
在上述的onPageFinished()方法中获取url后,想要获取body中的内容,一般有两种方式,一种是,利用jsoup抓取数据(网上关于此类的博客很多),另一种是利用与js的交互获取,下面所使用的就是第二种方式
*****不得不说,如果要与js交互,在初始化webview的类上应该机上此注解@SuppressLint("SetJavaScriptEnabled")**
调用js的方法
public final class InJavaScriptLocalObj {
@JavascriptInterface public void showSource(String html) {
Log.i("====>html1=" + html);
}
@JavascriptInterface public void showDescription(String str) {
List<String> list = new ArrayList<>();
Log.i("====>html2=" + str);
//获取body后的过滤,下面所用是获取某个字符的过滤方式,总体来说比较繁琐,亦可以用别的方式,自行斟酌
String[] split = str.trim().split("</div>");
for (int i = 0; i < split.length; i++) {
String s = split[i];
if (s.contains("<div") && s.contains("storage")) {
String[] split1 = s.split("module");
for (int j = 0; j < split1.length; j++) {
String st = split1[j];
if (st.contains("storage")) {
String[] kk = st.trim().split(" ");
for (int k = 0; k < kk.length; k++) {
String kg = kk[k];
if (!kg.contains("storage")) {
kg.trim();
String ss = "" + kg;
ss = ss.substring(0, 18);
list.add(ss);
}
}
}
}
}
}
for (int i = 0; i < list.size(); i++) {
String s = list.get(i);
Log.i("xxx"+i+": " +s);
}
}
}
在onPageFinished()方法中调用上面的方式,获取body
@Override public void onPageFinished(WebView view, String url) {
//System.out.println("url==" + url);
// 获取页面内容
view.loadUrl(
"javascript:window.java_obj.showSource(document.getElementsByIdName('storage')[0].innerHTML);");
//获取ul索引为1的页面内容
view.loadUrl(
"javascript:window.java_obj.showDescription(document.getElementsByTagName('ul')[1].innerHTML);");
super.onPageFinished(view, url);
}
2若是网页动态加载时,拦截网页的请求获取body值
WebView的初始化和WebViewClient类和静态加载时写法相同,不同的是,拦截网页请求的操作需要在shouldInterceptRequest()方法中完成
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Override
public boolean shouldOverrideUrlLoading(WebView view, WebResourceRequest request) {
String url = request.getUrl().toString();
if (url.contains("pay_order_id=") || url.contains("bizOrderId")) {
}
return false;
}
@Override public void onLoadResource(WebView view, String url) {
super.onLoadResource(view, url);
}
@Override public void onPageStarted(WebView view, String url, Bitmap favicon) {
super.onPageStarted(view, url, favicon);
}
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Nullable @Override
public WebResourceResponse shouldInterceptRequest(WebView view, WebResourceRequest request) {
//利用域名过滤url,获取自己需要的url(下面仅为GET方式,post以后再补上)
if ("xxx.com".equals(request.getUrl().getAuthority())) {
//Android中拦截时,无法同步到cookie,此时需要根绝url自己获取所需的cookie
CookieManager cookieManager = CookieManager.getInstance();
String cookie = cookieManager.getCookie(request.getUrl().toString());
//利用JSoup重新发起请求
Connection con = Jsoup.connect(request.getUrl().toString());
//请求头设置，特别是cookie设置
con.header("Accept", request.getRequestHeaders().get(1));
con.header("Content-Type", "application/x-www-form-urlencoded");
con.header("Accept-Encoding", "gzip, deflate");
con.header("Accept-Language", "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3");
con.header("Upgrade-Insecure-Requests", request.getRequestHeaders().get(1));
con.header("User-Agent", request.getRequestHeaders().get(0));
con.header("Cookie", cookie);
//解析请求结果
try {
Connection.Response doc = con.timeout(10000).ignoreContentType(true).execute();
String body = doc.body().toString();
//抓取后的body数据可能并非是标准的json格式,此时就需要自己手动去处理
int i = body.indexOf("(");
substring = body.substring(i + 1, body.length() - 1);
Gson gson = new Gson();
JsonEntity jsonEntity = gson.fromJson(substring, JsonEntity.class);
} catch (IOException e) {
e.printStackTrace();
} catch (JSONException e) {
e.printStackTrace();
}
}
//打印处理后的数据
Log.i("doc===" + substring);
return super.shouldInterceptRequest(view, request);
}
