网页源代码抓取java java抓取网页内容
java中如何根据一个网址获得该网页的源代码？
package test;
创新互联建站从2013年成立，先为宿豫等服务建站，宿豫等地企业，进行企业商务咨询服务。为宿豫企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java点虐 .HttpURLConnection;
import java点虐 .URL;
public class HttpTest {
private String u;
private String encoding;
public static void main(String[] args) throws Exception {
HttpTest client = new HttpTest("", "UTF-8");
client.run();
}
public HttpTest(String u, String encoding) {
this.u = u;
this.encoding = encoding;
}
public void run() throws Exception {
URL url = new URL(u);// 根据链接（字符串格式），生成一个URL对象
HttpURLConnection urlConnection = (HttpURLConnection) url
.openConnection();// 打开URL
BufferedReader reader = new BufferedReader(new InputStreamReader(
urlConnection.getInputStream(), encoding));// 得到输入流，即获得了网页的内容
String line; // 读取输入流的数据，并显示
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
}
}
根据具体问题类型，进行步骤拆解／原因原理分析／内容拓展等。
具体步骤如下：／导致这种情况的原因主要是……
java程序读取一个url页面的源代码
传入一个url，返回源代码； public static String getHTML(String url){// 获取指定URL的网页，返回网页内容的字符串，然后将此字符串存到文件即可 try { URL newUrl = new URL(url); URLConnection connect = newUrl.openConnection(); connect.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)"); DataInputStream dis = new DataInputStream(connect.getInputStream()); BufferedReader in = new BufferedReader(new InputStreamReader(dis,"UTF-8")); String html = ""; String readLine = null; while((readLine = in.readLine()) != null) { html = html + readLine; } in.close(); return html; }catch (MalformedURLException me){ System.out.println("MalformedURLException" + me); }catch (IOException ioe){ System.out.println("ioeException" + ioe); } return null; }
Java访问指定URL并获取网页源代码
1．编写useSourceViewer 类的基本框架，该类仅包括无返回值的main ()方法，该方法从参数中获取URL，通过输入缓冲和输出缓冲将该URL 原码输出。
2．编写useSourceViewer 类，代码如下：
import java点虐 .*;
import java.io.*;
public class useSourceViewer
{
public static void main (String[] args)
{
if (args.length 0)
{
try
{
//读入URL
URL u = new URL(args[0]);
InputStream in = u.openStream( );
// 为增加性能存储输入流
in = new BufferedInputStream(in);
// 将输入流连接到阅读器
Reader r = new InputStreamReader(in);
int c;
while ((c = r.read( )) != -1)
{
System.out.print((char) c);
}
Object o = u.getContent( );
System.out.println("I got a " + o.getClass().getName( ));
}
catch (MalformedURLException e)
{
System.err.println(args[0] + " is not a parseable URL");
}
catch (IOException e)
{
System.err.println(e);
}
} // end if
} // end main
} // end SourceViewer}
本文标题：网页源代码抓取java java抓取网页内容
浏览地址：http://6mz.cn/article/ddgposo.html