【目标任务】通过该网站采集全国的手机号码段至数据库表中
【完成过程】
1、初涉正则表达式，学会写简单的正则表达式
2、获取单个网页内容，学会java中基本的IO流
3、将获取数据插入mysql数据库表中，掌握基本的JDBC编程。
5、通过url拼接获取每一个城市的完整url
6、采集整个网站的号码段，并使用批处理+预编译批量插入数据库表中
7、使用StringBuilder进行优化提速
【数据库表】注意如果是在cmd命令下建表的话，字段名称不需要加引号
create table number_segment ( `id` bigint not null auto_increment unique, `segment` char(7) not null primary key, `province` varchar(255) not null, `city` varchar(255) not null ) default charset=utf8;【初涉正则表达式】
1、学习简单的表达式：正则表达式30分入门。
2、在线测试自己写的表达式：在线测试正则表达式1
3、使用java的Pattern类 和 Matcher类
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class test_ZhengZe{
public static void main(String[] args)
{
Pattern p = Pattern.compile("(13\\d{5}[^<])");
String s ="/mobile/guangzhou_1300040.>1300040</a></li><li><a href=\"../../mobile/guangzhou_1300041.html\">1300041</a></li><li><a ";
Matcher m = p.matcher(s);
while(m.find())
{
System.out.println("打印出的号码段落："+m.group(0));
}
System.out.print("捕获的数据有："+m.groupCount());
}
}
【获取网页内容】
这里主要用到 InputStream BufferReader两个IO流处理类。
更多的方法讲解见【java获得采集网页内容的方法小结】
import java.io.BufferedReader;【将采集内容插入数据库】
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class getHtml {
public static void main(String[] args) throws Exception {
long start= System.currentTimeMillis();
String str_url="http://www.hiphop8.com/city/guangdong/guangzhou.php";
//匹配号码段
Pattern p = Pattern.compile(">(13\\d{5}|15\\d{5}|18\\d{5}|147\\d{4})<"); String html = get_Html(str_url);
Matcher m = p.matcher(html);
int num = 0;
while(m.find())
{
System.out.println("打印出的号码段落："+m.group(1)+" 编号"+(++num));
}
System.out.println(num);
long end = System.currentTimeMillis();
System.out.println("花费的时间"+(end-start)+"毫秒");
}
public static String get_Html(String str_url) throws IOException{
URL url = new URL(str_url);
String content="";
StringBuffer page = new StringBuffer();
try {
BufferedReader in = new BufferedReader(new InputStreamReader(url
.openStream()));
while((content = in.readLine()) != null){
page.append(content);
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return page.toString();
}
}
java连接mysql数据库的大概 *** 作是：
加载mysql驱动---》创意一个数据库连接---》创建一个sql语句执行对象statement---》定义String类型的SQL语句，statment调用SQL语句的执行方法---》关闭statment对象和数据库。
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
public class database {
public static String driver ="com.mysql.jdbc.Driver";
public static String url ="jdbc:mysql://127.0.0.1:3306/tele_dat?autoReconnect=true&characterEncoding=UTF-8";
public static String user ="root";
public static String password = "123456";
public static Statement statement = null;
public static java.sql.Connection conn = null;
public static int i=0;
//创建一个插入数据的方法
public static void datatoMySql(String sql) throws SQLException {
try {
Class.forName(driver);
} catch (ClassNotFoundException e) {
System.out.println("加载驱动失败");
e.printStackTrace();
}
conn = DriverManager.getConnection(url, user, password); //创建一个连接
statement = conn.createStatement(); //创建一个Statemnet对象来传送SQL语句
statement.executeUpdate(sql);
}
public static void close() throws SQLException{ statement.close(); //关闭数据库 *** 作对象
conn.close(); //关闭数据库连接
}
//测试连接数据库例子
public static void main(String args[])
{ String sql = "insert into number_segment(segment,province,city) " +
"values (123458,'广东1','广州') ";
try {
datatoMySql(sql);
System.out.println("插入成功");
} catch (SQLException e) {
System.out.println("插入失败");
e.printStackTrace();
}
try {
close();
System.out.print("关闭数据库");
} catch (SQLException e) {
e.printStackTrace();
}
}
}
我用的是wampsever中集成的mysql数据库，并在cmd下进行 *** 作，常用命令见：mysql常用的命令见，如果对jdbc编程不熟，可以参考这篇博文。
【获取整个网站中所以城市的URL】
通过查看网站首页的源代码，发现可以从这里获取每一个省份的URL，然后观察一个省份的页面，可以获取该省城市url的部分后缀，由此可以拼接就得到一个完整城市的url.
mport java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern; public class get_all_city_url {
public static void main(String[] args) throws Exception {
String home_url = "http://www.hiphop8.com";
String pattern_pro ="\\w{3}\\.\\w{7}\\.\\w{3}\\/\\w{4}\\/\\w+"; //匹配省份的URL
String pattern_city_hz="<LI><A href=\"(.*?)\" target=_blank>"; //城市后缀
Matcher mat_home = get(home_url,pattern_pro);
int i = 0;
//可以用ArrayList保存所有url，另外可以用StringBuilder对字符串进行相加，不过测试耗时差不多
long start = System.currentTimeMillis();
while(mat_home.find())
{
String city_url_qz = "http://"+mat_home.group()+"/";
Matcher mat_city_hz = get(city_url_qz,pattern_city_hz);
while(mat_city_hz.find())
{
i++;
String city_url = city_url_qz + mat_city_hz.group(1);
System.out.println(i+" "+city_url);
}
}
long end = System.currentTimeMillis();
long time =end - start;
System.out.println("总共用时"+time);
} public static Matcher get(String str, String pa) throws Exception {
String urlsource =get_Html(str);
Pattern p = Pattern.compile(pa);
Matcher m = p.matcher(urlsource);
return m;
}
public static String get_Html(String str_url) throws IOException{
URL url = new URL(str_url);
String content="";
StringBuffer page = new StringBuffer();
try {
BufferedReader in = new BufferedReader(new InputStreamReader(url
.openStream()));
while((content = in.readLine()) != null){
page.append(content);
}
} catch (IOException e) {
e.printStackTrace();
}
return page.toString();
}
}
有了上面的基础，就可以做整个网站的号码段采集了，不过后面因为插入数据表中的数据是20多万，所以更多的是要考虑效率问题了，后面的部分见简单的java采集程序二。
另外网上有不少的java采集教程，有些写的很棒，自己深知java打的太少了，写这篇博文一是为了总结，留个纪念，二是希望能给和我一个的初学者一些帮助，和大家一起交流探讨，当然如果文章有写的不对的地方，还希望大神指出。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）