用java写爬虫程序,有个网站获取不到链接,求指导

http://www.cnpcbidding.com/wps/portal/ebid/wcm_search/bidnotice_publish

http://ssggzy.ss.gov.cn/zbxx/index.jhtml?cid=1&type=0

爬取这两个网站列表的标题和链接,不用翻页,简单粗暴的结果
(若能解其一,感激不尽)
第二个已解决,请帮忙参考第一个,谢谢
最新回答
浅墨时光

2024-11-04 10:18:14

//读取网页上的内容方法---------------------2010.01.25 public String getOneHtml(String htmlurl) throws IOException {
URL url;
String temp;
final StringBuffer sb = new StringBuffer();
try {
url = new URL(htmlurl);
// 读取网页全部内容
final BufferedReader in = new BufferedReader(new InputStreamReader(
url.openStream(),"GBK"));
while ((temp = in.readLine()) != null) {
sb.append(temp);
}
in.close();
} catch (final MalformedURLException me) {
System.out.println("你输入的URL格式有问题!请仔细输入");
me.getMessage();

} catch (final IOException e) {
e.printStackTrace();

}
return sb.toString();
}上面这个方法是根据你传入的url爬取整个网页的内容,然后你写个正则表达式去匹配这个字符串的内容。
追问
用其他方法解决了,你这方法我还没试,看起来牛逼哄哄的,采纳吧!多谢了
‖葙対兂訁°

2024-11-04 03:16:49

第一个是用js做的跳转
点击链接以后设置他下面一个表单属性的值
<input type="hidden" name="documentId" value="" />
然后提交了这个表单 搞到值了以后直接你设置 documentId=xxx 往表单action里面发数据就搞到链接了
别跟我狂,容易亡

2024-11-04 06:42:27

可能是正则表达式写错了,你用工具测试一下。
全都是假的丶

2024-11-04 18:17:29

把网站地址链接加入
追问
什么意思?