ntjm.net
当前位置:首页 >> jAvA网络数据采集 >>

jAvA网络数据采集

关注一下.建议先研究下dz论坛附带的个人空间那个采集器再来研究如何用java实现吧,功能要先弄清楚了才能实现.要弄明白如何从网上采集到相关的数据?如何把数据写入自己的数据库?最后如何把这些数据放到自己网站对应的模块里面去?

需要blazeds才能与后台java联系.不能直接通信.你可以看看java + balzeds +flex+tomcat eclipse这样的文章,用的是remote.

用jsoup来采集网页数据,方便快捷,比一般的采集器还好用..百度jsoup

通过java代码实现对网页数据进行指定抓取方法步骤如下:1在工程中导入jsoup.jar包2获取网址url指定html或者文档指定的body3获取网页中超链接的标题和链接4获取指定博客文章的内容5获取网页中超链接的标题和链接的结果

你这个是什么意思?对应的页面应该有对应的action,利用action来获取页面的form表单的数据.

你看看你的MYSQL的库的编码方式是不是UTF-8 或者你换成GB2312试试 我以前遇见过这种情况 再不行你就看看你网页的编码方式 这是小错误 好调

希望这不是广告问题.网上搜索熊猫吧,我们帮你搞定.新软件,采集软件行业的换代产品,适合新手操作,不需要编写采集规则的,不需要关心网页源码,全程视窗鼠标操作.如果有采集项目,我们也可以帮你采.

java socketcp 就是 tcp socket 你用java nio 或 mina就可以了

建议采用缓存处理,按照你说的这种数据量,基于redis的缓存完全可以满足,存取速度可以10w+的,另外,拟采用的hashmap 是concurrenthashmap还是其他,页面展示是增量查询还是直接所有的再查询一次,socket数据接收你是用的netty还是mina,这都需要经过仔细的斟酌考虑设计的.有这么大的并发的需求,完全可以考虑做分布式集群的,估计这只是领导想要的目标吧

你的手机是什么手机,是杂牌机还是智能机,杂牌机到网络服务里面有个数据账户,打开gprs,一般里面有个cmwap接入点,cmnet接入点和uniwap,看哪个是cmnet,在到互联网,有个设置,到里面去刚才你看到的有cmnet接入点的哪个账号名称,要是里面没有,可以在里面改成cmnet接入点也可以, 或者其他接入点, 然后找到java,进到java设置里面选你设定的那个接入点就ok.

ddng.net | whkt.net | lpfk.net | xyjl.net | sytn.net | 网站首页 | 网站地图
All rights reserved Powered by www.ntjm.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com