十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
用
成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的突泉网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!
requests+Selenium+PhantomJs
多线程爬虫的时候用的是滚态
mp.manager.dict()
来存储已经访问过的网站,如果发现再次访问就直接跳过
我能想到的就是
Bloom
Filter
,按照上面所说用
redis
来去重应该也隐备型可以!灶猜
这是去重的完整代码
public static void main(String[] args) {
Scanner input = new Scanner(System.in);
System.out.print("请输入(连续相同数字将去重):"尺液纯);
String temp=input.next();
show(temp);
}
//去重方法
public static void show(String str){
char[] tempList=str.toCharArray(); //将得到的String型字符串转变为Char型字符
for (int i = 0; i tempList.length-1; i++) { //循环埋渗数组
if (tempList[i]==tempList[i+1]) { //判断两个数是否相等,如果相等则去掉
陵咐 tempList[i]=0; //如果相邻两数重复了 则为0 由于char是基本
tempList[i+1]=0; //类型,所以初始值为0,不过并不影响效果
}
}
for (int i = 0; i tempList.length; i++) {
if (tempList[i]!=0) { //如果两数都不为0 则输出
System.out.print(tempList[i]);
}
}
}
令附上效果:
你把o.equals(list)那句换成list.contains(o)试试。现在你的代码里o是个Object(拆好冲其实是String),list是个List,根本不可能equal的
哦下面那个li.remove(o)也换成list.remove(o)
________________________________
哦不对。。。你下面的iterator循环里面其实把每一个都删掉了。。。
------------------------------------
我加了一些我的改动代码,不过如另一旅歼个人所说,一般我们都是在添加的时候去重的,你这种方式我也第一次遇到,不过就你给出来的这些条袜薯件,我觉得这样改就可以了。