十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
直接用Curl就行,具体爬取的数据可以穿参查看结果,方法不区分淘宝和天猫链接,但是前提是必须是PC端链接,另外正则写的不规范,所以可以自己重写正则来匹配数据。
创新互联公司致力于互联网品牌建设与网络营销,包括网站制作、成都网站制作、SEO优化、网络推广、整站优化营销策划推广、电子商务、移动互联网营销等。创新互联公司为不同类型的客户提供良好的互联网应用定制及解决方案,创新互联公司核心团队十载专注互联网开发,积累了丰富的网站经验,为广大企业客户提供一站式企业网站建设服务,在网站建设行业内树立了良好口碑。
1、通过淘宝提供的标准api获取数据
2、通过淘宝的开发者身份创建应用获取数据
3、通过抓取网页的功能再提取自已需要的数据。
发送http头信息试试,另外想要做蜘蛛程序的话,还是python比较好用,有丰富了web类库
// ==UserScript==
// @name JD
// @namespace
// @version 0.1
// @description try to take over the world!
// @author You
// @match *
// @grant none
// ==/UserScript==
/* jshint -W097 */
'use strict';
// Your code here...
var divObj=document.createElement("input");
divObj.type="button";
divObj.value='获取抓取内容';
divObj.style.marginTop="20px";
divObj.style.marginBottom="20px";
divObj.style.marginLeft="50px";
var first=document.body.firstChild;
document.body.insertBefore(divObj,first);
var result={};
divObj.onclick=function(){
//获取价格
if(document.getElementById("jd-price")){
var priceDiv=document.getElementById("jd-price");
var price = priceDiv.innerText;
price = price.substr(1);
}else if(document.getElementById("price")){
var pricePri=document.getElementById("price");
var priceDiv=pricePri.firstElementChild;
var price = priceDiv.innerText;
}else if(document.getElementsByClassName("price")[0]){
var priceClass=document.getElementsByClassName("price");
var priceDiv=priceClass[0];
var price = priceDiv.innerText;
}
result.price=price;
}