Selenium+Chrome淘宝正常登录方案演示: 1. 不做特殊处理情况下,Selenium无法正常登录淘宝,会出验无法完成的验证码; 2. 经过特殊处理后,成功突破淘宝对Selenium的检测,完美登录成功(连验证码都不会出现)。 点击链接查看演示视频: >>> http://t.cn/EzdwqSY ​

10月22日 16:55转发|评论

【经验分享】如何根据淘宝/天猫的分类ID(categoryId值)获取对应的分类名称? (1) 如图1所示,先从商品源码获取"categoryId"参数值,例如1512; (2)如图2所示,查表可知对应分类名称为"手机"; 点击这里购买该分类映射表(2018年10月份采集更新): http://t.cn/EzwnBs1 ​

10月17日 11:46转发|评论

FontEditor Online 赞! >>> http://t.cn/RKDTzTV ​

10月11日 14:14转发|评论

pyv8各版本二进制安装包 >>> http://t.cn/E75lURy ​

10月11日 12:26转发|评论

搜房网(房天下,fang.com)全国所有城市新房楼盘+二手房小区数据2018年08月份采集更新。 楼盘小区数据共计313,846条(如下图所示) >>> http://t.cn/EvmsEJJ ​

9月20日 10:34转发|评论

【经验分享】如何查看APK的包名和入口Activity? 比如我们要查看微信的包名和入口Activity,我们先打开微信,然后执行如下adb命令: adb shell dumpsys activity | grep mFocusedActivity 返回信息为: mFocusedActivity: ActivityRecord{425d65a0 u0 com.tencent.mm/.ui.LauncherUI t9} 包名为: ​

9月13日 16:34转发|评论

【经验分享】如何采集小红书最新版(2018年9月)数据 >>> http://t.cn/EvzuZyx ​

9月13日 16:21转发|评论

【干货分享】如何用Python实现自动化操作Android手机? 鲲之鹏的技术人员在本文介绍了通过Python AndroidViewClient来控制Android手机的方案。点击查看详情 >>> http://t.cn/RssDEpx ​

9月12日 20:53转发|评论

[汽车之家]汽车品牌(196个)、系列(3199个)、型号配置参数(38273条)数据2018年8月采集更新 >>> http://t.cn/Rssgk12 ​

9月12日 20:47转发|评论

【经验分享】fonts.googleapis.com国内被迫罢工,导致数据超市这两天加载速度非常慢(抓包才发现是这个问题,如附图所示)。 修改functions.php,注释掉如下行,屏蔽掉对应css的加载,问题解决: //wp_enqueue_style( 'themonic-fonts', add_query_arg( $query_args, "$protocol:// ​

8月31日 16:45转发|评论

【经验分享】如何突破汽车之家的"CSS ::before 伪元素混淆"反采集策略 ? 简单地说就是:拦截GetModelConfig1.ashx应答,注入JS代码,以暴出“索引-混淆字符明文”映射表。点击这里查看详情说明 >>> http://t.cn/RF2yGAy ​

8月29日 09:53转发|评论

携程网国内酒店用户评论数据(超8163万条) >>> http://t.cn/RF2wUiM ​

8月29日 09:40转发|评论

【经验分享】"Selenium + Firefox"如何使用带用户名密码认证的HTTP代理? 鲲之鹏的技术人员通过研究终于找到了一个有效并且稳定的解决方案: 借助close-proxy-authentication这个插件,可以在Selenium + Firefox时自动完成HTTP代理认证,流程是这样的: (1)通过Firefox配置选项动态添加close-prox ​

8月22日 12:22转发|评论

【经验分享】如何突破网站对selenium的屏蔽? 现在已经有部分网站能够识别并屏蔽selenium,鲲之鹏的技术人员通过本文向你介绍: (1)网站是如何识别selenium的; (2)如何突破网站对selenium的屏蔽; 满满的干货,点击查看详情 >>. http://t.cn/Rk6GM15 ​

8月21日 10:16转发|评论

【备忘】mitmproxy v0.18.2 版本Windows & Linux版本下载链接:http://t.cn/RkJXXeD PS: 解压二进制可执行文件即可使用,建议放到系统环境变量能找到的地方; ​

8月20日 22:27转发|评论

【经验分享】mitmproxy如何指定上游代理? 使用-U参数,详情如下: mitmdump.exe -U http://IP:PORT --upstream-auth USERNAME:PASSWORD 测试结果如下图所示。 注意:这里测试的是mitmproxy的0.18.2版本,新版本可能不太一样。 ​

8月20日 12:51转发|评论

【经验分享】Slenium + Chrome 忽略证书错误方法 def start_chrome(proxy): """启动Chrome """ options = webdriver.ChromeOptions() # 禁止加载图片 chrome_prefs = {} chrome_prefs["profile.default_content_settings"] = {"images": 2} chrome_prefs[" ​

8月14日 21:40转发|评论

【经验分享】同一账号,在同一IP下,人工浏览器登陆很正常,但是用Selenium(+phantomjs or + chrome)登陆,却提示“安全验证”,怎么破? 想了一下,人工操作和Selenium操作的区别在于人速度慢,输入账号密码然后点击登陆之间会有延时(操作再快也需要两三秒时间),而Selenium可以瞬间完成这些操作。 ​

7月27日 10:22转发|评论

【经验分享】用MongoDB做后端实现的队列MongoQueue测试结果如下: (1)插入10w任务耗时约40秒; (2)读取10W任务并标记完成,耗时约90秒; MongoQueue的源码 >>> ttps://github.com/pengqi/mongoqueue/blob/master/mongoqueue/mongoqueue.py 测试脚本源码 >>> http://t.cn/ReZT5y1 PS: (1)Mongo ​

7月25日 16:28转发|评论

【经验分享】正则表达式提取效率要比xpath高很多,点击查看对比测试结果 >>> http://t.cn/Rgc7eJ2 ​

7月16日 14:54转发|评论