成功绕过淘宝(口碑)外卖签名机制,顺利拿到Ajax返回数据。 PS:常规模拟浏览器方法无效,需结合抓包。 ​

9月22日 21:32转发|评论

Firefox历史版本下载地址:http://t.cn/Rbu2y44 PS:slimerjs支持Firefox from 38.0 to 52.0. ​​​​

9月22日 11:34转发|评论

【无关技术】更多的时候是做一个运维,看着爬虫输出的信息越快越开心 http://t.cn/R0Lvf6P ​

9月22日 10:06转发|评论

【经验分享】Chrome V55以后不支持设置页面编码了(不信你试试看)。不过,这货(Set Character Encoding插件)可以帮你实现。 http://t.cn/RaIDInW ​

9月20日 17:23转发|评论

【经验分享】由于项目需要在Linux Server下将近千万个word文档(*.doc)转换为文本格式(html或txt),经测试效果最好的方法是使用LibreOffice的命令行工具。 安装: sudo apt-get purge libreoffice-core sudo add-apt-repository -y ppa:libreoffice/ppa sudo apt-get update sudo apt-get install ​

9月14日 15:10转发|评论

搜房网(房天下)全国新房楼盘+二手房小区数据2017年07月份更新(“小区名称”,”城市”,”小区地址”,”项目特色”,”所属区域”,”邮编”,”产权描述”,”物业类别”,”竣工时间”,”开发商”,”建筑结构”,”建筑类别”,”建筑面积”,”占地面积”,”当期户数”,”总户数”,”绿化率”,”容积率”,”物 ​

8月17日 09:55转发|评论

【经验分享】利用Fiddler2的Custom Rules自动抓取App的TOKEN并记录到文件 >>> http://t.cn/R9RdWc3 ​

8月10日 16:03转发|评论

【经验分享】某拨号服务器的Web API接口突然变得不稳定,重启Apache2后正常,但是过不来多久又会挂掉。查看error日志,发现如下信息: """ [mpm_event:error] [pid 54893:tid 140124506744704] AH00484: server reached MaxRequestWorkers setting, consider raising the MaxRequestWorkers setting "" ​

8月5日 10:50转发|评论

给遨游做个广告。目前支持"S5+认证"代理的浏览器几乎没有,但不是没有,让我来告诉你它就是遨游5。 ​

7月26日 14:47转发|评论

【经验分享】requests库使用socks5代理提示“Missing dependencies for SOCKS support”问题解决: pip install pysocks pip install requests[socks] >>> http://t.cn/R9ZI4eH ​

7月26日 11:54转发|评论

【经验分享】又解决一个疑难杂症:py2exe打包某使用paste的程序时总是失败,提示“No module named paste”,确认paste库是安装成功的。经过层层追踪最终发现是py2exe中的imp.find_module('paste')报的错。 经过验证,imp.find_module('paste')果真报错: Python 2.7.6 (default, Jun 22 2015, 17:58: ​

7月21日 12:30转发|评论

[good]国内知名本地生活信息平台3648万商户数据2017年07月份更新 附:CSV数据量统计截图。 ​

7月3日 10:14转发|评论

【山重水复疑无路,柳暗花明又一村】 经过不懈努力终于搞定裁判文书网App的数据解密! ​​​​

6月30日 12:02转发|评论

【如何启停虚拟网卡】 ifup, ifdown无效。正确做法如下: 查看虚拟网卡(名称:v123456)状态: ip link show v123456 启动虚拟网卡(名称:v123456): sudo ip link set v123456 up ​

6月27日 18:02转发|评论

【经验分享】 【背景】某代理服务器有一条联通线路(主IP,固定),还有N条电信ADSL拨号线路(N大于100)。 【问题】现在遇到的问题是DNS解析的时候走的是主IP线路(联通),导致某些大站(例如,京东)解析回来的IP就是联通的(智能DNS的缘故),这样当从ADSL线路去访问这些网站时访问的是其联通的镜 ​

6月22日 11:54转发|评论

【经验分享】Pandoc 将某些HTML文档转WORD后无法正常打开,提示“无法打开文件...,因为内容有错误”(如附图1所示)。多次尝试后发现去掉HTML里所有<a>标签后问题解决(如附图2所示)。 ​

5月17日 21:19转发|评论

安居客近来改版有点勤,价格这块4月份还是静态展示的,现在改成JS生成了。不过这不是什么问题。道是它的封IP(出验证)的策略越来越难绕过了,目前只有我们的动态IP代理可以有效解决 >>> http://t.cn/RXK6ZcF 数据采集与反采集这个较量永远不会停止... ​

5月17日 11:00转发|评论

【Gif动画演示】动态IP稳定高匿智能HTTP代理演示 PS:点击查看大图可播放Gif动画。 了解详情 >>> http://t.cn/RXK6ZcF ​

4月27日 17:07转发|评论

Linux下两种方法查看网卡的逻辑名称(logical name): 【1】ls /sys/class/net 如附图1所示; 【2】sudo lshw -C network 如附图2所示; 有人会问为什么要查看这呢,多块网卡默认不都是eth0, eht1, eth2...吗? 这和系统有关系,例如Ubuntu16.04中,网卡名称默认就是ens33, ens34...之类的,而非eth0 ​

4月27日 09:51转发|评论

【vmrun小试牛刀】 (1)命令行启动vmware虚拟机,示例: vmrun start "G:\VMS\XP2016\Windows XP Professional.vmx" (2)命令行重启vmware虚拟机,示例: vmrun reset "G:\VMS\XP2016\Windows XP Professional.vmx" vmrun命令说明文档:http://t.cn/RX01Cd3 ​

4月23日 17:38转发|评论