【经验分享】抓取Web of Science经验分享 >>> http://t.cn/RmlDirP ​

4月15日 14:03转发|评论

【最新】百度指数最新采集方案演示(视频),有点如下: 1. 受限账号仍可继续采集(不会提示访问太频繁); 2. 一次可以获取近90天的数据(理论上还可以更多); http://t.cn/RmC4qDI ​

4月13日 14:15转发|评论

【经验分享】apt-get如何使用代理?使用-o参数, e.g. sudo apt-get -o Acquire::http::proxy="http://username:password@ip:port/" update ​

4月2日 14:16转发|评论

【经验分享】多IP(网络接口)环境下Python httplib如何指定出口IP(outgoing address)? 如图1所示,测试机有ppp0和ppp1两个网络出口,如下测试代码: import httplib HOST = 'httpbin.org' for outgoing_ip in ['59.55.148.133', '182.84.192.255']: conn = httplib.HTTPConnection(HOST, timeout= ​

3月29日 12:25转发|评论

【备忘】清空dmesg信息:sudo dmesg -c ​

3月27日 17:53转发|评论

淘宝hws接口3月24号被封!爬虫需要对应做升级。 ​

3月27日 17:53转发|评论

腾讯宜出行数据无人值守抓取 >>> http://t.cn/REYpwSH ​

3月6日 09:54转发|评论

【经验分享】Selenium + Firefox,设置firefox_profile参数后启动提示“Message: "Can't load the profile. Profile Dir...”异常。降低Firefox版本(V17)后问题解决。 ​

3月2日 15:18转发|评论

【经验分享】如何用JS获取CSS :before 伪元素的content值? e.g.某网站用CSS :before 伪元素将部分内容进行了“保护”(通过加密的JS动态生成类似如下的CSS伪元素展示信息),常规HTTP交互方法将获取不到内容(注意该CSS属性是加密的JS动态生成的)。 .anti_spider_txt:before { content: '反采集 ​

2月1日 22:16转发|评论

【经验分享】Python如何获取字体文件内包含的所有文字编码? from fontTools.ttLib import TTFont font_path = './fonts/205a5cc78d8914cd4a3f65bd99ff97e0.ttf' font = TTFont(font_path) print font.getGlyphOrder() 输出如下: ['.notdef', 'uniEDA5', 'uniED53', 'uniEE06', 'uniEDB5', 'uniEC74', ​

2月1日 21:47转发|评论

【经验分享】让curl自动解压gzip应答:curl --compressed "http://t.cn/hrfhaz" >>> http://t.cn/RQmBIJE 附图: 1)图1,未加--compressed参数,显示乱码,因为网站返回的gzip内容未被解压。 2)图2,加上显示乱码参数,显示正常。 ​

1月24日 09:50转发|评论

【经验分享】Python读取火狐的SQLite文件,提示"sqlite3.DatabaseError: file is encrypted or is not a database"异常。用SQLite阅读器打开正常。解决方案:下载最新版的sqlite3.dll文件(http://t.cn/hj5v5)覆盖到python27/DLLs内,问题解决。 参考文章: http://t.cn/RQQApNy ​

1月22日 15:43转发|评论

Ubuntu server下查看磁盘温度: sudo hddtemp /dev/sda(具体设备),如附图所示。如果无温度传感器,会提示“it doesn't have a temperature sensor”. ​

1月6日 13:16转发|评论

【经验分享】设置Mac Mini加电后自启动: sudo setpci -s 0:1f.0 0xa4.b=0 实测成功。其它方法参考 >>> http://t.cn/RH2C60b ​

2017-12-25 08:31转发|评论

Ubuntu14.04 64bit下Firefox试了好多版本出现“Couldn't load XPCOM”错误无法正常运行,最后发现firefox-45.0(http://t.cn/RTVXIpO)可以正常工作。 ​

2017-12-12 19:03转发|评论

【经验分享】Win10远程桌面提示"由于安全设置错误, 客户端无法连接到远程计算机”问题(如附图1所示)解决: 1. 运行secpol.msc打开“本地安全策略”。 2. “本地策略 -> 安全选项 -> 系统加密:将FIPS算法用于加密 、哈希和签名”右键属性,将“本地安全设置”设置为“已禁用”,“应用”并”确定” ​

2017-12-6 15:44转发|评论

[携程网]全国所有城市酒店数据(含经纬度及各房型价格,46w条)2017年11月份更新 >>> http://t.cn/RYwuFGH ​

2017-11-23 13:13转发|评论

4TB移动硬盘,Ubuntu下fdisk -l看不到,换用 parted -l解决。 ​

2017-11-21 10:36转发|评论

基于Ubuntu 14.04版本的鲲鹏拨号服务器定期会死机,syslog日志如截图所示,不得不计划任务定期reboot。16.04版本测试了几个月还没出现死机的情况,后面计划不再使用14.04版本。 ​

2017-11-21 10:24转发|评论

【经验分享】“selenium + phantomjs”如何正确退出phantomjs进程? 背景:程序用使用diver.quit()或driver.close()方法退出phantomjs进程偶尔会失败,出现“OSError: Bad file descriptor”异常。经测如下方法可以有效解决问题: import signal driver.service.process.send_signal(signal.SIGTERM) ​

2017-11-3 15:24转发|评论