公司要求做爬虫，最开始的时候，爬虫爬取下来的文件是存储在服务器的共享盘(Linux NFS服务器的安装与配置)。因为最开始是爬虫也没有达到分布式，只是部署在一台服务器上。但是后面想要最高效的爬取网站，选用了netty做消息框架，涉及到监控，分解，任务队列，爬虫四个模块，此时，之前爬虫的存储方式就出现了一定的瓶颈：
针对出现的种种问题，团队内也对现今流行的分布式文件系统进行了一个对比，最终决定采用FastDFS来实现。
分享我和我公司同事(南京大学博士)的对话来回答题主的疑惑，对白如下：
我问： 老鹰会飞 是飞的技能是直接写在老鹰DNA里面的 对吧 ?
博士回答： 对 !
我问： 人类 历史中的伟人是无法把自己好的理论和概念写进后代的DNA里的 对吧 ?
博士回答：嗯 !
我问：所以人类就只能通过文字,通过书籍把自己好的理论和概念传输给后代人 是吧 ?
博士回答：没错 !
今天一直在研究网络协议中的TCP协议,一说到TCP,首先大家会想到的是:安全,可靠,三次握手,TCP慢启动,ACK等巴拉巴拉一大堆.我想抛开这些传统的概念,从现实生活中接触比较多的宽带来理解下我眼中的TCP.
记得大三的时候,移动推出了100M的宽带包年只要120元/年.当时跟电信的50元/月且只有10M的网,移动明显优势很明显.所以,办理好宽带回到寝室,第一件事情就打开了360软件,我就怕移动忽悠我.所以结果如下图:
今天看了一本书,很强势地想推荐给大家;MacTalk 人生元编程 ,池建强大佬给我这个mac小白好好上了一课.书中也介绍了很多关于作者阅读的书籍及自己对书籍的评价.文中提及了130个关于mac的tips.前段时间看了王小波的黄金时代和沉默的大多数,恰恰也在这篇文章中提及.池建强大佬分享的是王小波前辈的程序员故事,我觉得让我很震惊.一个程序员(王小波)可以把文章写的如此传神,让人读完深入骨髓,我只能献上我的膝盖了.池建强在书中也一直强调读书的重要性,分享一个有趣的片段.
这个习惯能让你明白一件事情，你的时间哪去了？
培养这个习惯花了好几年时间，这个习惯是时间管理中一入门就要做的，刚开始时可以按小时来记录，当时你记录一段时间之后，才能真正认识到自己的时间到底哪去了，真实的反应出自己把时间都花在哪了。
人会有一种错觉，觉得自己如何努力，表现还行，当你开始记录和统计自己的时间花销之后，才会真正认识到一天中真正花在有意义事情的时间少得可怜，一不小心就会浪费很多时间。
这个习惯的进阶技巧就是柳比歇夫的时间管理统计法，可以精确记录一天每分钟的时间花销。
目前已知的习惯中，这个习惯养成的难度是最高，需要几年的时间，最终目标是象柳比歇夫不看表就可以精确的感知时间。
少年时期的我曾经疯狂地迷恋读名人传记，目的很简单，就是想从他们的经历中窥探出一些成功的秘诀。在阅遍市面上所有的传记后，我发现所谓的秘诀其实惊人的朴实，就两点。
“如果你想获得你想要的东西，那就得让自己配得上它。信任，成功和钦佩都是靠努力获得的。”
简单地通过一个实际的例子来对之前一直觉得高深莫测的hadoop的核心mapredue进行分析.hadoop权威指南第三版书中也有详细的讲解过程,大佬用简单的一个例子生动形象地道出了天机.以下是我个人对这个例子的总结.作者Tom White很巧妙的用实际的例子,让hadoop很自然地跃然纸上,衔接的很完美,读者的印象也更加深刻.
这里涉及成千上万个气象台每年的数据文件,每个气象台会每隔一小时收集气象数据,每个气象台会发提供全年的记录.
将成千上万个气象台,按年份拼接成一个独立的文件.
windows里有个Xshell非常的方便好使，因为它能保存你所有的ssh登录帐号信息。MAC下并没有xshell，有些也提供这样的功能，但效果都不好。iterm2是很好的终端，但却不能很好的支持多profiles，当要管理的机器较多时，就比较麻烦了。好在它有profiles设置，只是不能保存ssh登录帐号及密码，它还提供了加载profiles时执行外部命令的功能，因此，这里就可以使用sshpass来帮它执行。
直接到官网下载安装: http://iterm2.com/，mac上装软件，是件很轻松的事情
周围环境的影响，个人的学习意愿和学习能力，学习条件的影响。
其中，个人的学习意愿和学习能力最重要，但会被周围环境所影响，同时，它也会受制于学习条件的影响。