暑期是学生放假的时候，也是院线神仙打架的时候，各色电影亮相大荧屏，高潮迭起，好不精彩。
今年的暑期《我不是药神》一骑绝尘，而姜文的《邪不压正》却褒贬不一，虽然上映当天豆瓣评分便由8.2跌到7.1，但单日票房却依旧过亿。
作为掌握技术Pythoner，我们除了关注彭于晏的屁股，还应该关注许晴的臀部，啊不是，应该透过现象去看清本质。
那么咱们来通过爬取豆瓣影评获取数据进行分析。
数据的获取
对于数据的获取，本文采用的是Python爬虫的方式获取的数据。用到的主要是requests包与正则包re。（注意：该程序并未对验证码进行处理。爬取内容少不会遇到验证码，但上万评论可能会跳出验证码）
爬取的内容主要是：用户名，是否看过，评论的星星点数，评论时间，认为有用的人数，评论内容。参看下图（用户名已隐藏）：
△注意设置你自己的User-Agent，Cookie，CSV保存路径等
爬取的内容保存成CSV格式的文件，如下所示：
数据的处理
虽然在爬取的时候已经非常注意爬取内容的结构了，但是还是不可避免的有一些值不是我们想要的，比如有的评论内容会出现在评论者这一项中。比如评论重复，所以还是首先有必要进行一下数据的清洗。
接下来就可以进行数据浅析，比如通过星星数判定评论质量：
plot_ly(my_dt[,.(.N),by=.(五星数)],type = 'bar',x=~五星数,y=~N)
△通过五星的判定而言大部分都是持肯定意见
对评论结果的云图展示：
由于数据太多，防止卡顿，所以在制作云图的时候去掉了频数低于1000的词汇。
云图结果如下：
可以看出，排名靠前的热词分别是姜文、不错、好看、彭于晏、剧情、看不懂等，评论确实是五花八门，当然这也是姜文电影的特点吧。
最后送大家一张希腊雕塑般美好的肉体福利
你以为到这儿就完了？光图片怎么够，当然得来点真材实料的呀——
学习，其实是一个坚持、分享、交流、提高的过程。对于初学者而言，通过实战案例无疑是最快的成长路径。
人工智能的时代，掌握了核心技术的人才是未来的稀缺人才，人生苦短，让我们一起Python当歌！
需要这个爬取了上万影评电影、小黄电影、加密电影教程，源码，有缘人可私信！私信！回复“种子”
