有哪些足不出户,能用十天掌握的新技能?

有哪些足不出户,能用十天掌握的新技能?,第1张

不少人都看过马尔科姆・格拉德威尔的《异类》,书中最著名的是 「 1 万小时定律」 :要达到世界顶级水平,需要 1 万小时的刻意练习,一般最少要花上 10 年时间。

但问题在于,在这个时代,我们每个人都有太多想学、需要学的技能:工作中需要学外语、学软件、学汇报;生活中需要学烹饪、学乐器、学健身,我们不可能每样都付出 1 万小时……

快速掌握一项技能,对现代人的生存和发展极其重要,乔希・考夫曼有一个经典的 Ted 演讲,他总结了一个快速学习的框架, 只需要 20 小时的练习(每天学习 90 分钟),就可以学会大多数技能,换句话就是通过 20 小时就可以入门了。

下面,我们帮你总结了一些非常实用和装逼的小技能,10 天左右就能学会。疫情期间宅在家中,不妨尝试一下~

爬虫其实就是对网络数据的批量采集,它可以做很多事,比如帮你在 12306 抢票、下载小说、图片、收集抖音上好看的小姐姐的视频……在大数据时代,爬虫早已不是程序员的专属技能,越来越多的职业都需要用到爬虫,比如产品经理、运营、市场人员,都经常需要使用到这个技能。

爬虫程序一般使用 Python 语言制作,有很多现成的 Python 框架,可以让你很方便地写出爬虫程序。除此之外,你还需要对网页结构有简单的了解。

推荐课程:

1. 高德 API + Python 爬虫解决租房问题

课程使用 Python 脚本爬取某租房网站的房源信息,利用高德的 js API 在地图上标出房源地点,划出距离工作地点1小时内可到达的范围。在项目实现的过程中熟悉了 requests 、BeautifulSoup、csv 等库的简单使用。

2. 使用 Python 批量爬取网站信息

本实验主要通过 Python 实现一个命令行参数控制的爬虫程序,可以批量爬取网站的 URLs、JS 文件及其中的端点、子域名和 DNS 有关的数据信息等,能够匹配自定义正则表达式的字符串,还支持将最终结果导出为 JSON 格式或 CSV 格式。

3. Python 二手房信息爬取与数据呈现

本课程以链家的二手房网站为目标,使用python爬取链家官网在售的二手房信息,并且使用matplotlib 绘图包对爬取的信息进行分析,绘制简单的图表。

4. Nodejs 完成网站信息爬虫

本课将通过 Node.js 实现一个简单的爬虫,来爬取豆瓣热评电影,主要有以下几个模块:实验简介,创建项目,HTTP 模块,编写爬虫程序,保存数据到本地。主要会用到的模块(包)有:http,fs,path,cheerio。http 模块用于创建 http 请求,fs 模块用于保存文件,path 模块用于解析路径,cheerio 包是服务器端的 jQuery 实现,这里用于解析 HTML。

爬虫需要用到 Python ,如果你还不会的话,那有必要先学习一下了。现在编程越来越火,程序员也成了高薪的代名词,不管写不写代码,学习一下编程也是有必要的。Python 是目前最火热的语言之一,上至老奶奶、下到小学生都在学习。

10 天时间虽然不能让你成为 Python 大神,但入门 Python、写一些小程序、小脚本却是绰绰有余的。年后再找工作,再也不用被 “掌握 Python 优先” 的职位拒之门外了!

推荐课程:

1. Python 新手入门课

极度舒适的新手入门课程,面向完全没有编程基础的同学。你将在一下午入门 Linux、Python 基础和Github 常用命令,为未来的编程大楼打下稳固的基础。

2. 楼 + 之 Python 基础

人人都学得会的 Python 入门课,从 0 到 1 掌握编程的概念,用 Python 创造你的第一个程序、 游戏 和网络爬虫。

3. Python3 简明教程

简明易懂的 Python3 课程,不仅适用于那些有其它语言基础的同学,对没有编程经验的同学也非常友好。本课程不仅讲解了 Python3 基础知识,还介绍了 PEP8、Virtualenv、测试、项目结构以及 Flask 相关内容。

4. 用 Python 实现各种常用算法

使用 Python 实现各种算法,主要知识点包括数据结构,哈希,数学算法,线性代数,搜索算法,排序算法,字符串。

过年期间,王者荣耀日流水过亿,又赚钱又好玩为什么不学?下面这些课程将教你快速一些小 游戏 ~

推荐课程:

1. 200 行 Python 代码实现 2048

本实验仅用200行的 python 代码完成2048小 游戏 的编写。通过本实验将学习 Python 基本知识,状态机的概念,以及编写 python 游戏 的步骤。为 Python 的进阶课程,需要用户具有 Python 的语法基础。

2. Python3 实现推理 游戏 Bagels

Bagels是可以和朋友一起玩的一个推理 游戏 。本实验将会一步步地用 Python3 实现这个 游戏 。本课程会用到一些 Python3 的新特性。

3. Python 实现康威生命 游戏

康威生命 游戏 是一个久负盛名的数学 游戏 ,有简单的规则和无穷无尽的组合。本课程将使用 pygame 模块来实现这样一个 游戏 ,让你在趣味 游戏 中提升对 Python 的理解,入门 pygame。

4. Python 实现推箱子 游戏

本课程通过一个简单的推箱子 游戏 ,来介绍 pygame 的一些相关内容,课程介绍中尽量避免专业词汇,从简单入手设计并开发一个推箱子 游戏 。

5. 基于 Pygame 开发贪吃蛇和俄罗斯方块

本课程基于Pygame开发贪吃蛇和俄罗斯方块,通过逐步学习Pygame基础知识,到从零开始实现 游戏 开发,课程难度由浅入深,内容通俗易懂,确保同学们能够很好的掌握和理解。

每个技术大牛都应该有自己的技术博客,如果是自己开发的,那更是加分无数。下面这些教程可以帮助你学习创建美观又实用的博客~

推荐课程:

1. Python3 基于 Flask 框架搭建个人博客

本课程中,我们将使用 Python 语言及 Flask 框架开发一个简单的博客系统。涉及 Flask Web 开发,使用 Peewee 构建数据模型,简单的 Jinja2 模板, Pygments 模块实现代码语法高亮,MarkDown 格式编写博客, Micawber 实现多媒体播放。

2. 使用 Github Pages 和 Hexo 搭建独立博客

本次课程我们将利用 github page 的特性来部署由 Hexo 框架渲染生成的静态博客。并且为博客添加插件以实现评论、七牛实现图床等功能。

3. Java 实现个人博客

利用 SSM 框架和简单的前端知识、Markdown 的富文本编辑器插件和第三方评论插件和 MySQL 数据库搭建一个简单但是功能完善的个人博客网站。

4. SpringBoot + Mybatis + Thymeleaf 搭建美观实用的个人博客

对于技术人员来说,拥有自己的个人博客应该是一件令人向往的事情,可以记录和分享自己的观点,独立开发以及独立维护一个博客网站,这种想法应该在很多人心中都有过,真的很酷,也因此我开发了 My Blog 博客系统,它是由 SpringBoot + Mybatis + Thymeleaf 等技术实现的 Java 博客系统,页面美观、功能齐全、部署简单及完善的代码,一定会给使用者无与伦比的体验。

没有一个春天不会到来。疫情总会散去,生活也还要继续。大家加油~

以上课程可以登陆实验楼官网获取。

在上文的优化中,对每500个用户,会进行一些计算并记录结果在磁盘文件中。原本以为这么做,这些结果就在磁盘文件中了,而不会再继续占用内存;但实际上,python的大坑就是Python不会自动清理这些内存。这是由其本身实现决定的。具体原因网上多有文章介绍,这里就不copy了。

本篇博客将贴一个笔者的实验脚本,用以说明Python确实存在这么一个不释放内存的现象,另外也提出一个解决方案,即:先del,再显式调用gc.collect(). 脚本和具体效果见下。

实验环境一:Win 7, Python 2.7

[python] view plain copy

from time import sleep, time

import gc

def mem(way=1):

print time()

for i in range(10000000):

if way == 1:

pass

else: # way 2, 3

del i

print time()

if way == 1 or way == 2:

pass

else: # way 3

gc.collect()

print time()

if __name__ == "__main__":

print "Test way 1: just pass"

mem(way=1)

sleep(20)

print "Test way 2: just del"

mem(way=2)

sleep(20)

print "Test way 3: del, and then gc.collect()"

mem(way=3)

sleep(20)

运行结果如下:

[plain] view plain copy

Test way 1: just pass

1426688589.47

1426688590.25

1426688590.25

Test way 2: just del

1426688610.25

1426688611.05

1426688611.05

Test way 3: del, and then gc.collect()

1426688631.05

1426688631.85

1426688631.95

对于way 1和way 2,结果是完全一样的,程序内存消耗峰值是326772KB,在sleep 20秒时,内存实时消耗是244820KB;

对于way 3,程序内存消耗峰值同上,但是sleep时内存实时消耗就只有6336KB了。

实验环境二: Ubuntu 14.10, Python 2.7.3

运行结果:

[plain] view plain copy

Test way 1: just pass

1426689577.46

1426689579.41

1426689579.41

Test way 2: just del

1426689599.43

1426689601.1

1426689601.1

Test way 3: del, and then gc.collect()

1426689621.12

1426689622.8

1426689623.11

[plain] view plain copy

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See

ubuntu9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py

ubuntu9134 0.0 0.0 8104 924 pts/2S+ 14:40 0:00 grep --color=auto test_mem

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See

ubuntu9122 10.0 6.0 270916 245564 pts/1 S+ 14:39 0:03 python test_mem.py

ubuntu9134 0.0 0.0 8104 924 pts/2S+ 14:40 0:00 grep --color=auto test_mem

ubuntu@my_machine:~$ ps -aux | grep test_mem

Warning: bad ps syntax, perhaps a bogus '-'? See

ubuntu9122 11.6 0.1 30956 5608 pts/1S+ 14:39 0:05 python test_mem.py

结论:

以上说明,当调用del时,其实Python并不会真正release内存,而是将其继续放在其内存池中;只有在显式调用gc.collect()时,才会真正release内存。

进一步:

其实回到上一篇博客的脚本中,也让其引入gc.collect(),然后写个监控脚本监测内存消耗情况:

[plain] view plain copy

while ((1))do ps -aux | sort -n -k5,6 | grep my_scriptfreesleep 5done

结果发现:内存并不会在每500个用户一组执行完后恢复,而是一直持续消耗到仅存约70MB时,gc才好像起作用。本环境中,机器使用的是Cloud instance,总内存2G,可用内存约为1G,本脚本内存常用消耗是900M - 1G。换句话说,对于这个脚本来说,gc并没有立即起作用,而是在系统可用内存从1 - 1.2G下降到只剩70M左右时,gc才开始发挥作用。这点确实比较奇怪,不知道和该脚本是在Thread中使用的gc.collect()是否有关,或者是gc发挥作用原本就不是可控的。笔者尚未做相关实验,可能在下篇博客中继续探讨。

但是,可以肯定的是,若不使用gc.collect(), 原脚本将会将系统内存耗尽而被杀死。这一点从syslog中可以明显看出。

Matplotlib

是一个由 John Hunter 等开发的,用以绘制二维图形的 Python 模块。它利用了 Python 下的数值计算模块 Numeric

及 Numarray,克隆了许多 Matlab 中的函数, 用以帮助用户轻松地获得高质量的二维图形。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/8065302.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-13
下一篇 2023-04-13

发表评论

登录后才能评论

评论列表(0条)

保存