fastapi入门 Posted on 2020-04-24 | In fastapi 简介该框架的速度(天然支持异步)比一般的django和flask要快N多倍 使用该框架需要保证python解释器版本是3.6及以上 Ps:django3.X版本也支持异步,但是它的异步功能并没有真正的 ... Read more »
Typora的常用快捷方式 Posted on 2020-01-02 | In tool 一、标题操作标题太重要了,大纲视图的必备。【菜单栏–视图–大纲视图。】 # 一阶标题 或者快捷键Ctrl+1 ##二阶标题 或者快捷键Ctrl+2 依次类推。当然,我还是喜欢快捷键。 还可以折叠大 ... Read more »
Scrapy Posted on 2019-02-25 | In 爬虫 ScrapyScrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计 ... Read more »
selenium Posted on 2019-02-05 | In 爬虫 一、什么是Seleniumselenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处 ... Read more »
selenium 安装与 chromedriver安装 Posted on 2019-02-04 | In 爬虫 BeautifulSoup直接使用pip安装 1pip install selenium 用 Chrome 浏览器来测试 chromedriver下载地址: 1http://npm.taobao.or ... Read more »
解决urlretrieve下载不完全的问题 Posted on 2019-01-29 | In 爬虫 问题: 123我们使用request.urlretrieve(url,filename)时经常遇到下载到一半时,出现urllib.ContentTooShortError错误。这是因为文件下载不完全导 ... Read more »
爬虫403问题解决urllib.error.HTTPError Posted on 2019-01-29 | In 爬虫 一、爬虫时,出现urllib.error.HTTPError: HTTP Error 403: Forbidden 二、分析: 之所以出现上面的异常,是因为如果用 urllib.request.u ... Read more »
redis Posted on 2019-01-24 | In redis 简介1,redis是什么 redis是NoSql的一种,NoSql,全名:Not Only Sql,是一种非关系型数据库,它不能替代关系弄数据库,只是关系型数据库的一个补充,是可以解决高并发、高可用、 ... Read more »
MongoDB Posted on 2019-01-12 | In 爬虫 简介MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储 ... Read more »
csv Posted on 2019-01-04 | In 爬虫 读取csv文件1234567import csvwith open('stock.csv', 'r',encoding='utf-8')) as fp: reader = csv.reader(fp) ... Read more »