python爬虫之糗事百科文本笑话

python爬虫实战 专栏收录该内容
20 篇文章 2 订阅

运行环境

python:python3.6.5
IDE:pycharm

依赖模块

request,re

实现目的

实现从糗事百科网站上爬取所有的文本笑话,以txt的文本保存在程序所在文件夹内
源码可以直接运行

源码

import requests
import re

#设置UA,模拟浏览器正常访问
head={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

#获取网页
def get_page(url):
    try:
        response=requests.get(url,headers=head)
        #判断网页状态码,是否正确获取网页
        if response.status_code==200:
            #返回解析后的网页
            return response.text
        return None
    except Exception:
        #提示信息
        print('出现错误,请检查重试')
def parse_page(html):
    print('正在解析数据.....')
    #正则表达式,规则书写
    req_pattern = re.compile(
        '<div class="article block untagged mb15 typs.*?>.*?class="content".*?span>(.*?)</span>',
        re.S)
    #查找符合正则的内容
    joke_texts=re.findall(req_pattern,html)
    print('正在写入文本.......')
    save_to_text(joke_texts)
def save_to_text(joke_texts):
    #文件写入
    with open('糗事百科.txt', 'a+', encoding='utf-8') as f:
        for i in range(0, len(joke_texts)):
            k = joke_texts[i].replace('<br/>', '\n')
            f.write(k)

def main(page):
    url='https://www.qiushibaike.com/text/page/{}/'.format(page)
    print('正在请求第{}页数据...'.format(page))
    html=get_page(url)
    if html:
        parse_page(html)
if __name__ == '__main__':
    for i in range(1,14):
        main(i)
    print('数据写入完成,请愉快阅读')

效果如下
这里写图片描述

  • 3
    点赞
  • 2
    评论
  • 3
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值