（2021.11.25自编自测）想和python爬虫谈恋爱?打打基础的你适合看下这个利用爬虫爬取歌曲

import requests
import re
###都是一些最基本的用法，重要的事懂这个爬虫的逻辑

#定义总页数的变量Page_Show
Page_Show=''
#定义每页多少数据size的变量Page_Size
Page_Size=''
#传递第一页内容的url来获取当前多少数据，多少页码，每页数据szie
Page_Url = 'http://www.htqyy.com/top/hot'


##requests.get来获取一下当前url的网页源代码
Page_res = requests.get(Page_Url)

##利用re模块来对当前url进行内容识别
    ##创建re.compile规则
Page_All_Find = re.compile(r'PageData.totalCount = (?P<PageData_totalCount>.*?);.*?var pageSize = (?P<pageSize>.*?);',re.S)
    ##通过re.fiditer来指定来源数据
Page = Page_All_Find.finditer(Page_res.text)
    ##利用for循环来进行规则匹配结果的输出，并相应的进行赋值
for it in Page:
    Page_Size = int(it.group('pageSize'))
    Page_Show = int(int(it.group("PageData_totalCount"))/int(it.group('pageSize')))
##打印出总页数：测试用
print(Page_Show)
##打印出每页szie：测试用
print(Page_Size)

<script type="text/javascript">
        var PageData = {};
        PageData.totalCount = 500;
    </script>
    <script type="text/javascript">
        var pageIndex = 0;     //页面索引初始值
        var pageSize = 20;     //每页显示条数初始化，修改显示条数，修改这里即可

##定义歌曲名称变量，方便下载保存
Song_Name=''
##定义歌曲播放url
Song_Play_url=''
##批量爬取单个页码的上面所有歌曲的播放url
    ##假设爬取的是第一页码的内容，后期配合for进行全25页码的查询
Play_url = "http://www.htqyy.com/top/musicList/hot?pageIndex=0&pageSize=20"

##反Referer反爬虫法：反反爬虫
header = {
'Referer':"http://www.htqyy.com/top/hot"
}

##创建requests请求，get一下页面
Play_res = requests.get(Play_url,headers=header)


##通过re模块对数据进行抽取
    ##re.compile创建规则
page_all_find = re.compile(r'<span class="title"><a href="(?P<Play_url2>.*?)" target="play" title="(?P<S_name>.*?)" sid=.*?target="_blank">(?P<S_author>.*?)</a></span',re.S)
page = page_all_find.finditer(Play_res.text)
for i in page:
	##拼接歌曲的名称，'S_name为歌曲名称，S_author为歌曲作者
    Song_Name = i.group('S_name') + "-" + i.group("S_author")
    ##拼接歌曲的播放url
    Song_Play_url = 'http://www.htqyy.com'+ i.group("Play_url2")
    ##测试用
    print(Song_Play_url,Song_Name)

var fileHost="http://f3.htqyy.com/play9/";
  var mp3="33/mp3/5";
  mp3=fileHost+mp3;

##定义一个歌曲下载url的变量
Down_url=''

#下载音乐
   ##创建一个requests。get来获取歌曲播放页的网页代码
Down_res = requests.get(Song_Play_url)
##创建一个re.compile规则
Down_obj = re.compile(r'var fileHost="(?P<fileHost>.*?)".*?var mp3="(?P<mp3>.*?)";', re.S)

##指定re规则查找范围
a1 = Down_obj.finditer(Down_res.text)


for i in a1:
   ##提取相re规则对应的取值
   Down_url = i.group("fileHost") + i.group("mp3")
   ##循环打印出Down_url，测试用
   print(Down_url,Song_Name)

##进行下载操作
                ###创建头部
        headers_down={
        'Referer':Down_url,
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
        }
        ##创建一个requests请求
        res = requests.get(url=Down_url,headers=headers_down)
        ##对文件进行保存操作
        with open("E:\\python2\\music\\{}.mp3".format(Song_Name), "wb") as f:
            f.write(res.content)
            ###打印完成进度
            print(Song_Name,"已经下载完毕")

headers_down={
        'Referer':Down_url,
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
        }

import requests
import re

#定义总页数的变量Page_Show
Page_Show=''
#定义每页多少数据size的变量Page_Size
Page_Size=''
##定义歌曲名称变量，方便下载保存
Song_Name=''
##定义歌曲播放url
Song_Play_url=''

#传递第一页内容的url来获取当前多少数据，多少页码，每页数据szie
Page_Url = 'http://www.htqyy.com/top/hot'


##requests.get来获取一下当前url的网页源代码
Page_res = requests.get(Page_Url)

##利用re模块来对当前url进行内容识别
    ##创建re.compile规则
Page_All_Find = re.compile(r'PageData.totalCount = (?P<PageData_totalCount>.*?);.*?var pageSize = (?P<pageSize>.*?);',re.S)
    ##通过re.fiditer来指定来源数据
Page = Page_All_Find.finditer(Page_res.text)
    ##利用for循环来进行规则匹配结果的输出，并相应的进行赋值
for it in Page:
    Page_Size = int(it.group('pageSize'))
    Page_Show = int(int(it.group("PageData_totalCount"))/int(it.group('pageSize')))
##打印出总页数：测试用
# print(Page_Show)
##打印出每页szie：测试用
# print(Page_Size)


##遍历所有页码
for i in range(0,Page_Show):
    ##批量爬取单个页码的上面所有歌曲的播放url
        ##假设爬取的是第一页码的内容，后期配合for进行全25页码的查询
    Play_url = "http://www.htqyy.com/top/musicList/hot?pageIndex="+str(i)+"&pageSize=" + str(Page_Size)

    ##反Referer反爬虫法：反反爬虫
    header = {
    'Referer':"http://www.htqyy.com/top/hot"
    }

    ##创建requests请求，get一下页面
    Play_res = requests.get(Play_url,headers=header)


    ##通过re模块对数据进行抽取
        ##re.compile创建规则
    page_all_find = re.compile(r'<span class="title"><a href="(?P<Play_url2>.*?)" target="play" title="(?P<S_name>.*?)" sid=.*?target="_blank">(?P<S_author>.*?)</a></span',re.S)
    page = page_all_find.finditer(Play_res.text)
    for i in page:
        Song_Name = i.group('S_name') + "-" + i.group("S_author")
        Song_Play_url = 'http://www.htqyy.com'+ i.group("Play_url2")
        # print(Song_Play_url,Song_Name)

        ##定义一个歌曲下载url的变量
        Down_url=''

        #下载音乐
            ##创建一个requests。get来获取歌曲播放页的网页代码
        Down_res = requests.get(Song_Play_url)
        ##创建一个re.compile规则
        Down_obj = re.compile(r'var fileHost="(?P<fileHost>.*?)".*?var mp3="(?P<mp3>.*?)";', re.S)

        ##指定re规则查找范围
        a1 = Down_obj.finditer(Down_res.text)


        for i in a1:
            ##提取相re规则对应的取值
            Down_url = i.group("fileHost") + i.group("mp3")
            ##循环打印出Down_url，测试用
            # print(Down_url,Song_Name)

            ##进行下载操作
                    ###创建头部
            headers_down={
            'Referer':Down_url,
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
            }
            ##创建一个requests请求
            res = requests.get(url=Down_url,headers=headers_down)
            ##对文件进行保存操作
            with open("E:\\python2\\music\\{}.mp3".format(Song_Name), "wb") as f:
                f.write(res.content)
                ###打印完成进度
                print(Song_Name,"已经下载完毕")