Python on JokemeBlog

Python 爬虫抓取m3u8播放源

Wed, 01 Jul 2020 21:33:56 +0000

Python 爬虫抓取播放源(m3u8)

今天没有事的时候在捯饬 dotPlayer [IOS 平台 APP/￥收费] 时发现这个东西是个宝贝呀！可以看 m3u8 格式的视频，这都不是重点，重点是使用起来非常舒服，虽然直接复制 m3u8 链接到 Safari 也可以播放，但是 dotPlayer 还可以有封面和标题！这两者体验可谓是天差地别(我没有收钱哈！我是真的觉得好用，希望 dotplayer 的作者看到了打一下广告费！)

具体可以看

简书作者： NickXXXXXXXX 给出的图片简介

GitHub 上的 help_zh.md 给出的使用简介

这都不是我们需要关注の重点，重点是这款 app 是用来播放 m3u8 流の

播放视频很简单，可是这 m3u8 文件从哪里来呢？??

去 Telegram 加入组群 dotPlayer ,群里经常会分享相关的订阅
自己动手丰衣足食

这次用的爬虫和上一次一模一样，只是我优化了一下过程，就随便讲讲吧

 #coding=utf-8  
 import requests  
 from lxml import etree  
 import time  
 import datetime  
 import re  
   
 def makeUrl(Num):  
  # Num为html的页数  
  allinks=[]  
  for link in range(1,Num+1):  
  link="https://www.xxxx.com/xzy{}".format(link)  
  allinks.append(link)  
  return allinks  
   
 def getRealUrl(fakeUrl):  
  webPage = requests.get(  
  url=fakeUrl,  
  headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}  
  )  
  indexPage=webPage.text  
  indexHtml=etree.HTML(indexPage)  
  nextPageUrl=indexHtml.xpath("//div[@id='posts']/div[@class='post grid']/h3/a/@href")  
  picurls=indexHtml.xpath("//div[@class='img']/a/img/@data-src")  
  Set = []  
  Set.append(nextPageUrl)  
  Set.append(picurls)  
  return Set  
   
 def ownSource(realUrl):  
  webPagess = requests.get(  
  url=realUrl,  
  headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}  
  )  
  indexPagess=webPagess.text  
  indexHtmlss=etree.HTML(indexPagess)  
  title=indexHtmlss.xpath("//header/h1/text()")  
  source=indexHtmlss.xpath("//div[@class='article-content']/div/@data-item")  
  finalUrl = []  
  finalUrl.append(title)  
  finalUrl.append(source)  
  return finalUrl  
   
 Derailed = makeUrl(110)  
 for iPhoneSE in Derailed:  
     
  ceo = getRealUrl(iPhoneSE)  
  qq = ceo[0]  
  a=0  
  for SourceUrl in qq:  
  helloWorld = ownSource(SourceUrl)  
     
  MUlink=helloWorld[1][0]  
  realMULinks=MUlink.split('"')  
  realMULink=realMULinks[5].replace("\\","")  
  title=helloWorld[0][0].replace(" ","")  
  thePicUrl = ceo[1][a]  
   
  p=re.compile(r"[-,$()#+&*' ]")  
  lastTitle=re.sub(p,"",title)  
     
  str ='{\n'+'"name":"'+lastTitle+'",\n'+'"logo":"'+thePicUrl+'",\n'+'"url":"'+realMULink+'"\n'+'},\n'  
  with open ("weicha8.json","a+",encoding='utf-8') as f:  
  f.write(str)  
  a+=1  
  print(str)  
  print(a)  
  print(datetime.datetime.now())  
  time.sleep(1)

整体分为三个部分：

1
2
3

 def makeUrl(Num):  
 def getRealUrl(fakeUrl):  
 def ownSource(realUrl):

def makeUrl(Num):

该函数，接收一个 int 类型的参数， return 一个 字符串列表

这部分就是分析页面链接？的规则，在本地生成 URL ,并返回给下一个函数处理，爬虫能在本地干的就经量在本地完成，不过度占用服务器的资源，不给站长添堵！这也是为了自己好？?? 俗话说的好：爬虫学的好！ … …

def getRealUrl(fakeUrl):

该函数，接收一个 字符串列表 return 一个 嵌套列表

这部分就是接收到上面生成の URL ,访问并分析网页结构。拿到视频的封面 真实播放页 の URL,并且返回给下一个函数来执行

def ownSource(realUrl):

该函数，接收一个 嵌套列表 return 一个 嵌套列表

这部分也很简单，接收上面来的链接，一个一个的访问，拿到标题 播放 URL ,然后返回一个 嵌套列表

编写代码

函数已经写好了，我们自己调用即可，需要注意循环嵌套的时候不能犯迷糊就可以，最后处理一下所得到の数据，写入本地 JSON 文件就可以了

虽然我爬虫很菜，但是我在一点点的学习！一起加油吧！!!

最新代码在 Github 上，这篇文章，以后就不更新了

利用 Python 爬虫获取 bing.com 每天的高清壁纸

Sun, 14 Jun 2020 21:33:56 +0000

利用 Python 爬虫获取 bing.com 每天的高清壁纸

众所周知，必应是主力做壁纸の搜索引擎！

每天都更新搜索页面的背景图片，这些图片也的的确确很好看，那我们要是 ♥心动了，想保存欣赏欣赏怎么办呐？

方法一：直接开发者模式拿图片

这个方法应该是最简单的了， ctrl+ shift+i

... ...
<tbody>
  <tr>
    <td id="hp_cellCenter" ... ...>
      <div id="hp_container" ... ...>
        <div id="bgDiv" ... ...>
          <div id="bgImgProgLoad" data-ultra-definition-src="/th?id=OHR.WildflowersBC_EN-CN3359054435_UHD.jpg&rf=LaDigue_UHD.jpg&pid=hp&w=1920&h=1080&rs=1&c=4" data-explicit-bing-load="false" data-dynamic-size="true">
            </div>
... ...

这个链接 ?就在 <div id="bgImgProgLoad" の标签里面，复制 data-ultra-definition-src 所对应的值，再在前面补上 cn.bing.com 就可以啦

不过这种方法下载的图片是被压缩以后的图片，大小也就几百 kb,而如果我们想要下载原图的话，就需要把链接 ?里面第一个 .jpg 后面的字符全给干掉，最终的的 URL 应该是： https://cn.bing.com/th?id=OHR.WildflowersBC_EN-CN3359054435_UHD.jpg

方法二：python 爬虫

没有什么好说の,都是最简单的 python 命令，

运行环境： Linux

Python 版本： Python3

pip 依赖库： requests,lxml

基本上大部分的 Linux 都会预装 Python3 ,所以就从安装 pip 开始了

sudo apt install python3-pip
pip3 install lxml
pip3 install requests
mkdir -p ~/Bing_pic/pic/
cd Bing_pic
nano xxx.py	#名字就根据你自己的喜好来吧,把下面的代码粘进去就可以啦
python3 xxx.py	#如果没有报错,大功告成啦
ls pic/		#看一下下载的壁纸

#coding=utf-8
import requests
from lxml import etree
import os
webPage = requests.get(url = "https://cn.bing.com/?FORM=BEHPTB&ensearch=1",
        headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
        )
we = webPage.text
ssr = etree.HTML(we)
Links = ssr.xpath("//div/div[@id='bgDiv']/div/@data-ultra-definition-src")
Desc=ssr.xpath("//a/div/h2/text()")

Str="https://cn.bing.com"
desc=""
re = []
for sein in Desc:
        desc=sein
print(desc)

for  se  in Links:
        Str = Str+se
        re = Str.split("&",1)
        Str=re[0]
print(Str)

picfile="/home/jokeme/pic/"+desc+".jpg"
#这里需要根据实际情况修改

picture=requests.get(Str)
with open (picfile,"wb+") as f:
        f.write(picture.content)
print("Get The Picture of Bing Successfully! "+"The Picture in \""+picfile+"\"")

如果你想每天都自动执行这段代码的话，就可以用 crontab 来定时执行

1
2

crontab -e
30 0 * * * python3 ~/Bing_pic/Bing_spider.py >> ~/Bing_pic/Bing_spider_log.txt

这样的话，每天凌晨 12:30 就会自动执行该命令啦

使用须知：这个脚本爬取的是 Bing 国际版的图片，所以当天中午 15:00 以后爬取的图片和第二天中午 15:00 之前爬取的图片一致，也就是第一天会出现这种情况，以后都没有问题的

Python_spider

Tue, 31 Dec 2019 21:33:56 +0000

Python 爬虫

用python写爬虫其实是比较简单的，主要还是靠第三方的库，常用的有 requests & urllib 至于解析 HTML,我目前使用的是 xpath ,了解了基本操作，咱就试试看吧

代码附上

# coding:utf-8
import json
import requests
from lxml import etree

def getWebUrl(uri):
	webPage = requests.get(url = uri,
		headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
		)

	we = webPage.text
	ssr = etree.HTML(we)
	
	Links = ssr.xpath("//div/table/tbody/tr/td/p/a/@href")

	Str = "http://172.17.150.251"
	Allinks = []

	for  se  in Links:
		link = Str+se
		Allinks.append(link)
	
	dicName = {}
	dicName = {uri:Allinks}
	return dicName

def getInfo(uri):
	webPage = requests.get(url = uri,
		headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
		)
	page = webPage.text
	pageinfo = etree.HTML(page)

	info = pageinfo.xpath("//div/span[@class='sp4']/text()")
	notNesInfo = pageinfo.xpath("//div/span[@class='sp2']/text()")
	salaryInfo = pageinfo.xpath("//div[@class='cn']/strong/text()")
	job = pageinfo.xpath("//p[position()=1]/span[@class='el']/text()")
	city = pageinfo.xpath("//span[@class='lname']/text()")

	if (len(notNesInfo)!=0):
		for er in notNesInfo:
			info.append(er)

	information = {"info":info,'salaryInfo':salaryInfo,'job':job,'city':city}

	return information


# ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
we = {}
fun = {}
tot = []
wilu = []
for a in range(1,41):
	strin = "http://172.17.150.251/xueqing-web/course/index/{}".format(a)
	tot.append(strin)
	we = getWebUrl(strin)
	fun.update(we)
	we.clear()
for osx in tot:
	wilu  = fun.get(osx)
	for xs in wilu:
		ufo = {}
		ufo = getInfo(xs)
		fuc ={xs:ufo}
		we.update(fuc)

wei = json.dumps(we,indent=1,ensure_ascii=False)
with open("wuli.json",'w',encoding='utf-8') as f:
	f.write(wei)
print("?")

因为我是真的又菜又爱玩，所以才写的这么烂的代码 ?,以后还是要慢慢提升啊

我爬取的是 51job 网站，可是如果爬虫大规模爬取，网站就会封 IP,所以我就把页面抓下来，放到本地，开一个 Web 服务器，慢慢调试代码代码 ?‍♂️

最基本的两个库，requests & lxml simplejson 不是必要的，我只是为了把爬取到的数据保存到本地查看才出此下策，实在是菜的无奈 ?才这样干了，其实我也是懒得配置数据库了

代码解释

getWebUrl() 是拿取网站一共有多少页并且获取该页面下的求职信息详情页面链接，再传递给下一个函数处理我给写死了

getInfo() 处理geWebUrl() 传递过来的详情页面链接，并爬取数据返回我需要的求职信息

还有需要注意的是 JSON 格式化dictChinese 时，非常容易乱码，所以在 dumps()方法里，我没有用 ascii,这也算是一个小坑吧，一开始的时候我保存数据，不管用啥方法都乱码，心态都炸了，# coding:utf-8也用了，就是不奏效

爬取到的信息节选

{
 "http://172.17.150.251/xueqing-web/51job/72396849.html": {
        "info": [
            "3-4年经验",
            "本科",
            "招1人",
            "02-08发布",
            "英语良好",
            "计算机科学与技术 自动化"
        ],
        "salaryInfo": [
            "15-28万/年"
        ],
        "job": [
            "软件工程师",
            "算法工程师"
        ],
        "city": [
            "广州"
        ]
    },
    "http://172.17.150.251/xueqing-web/51job/98287424.html": {
        "info": [
            "5-7年经验",
            "大专",
            "招若干人",
            "02-08发布"
        ],
        "salaryInfo": [
            "1-2万/月"
        ],
        "job": [
            "销售经理"
        ],
        "city": [
            "北京"
        ]
    },
    "http://172.17.150.251/xueqing-web/51job/98370374.html": {
        "info": [
            "5-7年经验",
            "本科",
            "招2人",
            "02-08发布"
        ],
        "salaryInfo": [],
        "job": [
            "高级软件工程师",
            "网站运营经理/主管"
        ],
        "city": [
            "深圳"
        ]
    },
    "http://172.17.150.251/xueqing-web/51job/97846012.html": {
        "info": [
            "无工作经验",
            "本科",
            "招若干人",
            "02-08发布",
            "英语熟练",
            "计算机科学与技术 计算机网络"
        ],
        "salaryInfo": [
            "10-15万/年"
        ],
        "job": [
            "系统工程师",
            "系统架构设计师"
        ],
        "city": [
            "北京-昌平区"
        ]
    },
    "http://172.17.150.251/xueqing-web/51job/96612644.html": {
        "info": [
            "无工作经验",
            "招若干人",
            "02-08发布"
        ],
        "salaryInfo": [
            "1-2万/月"
        ],
        "job": [
            "信息技术经理/主管"
        ],
        "city": [
            "北京-西城区"
        ]
    }
}