python抓取京东小米8手机配置信息_Python

python抓取京东小米8手机配置信息

2021-04-19 00:08谢公子 Python

这篇文章主要为大家详细介绍了python抓取京东手机配置信息，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

本文代码是使用python 抓取京东小米8手机的配置信息

首先找到小米8商品的链接：https://item.jd.com/7437788.html

然后找到其配置信息的标签，我们找到其配置信息的标签为 <div class="ptable">

python抓取京东小米8手机配置信息

然后再分析其配置信息的页面的规律，我们发现都是dl中包含了dt和dd，而一个dt对应的一个dd，dt对应的是参数，dd对应的是参数具体的值

python抓取京东小米8手机配置信息

下面是源代码

									import requests

									from bs4 import beautifulsoup

									from pandas import series

									from pandas import dataframe

									response=requests.get("https://item.jd.com/7437788.html")

									html=response.text

									soup=beautifulsoup(html,"html.parser")

									divsoup=soup.find("div",attrs={"class","ptable"}) ##找到其配置信息的标签

									data=dataframe(columns=["参数","值"])   #定义一个二元的dataframe

									dls=divsoup.find_all("dl")

									for dl in dls:

									  dts=dl.find_all("dt")

									  dds=dl.find_all("dd")

									  if len(dts)==len(dds):

									    for i in range(len(dts)):

									      f=dts[i].gettext();

									      p=dds[i].gettext();

									      data=data.append(series([f,p],index=["参数","值"]),ignore_index=true);

									print(data)