脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Python - python爬虫获取淘宝天猫商品详细参数

python爬虫获取淘宝天猫商品详细参数

2021-01-17 01:01sisteryaya Python

这篇文章主要为大家详细介绍了python爬虫获取淘宝天猫商品详细参数,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

首先我是从淘宝进去,爬取了按销量排序的所有(100页)女装的列表信息按综合、销量分别爬取淘宝女装列表信息,然后导出前100商品的 link,爬取其详细信息。这些商品有淘宝的,也有天猫的,这两个平台有些区别,处理的时候要注意。比如,有的说“面料”、有的说“材质成分”,其实是一个意思,等等。可以取不同的链接做一下测试。

  1. import re 
  2. from collections import OrderedDict 
  3. from bs4 import BeautifulSoup 
  4. from pyquery import PyQuery as pq #获取整个网页的源代码 
  5. from config import * #可引用congif的所有变量 
  6.   
  7. import pymysql 
  8. import urllib 
  9. import json 
  10. import bs4 
  11. import requests 
  12. from selenium import webdriver 
  13. from selenium.webdriver.support.ui import WebDriverWait 
  14. from pyquery import PyQuery as pq #获取整个网页的源代码 
  15. import pandas as pd 
  16.   
  17. # 测试 淘宝+天猫,可完整输出及保存 
  18.   
  19. browser = webdriver.Firefox() 
  20. wait = WebDriverWait(browser,10) 
  21.   
  22. ####### 天猫上半部分详情 ############# 
  23. def get_tianmao_header(url): 
  24.  browser.get(url) 
  25.  # wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))) #加载所有宝贝 
  26.  html=browser.page_source 
  27.  doc = pq(html) 
  28.  # print(doc) 
  29.  info = OrderedDict() # 存放该商品所具有的全部信息 
  30.  items = doc('#page'
  31.   
  32.  # info['店铺名'] = items.find('.slogo').find('.slogo-shopname').text() 
  33.  # info['ID'] = items.find('#LineZing').attr['itemid'] 
  34.  info['宝贝'] = items.find('.tb-detail-hd').find('h1').text() 
  35.  info['促销价'] = items.find('#J_PromoPrice').find('.tm-promo-price').find('.tm-price').text() 
  36.  info['原价'] = items.find('#J_StrPriceModBox').find('.tm-price').text() 
  37.  # '月销量' :items.find('.tm-ind-panel').find('.tm-ind-item tm-ind-sellCount').find('.tm-indcon').find('.tm-count').text(), 
  38.  info['月销量'] = items.find('.tm-ind-panel').find('.tm-indcon').find('.tm-count').text().split(' ',2)[0] 
  39.  info['累计评价'] = items.find('#J_ItemRates').find('.tm-indcon').find('.tm-count').text() 
  40.  # print(info) 
  41.  return info 
  42.   
  43. ######## 淘宝上半部分详情 ############### 
  44. def get_taobao_header(url): 
  45.  browser.get(url) 
  46.  # wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item'))) #加载所有宝贝 
  47.  html=browser.page_source 
  48.  doc = pq(html) 
  49.  # print(doc) 
  50.  info = OrderedDict() # 存放该商品所具有的全部信息 
  51.  items = doc('#page'
  52.   
  53.  # info['店铺名'] = items.find('.tb-shop-seller').find('.tb-seller-name').text() 
  54.  # info['ID'] = items.find('#J_Pine').attr['data-itemid'] 
  55.  info['宝贝'] = items.find('#J_Title').find('h3').text() 
  56.  info['原价'] = items.find('#J_StrPrice').find('.tb-rmb-num').text() 
  57.  info['促销价'] = items.find('#J_PromoPriceNum').text() 
  58.  # '月销量' :items.find('.tm-ind-panel').find('.tm-ind-item tm-ind-sellCount').find('.tm-indcon').find('.tm-count').text(), 
  59.  info['月销量'] = items.find('#J_SellCounter').text() 
  60.  info['累计评价'] = items.find('#J_RateCounter').text() 
  61.  # print(info) 
  62.  return info 
  63.   
  64. ####################### 详情 ############################ 
  65. # 抓取所有商品详情 
  66. def get_Details(attrs,info): 
  67.  # res = requests.get(url) 
  68.  # soup = BeautifulSoup(res.text, "html.parser") 
  69.  # 
  70.  # attrs = soup.select('.attributes-list li') 
  71.   
  72.  # attrs= [<li title=" 薄">厚薄: 薄</li>, <li title=" 其他100%">材质成分: 其他100%</li>,<li ...</li>] 
  73.  attrs_name = [] 
  74.  attrs_value = [] 
  75.  ''''
  76.  [s] 匹配空格,[s]*,后面有 *,则可以为空 
  77.  * : 匹配前面的子表达式任意次 
  78.  ''
  79.   
  80.  for attr in attrs: 
  81.   attrs_name.append(re.search(r'(.*?):[s]*(.*)', attr.text).group(1)) 
  82.   attrs_value.append(re.search(r'(.*?):[s]*(.*)', attr.text).group(2)) 
  83.   
  84.  # print('attrs_name=',attrs_name) # attrs_name= ['厚薄', '材质成分', ...] 
  85.  # print('attrs_value=',attrs_value) # attrs_value= ['薄', '其他100%', ...] 
  86.   
  87.  allattrs = OrderedDict() # 存放该产品详情页面所具有的属性 
  88.  for k in range(0, len(attrs_name)): 
  89.   allattrs[attrs_name[k]] = attrs_value[k] 
  90.  # print('allattrs=',allattrs) # allattrs= OrderedDict([('厚薄', '薄'), ('材质成分', '其他100%'),...]) 
  91.   
  92.  # info = OrderedDict() # 存放该商品所具有的全部信息 
  93.  # info = get_headdetail2(url) 
  94.   
  95.  # 下面三条语句获取描述、服务、物流的评分信息 
  96.   
  97.  # 下面的语句用来判断该商品具有哪些属性,如果具有该属性,将属性值插入有序字典,否则,该属性值为空 
  98.  # 适用场景 
  99.  if '材质成分' in attrs_name: 
  100.   info['材质成分'] = allattrs['材质成分'
  101.  elif '面料' in attrs_name: 
  102.   info['材质成分'] = allattrs['面料'
  103.  else
  104.   info['材质成分'] = 'NA' 
  105.   
  106.  # 适用对象 
  107.  if '流行元素' in attrs_name: 
  108.   info['流行元素'] = allattrs['流行元素'
  109.  else
  110.   info['流行元素'] = 'NA' 
  111.   
  112.  #季节 
  113.  if '年份季节' in attrs_name: 
  114.   info['年份季节'] = allattrs['年份季节'
  115.  else
  116.   info['年份季节'] = 'NA' 
  117.   
  118.  # 款式 
  119.  if '袖长' in attrs_name: 
  120.   info['袖长'] = allattrs['袖长'
  121.  else
  122.   info['袖长'] = 'NA' 
  123.  # 尺码 
  124.  if '销售渠道类型' in attrs_name: 
  125.   info['销售渠道类型'] = allattrs['销售渠道类型'
  126.  else
  127.   info['销售渠道类型'] = 'NA' 
  128.  # 帽顶款式 
  129.  if '货号' in attrs_name: 
  130.   info['货号'] = allattrs['货号'
  131.  else
  132.   info['货号'] = 'NA' 
  133.  # 帽檐款式 
  134.  if '服装版型' in attrs_name: 
  135.   info['服装版型'] = allattrs['服装版型'
  136.  else
  137.   info['服装版型'] = 'NA' 
  138.  # 檐形 
  139.  if '衣长' in attrs_name: 
  140.   info['衣长'] = allattrs['衣长'
  141.  else
  142.   info['衣长'] = 'NA' 
  143.  # 主要材质 
  144.  if '领型' in attrs_name: 
  145.   info['领型'] = allattrs['领型'
  146.  else
  147.   info['领型'] = 'NA' 
  148.  # 人群 
  149.  if '袖型' in attrs_name: 
  150.   info['袖型'] = allattrs['袖型'
  151.  else
  152.   info['袖型'] = 'NA' 
  153.  # 品牌 
  154.  if '品牌' in attrs_name: 
  155.   info['品牌'] = allattrs['品牌'
  156.  else
  157.   info['品牌'] = 'NA' 
  158.  # 风格 
  159.  if '图案' in attrs_name: 
  160.   info['图案'] = allattrs['图案'
  161.  elif '中老年女装图案' in attrs_name: 
  162.   info['图案'] = allattrs['中老年女装图案'
  163.  else
  164.   info['图案'] = 'NA' 
  165.   
  166.  # 款式细节 
  167.  if '服装款式细节' in attrs_name: 
  168.   info['服装款式细节'] = allattrs['服装款式细节'
  169.  else
  170.   info['服装款式细节'] = 'NA' 
  171.   
  172.  # 适用年龄 
  173.  if '适用年龄' in attrs_name: 
  174.   info['适用年龄'] = allattrs['适用年龄'
  175.  else
  176.   info['适用年龄'] = 'NA' 
  177.   
  178.  # 风格 
  179.  if '风格' in attrs_name: 
  180.   info['风格'] = allattrs['风格'
  181.  elif '中老年风格' in attrs_name: 
  182.   info['风格'] = allattrs['中老年风格'
  183.  else
  184.   info['风格'] = 'NA' 
  185.   
  186.  #通勤 
  187.  if '通勤' in attrs_name: 
  188.   info['通勤'] = allattrs['通勤'
  189.  else
  190.   info['通勤'] = 'NA' 
  191.   
  192.  if '裙长' in attrs_name: 
  193.   info['裙长'] = allattrs['裙长'
  194.  else
  195.   info['裙长'] = 'NA' 
  196.   
  197.  if '裙型' in attrs_name: 
  198.   info['裙型'] = allattrs['裙型'
  199.  else
  200.   info['裙型'] = 'NA' 
  201.   
  202.  if '腰型' in attrs_name: 
  203.   info['腰型'] = allattrs['腰型'
  204.  else
  205.   info['腰型'] = 'NA' 
  206.   
  207.  # 颜色分类 
  208.  if '主要颜色' in attrs_name: 
  209.   info['主要颜色'] = allattrs['主要颜色'
  210.  else
  211.   info['主要颜色'] = 'NA' 
  212.  if '颜色分类' in attrs_name: 
  213.   info['主要颜色'] = allattrs['颜色分类'
  214.  else
  215.   info['主要颜色'] = 'NA' 
  216.   
  217.  #尺码 
  218.  if '尺码' in attrs_name: 
  219.   info['尺码'] = allattrs['尺码'
  220.  else
  221.   info['尺码'] = 'NA' 
  222.   
  223.  if '组合形式' in attrs_name: 
  224.   info['组合形式'] = allattrs['组合形式'
  225.  else
  226.   info['组合形式'] = 'NA' 
  227.   
  228.  if '裤长' in attrs_name: 
  229.   info['裤长'] = allattrs['裤长'
  230.  else
  231.   info['裤长'] = 'NA' 
  232.   
  233.  return info 
  234.   
  235.   
  236. import csv 
  237.   
  238. def main(): 
  239.  # 提取 列 
  240.  with open('clothes_detai.csv''w', newline='', encoding='utf-8') as csvfile: 
  241.   # fieldnames = ['店铺ID','店铺名','链接','宝贝','原价','促销价','月销量','累计评价','材质成分','流行元素','袖长','年份季节','销售渠道类型','货号','服装版型','衣长','领型','袖型', 
  242.   #    '裙型','裙长','腰型','裤长','组合形式','品牌','图案','服装款式细节', '适用年龄','风格','通勤','主要颜色','尺码'] 
  243.   fieldnames=[ 'Link','Brand','Title','Price','Sale price','Sales','Evaluations'
  244.      'Component''Fashion elements','Sleeve','Seasons','Sales channels'
  245.      'Number','Clothes_Style','Long','Collar type','Sleeve type'
  246.      'Skirt type','Skirt length','Waist','Combining form','Outseam'
  247.      'Design','Fashion pattern detail','Applicable age'
  248.      'Style','Commuter','color','Size'
  249.   # 'Shop','Data_id','Shop_id','Shop','Link','Data_id', 
  250.   writer = csv.DictWriter(csvfile, fieldnames = fieldnames) 
  251.   writer.writeheader() 
  252.   
  253.   # urls = ['//detail.tmall.com/item.htm?spm=a230r.1.14.1.ebb2eb2eGyUw1&id=549177691667&ns=1&abbucket=4', 
  254.     # '//item.taobao.com/item.htm?id=548443640333&ns=1&abbucket=0#detail'] 
  255.   
  256.   f = pd.read_csv('women_clothes_sales2.csv'
  257.   urls = f['link'][0:100] 
  258.   # sh = f['shop_id'][0:3] 
  259.   # s = f['shop'][0:3] 
  260.   # for url in urls: 
  261.   #  print(url) 
  262.   # writer.writerow({'店铺ID':f['shop_id'],'店铺名':f['shop']}) 
  263.   keys, values = [], [] 
  264.   # for url in urls: 
  265.   for i in urls: 
  266.    url = 'http:' + i 
  267.    # endswith 判断字符串是否以指定的字符串结尾 
  268.    if url.endswith('detail'): 
  269.     info = get_taobao_header(url) 
  270.   
  271.     res = requests.get(url) 
  272.     soup = BeautifulSoup(res.text, "html.parser"
  273.     attrs = soup.select('.attributes-list li') # 淘宝 class 
  274.    else
  275.     info = get_tianmao_header(url) 
  276.   
  277.     res = requests.get(url) 
  278.     soup = BeautifulSoup(res.text, "html.parser"
  279.     attrs = soup.select('#J_AttrUL li') # 天猫 id 
  280.     # print('attrs=',attrs) 
  281.   
  282.    d = get_Details(attrs,info) 
  283.    print(d) 
  284.    # for j in f[shop_id]: 
  285.    #  d['店铺ID'] = j 
  286.    # for s in f['shop']: 
  287.    #  d['店铺名'] = s 
  288.    #'Shop':d['店铺名'],'Data_id':d['ID'], 
  289.    writer.writerow({'Link':url,'Brand':d['品牌'],'Title':d['宝贝'], 'Price':d['原价'], 'Sale price':d['促销价'], 'Sales':d['月销量'], 'Evaluations':d['累计评价'], 
  290.         'Component':d['材质成分'], 'Fashion elements':d['流行元素'], 'Sleeve':d['袖长'], 'Seasons':d['年份季节'], 'Sales channels':d['销售渠道类型'], 
  291.         'Number':d['货号'],'Clothes_Style':d['服装版型'],'Long':d['衣长'],'Collar type':d['领型'], 'Sleeve type':d['袖型'], 
  292.         'Skirt type':d['裙型'], 'Skirt length':d['裙长'], 'Waist':d['腰型'], 'Combining form':d['组合形式'], 'Outseam':d['裤长'], 
  293.         'Design':d['图案'], 'Fashion pattern detail':d['服装款式细节'], 'Applicable age':d['适用年龄'], 
  294.         'Style':d['风格'], 'Commuter':d['通勤'], 'color':d['主要颜色'], 'Size':d['尺码']}) 
  295.   
  296. if __name__=='__main__'
  297.  main() 

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:http://blog.csdn.net/sisteryaya/article/details/77894443

延伸 · 阅读

精彩推荐