在电商数据分析和商品管理中，获取淘宝商品的 SKU（库存进出计量的基本单元）详细信息是一项重要任务。SKU 信息通常包括商品的颜色、尺寸、规格等属性，这些信息对于库存管理和价格监控非常关键。本文将详细介绍如何使用 Python 和 requests、BeautifulSoup 以及 Selenium 获取淘宝商品的 SKU 详细信息，并提供完整的代码示例。
一、准备工作
1. 安装必要的库
确保你的开发环境中已经安装了以下库：
- requests：用于发送 HTTP 请求。
- BeautifulSoup：用于解析 HTML 内容。
- Selenium：用于处理动态加载的内容。
- 可以通过以下命令安装这些库：
bash
pip install requests beautifulsoup4 selenium
2. 下载 ChromeDriver
为了使用 Selenium，需要下载与你的浏览器版本匹配的 ChromeDriver，并确保其路径正确配置。
二、获取商品详情页的 HTML 内容
1. 使用 requests 获取静态内容
如果商品详情页的内容是静态的，可以直接使用 requests 获取 HTML 内容。
Python
import requests
from bs4 import BeautifulSoup
def get_product_detail_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
else:
print("Failed to retrieve the page")
return None
2. 使用 Selenium 获取动态内容
如果商品详情页的内容是动态加载的，需要使用 Selenium 获取完整的页面内容。
Python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
def get_product_detail_page_dynamic(url):
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 无头模式
driver = webdriver.Chrome(options=options)
driver.get(url)
# 等待页面加载完成
time.sleep(3)
page_source = driver.page_source
driver.quit()
return page_source
三、解析商品详情页中的 SKU 信息
1. 定位 SKU 信息的 HTML 结构
SKU 信息通常位于商品详情页的某个特定区域，例如 <div> 或 <ul> 标签中。常见的位置包括：
- 规格参数表格：通常以表格形式展示，例如 <table> 标签。
- SKU 选择区域：通常以下拉菜单或选项卡的形式展示，例如 <select> 或 <ul> 标签。
2. 提取 SKU 信息
使用 BeautifulSoup 提取 SKU 信息。以下代码展示了如何解析静态和动态加载的 SKU 信息。
示例代码：解析静态内容
Python
from bs4 import BeautifulSoup
def parse_sku_info(html):
soup = BeautifulSoup(html, 'html.parser')
sku_info = {}
# 定位 SKU 属性区域
sku_properties = soup.select('div.sku-property')
for sku_property in sku_properties:
property_name = sku_property.select_one('div.sku-title').text.strip()
options = [option.text.strip() for option in sku_property.select('ul.sku-list li')]
sku_info[property_name] = options
return sku_info
# 示例：获取静态内容
url = "https://example.com/product-detail-page.html"
html = get_product_detail_page(url)
if html:
sku_info = parse_sku_info(html)
for key, value in sku_info.items():
print(f"SKU 属性: {key}")
for option in value:
print(f" 选项: {option}")
示例代码：解析动态内容
Python
from bs4 import BeautifulSoup
def parse_sku_info_dynamic(html):
soup = BeautifulSoup(html, 'html.parser')
sku_info = {}
# 定位 SKU 属性区域
sku_properties = soup.select('div.sku-property')
for sku_property in sku_properties:
property_name = sku_property.select_one('div.sku-title').text.strip()
options = [option.text.strip() for option in sku_property.select('ul.sku-list li')]
sku_info[property_name] = options
return sku_info
# 示例：获取动态内容
url = "https://example.com/product-detail-page.html"
html = get_product_detail_page_dynamic(url)
if html:
sku_info = parse_sku_info_dynamic(html)
for key, value in sku_info.items():
print(f"SKU 属性: {key}")
for option in value:
print(f" 选项: {option}")
四、注意事项
1. 动态内容处理
如果 SKU 信息是通过 JavaScript 动态加载的，建议使用 Selenium 获取完整的页面内容。
2. 遵守法律法规
在使用爬虫时，务必遵守目标网站的 robots.txt 文件和相关法律法规，避免对目标网站造成不必要的负担或违反法律。
3. 异常处理
在解析过程中，可能会遇到各种异常情况，如网络请求失败、HTML 结构变化等。因此，需要在代码中添加完善的异常处理逻辑，确保爬虫的稳定运行。
4. HTML 结构变化
淘宝商品详情页的 HTML 结构可能会发生变化，因此需要定期检查并更新选择器。
5. 使用代理 IP
为了避免被封禁，建议使用代理 IP 池，定期更换 IP 地址。
五、完整示例代码
以下是一个完整的示例代码，展示如何获取淘宝商品的 SKU 详细信息：
Python
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import time
def get_product_detail_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
else:
print("Failed to retrieve the page")
return None
def get_product_detail_page_dynamic(url):
options = webdriver.ChromeOptions()
options.add_argument('--headless') # 无头模式
driver = webdriver.Chrome(options=options)
driver.get(url)
# 等待页面加载完成
time.sleep(3)
page_source = driver.page_source
driver.quit()
return page_source
def parse_sku_info(html):
soup = BeautifulSoup(html, 'html.parser')
sku_info = {}
# 定位 SKU 属性区域
sku_properties = soup.select('div.sku-property')
for sku_property in sku_properties:
property_name = sku_property.select_one('div.sku-title').text.strip()
options = [option.text.strip() for option in sku_property.select('ul.sku-list li')]
sku_info[property_name] = options
return sku_info
# 示例：获取静态内容
url = "https://example.com/product-detail-page.html"
html = get_product_detail_page(url)
if html:
sku_info = parse_sku_info(html)
for key, value in sku_info.items():
print(f"SKU 属性: {key}")
for option in value:
print(f" 选项: {option}")
# 示例：获取动态内容
url = "https://example.com/product-detail-page.html"
html = get_product_detail_page_dynamic(url)
if html:
sku_info = parse_sku_info(html)
for key, value in sku_info.items():
print(f"SKU 属性: {key}")
for option in value:
print(f" 选项: {option}")
六、总结
通过上述步骤和示例代码，你可以轻松地获取淘宝商品的 SKU 详细信息。希望这个教程对你有所帮助！
