利用 Python 爬虫获取京东商品历史价格信息-CRMEB社区

利用 Python 爬虫获取京东商品历史价格信息

管理

编辑

删除

在电商数据分析中，获取商品的历史价格信息对于研究价格波动、制定采购策略以及进行市场分析具有重要意义。京东作为国内知名的电商平台，提供了丰富的商品数据接口（API），其中也包括商品历史价格信息的查询功能。本文将详细介绍如何使用 Python 爬虫技术调用京东 API 获取商品的历史价格信息，并对返回值进行详细说明。

一、准备工作

1. 注册京东开放平台账号

要使用京东 API，首先需要在京东开放平台（ https://o0b.cn/jason ）注册账号，并创建应用以获取App Key 和 App Secret。这些是调用 API 所必需的凭证。

2. 安装必要的 Python 库

确保你的环境中安装了以下 Python 库：

requests：用于发送 HTTP 请求。
pandas：用于数据处理和存储。
如果尚未安装这些库，可以通过以下命令进行安装：

bash

pip install requests pandas

二、代码实现

以下是一个完整的 Python 示例代码，展示如何调用京东商品历史价格信息 API，并处理返回的数据。

1. 引入必要的库

Python

import requests
import pandas as pd
from datetime import datetime

2. 配置 API 请求参数

Python

# 京东 API 的基础 URL
api_url = 'https://api.jd.com/routerjson'

# 你的 API 密钥和 Secret（需替换为实际值）
app_key = 'your_app_key'
app_secret = 'your_app_secret'

# 商品的 SKU ID（需替换为实际值）
sku_id = '123456'  # 示例 SKU ID，实际使用时需替换为具体的商品 ID 或 SKU ID

# 当前时间戳
timestamp = int(datetime.now().timestamp())

# 构造请求参数
params = {
    'app_key': app_key,
    'timestamp': timestamp,
    'v': '1.0',
    'sign_method': 'md5',
    'skuIds': sku_id,
    'area': '1_72_2799_0',  # 地区编码，可根据需要修改
    'callback': 'jsonpCallback'  # JSONP 回调函数名
}

3. 发送请求并解析响应

Python

# 发送请求
response = requests.get(api_url, params=params)

# 检查请求是否成功
if response.status_code == 200:
    # 解析 JSONP 响应
    jsonp_response = response.text
    json_data = jsonp_response.strip(f'{params["callback"]}()')
    data = json.loads(json_data)

    # 提取商品历史价格信息
    items = data.get('skuPrice', [])
    history_prices = []
    for item in items:
        history_prices.append({
            'sku_id': item.get('skuId'),
            'price': item.get('price'),
            'date': item.get('updateTime')
        })

    # 将数据保存到 DataFrame
    df = pd.DataFrame(history_prices)
    df.to_csv('jd_product_history_prices.csv', index=False, encoding='utf-8')
    print("商品历史价格信息已保存到 CSV 文件。")
else:
    print("API 请求失败，状态码：", response.status_code)

三、API 返回值说明

京东商品历史价格信息 API 的返回值是一个 JSON 对象，其结构如下：

返回值示例

JSON

{
    "skuPrice": [
        {
            "skuId": "123456",
            "price": "1999.00",
            "updateTime": "2024-10-01T12:00:00Z"
        },
        {
            "skuId": "123456",
            "price": "1899.00",
            "updateTime": "2024-09-30T12:00:00Z"
        }
    ]
}

返回值字段说明

skuId：商品的 SKU ID。
price：商品的价格。
updateTime：价格更新的时间，格式为 ISO 8601 标准时间。

四、注意事项

API 限制：京东 API 可能对请求频率和数据量有限制。建议在实际使用中合理安排请求间隔，避免被封禁。
数据隐私：确保遵守京东开放平台的使用条款，不要滥用数据。
异常处理：在请求过程中可能会遇到网络问题、API 限制或其他错误。建议使用 try-except 语句捕获异常，并合理处理。
动态内容加载：如果商品页面的内容是通过 JavaScript 动态加载的，可能需要使用 Selenium 等工具来模拟浏览器操作。

五、总结

通过上述步骤和代码，你可以使用 Python 爬虫技术获取京东商品的历史价格信息，并将其保存到 CSV 文件中。希望这个示例对你有所帮助！