在电商领域，京东作为国内知名的电商平台，提供了丰富的商品信息。通过 Java 爬虫技术，我们可以高效地按关键字搜索京东商品，并获取其详细信息。这些信息对于市场分析、选品上架、库存管理和价格策略制定等方面具有重要价值。本文将详细介绍如何利用 Java 爬虫按关键字搜索京东商品，并提供完整的代码示例。

一、准备工作

（一）注册京东开放平台账号

要使用京东商品详情 API，首先需要在京东开放平台注册账号，并创建应用以获取 App Key 和 App Secret。这些是调用 API 所必需的凭证。

（二）安装必要的 Java 库

确保你的项目中已经添加了以下依赖库：

• Jsoup：用于解析 HTML 文档。
• Apache HttpClient：用于发送 HTTP 请求。

可以通过 Maven 来管理这些依赖。以下是 Maven 的依赖配置示例：

xml

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.2</version>
</dependency>

二、编写爬虫代码

（一）发送 HTTP 请求并解析 HTML

使用 Jsoup 库发送 HTTP 请求，获取商品详情页的 HTML 内容。然后使用 Jsoup 解析 HTML，提取商品详情数据。

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JDProductCrawler {
    public static Document getHtml(String url) {
        try {
            return Jsoup.connect(url)
                    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
                    .get();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }
}

（二）解析搜索结果

解析搜索结果页面，提取商品标题、价格和链接。

import java.util.ArrayList;
import java.util.List;

public class JDProductParser {
    public static List<Product> parseHtml(Document doc) {
        List<Product> products = new ArrayList<>();
        Elements items = doc.select("li.gl-item");
        for (Element item : items) {
            String title = item.select("div.p-name").text();
            String price = item.select("div.p-price").text();
            String link = item.select("a").attr("href");
            products.add(new Product(title, link, price, ""));
        }
        return products;
    }
}

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取多页搜索结果的 HTML 内容。

import java.io.IOException;
import java.util.List;

public class JDProductSearch {
    public static List<Product> searchProducts(String keyword, int maxPages) {
        List<Product> allProducts = new ArrayList<>();
        String baseUrl = "https://search.jd.com/Search?keyword=" + keyword + "&enc=utf-8&wq=" + keyword;

        for (int page = 1; page <= maxPages; page++) {
            String url = baseUrl + "&page=" + page;
            try {
                Document doc = JDProductCrawler.getHtml(url);
                List<Product> products = JDProductParser.parseHtml(doc);
                allProducts.addAll(products);
                Thread.sleep(2000); // 避免请求过于频繁
            } catch (IOException | InterruptedException e) {
                e.printStackTrace();
            }
        }

        return allProducts;
    }
}

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序。

import java.util.List;

public class Main {
    public static void main(String[] args) {
        String keyword = "耳机";
        int maxPages = 3;

        List<Product> products = JDProductSearch.searchProducts(keyword, maxPages);
        for (Product product : products) {
            System.out.println(product);
        }
    }
}

（五）Product 类

定义一个简单的 Product 类来存储商品信息。

public class Product {
    private String title;
    private String img;
    private String price;
    private String shop;

    public Product(String title, String img, String price, String shop) {
        this.title = title;
        this.img = img;
        this.price = price;
        this.shop = shop;
    }

    @Override
    public String toString() {
        return "Product{" +
                "title='" + title + ''' +
                ", img='" + img + ''' +
                ", price='" + price + ''' +
                ", shop='" + shop + ''' +
                '}';
    }
}

三、注意事项与优化建议

（一）遵守法律法规

在进行爬虫操作时，必须严格遵守相关法律法规，尊重网站的 robots.txt 文件规定。

（二）合理设置请求频率

避免过高的请求频率导致对方服务器压力过大，甚至被封禁 IP。

（三）应对反爬机制

京东等大型电商平台通常有较为复杂的反爬虫机制，可能需要使用更高级的技术，如代理 IP、模拟浏览器等。

（四）数据存储与分析

获取到的商品信息需要妥善存储和分析。可以将数据存储在数据库中，如 MySQL、MongoDB 等，方便后续的数据查询和分析。

四、总结

通过上述步骤和代码示例，你可以轻松地使用 Java 爬虫按关键字搜索京东商品，并获取其详细信息。希望这个教程对你有所帮助！如果你对爬虫开发有更多兴趣，可以尝试探索更复杂的功能，如多线程爬取、数据可视化等。