5.代理访问

一灰灰blogSpringBootWEB系列RestTemplateRestTemplate约 1094 字大约 4 分钟

通过代理访问,对于java后端可能用得不多的,但有过爬虫开发经验的小伙伴可能一点也不会陌生,有时候不太方便直接去访问目标资源,借助代理是要给选择,对于RestTemplate而言,使用代理的姿势同样如设置超时一般,借助SimpleClientHttpRequestFactory来实现,本文演示一下具体的使用case

I. 环境准备

1. 项目环境

借助SpringBoot搭建一个SpringWEB项目,提供一些用于测试的REST服务

  • SpringBoot版本: 2.2.1.RELEASE
  • 核心依赖: spring-boot-stater-web
<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
</dependencies>

为了后续输出的日志更直观,这里设置了一下日志输出格式,在配置文件application.yml中,添加

logging:
  pattern:
    console: (%msg%n%n){blue}

2. 测试端点

我们的测试端点,主要需要返回客户端主机信息,我们这里直接借助HttpServletRequest#getRemoteHost + HttpServlet#getRemotePort来实现(当然实际的业务开发中不建议直接使用它)

@RestController
public class DemoRest {
    private String getHeaders(HttpServletRequest request) {
        Enumeration<String> headerNames = request.getHeaderNames();
        String name;

        JSONObject headers = new JSONObject();
        while (headerNames.hasMoreElements()) {
            name = headerNames.nextElement();
            headers.put(name, request.getHeader(name));
        }
        return headers.toJSONString();
    }

    private String getParams(HttpServletRequest request) {
        return JSONObject.toJSONString(request.getParameterMap());
    }

    private String getCookies(HttpServletRequest request) {
        Cookie[] cookies = request.getCookies();
        if (cookies == null || cookies.length == 0) {
            return "";
        }

        JSONObject ck = new JSONObject();
        for (Cookie cookie : cookies) {
            ck.put(cookie.getName(), cookie.getValue());
        }
        return ck.toJSONString();
    }

    private String buildResult(HttpServletRequest request) {
        return buildResult(request, null);
    }

    private String buildResult(HttpServletRequest request, Object obj) {
        String params = getParams(request);
        String headers = getHeaders(request);
        String cookies = getCookies(request);

        if (obj != null) {
            params += " | " + obj;
        }

        return "params: " + params + "\nheaders: " + headers + "\ncookies: " + cookies;
    }

    @GetMapping(path = "proxy")
    private String proxy(HttpServletRequest request) {
        String remote = request.getRemoteHost() + ":" + request.getRemotePort();
        return buildResult(request) + "\n>>>remote ipInfo: " + remote;
    }
}

3. 代理服务器搭建

我们这里借助tinyproxy来搭建代理服务器,详细步骤可以参考博文: http代理服务器tinyproxy搭建手册open in new window

本文的演示中,是在192.168.0.241状态centos机器上安装的,步骤如下

1. sudo yum install tinyproxy -y


# 设置配置
2. vim /etc/tinyproxy/tinyproxy.conf

# 下面这个ip是我测试用例的机器ip
Allow 192.168.0.174


3. 启动服务
systemctl start tinyproxy.service

II. 代理访问

接下来进入正文演示,核心代码也比较简单

/**
 * 代理访问
 */
public void proxy() {
    RestTemplate restTemplate = new RestTemplate();

    SimpleClientHttpRequestFactory requestFactory = new SimpleClientHttpRequestFactory();
    // 请注意,我这里是在241机器上,借助tinyproxy搭建了一个http的代理,并设置端口为18888,所以可以正常演示代理访问
    // 拉源码运行的小伙,需要注意使用自己的代理来替换
    requestFactory.setProxy(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.0.241", 18888)));

    restTemplate.setRequestFactory(requestFactory);

    // 因为使用代理访问,所以这个ip就不能是127.0.0.1,不然访问的就是代理服务器上了
    HttpEntity<String> ans =
            restTemplate.getForEntity("http://192.168.0.174:8080/proxy?name=一灰灰&age=20", String.class);
    log.info("proxy request ans: {}", ans.getBody());
}

请注意,上面的使用姿势中

  • Proxy的方式除了HTTP之外还有SOCKS,这个是与代理服务器的支持方式相关的
  • postForEntity中url的ip是我本机的ip,而不是127.0.0.1

测试输出如下:

(proxy request ans: <200,params: {"name":["一灰灰"],"age":["20"]}
headers: {"host":"192.168.0.174:8080","connection":"close","via":"1.1 tinyproxy (tinyproxy/1.8.3)","accept":"text/plain, application/json, application/*+json, */*","user-agent":"Java/1.8.0_171"}
cookies: 
>>>remote ipInfo: 192.168.0.241:56122,[Via:"1.1 tinyproxy (tinyproxy/1.8.3)", Content-Type:"text/plain;charset=UTF-8", Date:"Mon, 29 Jun 2020 08:46:47 GMT", Content-Length:"286"]>

II. 其他

0. 项目&系列博文

博文

源码

Loading...