如何使用 java.net.URLConnection发出一个http请求？

如何使用 java.net.URLConnection发出一个http请求？

首先先声明一下：发布的代码段都是基本示例。您需要处理琐碎的

IOExceptions

和

RuntimeExceptions like NullPointerException

，

ArrayIndexOutOfBoundsException

然后自己整理。

准备中

我们首先至少需要知道URL和字符集。参数是可选的，取决于功能要求。

String url = "http://example.com";String charset = "UTF-8";  // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()String param1 = "value1";String param2 = "value2";// ...String query = String.format("param1=%s&param2=%s",      URLEnprer.enpre(param1, charset),      URLEnprer.enpre(param2, charset));

查询参数的

name=value

格式必须为，并由串联&。通常，您还可以使用指定的字符集对查询参数进行网址编码

URLEnprer#enpre()

。

该

String#format()

只是为方便起见。当我需要String串联运算符+两次以上时，我更喜欢它。

使用（可选）查询参数触发HTTP GET请求

这是一项微不足道的任务。这是默认的请求方法。

URLConnection connection = new URL(url + "?" + query).openConnection();connection.setRequestProperty("Accept-Charset", charset);InputStream response = connection.getInputStream();// ...

任何查询字符串都应使用串联到URL ?。该

Accept-Charset

标题可能暗示什么编码参数是在服务器中。如果你不发送任何查询字符串，那么你就可以离开了

Accept-Charset

头了。如果您不需要设置任何标题，那么甚至可以使用

URL#openStream()

快捷方式。

InputStream response = new URL(url).openStream();// ...

无论哪种方式，如果另一侧是a

HttpServlet

，则将

doGet()

调用其方法，并且参数将通过提供

HttpServletRequest#getParameter()

。

为了进行测试，您可以将响应正文打印到stdout，如下所示：

try (Scanner scanner = new Scanner(response)) {    String responseBody = scanner.useDelimiter("\A").next();    System.out.println(responseBody);}

使用查询参数触发HTTP POST请求

设置为URLConnection#setDoOutput()会true隐式将请求方法设置为POST。与Web表单一样，标准HTTP POST的类型是application/x-www-form-urlenpred将查询字符串写入请求正文。

URLConnection connection = new URL(url).openConnection();connection.setDoOutput(true); // Triggers POST.connection.setRequestProperty("Accept-Charset", charset);connection.setRequestProperty("Content-Type", "application/x-www-form-urlenpred;charset=" + charset);try (OutputStream output = connection.getOutputStream()) {    output.write(query.getBytes(charset));}InputStream response = connection.getInputStream();// ...

注意：每当您要以编程方式提交HTML表单时，请不要忘记将

name=value

任何

<input type="hidden">

元素对都放入查询字符串中，当然也要将要通过编程“按”

name=value

的

<input type="submit">

元素对（因为通常用于服务器端，以区分是否按下了按钮，如果按下了，则区分哪个按钮。

您也可以将获得的内容转换

URLConnection

为，

HttpURLConnection

并改用它

HttpURLConnection#setRequestMethod()

。但是，如果您尝试将连接用于输出，则仍需要设置

URLConnection#setDoOutput()

为true。

HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();httpConnection.setRequestMethod("POST");// ...

无论哪种方式，如果另一侧是a HttpServlet，则将doPost()调用其方法，并且参数将通过提供HttpServletRequest#getParameter()。

实际触发HTTP请求

您可以使用显式触发HTTP请求

[URLConnection#connect()](http://docs.oracle.com/javase/8/docs/api/java/net/URLConnection.html#connect%28%29)

，但是当您想要获取有关HTTP响应的任何信息（例如使用的响应主体等）时，请求将自动按需触发

[URLConnection#getInputStream()](http://docs.oracle.com/javase/8/docs/api/java/net/URLConnection.html#getInputStream%28%29)

。上面的示例正是这样做的，因此该

connect()

调用实际上是多余的。

收集HTTP响应信息

1.HTTP响应状态：

您需要HttpURLConnection这里。如有必要，请先投放。

int status = httpConnection.getResponseCode();

2.HTTP响应标头：

for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {    System.out.println(header.getKey() + "=" + header.getValue());}

3.HTTP响应编码：

当

Content-Type

包含一个

charset

参数时，响应主体可能是基于文本的，因此我们想使用服务器端指定的字符编码来处理响应主体。

String contentType = connection.getHeaderField("Content-Type");String charset = null;for (String param : contentType.replace(" ", "").split(";")) {    if (param.startsWith("charset=")) {        charset = param.split("=", 2)[1];        break;    }}if (charset != null) {    try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {        for (String line; (line = reader.readLine()) != null;) { // ... System.out.println(line) ?        }    }} else {    // It's likely binary content, use InputStream/OutputStream.}

维持会议

服务器端会话通常由cookie支持。某些Web表单要求您登录和/或由会话跟踪。您可以使用cookieHandlerAPI维护cookie。你需要准备一个cookieManager具有cookiePolicy中ACCEPT_ALL发送所有HTTP请求之前。

// First set the default cookie manager.cookieHandler.setDefault(new cookieManager(null, cookiePolicy.ACCEPT_ALL));// All the following subsequent URLConnections will use the same cookie manager.URLConnection connection = new URL(url).openConnection();// ...connection = new URL(url).openConnection();// ...connection = new URL(url).openConnection();// ...

请注意，这并非总是在所有情况下都能正常工作。如果对您失败，那么最好是手动收集并设置cookie标头。基本上，您需要Set-cookie从登录或第一个GET请求的响应中获取所有标头，然后将其传递给后续请求。

// Gather all cookies on the first request.URLConnection connection = new URL(url).openConnection();List<String> cookies = connection.getHeaderFields().get("Set-cookie");// ...// Then use the same cookies on all subsequent requests.connection = new URL(url).openConnection();for (String cookie : cookies) {    connection.addRequestProperty("cookie", cookie.split(";", 2)[0]);}// ...

该

split(";", 2)[0]

是有摆脱它们是无关的服务器端如cookie的属性

expires

，

path

等等。另外，你也可以使用

cookie.substring(0, cookie.indexOf(';'))

替代的

split()

。

流媒体模式

[HttpURLConnection](http://docs.oracle.com/javase/8/docs/api/java/net/HttpURLConnection.html)

默认情况下，will会在实际发送请求之前缓冲整个请求正文，无论您是否使用设置了固定的内容长度

connection.setRequestProperty("Content-Length", contentLength)

;。

OutOfMemoryException

每当您同时发送大型POST请求（例如，上传文件）时，这可能会导致。为避免这种情况，您想设置

[HttpURLConnection#setFixedLengthStreamingMode()](http://docs.oracle.com/javase/8/docs/api/java/net/HttpURLConnection.html#setFixedLengthStreamingMode%28int%29)

。

httpConnection.setFixedLengthStreamingMode(contentLength);

但是，如果确实事先不知道内容长度，则可以通过设置HttpURLConnection#setChunkedStreamingMode()相应的值来使用分块流模式。这将设置HTTP Transfer-Encoding标头，以chunked强制将请求正文以块的形式发送。以下示例将以1KB的块发送正文。

httpConnection.setChunkedStreamingMode(1024);

用户代理

请求可能会返回意外响应，而在真正的Web浏览器中却可以正常工作。服务器端可能正在根据User-Agent请求标头阻止请求。URLConnection默认情况下，will将其设置Java/1.6.0_19为最后一部分显然是JRE版本的位置。您可以按如下所示覆盖它：

connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.

使用最新浏览器中的User-Agent字符串。

错误处理

如果HTTP响应代码是

4nn

（客户端错误）或

5nn

（服务器错误），则您可能需要阅读，

HttpURLConnection#getErrorStream()

以查看服务器是否发送了任何有用的错误信息。

InputStream error = ((HttpURLConnection) connection).getErrorStream();

如果HTTP响应代码为-1，则连接和响应处理出错。该HttpURLConnection实现是在较旧的JRE中进行的，有些bug会使连接保持活动状态。您可能需要通过将

http.keepAlivesystem

属性设置为来关闭它false。您可以通过以下方式在应用程序的开头以编程方式执行此 *** 作：

System.setProperty("http.keepAlive", "false");

上载档案

通常，multipart/form-data对混合的POST内容（二进制和字符数据）使用编码。编码在RFC2388中有更详细的描述。

String param = "value";File textFile = new File("/path/to/file.txt");File binaryFile = new File("/path/to/file.bin");String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.String CRLF = "rn"; // Line separator required by multipart/form-data.URLConnection connection = new URL(url).openConnection();connection.setDoOutput(true);connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);try (    OutputStream output = connection.getOutputStream();    PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);) {    // Send normal param.    writer.append("--" + boundary).append(CRLF);    writer.append("Content-Disposition: form-data; name="param"").append(CRLF);    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);    writer.append(CRLF).append(param).append(CRLF).flush();    // Send text file.    writer.append("--" + boundary).append(CRLF);    writer.append("Content-Disposition: form-data; name="textFile"; filename="" + textFile.getName() + """).append(CRLF);    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!    writer.append(CRLF).flush();    Files.copy(textFile.toPath(), output);    output.flush(); // important before continuing with writer!    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.    // Send binary file.    writer.append("--" + boundary).append(CRLF);    writer.append("Content-Disposition: form-data; name="binaryFile"; filename="" + binaryFile.getName() + """).append(CRLF);    writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);    writer.append("Content-Transfer-Encoding: binary").append(CRLF);    writer.append(CRLF).flush();    Files.copy(binaryFile.toPath(), output);    output.flush(); // important before continuing with writer!    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.    // End of multipart/form-data.    writer.append("--" + boundary + "--").append(CRLF).flush();}

如果另一侧是HttpServlet，则将doPost()调用其方法，并且将通过

HttpServletRequest#getPart()

（请注意，因此不是

getParameter()

，依此类推！）来提供部件。

getPart()

但是，该方法相对较新，它是在Servlet 3.0中引入的（Glassfish 3，Tomcat 7等）。在Servlet 3.0之前，您最好的选择是使用Apache Commons FileUpload解析

multipart/form-data

请求。另请参见此答案，以获取FileUpload和Servelt 3.0方法的示例。

处理不受信任或配置错误的HTTPS站点

有时您需要连接HTTPS URL，这可能是因为您正在编写网络抓取工具。在这种情况下，您可能会遇到

javax.net.ssl.SSLException: Not trusted server certificate

在某些HTTPS站点上未保持其SSL证书最新的状态，

java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found

或者

javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name

在某些配置错误的HTTPS站点上面临或。

staticWeb

爬网程序类中的以下一次性运行初始化程序应使HttpsURLConnection那些HTTPS站点更为宽松，因此不再抛出这些异常。

static {    TrustManager[] trustAllCertificates = new TrustManager[] {        new X509TrustManager() { @Override public X509Certificate[] getAcceptedIssuers() {     return null; // Not relevant. } @Override public void checkClientTrusted(X509Certificate[] certs, String authType) {     // Do nothing. Just allow them all. } @Override public void checkServerTrusted(X509Certificate[] certs, String authType) {     // Do nothing. Just allow them all. }        }    };    HostnameVerifier trustAllHostnames = new HostnameVerifier() {        @Override        public boolean verify(String hostname, SSLSession session) { return true; // Just allow them all.        }    };    try {        System.setProperty("jsse.enableSNIExtension", "false");        SSLContext sc = SSLContext.getInstance("SSL");        sc.init(null, trustAllCertificates, new SecureRandom());        HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());        HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);    }    catch (GeneralSecurityException e) {        throw new ExceptionInInitializerError(e);    }}