source: nginx/src/http/ngx_http_upstream.c @ 5072:7fa7e60a7f66

Last change on this file since 5072:7fa7e60a7f66 was 5072:7fa7e60a7f66, checked in by Maxim Dounin <mdounin@…>, 5 years ago

Proxy: support for connection upgrade (101 Switching Protocols).

This allows to proxy WebSockets? by using configuration like this:

location /chat/ {

proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

}

Connection upgrade is allowed as long as it was requested by a client
via the Upgrade request header.

File size: 127.6 KB
Line 
1
2/*
3 * Copyright (C) Igor Sysoev
4 * Copyright (C) Nginx, Inc.
5 */
6
7
8#include <ngx_config.h>
9#include <ngx_core.h>
10#include <ngx_http.h>
11
12
13#if (NGX_HTTP_CACHE)
14static ngx_int_t ngx_http_upstream_cache(ngx_http_request_t *r,
15    ngx_http_upstream_t *u);
16static ngx_int_t ngx_http_upstream_cache_send(ngx_http_request_t *r,
17    ngx_http_upstream_t *u);
18static ngx_int_t ngx_http_upstream_cache_status(ngx_http_request_t *r,
19    ngx_http_variable_value_t *v, uintptr_t data);
20#endif
21
22static void ngx_http_upstream_init_request(ngx_http_request_t *r);
23static void ngx_http_upstream_resolve_handler(ngx_resolver_ctx_t *ctx);
24static void ngx_http_upstream_rd_check_broken_connection(ngx_http_request_t *r);
25static void ngx_http_upstream_wr_check_broken_connection(ngx_http_request_t *r);
26static void ngx_http_upstream_check_broken_connection(ngx_http_request_t *r,
27    ngx_event_t *ev);
28static void ngx_http_upstream_connect(ngx_http_request_t *r,
29    ngx_http_upstream_t *u);
30static ngx_int_t ngx_http_upstream_reinit(ngx_http_request_t *r,
31    ngx_http_upstream_t *u);
32static void ngx_http_upstream_send_request(ngx_http_request_t *r,
33    ngx_http_upstream_t *u);
34static void ngx_http_upstream_send_request_handler(ngx_http_request_t *r,
35    ngx_http_upstream_t *u);
36static void ngx_http_upstream_process_header(ngx_http_request_t *r,
37    ngx_http_upstream_t *u);
38static ngx_int_t ngx_http_upstream_test_next(ngx_http_request_t *r,
39    ngx_http_upstream_t *u);
40static ngx_int_t ngx_http_upstream_intercept_errors(ngx_http_request_t *r,
41    ngx_http_upstream_t *u);
42static ngx_int_t ngx_http_upstream_test_connect(ngx_connection_t *c);
43static ngx_int_t ngx_http_upstream_process_headers(ngx_http_request_t *r,
44    ngx_http_upstream_t *u);
45static void ngx_http_upstream_process_body_in_memory(ngx_http_request_t *r,
46    ngx_http_upstream_t *u);
47static void ngx_http_upstream_send_response(ngx_http_request_t *r,
48    ngx_http_upstream_t *u);
49static void ngx_http_upstream_upgrade(ngx_http_request_t *r,
50    ngx_http_upstream_t *u);
51static void ngx_http_upstream_upgraded_read_downstream(ngx_http_request_t *r);
52static void ngx_http_upstream_upgraded_write_downstream(ngx_http_request_t *r);
53static void ngx_http_upstream_upgraded_read_upstream(ngx_http_request_t *r,
54    ngx_http_upstream_t *u);
55static void ngx_http_upstream_upgraded_write_upstream(ngx_http_request_t *r,
56    ngx_http_upstream_t *u);
57static void ngx_http_upstream_process_upgraded(ngx_http_request_t *r,
58    ngx_uint_t from_upstream);
59static void
60    ngx_http_upstream_process_non_buffered_downstream(ngx_http_request_t *r);
61static void
62    ngx_http_upstream_process_non_buffered_upstream(ngx_http_request_t *r,
63    ngx_http_upstream_t *u);
64static void
65    ngx_http_upstream_process_non_buffered_request(ngx_http_request_t *r,
66    ngx_uint_t do_write);
67static ngx_int_t ngx_http_upstream_non_buffered_filter_init(void *data);
68static ngx_int_t ngx_http_upstream_non_buffered_filter(void *data,
69    ssize_t bytes);
70static void ngx_http_upstream_process_downstream(ngx_http_request_t *r);
71static void ngx_http_upstream_process_upstream(ngx_http_request_t *r,
72    ngx_http_upstream_t *u);
73static void ngx_http_upstream_process_request(ngx_http_request_t *r);
74static void ngx_http_upstream_store(ngx_http_request_t *r,
75    ngx_http_upstream_t *u);
76static void ngx_http_upstream_dummy_handler(ngx_http_request_t *r,
77    ngx_http_upstream_t *u);
78static void ngx_http_upstream_next(ngx_http_request_t *r,
79    ngx_http_upstream_t *u, ngx_uint_t ft_type);
80static void ngx_http_upstream_cleanup(void *data);
81static void ngx_http_upstream_finalize_request(ngx_http_request_t *r,
82    ngx_http_upstream_t *u, ngx_int_t rc);
83
84static ngx_int_t ngx_http_upstream_process_header_line(ngx_http_request_t *r,
85    ngx_table_elt_t *h, ngx_uint_t offset);
86static ngx_int_t ngx_http_upstream_process_content_length(ngx_http_request_t *r,
87    ngx_table_elt_t *h, ngx_uint_t offset);
88static ngx_int_t ngx_http_upstream_process_set_cookie(ngx_http_request_t *r,
89    ngx_table_elt_t *h, ngx_uint_t offset);
90static ngx_int_t
91    ngx_http_upstream_process_cache_control(ngx_http_request_t *r,
92    ngx_table_elt_t *h, ngx_uint_t offset);
93static ngx_int_t ngx_http_upstream_ignore_header_line(ngx_http_request_t *r,
94    ngx_table_elt_t *h, ngx_uint_t offset);
95static ngx_int_t ngx_http_upstream_process_expires(ngx_http_request_t *r,
96    ngx_table_elt_t *h, ngx_uint_t offset);
97static ngx_int_t ngx_http_upstream_process_accel_expires(ngx_http_request_t *r,
98    ngx_table_elt_t *h, ngx_uint_t offset);
99static ngx_int_t ngx_http_upstream_process_limit_rate(ngx_http_request_t *r,
100    ngx_table_elt_t *h, ngx_uint_t offset);
101static ngx_int_t ngx_http_upstream_process_buffering(ngx_http_request_t *r,
102    ngx_table_elt_t *h, ngx_uint_t offset);
103static ngx_int_t ngx_http_upstream_process_charset(ngx_http_request_t *r,
104    ngx_table_elt_t *h, ngx_uint_t offset);
105static ngx_int_t ngx_http_upstream_process_connection(ngx_http_request_t *r,
106    ngx_table_elt_t *h, ngx_uint_t offset);
107static ngx_int_t
108    ngx_http_upstream_process_transfer_encoding(ngx_http_request_t *r,
109    ngx_table_elt_t *h, ngx_uint_t offset);
110static ngx_int_t ngx_http_upstream_copy_header_line(ngx_http_request_t *r,
111    ngx_table_elt_t *h, ngx_uint_t offset);
112static ngx_int_t
113    ngx_http_upstream_copy_multi_header_lines(ngx_http_request_t *r,
114    ngx_table_elt_t *h, ngx_uint_t offset);
115static ngx_int_t ngx_http_upstream_copy_content_type(ngx_http_request_t *r,
116    ngx_table_elt_t *h, ngx_uint_t offset);
117static ngx_int_t ngx_http_upstream_copy_last_modified(ngx_http_request_t *r,
118    ngx_table_elt_t *h, ngx_uint_t offset);
119static ngx_int_t ngx_http_upstream_rewrite_location(ngx_http_request_t *r,
120    ngx_table_elt_t *h, ngx_uint_t offset);
121static ngx_int_t ngx_http_upstream_rewrite_refresh(ngx_http_request_t *r,
122    ngx_table_elt_t *h, ngx_uint_t offset);
123static ngx_int_t ngx_http_upstream_rewrite_set_cookie(ngx_http_request_t *r,
124    ngx_table_elt_t *h, ngx_uint_t offset);
125static ngx_int_t ngx_http_upstream_copy_allow_ranges(ngx_http_request_t *r,
126    ngx_table_elt_t *h, ngx_uint_t offset);
127
128#if (NGX_HTTP_GZIP)
129static ngx_int_t ngx_http_upstream_copy_content_encoding(ngx_http_request_t *r,
130    ngx_table_elt_t *h, ngx_uint_t offset);
131#endif
132
133static ngx_int_t ngx_http_upstream_add_variables(ngx_conf_t *cf);
134static ngx_int_t ngx_http_upstream_addr_variable(ngx_http_request_t *r,
135    ngx_http_variable_value_t *v, uintptr_t data);
136static ngx_int_t ngx_http_upstream_status_variable(ngx_http_request_t *r,
137    ngx_http_variable_value_t *v, uintptr_t data);
138static ngx_int_t ngx_http_upstream_response_time_variable(ngx_http_request_t *r,
139    ngx_http_variable_value_t *v, uintptr_t data);
140static ngx_int_t ngx_http_upstream_response_length_variable(
141    ngx_http_request_t *r, ngx_http_variable_value_t *v, uintptr_t data);
142
143static char *ngx_http_upstream(ngx_conf_t *cf, ngx_command_t *cmd, void *dummy);
144static char *ngx_http_upstream_server(ngx_conf_t *cf, ngx_command_t *cmd,
145    void *conf);
146
147static ngx_addr_t *ngx_http_upstream_get_local(ngx_http_request_t *r,
148    ngx_http_upstream_local_t *local);
149
150static void *ngx_http_upstream_create_main_conf(ngx_conf_t *cf);
151static char *ngx_http_upstream_init_main_conf(ngx_conf_t *cf, void *conf);
152
153#if (NGX_HTTP_SSL)
154static void ngx_http_upstream_ssl_init_connection(ngx_http_request_t *,
155    ngx_http_upstream_t *u, ngx_connection_t *c);
156static void ngx_http_upstream_ssl_handshake(ngx_connection_t *c);
157#endif
158
159
160ngx_http_upstream_header_t  ngx_http_upstream_headers_in[] = {
161
162    { ngx_string("Status"),
163                 ngx_http_upstream_process_header_line,
164                 offsetof(ngx_http_upstream_headers_in_t, status),
165                 ngx_http_upstream_copy_header_line, 0, 0 },
166
167    { ngx_string("Content-Type"),
168                 ngx_http_upstream_process_header_line,
169                 offsetof(ngx_http_upstream_headers_in_t, content_type),
170                 ngx_http_upstream_copy_content_type, 0, 1 },
171
172    { ngx_string("Content-Length"),
173                 ngx_http_upstream_process_content_length,
174                 offsetof(ngx_http_upstream_headers_in_t, content_length),
175                 ngx_http_upstream_ignore_header_line, 0, 0 },
176
177    { ngx_string("Date"),
178                 ngx_http_upstream_process_header_line,
179                 offsetof(ngx_http_upstream_headers_in_t, date),
180                 ngx_http_upstream_copy_header_line,
181                 offsetof(ngx_http_headers_out_t, date), 0 },
182
183    { ngx_string("Last-Modified"),
184                 ngx_http_upstream_process_header_line,
185                 offsetof(ngx_http_upstream_headers_in_t, last_modified),
186                 ngx_http_upstream_copy_last_modified, 0, 0 },
187
188    { ngx_string("ETag"),
189                 ngx_http_upstream_process_header_line,
190                 offsetof(ngx_http_upstream_headers_in_t, etag),
191                 ngx_http_upstream_copy_header_line,
192                 offsetof(ngx_http_headers_out_t, etag), 0 },
193
194    { ngx_string("Server"),
195                 ngx_http_upstream_process_header_line,
196                 offsetof(ngx_http_upstream_headers_in_t, server),
197                 ngx_http_upstream_copy_header_line,
198                 offsetof(ngx_http_headers_out_t, server), 0 },
199
200    { ngx_string("WWW-Authenticate"),
201                 ngx_http_upstream_process_header_line,
202                 offsetof(ngx_http_upstream_headers_in_t, www_authenticate),
203                 ngx_http_upstream_copy_header_line, 0, 0 },
204
205    { ngx_string("Location"),
206                 ngx_http_upstream_process_header_line,
207                 offsetof(ngx_http_upstream_headers_in_t, location),
208                 ngx_http_upstream_rewrite_location, 0, 0 },
209
210    { ngx_string("Refresh"),
211                 ngx_http_upstream_ignore_header_line, 0,
212                 ngx_http_upstream_rewrite_refresh, 0, 0 },
213
214    { ngx_string("Set-Cookie"),
215                 ngx_http_upstream_process_set_cookie, 0,
216                 ngx_http_upstream_rewrite_set_cookie, 0, 1 },
217
218    { ngx_string("Content-Disposition"),
219                 ngx_http_upstream_ignore_header_line, 0,
220                 ngx_http_upstream_copy_header_line, 0, 1 },
221
222    { ngx_string("Cache-Control"),
223                 ngx_http_upstream_process_cache_control, 0,
224                 ngx_http_upstream_copy_multi_header_lines,
225                 offsetof(ngx_http_headers_out_t, cache_control), 1 },
226
227    { ngx_string("Expires"),
228                 ngx_http_upstream_process_expires, 0,
229                 ngx_http_upstream_copy_header_line,
230                 offsetof(ngx_http_headers_out_t, expires), 1 },
231
232    { ngx_string("Accept-Ranges"),
233                 ngx_http_upstream_process_header_line,
234                 offsetof(ngx_http_upstream_headers_in_t, accept_ranges),
235                 ngx_http_upstream_copy_allow_ranges,
236                 offsetof(ngx_http_headers_out_t, accept_ranges), 1 },
237
238    { ngx_string("Connection"),
239                 ngx_http_upstream_process_connection, 0,
240                 ngx_http_upstream_ignore_header_line, 0, 0 },
241
242    { ngx_string("Keep-Alive"),
243                 ngx_http_upstream_ignore_header_line, 0,
244                 ngx_http_upstream_ignore_header_line, 0, 0 },
245
246    { ngx_string("X-Powered-By"),
247                 ngx_http_upstream_ignore_header_line, 0,
248                 ngx_http_upstream_copy_header_line, 0, 0 },
249
250    { ngx_string("X-Accel-Expires"),
251                 ngx_http_upstream_process_accel_expires, 0,
252                 ngx_http_upstream_copy_header_line, 0, 0 },
253
254    { ngx_string("X-Accel-Redirect"),
255                 ngx_http_upstream_process_header_line,
256                 offsetof(ngx_http_upstream_headers_in_t, x_accel_redirect),
257                 ngx_http_upstream_copy_header_line, 0, 0 },
258
259    { ngx_string("X-Accel-Limit-Rate"),
260                 ngx_http_upstream_process_limit_rate, 0,
261                 ngx_http_upstream_copy_header_line, 0, 0 },
262
263    { ngx_string("X-Accel-Buffering"),
264                 ngx_http_upstream_process_buffering, 0,
265                 ngx_http_upstream_copy_header_line, 0, 0 },
266
267    { ngx_string("X-Accel-Charset"),
268                 ngx_http_upstream_process_charset, 0,
269                 ngx_http_upstream_copy_header_line, 0, 0 },
270
271    { ngx_string("Transfer-Encoding"),
272                 ngx_http_upstream_process_transfer_encoding, 0,
273                 ngx_http_upstream_ignore_header_line, 0, 0 },
274
275#if (NGX_HTTP_GZIP)
276    { ngx_string("Content-Encoding"),
277                 ngx_http_upstream_process_header_line,
278                 offsetof(ngx_http_upstream_headers_in_t, content_encoding),
279                 ngx_http_upstream_copy_content_encoding, 0, 0 },
280#endif
281
282    { ngx_null_string, NULL, 0, NULL, 0, 0 }
283};
284
285
286static ngx_command_t  ngx_http_upstream_commands[] = {
287
288    { ngx_string("upstream"),
289      NGX_HTTP_MAIN_CONF|NGX_CONF_BLOCK|NGX_CONF_TAKE1,
290      ngx_http_upstream,
291      0,
292      0,
293      NULL },
294
295    { ngx_string("server"),
296      NGX_HTTP_UPS_CONF|NGX_CONF_1MORE,
297      ngx_http_upstream_server,
298      NGX_HTTP_SRV_CONF_OFFSET,
299      0,
300      NULL },
301
302      ngx_null_command
303};
304
305
306static ngx_http_module_t  ngx_http_upstream_module_ctx = {
307    ngx_http_upstream_add_variables,       /* preconfiguration */
308    NULL,                                  /* postconfiguration */
309
310    ngx_http_upstream_create_main_conf,    /* create main configuration */
311    ngx_http_upstream_init_main_conf,      /* init main configuration */
312
313    NULL,                                  /* create server configuration */
314    NULL,                                  /* merge server configuration */
315
316    NULL,                                  /* create location configuration */
317    NULL                                   /* merge location configuration */
318};
319
320
321ngx_module_t  ngx_http_upstream_module = {
322    NGX_MODULE_V1,
323    &ngx_http_upstream_module_ctx,         /* module context */
324    ngx_http_upstream_commands,            /* module directives */
325    NGX_HTTP_MODULE,                       /* module type */
326    NULL,                                  /* init master */
327    NULL,                                  /* init module */
328    NULL,                                  /* init process */
329    NULL,                                  /* init thread */
330    NULL,                                  /* exit thread */
331    NULL,                                  /* exit process */
332    NULL,                                  /* exit master */
333    NGX_MODULE_V1_PADDING
334};
335
336
337static ngx_http_variable_t  ngx_http_upstream_vars[] = {
338
339    { ngx_string("upstream_addr"), NULL,
340      ngx_http_upstream_addr_variable, 0,
341      NGX_HTTP_VAR_NOCACHEABLE, 0 },
342
343    { ngx_string("upstream_status"), NULL,
344      ngx_http_upstream_status_variable, 0,
345      NGX_HTTP_VAR_NOCACHEABLE, 0 },
346
347    { ngx_string("upstream_response_time"), NULL,
348      ngx_http_upstream_response_time_variable, 0,
349      NGX_HTTP_VAR_NOCACHEABLE, 0 },
350
351    { ngx_string("upstream_response_length"), NULL,
352      ngx_http_upstream_response_length_variable, 0,
353      NGX_HTTP_VAR_NOCACHEABLE, 0 },
354
355#if (NGX_HTTP_CACHE)
356
357    { ngx_string("upstream_cache_status"), NULL,
358      ngx_http_upstream_cache_status, 0,
359      NGX_HTTP_VAR_NOCACHEABLE, 0 },
360
361#endif
362
363    { ngx_null_string, NULL, NULL, 0, 0, 0 }
364};
365
366
367static ngx_http_upstream_next_t  ngx_http_upstream_next_errors[] = {
368    { 500, NGX_HTTP_UPSTREAM_FT_HTTP_500 },
369    { 502, NGX_HTTP_UPSTREAM_FT_HTTP_502 },
370    { 503, NGX_HTTP_UPSTREAM_FT_HTTP_503 },
371    { 504, NGX_HTTP_UPSTREAM_FT_HTTP_504 },
372    { 404, NGX_HTTP_UPSTREAM_FT_HTTP_404 },
373    { 0, 0 }
374};
375
376
377ngx_conf_bitmask_t  ngx_http_upstream_cache_method_mask[] = {
378   { ngx_string("GET"),  NGX_HTTP_GET},
379   { ngx_string("HEAD"), NGX_HTTP_HEAD },
380   { ngx_string("POST"), NGX_HTTP_POST },
381   { ngx_null_string, 0 }
382};
383
384
385ngx_conf_bitmask_t  ngx_http_upstream_ignore_headers_masks[] = {
386    { ngx_string("X-Accel-Redirect"), NGX_HTTP_UPSTREAM_IGN_XA_REDIRECT },
387    { ngx_string("X-Accel-Expires"), NGX_HTTP_UPSTREAM_IGN_XA_EXPIRES },
388    { ngx_string("X-Accel-Limit-Rate"), NGX_HTTP_UPSTREAM_IGN_XA_LIMIT_RATE },
389    { ngx_string("X-Accel-Buffering"), NGX_HTTP_UPSTREAM_IGN_XA_BUFFERING },
390    { ngx_string("X-Accel-Charset"), NGX_HTTP_UPSTREAM_IGN_XA_CHARSET },
391    { ngx_string("Expires"), NGX_HTTP_UPSTREAM_IGN_EXPIRES },
392    { ngx_string("Cache-Control"), NGX_HTTP_UPSTREAM_IGN_CACHE_CONTROL },
393    { ngx_string("Set-Cookie"), NGX_HTTP_UPSTREAM_IGN_SET_COOKIE },
394    { ngx_null_string, 0 }
395};
396
397
398ngx_int_t
399ngx_http_upstream_create(ngx_http_request_t *r)
400{
401    ngx_http_upstream_t  *u;
402
403    u = r->upstream;
404
405    if (u && u->cleanup) {
406        r->main->count++;
407        ngx_http_upstream_cleanup(r);
408    }
409
410    u = ngx_pcalloc(r->pool, sizeof(ngx_http_upstream_t));
411    if (u == NULL) {
412        return NGX_ERROR;
413    }
414
415    r->upstream = u;
416
417    u->peer.log = r->connection->log;
418    u->peer.log_error = NGX_ERROR_ERR;
419#if (NGX_THREADS)
420    u->peer.lock = &r->connection->lock;
421#endif
422
423#if (NGX_HTTP_CACHE)
424    r->cache = NULL;
425#endif
426
427    u->headers_in.content_length_n = -1;
428
429    return NGX_OK;
430}
431
432
433void
434ngx_http_upstream_init(ngx_http_request_t *r)
435{
436    ngx_connection_t     *c;
437
438    c = r->connection;
439
440    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, c->log, 0,
441                   "http init upstream, client timer: %d", c->read->timer_set);
442
443    if (c->read->timer_set) {
444        ngx_del_timer(c->read);
445    }
446
447    if (ngx_event_flags & NGX_USE_CLEAR_EVENT) {
448
449        if (!c->write->active) {
450            if (ngx_add_event(c->write, NGX_WRITE_EVENT, NGX_CLEAR_EVENT)
451                == NGX_ERROR)
452            {
453                ngx_http_finalize_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR);
454                return;
455            }
456        }
457    }
458
459    ngx_http_upstream_init_request(r);
460}
461
462
463static void
464ngx_http_upstream_init_request(ngx_http_request_t *r)
465{
466    ngx_str_t                      *host;
467    ngx_uint_t                      i;
468    ngx_resolver_ctx_t             *ctx, temp;
469    ngx_http_cleanup_t             *cln;
470    ngx_http_upstream_t            *u;
471    ngx_http_core_loc_conf_t       *clcf;
472    ngx_http_upstream_srv_conf_t   *uscf, **uscfp;
473    ngx_http_upstream_main_conf_t  *umcf;
474
475    if (r->aio) {
476        return;
477    }
478
479    u = r->upstream;
480
481#if (NGX_HTTP_CACHE)
482
483    if (u->conf->cache) {
484        ngx_int_t  rc;
485
486        rc = ngx_http_upstream_cache(r, u);
487
488        if (rc == NGX_BUSY) {
489            r->write_event_handler = ngx_http_upstream_init_request;
490            return;
491        }
492
493        r->write_event_handler = ngx_http_request_empty_handler;
494
495        if (rc == NGX_DONE) {
496            return;
497        }
498
499        if (rc != NGX_DECLINED) {
500            ngx_http_finalize_request(r, rc);
501            return;
502        }
503    }
504
505#endif
506
507    u->store = (u->conf->store || u->conf->store_lengths);
508
509    if (!u->store && !r->post_action && !u->conf->ignore_client_abort) {
510        r->read_event_handler = ngx_http_upstream_rd_check_broken_connection;
511        r->write_event_handler = ngx_http_upstream_wr_check_broken_connection;
512    }
513
514    if (r->request_body) {
515        u->request_bufs = r->request_body->bufs;
516    }
517
518    if (u->create_request(r) != NGX_OK) {
519        ngx_http_finalize_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR);
520        return;
521    }
522
523    u->peer.local = ngx_http_upstream_get_local(r, u->conf->local);
524
525    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
526
527    u->output.alignment = clcf->directio_alignment;
528    u->output.pool = r->pool;
529    u->output.bufs.num = 1;
530    u->output.bufs.size = clcf->client_body_buffer_size;
531    u->output.output_filter = ngx_chain_writer;
532    u->output.filter_ctx = &u->writer;
533
534    u->writer.pool = r->pool;
535
536    if (r->upstream_states == NULL) {
537
538        r->upstream_states = ngx_array_create(r->pool, 1,
539                                            sizeof(ngx_http_upstream_state_t));
540        if (r->upstream_states == NULL) {
541            ngx_http_finalize_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR);
542            return;
543        }
544
545    } else {
546
547        u->state = ngx_array_push(r->upstream_states);
548        if (u->state == NULL) {
549            ngx_http_upstream_finalize_request(r, u,
550                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
551            return;
552        }
553
554        ngx_memzero(u->state, sizeof(ngx_http_upstream_state_t));
555    }
556
557    cln = ngx_http_cleanup_add(r, 0);
558    if (cln == NULL) {
559        ngx_http_finalize_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR);
560        return;
561    }
562
563    cln->handler = ngx_http_upstream_cleanup;
564    cln->data = r;
565    u->cleanup = &cln->handler;
566
567    if (u->resolved == NULL) {
568
569        uscf = u->conf->upstream;
570
571    } else {
572
573        if (u->resolved->sockaddr) {
574
575            if (ngx_http_upstream_create_round_robin_peer(r, u->resolved)
576                != NGX_OK)
577            {
578                ngx_http_upstream_finalize_request(r, u,
579                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
580                return;
581            }
582
583            ngx_http_upstream_connect(r, u);
584
585            return;
586        }
587
588        host = &u->resolved->host;
589
590        umcf = ngx_http_get_module_main_conf(r, ngx_http_upstream_module);
591
592        uscfp = umcf->upstreams.elts;
593
594        for (i = 0; i < umcf->upstreams.nelts; i++) {
595
596            uscf = uscfp[i];
597
598            if (uscf->host.len == host->len
599                && ((uscf->port == 0 && u->resolved->no_port)
600                     || uscf->port == u->resolved->port)
601                && ngx_memcmp(uscf->host.data, host->data, host->len) == 0)
602            {
603                goto found;
604            }
605        }
606
607        if (u->resolved->port == 0) {
608            ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
609                          "no port in upstream \"%V\"", host);
610            ngx_http_upstream_finalize_request(r, u,
611                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
612            return;
613        }
614
615        temp.name = *host;
616
617        ctx = ngx_resolve_start(clcf->resolver, &temp);
618        if (ctx == NULL) {
619            ngx_http_upstream_finalize_request(r, u,
620                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
621            return;
622        }
623
624        if (ctx == NGX_NO_RESOLVER) {
625            ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
626                          "no resolver defined to resolve %V", host);
627
628            ngx_http_upstream_finalize_request(r, u, NGX_HTTP_BAD_GATEWAY);
629            return;
630        }
631
632        ctx->name = *host;
633        ctx->type = NGX_RESOLVE_A;
634        ctx->handler = ngx_http_upstream_resolve_handler;
635        ctx->data = r;
636        ctx->timeout = clcf->resolver_timeout;
637
638        u->resolved->ctx = ctx;
639
640        if (ngx_resolve_name(ctx) != NGX_OK) {
641            u->resolved->ctx = NULL;
642            ngx_http_upstream_finalize_request(r, u,
643                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
644            return;
645        }
646
647        return;
648    }
649
650found:
651
652    if (uscf == NULL) {
653        ngx_log_error(NGX_LOG_ALERT, r->connection->log, 0,
654                      "no upstream configuration");
655        ngx_http_upstream_finalize_request(r, u,
656                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
657        return;
658    }
659
660    if (uscf->peer.init(r, uscf) != NGX_OK) {
661        ngx_http_upstream_finalize_request(r, u,
662                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
663        return;
664    }
665
666    ngx_http_upstream_connect(r, u);
667}
668
669
670#if (NGX_HTTP_CACHE)
671
672static ngx_int_t
673ngx_http_upstream_cache(ngx_http_request_t *r, ngx_http_upstream_t *u)
674{
675    ngx_int_t          rc;
676    ngx_http_cache_t  *c;
677
678    c = r->cache;
679
680    if (c == NULL) {
681
682        if (!(r->method & u->conf->cache_methods)) {
683            return NGX_DECLINED;
684        }
685
686        if (r->method & NGX_HTTP_HEAD) {
687            u->method = ngx_http_core_get_method;
688        }
689
690        if (ngx_http_file_cache_new(r) != NGX_OK) {
691            return NGX_ERROR;
692        }
693
694        if (u->create_key(r) != NGX_OK) {
695            return NGX_ERROR;
696        }
697
698        /* TODO: add keys */
699
700        ngx_http_file_cache_create_key(r);
701
702        if (r->cache->header_start + 256 >= u->conf->buffer_size) {
703            ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
704                          "%V_buffer_size %uz is not enough for cache key, "
705                          "it should increased at least to %uz",
706                          &u->conf->module, u->conf->buffer_size,
707                          ngx_align(r->cache->header_start + 256, 1024));
708
709            r->cache = NULL;
710            return NGX_DECLINED;
711        }
712
713        u->cacheable = 1;
714
715        switch (ngx_http_test_predicates(r, u->conf->cache_bypass)) {
716
717        case NGX_ERROR:
718            return NGX_ERROR;
719
720        case NGX_DECLINED:
721            u->cache_status = NGX_HTTP_CACHE_BYPASS;
722            return NGX_DECLINED;
723
724        default: /* NGX_OK */
725            break;
726        }
727
728        c = r->cache;
729
730        c->min_uses = u->conf->cache_min_uses;
731        c->body_start = u->conf->buffer_size;
732        c->file_cache = u->conf->cache->data;
733
734        c->lock = u->conf->cache_lock;
735        c->lock_timeout = u->conf->cache_lock_timeout;
736
737        u->cache_status = NGX_HTTP_CACHE_MISS;
738    }
739
740    rc = ngx_http_file_cache_open(r);
741
742    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
743                   "http upstream cache: %i", rc);
744
745    switch (rc) {
746
747    case NGX_HTTP_CACHE_UPDATING:
748
749        if (u->conf->cache_use_stale & NGX_HTTP_UPSTREAM_FT_UPDATING) {
750            u->cache_status = rc;
751            rc = NGX_OK;
752
753        } else {
754            rc = NGX_HTTP_CACHE_STALE;
755        }
756
757        break;
758
759    case NGX_OK:
760        u->cache_status = NGX_HTTP_CACHE_HIT;
761    }
762
763    switch (rc) {
764
765    case NGX_OK:
766
767        rc = ngx_http_upstream_cache_send(r, u);
768
769        if (rc != NGX_HTTP_UPSTREAM_INVALID_HEADER) {
770            return rc;
771        }
772
773        break;
774
775    case NGX_HTTP_CACHE_STALE:
776
777        c->valid_sec = 0;
778        u->buffer.start = NULL;
779        u->cache_status = NGX_HTTP_CACHE_EXPIRED;
780
781        break;
782
783    case NGX_DECLINED:
784
785        if ((size_t) (u->buffer.end - u->buffer.start) < u->conf->buffer_size) {
786            u->buffer.start = NULL;
787
788        } else {
789            u->buffer.pos = u->buffer.start + c->header_start;
790            u->buffer.last = u->buffer.pos;
791        }
792
793        break;
794
795    case NGX_HTTP_CACHE_SCARCE:
796
797        u->cacheable = 0;
798
799        break;
800
801    case NGX_AGAIN:
802
803        return NGX_BUSY;
804
805    case NGX_ERROR:
806
807        return NGX_ERROR;
808
809    default:
810
811        /* cached NGX_HTTP_BAD_GATEWAY, NGX_HTTP_GATEWAY_TIME_OUT, etc. */
812
813        u->cache_status = NGX_HTTP_CACHE_HIT;
814
815        return rc;
816    }
817
818    r->cached = 0;
819
820    return NGX_DECLINED;
821}
822
823
824static ngx_int_t
825ngx_http_upstream_cache_send(ngx_http_request_t *r, ngx_http_upstream_t *u)
826{
827    ngx_int_t          rc;
828    ngx_http_cache_t  *c;
829
830    r->cached = 1;
831    c = r->cache;
832
833    if (c->header_start == c->body_start) {
834        r->http_version = NGX_HTTP_VERSION_9;
835        return ngx_http_cache_send(r);
836    }
837
838    /* TODO: cache stack */
839
840    u->buffer = *c->buf;
841    u->buffer.pos += c->header_start;
842
843    ngx_memzero(&u->headers_in, sizeof(ngx_http_upstream_headers_in_t));
844    u->headers_in.content_length_n = -1;
845
846    if (ngx_list_init(&u->headers_in.headers, r->pool, 8,
847                      sizeof(ngx_table_elt_t))
848        != NGX_OK)
849    {
850        return NGX_ERROR;
851    }
852
853    rc = u->process_header(r);
854
855    if (rc == NGX_OK) {
856
857        if (ngx_http_upstream_process_headers(r, u) != NGX_OK) {
858            return NGX_DONE;
859        }
860
861        return ngx_http_cache_send(r);
862    }
863
864    if (rc == NGX_ERROR) {
865        return NGX_ERROR;
866    }
867
868    /* rc == NGX_HTTP_UPSTREAM_INVALID_HEADER */
869
870    /* TODO: delete file */
871
872    return rc;
873}
874
875#endif
876
877
878static void
879ngx_http_upstream_resolve_handler(ngx_resolver_ctx_t *ctx)
880{
881    ngx_http_request_t            *r;
882    ngx_http_upstream_t           *u;
883    ngx_http_upstream_resolved_t  *ur;
884
885    r = ctx->data;
886
887    u = r->upstream;
888    ur = u->resolved;
889
890    if (ctx->state) {
891        ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
892                      "%V could not be resolved (%i: %s)",
893                      &ctx->name, ctx->state,
894                      ngx_resolver_strerror(ctx->state));
895
896        ngx_http_upstream_finalize_request(r, u, NGX_HTTP_BAD_GATEWAY);
897        return;
898    }
899
900    ur->naddrs = ctx->naddrs;
901    ur->addrs = ctx->addrs;
902
903#if (NGX_DEBUG)
904    {
905    in_addr_t   addr;
906    ngx_uint_t  i;
907
908    for (i = 0; i < ctx->naddrs; i++) {
909        addr = ntohl(ur->addrs[i]);
910
911        ngx_log_debug4(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
912                       "name was resolved to %ud.%ud.%ud.%ud",
913                       (addr >> 24) & 0xff, (addr >> 16) & 0xff,
914                       (addr >> 8) & 0xff, addr & 0xff);
915    }
916    }
917#endif
918
919    if (ngx_http_upstream_create_round_robin_peer(r, ur) != NGX_OK) {
920        ngx_http_upstream_finalize_request(r, u,
921                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
922        return;
923    }
924
925    ngx_resolve_name_done(ctx);
926    ur->ctx = NULL;
927
928    ngx_http_upstream_connect(r, u);
929}
930
931
932static void
933ngx_http_upstream_handler(ngx_event_t *ev)
934{
935    ngx_connection_t     *c;
936    ngx_http_request_t   *r;
937    ngx_http_log_ctx_t   *ctx;
938    ngx_http_upstream_t  *u;
939
940    c = ev->data;
941    r = c->data;
942
943    u = r->upstream;
944    c = r->connection;
945
946    ctx = c->log->data;
947    ctx->current_request = r;
948
949    ngx_log_debug2(NGX_LOG_DEBUG_HTTP, c->log, 0,
950                   "http upstream request: \"%V?%V\"", &r->uri, &r->args);
951
952    if (ev->write) {
953        u->write_event_handler(r, u);
954
955    } else {
956        u->read_event_handler(r, u);
957    }
958
959    ngx_http_run_posted_requests(c);
960}
961
962
963static void
964ngx_http_upstream_rd_check_broken_connection(ngx_http_request_t *r)
965{
966    ngx_http_upstream_check_broken_connection(r, r->connection->read);
967}
968
969
970static void
971ngx_http_upstream_wr_check_broken_connection(ngx_http_request_t *r)
972{
973    ngx_http_upstream_check_broken_connection(r, r->connection->write);
974}
975
976
977static void
978ngx_http_upstream_check_broken_connection(ngx_http_request_t *r,
979    ngx_event_t *ev)
980{
981    int                  n;
982    char                 buf[1];
983    ngx_err_t            err;
984    ngx_int_t            event;
985    ngx_connection_t     *c;
986    ngx_http_upstream_t  *u;
987
988    ngx_log_debug2(NGX_LOG_DEBUG_HTTP, ev->log, 0,
989                   "http upstream check client, write event:%d, \"%V\"",
990                   ev->write, &r->uri);
991
992    c = r->connection;
993    u = r->upstream;
994
995    if (c->error) {
996        if ((ngx_event_flags & NGX_USE_LEVEL_EVENT) && ev->active) {
997
998            event = ev->write ? NGX_WRITE_EVENT : NGX_READ_EVENT;
999
1000            if (ngx_del_event(ev, event, 0) != NGX_OK) {
1001                ngx_http_upstream_finalize_request(r, u,
1002                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1003                return;
1004            }
1005        }
1006
1007        if (!u->cacheable) {
1008            ngx_http_upstream_finalize_request(r, u,
1009                                               NGX_HTTP_CLIENT_CLOSED_REQUEST);
1010        }
1011
1012        return;
1013    }
1014
1015#if (NGX_HAVE_KQUEUE)
1016
1017    if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
1018
1019        if (!ev->pending_eof) {
1020            return;
1021        }
1022
1023        ev->eof = 1;
1024        c->error = 1;
1025
1026        if (ev->kq_errno) {
1027            ev->error = 1;
1028        }
1029
1030        if (!u->cacheable && u->peer.connection) {
1031            ngx_log_error(NGX_LOG_INFO, ev->log, ev->kq_errno,
1032                          "kevent() reported that client prematurely closed "
1033                          "connection, so upstream connection is closed too");
1034            ngx_http_upstream_finalize_request(r, u,
1035                                               NGX_HTTP_CLIENT_CLOSED_REQUEST);
1036            return;
1037        }
1038
1039        ngx_log_error(NGX_LOG_INFO, ev->log, ev->kq_errno,
1040                      "kevent() reported that client prematurely closed "
1041                      "connection");
1042
1043        if (u->peer.connection == NULL) {
1044            ngx_http_upstream_finalize_request(r, u,
1045                                               NGX_HTTP_CLIENT_CLOSED_REQUEST);
1046        }
1047
1048        return;
1049    }
1050
1051#endif
1052
1053    n = recv(c->fd, buf, 1, MSG_PEEK);
1054
1055    err = ngx_socket_errno;
1056
1057    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, ev->log, err,
1058                   "http upstream recv(): %d", n);
1059
1060    if (ev->write && (n >= 0 || err == NGX_EAGAIN)) {
1061        return;
1062    }
1063
1064    if ((ngx_event_flags & NGX_USE_LEVEL_EVENT) && ev->active) {
1065
1066        event = ev->write ? NGX_WRITE_EVENT : NGX_READ_EVENT;
1067
1068        if (ngx_del_event(ev, event, 0) != NGX_OK) {
1069            ngx_http_upstream_finalize_request(r, u,
1070                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1071            return;
1072        }
1073    }
1074
1075    if (n > 0) {
1076        return;
1077    }
1078
1079    if (n == -1) {
1080        if (err == NGX_EAGAIN) {
1081            return;
1082        }
1083
1084        ev->error = 1;
1085
1086    } else { /* n == 0 */
1087        err = 0;
1088    }
1089
1090    ev->eof = 1;
1091    c->error = 1;
1092
1093    if (!u->cacheable && u->peer.connection) {
1094        ngx_log_error(NGX_LOG_INFO, ev->log, err,
1095                      "client prematurely closed connection, "
1096                      "so upstream connection is closed too");
1097        ngx_http_upstream_finalize_request(r, u,
1098                                           NGX_HTTP_CLIENT_CLOSED_REQUEST);
1099        return;
1100    }
1101
1102    ngx_log_error(NGX_LOG_INFO, ev->log, err,
1103                  "client prematurely closed connection");
1104
1105    if (u->peer.connection == NULL) {
1106        ngx_http_upstream_finalize_request(r, u,
1107                                           NGX_HTTP_CLIENT_CLOSED_REQUEST);
1108    }
1109}
1110
1111
1112static void
1113ngx_http_upstream_connect(ngx_http_request_t *r, ngx_http_upstream_t *u)
1114{
1115    ngx_int_t          rc;
1116    ngx_time_t        *tp;
1117    ngx_connection_t  *c;
1118
1119    r->connection->log->action = "connecting to upstream";
1120
1121    r->connection->single_connection = 0;
1122
1123    if (u->state && u->state->response_sec) {
1124        tp = ngx_timeofday();
1125        u->state->response_sec = tp->sec - u->state->response_sec;
1126        u->state->response_msec = tp->msec - u->state->response_msec;
1127    }
1128
1129    u->state = ngx_array_push(r->upstream_states);
1130    if (u->state == NULL) {
1131        ngx_http_upstream_finalize_request(r, u,
1132                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1133        return;
1134    }
1135
1136    ngx_memzero(u->state, sizeof(ngx_http_upstream_state_t));
1137
1138    tp = ngx_timeofday();
1139    u->state->response_sec = tp->sec;
1140    u->state->response_msec = tp->msec;
1141
1142    rc = ngx_event_connect_peer(&u->peer);
1143
1144    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
1145                   "http upstream connect: %i", rc);
1146
1147    if (rc == NGX_ERROR) {
1148        ngx_http_upstream_finalize_request(r, u,
1149                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1150        return;
1151    }
1152
1153    u->state->peer = u->peer.name;
1154
1155    if (rc == NGX_BUSY) {
1156        ngx_log_error(NGX_LOG_ERR, r->connection->log, 0, "no live upstreams");
1157        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_NOLIVE);
1158        return;
1159    }
1160
1161    if (rc == NGX_DECLINED) {
1162        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1163        return;
1164    }
1165
1166    /* rc == NGX_OK || rc == NGX_AGAIN */
1167
1168    c = u->peer.connection;
1169
1170    c->data = r;
1171
1172    c->write->handler = ngx_http_upstream_handler;
1173    c->read->handler = ngx_http_upstream_handler;
1174
1175    u->write_event_handler = ngx_http_upstream_send_request_handler;
1176    u->read_event_handler = ngx_http_upstream_process_header;
1177
1178    c->sendfile &= r->connection->sendfile;
1179    u->output.sendfile = c->sendfile;
1180
1181    if (c->pool == NULL) {
1182
1183        /* we need separate pool here to be able to cache SSL connections */
1184
1185        c->pool = ngx_create_pool(128, r->connection->log);
1186        if (c->pool == NULL) {
1187            ngx_http_upstream_finalize_request(r, u,
1188                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1189            return;
1190        }
1191    }
1192
1193    c->log = r->connection->log;
1194    c->pool->log = c->log;
1195    c->read->log = c->log;
1196    c->write->log = c->log;
1197
1198    /* init or reinit the ngx_output_chain() and ngx_chain_writer() contexts */
1199
1200    u->writer.out = NULL;
1201    u->writer.last = &u->writer.out;
1202    u->writer.connection = c;
1203    u->writer.limit = 0;
1204
1205    if (u->request_sent) {
1206        if (ngx_http_upstream_reinit(r, u) != NGX_OK) {
1207            ngx_http_upstream_finalize_request(r, u,
1208                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1209            return;
1210        }
1211    }
1212
1213    if (r->request_body
1214        && r->request_body->buf
1215        && r->request_body->temp_file
1216        && r == r->main)
1217    {
1218        /*
1219         * the r->request_body->buf can be reused for one request only,
1220         * the subrequests should allocate their own temporary bufs
1221         */
1222
1223        u->output.free = ngx_alloc_chain_link(r->pool);
1224        if (u->output.free == NULL) {
1225            ngx_http_upstream_finalize_request(r, u,
1226                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1227            return;
1228        }
1229
1230        u->output.free->buf = r->request_body->buf;
1231        u->output.free->next = NULL;
1232        u->output.allocated = 1;
1233
1234        r->request_body->buf->pos = r->request_body->buf->start;
1235        r->request_body->buf->last = r->request_body->buf->start;
1236        r->request_body->buf->tag = u->output.tag;
1237    }
1238
1239    u->request_sent = 0;
1240
1241    if (rc == NGX_AGAIN) {
1242        ngx_add_timer(c->write, u->conf->connect_timeout);
1243        return;
1244    }
1245
1246#if (NGX_HTTP_SSL)
1247
1248    if (u->ssl && c->ssl == NULL) {
1249        ngx_http_upstream_ssl_init_connection(r, u, c);
1250        return;
1251    }
1252
1253#endif
1254
1255    ngx_http_upstream_send_request(r, u);
1256}
1257
1258
1259#if (NGX_HTTP_SSL)
1260
1261static void
1262ngx_http_upstream_ssl_init_connection(ngx_http_request_t *r,
1263    ngx_http_upstream_t *u, ngx_connection_t *c)
1264{
1265    ngx_int_t   rc;
1266
1267    if (ngx_ssl_create_connection(u->conf->ssl, c,
1268                                  NGX_SSL_BUFFER|NGX_SSL_CLIENT)
1269        != NGX_OK)
1270    {
1271        ngx_http_upstream_finalize_request(r, u,
1272                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1273        return;
1274    }
1275
1276    c->sendfile = 0;
1277    u->output.sendfile = 0;
1278
1279    if (u->conf->ssl_session_reuse) {
1280        if (u->peer.set_session(&u->peer, u->peer.data) != NGX_OK) {
1281            ngx_http_upstream_finalize_request(r, u,
1282                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1283            return;
1284        }
1285    }
1286
1287    r->connection->log->action = "SSL handshaking to upstream";
1288
1289    rc = ngx_ssl_handshake(c);
1290
1291    if (rc == NGX_AGAIN) {
1292        c->ssl->handler = ngx_http_upstream_ssl_handshake;
1293        return;
1294    }
1295
1296    ngx_http_upstream_ssl_handshake(c);
1297}
1298
1299
1300static void
1301ngx_http_upstream_ssl_handshake(ngx_connection_t *c)
1302{
1303    ngx_http_request_t   *r;
1304    ngx_http_upstream_t  *u;
1305
1306    r = c->data;
1307    u = r->upstream;
1308
1309    if (c->ssl->handshaked) {
1310
1311        if (u->conf->ssl_session_reuse) {
1312            u->peer.save_session(&u->peer, u->peer.data);
1313        }
1314
1315        c->write->handler = ngx_http_upstream_handler;
1316        c->read->handler = ngx_http_upstream_handler;
1317
1318        ngx_http_upstream_send_request(r, u);
1319
1320        return;
1321    }
1322
1323    ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1324
1325}
1326
1327#endif
1328
1329
1330static ngx_int_t
1331ngx_http_upstream_reinit(ngx_http_request_t *r, ngx_http_upstream_t *u)
1332{
1333    ngx_chain_t  *cl;
1334
1335    if (u->reinit_request(r) != NGX_OK) {
1336        return NGX_ERROR;
1337    }
1338
1339    u->keepalive = 0;
1340    u->upgrade = 0;
1341
1342    ngx_memzero(&u->headers_in, sizeof(ngx_http_upstream_headers_in_t));
1343    u->headers_in.content_length_n = -1;
1344
1345    if (ngx_list_init(&u->headers_in.headers, r->pool, 8,
1346                      sizeof(ngx_table_elt_t))
1347        != NGX_OK)
1348    {
1349        return NGX_ERROR;
1350    }
1351
1352    /* reinit the request chain */
1353
1354    for (cl = u->request_bufs; cl; cl = cl->next) {
1355        cl->buf->pos = cl->buf->start;
1356        cl->buf->file_pos = 0;
1357    }
1358
1359    /* reinit the subrequest's ngx_output_chain() context */
1360
1361    if (r->request_body && r->request_body->temp_file
1362        && r != r->main && u->output.buf)
1363    {
1364        u->output.free = ngx_alloc_chain_link(r->pool);
1365        if (u->output.free == NULL) {
1366            return NGX_ERROR;
1367        }
1368
1369        u->output.free->buf = u->output.buf;
1370        u->output.free->next = NULL;
1371
1372        u->output.buf->pos = u->output.buf->start;
1373        u->output.buf->last = u->output.buf->start;
1374    }
1375
1376    u->output.buf = NULL;
1377    u->output.in = NULL;
1378    u->output.busy = NULL;
1379
1380    /* reinit u->buffer */
1381
1382    u->buffer.pos = u->buffer.start;
1383
1384#if (NGX_HTTP_CACHE)
1385
1386    if (r->cache) {
1387        u->buffer.pos += r->cache->header_start;
1388    }
1389
1390#endif
1391
1392    u->buffer.last = u->buffer.pos;
1393
1394    return NGX_OK;
1395}
1396
1397
1398static void
1399ngx_http_upstream_send_request(ngx_http_request_t *r, ngx_http_upstream_t *u)
1400{
1401    ngx_int_t          rc;
1402    ngx_connection_t  *c;
1403
1404    c = u->peer.connection;
1405
1406    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
1407                   "http upstream send request");
1408
1409    if (!u->request_sent && ngx_http_upstream_test_connect(c) != NGX_OK) {
1410        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1411        return;
1412    }
1413
1414    c->log->action = "sending request to upstream";
1415
1416    rc = ngx_output_chain(&u->output, u->request_sent ? NULL : u->request_bufs);
1417
1418    u->request_sent = 1;
1419
1420    if (rc == NGX_ERROR) {
1421        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1422        return;
1423    }
1424
1425    if (c->write->timer_set) {
1426        ngx_del_timer(c->write);
1427    }
1428
1429    if (rc == NGX_AGAIN) {
1430        ngx_add_timer(c->write, u->conf->send_timeout);
1431
1432        if (ngx_handle_write_event(c->write, u->conf->send_lowat) != NGX_OK) {
1433            ngx_http_upstream_finalize_request(r, u,
1434                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1435            return;
1436        }
1437
1438        return;
1439    }
1440
1441    /* rc == NGX_OK */
1442
1443    if (c->tcp_nopush == NGX_TCP_NOPUSH_SET) {
1444        if (ngx_tcp_push(c->fd) == NGX_ERROR) {
1445            ngx_log_error(NGX_LOG_CRIT, c->log, ngx_socket_errno,
1446                          ngx_tcp_push_n " failed");
1447            ngx_http_upstream_finalize_request(r, u,
1448                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1449            return;
1450        }
1451
1452        c->tcp_nopush = NGX_TCP_NOPUSH_UNSET;
1453    }
1454
1455    ngx_add_timer(c->read, u->conf->read_timeout);
1456
1457#if 1
1458    if (c->read->ready) {
1459
1460        /* post aio operation */
1461
1462        /*
1463         * TODO comment
1464         * although we can post aio operation just in the end
1465         * of ngx_http_upstream_connect() CHECK IT !!!
1466         * it's better to do here because we postpone header buffer allocation
1467         */
1468
1469        ngx_http_upstream_process_header(r, u);
1470        return;
1471    }
1472#endif
1473
1474    u->write_event_handler = ngx_http_upstream_dummy_handler;
1475
1476    if (ngx_handle_write_event(c->write, 0) != NGX_OK) {
1477        ngx_http_upstream_finalize_request(r, u,
1478                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1479        return;
1480    }
1481}
1482
1483
1484static void
1485ngx_http_upstream_send_request_handler(ngx_http_request_t *r,
1486    ngx_http_upstream_t *u)
1487{
1488    ngx_connection_t  *c;
1489
1490    c = u->peer.connection;
1491
1492    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
1493                   "http upstream send request handler");
1494
1495    if (c->write->timedout) {
1496        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_TIMEOUT);
1497        return;
1498    }
1499
1500#if (NGX_HTTP_SSL)
1501
1502    if (u->ssl && c->ssl == NULL) {
1503        ngx_http_upstream_ssl_init_connection(r, u, c);
1504        return;
1505    }
1506
1507#endif
1508
1509    if (u->header_sent) {
1510        u->write_event_handler = ngx_http_upstream_dummy_handler;
1511
1512        (void) ngx_handle_write_event(c->write, 0);
1513
1514        return;
1515    }
1516
1517    ngx_http_upstream_send_request(r, u);
1518}
1519
1520
1521static void
1522ngx_http_upstream_process_header(ngx_http_request_t *r, ngx_http_upstream_t *u)
1523{
1524    ssize_t            n;
1525    ngx_int_t          rc;
1526    ngx_connection_t  *c;
1527
1528    c = u->peer.connection;
1529
1530    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
1531                   "http upstream process header");
1532
1533    c->log->action = "reading response header from upstream";
1534
1535    if (c->read->timedout) {
1536        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_TIMEOUT);
1537        return;
1538    }
1539
1540    if (!u->request_sent && ngx_http_upstream_test_connect(c) != NGX_OK) {
1541        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1542        return;
1543    }
1544
1545    if (u->buffer.start == NULL) {
1546        u->buffer.start = ngx_palloc(r->pool, u->conf->buffer_size);
1547        if (u->buffer.start == NULL) {
1548            ngx_http_upstream_finalize_request(r, u,
1549                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1550            return;
1551        }
1552
1553        u->buffer.pos = u->buffer.start;
1554        u->buffer.last = u->buffer.start;
1555        u->buffer.end = u->buffer.start + u->conf->buffer_size;
1556        u->buffer.temporary = 1;
1557
1558        u->buffer.tag = u->output.tag;
1559
1560        if (ngx_list_init(&u->headers_in.headers, r->pool, 8,
1561                          sizeof(ngx_table_elt_t))
1562            != NGX_OK)
1563        {
1564            ngx_http_upstream_finalize_request(r, u,
1565                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1566            return;
1567        }
1568
1569#if (NGX_HTTP_CACHE)
1570
1571        if (r->cache) {
1572            u->buffer.pos += r->cache->header_start;
1573            u->buffer.last = u->buffer.pos;
1574        }
1575#endif
1576    }
1577
1578    for ( ;; ) {
1579
1580        n = c->recv(c, u->buffer.last, u->buffer.end - u->buffer.last);
1581
1582        if (n == NGX_AGAIN) {
1583#if 0
1584            ngx_add_timer(rev, u->read_timeout);
1585#endif
1586
1587            if (ngx_handle_read_event(c->read, 0) != NGX_OK) {
1588                ngx_http_upstream_finalize_request(r, u,
1589                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1590                return;
1591            }
1592
1593            return;
1594        }
1595
1596        if (n == 0) {
1597            ngx_log_error(NGX_LOG_ERR, c->log, 0,
1598                          "upstream prematurely closed connection");
1599        }
1600
1601        if (n == NGX_ERROR || n == 0) {
1602            ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_ERROR);
1603            return;
1604        }
1605
1606        u->buffer.last += n;
1607
1608#if 0
1609        u->valid_header_in = 0;
1610
1611        u->peer.cached = 0;
1612#endif
1613
1614        rc = u->process_header(r);
1615
1616        if (rc == NGX_AGAIN) {
1617
1618            if (u->buffer.last == u->buffer.end) {
1619                ngx_log_error(NGX_LOG_ERR, c->log, 0,
1620                              "upstream sent too big header");
1621
1622                ngx_http_upstream_next(r, u,
1623                                       NGX_HTTP_UPSTREAM_FT_INVALID_HEADER);
1624                return;
1625            }
1626
1627            continue;
1628        }
1629
1630        break;
1631    }
1632
1633    if (rc == NGX_HTTP_UPSTREAM_INVALID_HEADER) {
1634        ngx_http_upstream_next(r, u, NGX_HTTP_UPSTREAM_FT_INVALID_HEADER);
1635        return;
1636    }
1637
1638    if (rc == NGX_ERROR) {
1639        ngx_http_upstream_finalize_request(r, u,
1640                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1641        return;
1642    }
1643
1644    /* rc == NGX_OK */
1645
1646    if (u->headers_in.status_n > NGX_HTTP_SPECIAL_RESPONSE) {
1647
1648        if (r->subrequest_in_memory) {
1649            u->buffer.last = u->buffer.pos;
1650        }
1651
1652        if (ngx_http_upstream_test_next(r, u) == NGX_OK) {
1653            return;
1654        }
1655
1656        if (ngx_http_upstream_intercept_errors(r, u) == NGX_OK) {
1657            return;
1658        }
1659    }
1660
1661    if (ngx_http_upstream_process_headers(r, u) != NGX_OK) {
1662        return;
1663    }
1664
1665    if (!r->subrequest_in_memory) {
1666        ngx_http_upstream_send_response(r, u);
1667        return;
1668    }
1669
1670    /* subrequest content in memory */
1671
1672    if (u->input_filter == NULL) {
1673        u->input_filter_init = ngx_http_upstream_non_buffered_filter_init;
1674        u->input_filter = ngx_http_upstream_non_buffered_filter;
1675        u->input_filter_ctx = r;
1676    }
1677
1678    if (u->input_filter_init(u->input_filter_ctx) == NGX_ERROR) {
1679        ngx_http_upstream_finalize_request(r, u,
1680                                           NGX_HTTP_INTERNAL_SERVER_ERROR);
1681        return;
1682    }
1683
1684    n = u->buffer.last - u->buffer.pos;
1685
1686    if (n) {
1687        u->buffer.last -= n;
1688
1689        u->state->response_length += n;
1690
1691        if (u->input_filter(u->input_filter_ctx, n) == NGX_ERROR) {
1692            ngx_http_upstream_finalize_request(r, u, NGX_ERROR);
1693            return;
1694        }
1695
1696        if (u->length == 0) {
1697            ngx_http_upstream_finalize_request(r, u, 0);
1698            return;
1699        }
1700    }
1701
1702    u->read_event_handler = ngx_http_upstream_process_body_in_memory;
1703
1704    ngx_http_upstream_process_body_in_memory(r, u);
1705}
1706
1707
1708static ngx_int_t
1709ngx_http_upstream_test_next(ngx_http_request_t *r, ngx_http_upstream_t *u)
1710{
1711    ngx_uint_t                 status;
1712    ngx_http_upstream_next_t  *un;
1713
1714    status = u->headers_in.status_n;
1715
1716    for (un = ngx_http_upstream_next_errors; un->status; un++) {
1717
1718        if (status != un->status) {
1719            continue;
1720        }
1721
1722        if (u->peer.tries > 1 && (u->conf->next_upstream & un->mask)) {
1723            ngx_http_upstream_next(r, u, un->mask);
1724            return NGX_OK;
1725        }
1726
1727#if (NGX_HTTP_CACHE)
1728
1729        if (u->cache_status == NGX_HTTP_CACHE_EXPIRED
1730            && (u->conf->cache_use_stale & un->mask))
1731        {
1732            ngx_int_t  rc;
1733
1734            rc = u->reinit_request(r);
1735
1736            if (rc == NGX_OK) {
1737                u->cache_status = NGX_HTTP_CACHE_STALE;
1738                rc = ngx_http_upstream_cache_send(r, u);
1739            }
1740
1741            ngx_http_upstream_finalize_request(r, u, rc);
1742            return NGX_OK;
1743        }
1744
1745#endif
1746    }
1747
1748    return NGX_DECLINED;
1749}
1750
1751
1752static ngx_int_t
1753ngx_http_upstream_intercept_errors(ngx_http_request_t *r,
1754    ngx_http_upstream_t *u)
1755{
1756    ngx_int_t                  status;
1757    ngx_uint_t                 i;
1758    ngx_table_elt_t           *h;
1759    ngx_http_err_page_t       *err_page;
1760    ngx_http_core_loc_conf_t  *clcf;
1761
1762    status = u->headers_in.status_n;
1763
1764    if (status == NGX_HTTP_NOT_FOUND && u->conf->intercept_404) {
1765        ngx_http_upstream_finalize_request(r, u, NGX_HTTP_NOT_FOUND);
1766        return NGX_OK;
1767    }
1768
1769    if (!u->conf->intercept_errors) {
1770        return NGX_DECLINED;
1771    }
1772
1773    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
1774
1775    if (clcf->error_pages == NULL) {
1776        return NGX_DECLINED;
1777    }
1778
1779    err_page = clcf->error_pages->elts;
1780    for (i = 0; i < clcf->error_pages->nelts; i++) {
1781
1782        if (err_page[i].status == status) {
1783
1784            if (status == NGX_HTTP_UNAUTHORIZED
1785                && u->headers_in.www_authenticate)
1786            {
1787                h = ngx_list_push(&r->headers_out.headers);
1788
1789                if (h == NULL) {
1790                    ngx_http_upstream_finalize_request(r, u,
1791                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1792                    return NGX_OK;
1793                }
1794
1795                *h = *u->headers_in.www_authenticate;
1796
1797                r->headers_out.www_authenticate = h;
1798            }
1799
1800#if (NGX_HTTP_CACHE)
1801
1802            if (r->cache) {
1803                time_t  valid;
1804
1805                valid = ngx_http_file_cache_valid(u->conf->cache_valid, status);
1806
1807                if (valid) {
1808                    r->cache->valid_sec = ngx_time() + valid;
1809                    r->cache->error = status;
1810                }
1811
1812                ngx_http_file_cache_free(r->cache, u->pipe->temp_file);
1813            }
1814#endif
1815            ngx_http_upstream_finalize_request(r, u, status);
1816
1817            return NGX_OK;
1818        }
1819    }
1820
1821    return NGX_DECLINED;
1822}
1823
1824
1825static ngx_int_t
1826ngx_http_upstream_test_connect(ngx_connection_t *c)
1827{
1828    int        err;
1829    socklen_t  len;
1830
1831#if (NGX_HAVE_KQUEUE)
1832
1833    if (ngx_event_flags & NGX_USE_KQUEUE_EVENT)  {
1834        if (c->write->pending_eof || c->read->pending_eof) {
1835            if (c->write->pending_eof) {
1836                err = c->write->kq_errno;
1837
1838            } else {
1839                err = c->read->kq_errno;
1840            }
1841
1842            c->log->action = "connecting to upstream";
1843            (void) ngx_connection_error(c, err,
1844                                    "kevent() reported that connect() failed");
1845            return NGX_ERROR;
1846        }
1847
1848    } else
1849#endif
1850    {
1851        err = 0;
1852        len = sizeof(int);
1853
1854        /*
1855         * BSDs and Linux return 0 and set a pending error in err
1856         * Solaris returns -1 and sets errno
1857         */
1858
1859        if (getsockopt(c->fd, SOL_SOCKET, SO_ERROR, (void *) &err, &len)
1860            == -1)
1861        {
1862            err = ngx_errno;
1863        }
1864
1865        if (err) {
1866            c->log->action = "connecting to upstream";
1867            (void) ngx_connection_error(c, err, "connect() failed");
1868            return NGX_ERROR;
1869        }
1870    }
1871
1872    return NGX_OK;
1873}
1874
1875
1876static ngx_int_t
1877ngx_http_upstream_process_headers(ngx_http_request_t *r, ngx_http_upstream_t *u)
1878{
1879    ngx_str_t                      *uri, args;
1880    ngx_uint_t                      i, flags;
1881    ngx_list_part_t                *part;
1882    ngx_table_elt_t                *h;
1883    ngx_http_upstream_header_t     *hh;
1884    ngx_http_upstream_main_conf_t  *umcf;
1885
1886    umcf = ngx_http_get_module_main_conf(r, ngx_http_upstream_module);
1887
1888    if (u->headers_in.x_accel_redirect
1889        && !(u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_XA_REDIRECT))
1890    {
1891        ngx_http_upstream_finalize_request(r, u, NGX_DECLINED);
1892
1893        part = &u->headers_in.headers.part;
1894        h = part->elts;
1895
1896        for (i = 0; /* void */; i++) {
1897
1898            if (i >= part->nelts) {
1899                if (part->next == NULL) {
1900                    break;
1901                }
1902
1903                part = part->next;
1904                h = part->elts;
1905                i = 0;
1906            }
1907
1908            hh = ngx_hash_find(&umcf->headers_in_hash, h[i].hash,
1909                               h[i].lowcase_key, h[i].key.len);
1910
1911            if (hh && hh->redirect) {
1912                if (hh->copy_handler(r, &h[i], hh->conf) != NGX_OK) {
1913                    ngx_http_finalize_request(r,
1914                                              NGX_HTTP_INTERNAL_SERVER_ERROR);
1915                    return NGX_DONE;
1916                }
1917            }
1918        }
1919
1920        uri = &u->headers_in.x_accel_redirect->value;
1921        ngx_str_null(&args);
1922        flags = NGX_HTTP_LOG_UNSAFE;
1923
1924        if (ngx_http_parse_unsafe_uri(r, uri, &args, &flags) != NGX_OK) {
1925            ngx_http_finalize_request(r, NGX_HTTP_NOT_FOUND);
1926            return NGX_DONE;
1927        }
1928
1929        if (r->method != NGX_HTTP_HEAD) {
1930            r->method = NGX_HTTP_GET;
1931        }
1932
1933        ngx_http_internal_redirect(r, uri, &args);
1934        ngx_http_finalize_request(r, NGX_DONE);
1935        return NGX_DONE;
1936    }
1937
1938    part = &u->headers_in.headers.part;
1939    h = part->elts;
1940
1941    for (i = 0; /* void */; i++) {
1942
1943        if (i >= part->nelts) {
1944            if (part->next == NULL) {
1945                break;
1946            }
1947
1948            part = part->next;
1949            h = part->elts;
1950            i = 0;
1951        }
1952
1953        if (ngx_hash_find(&u->conf->hide_headers_hash, h[i].hash,
1954                          h[i].lowcase_key, h[i].key.len))
1955        {
1956            continue;
1957        }
1958
1959        hh = ngx_hash_find(&umcf->headers_in_hash, h[i].hash,
1960                           h[i].lowcase_key, h[i].key.len);
1961
1962        if (hh) {
1963            if (hh->copy_handler(r, &h[i], hh->conf) != NGX_OK) {
1964                ngx_http_upstream_finalize_request(r, u,
1965                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1966                return NGX_DONE;
1967            }
1968
1969            continue;
1970        }
1971
1972        if (ngx_http_upstream_copy_header_line(r, &h[i], 0) != NGX_OK) {
1973            ngx_http_upstream_finalize_request(r, u,
1974                                               NGX_HTTP_INTERNAL_SERVER_ERROR);
1975            return NGX_DONE;
1976        }
1977    }
1978
1979    if (r->headers_out.server && r->headers_out.server->value.data == NULL) {
1980        r->headers_out.server->hash = 0;
1981    }
1982
1983    if (r->headers_out.date && r->headers_out.date->value.data == NULL) {
1984        r->headers_out.date->hash = 0;
1985    }
1986
1987    r->headers_out.status = u->headers_in.status_n;
1988    r->headers_out.status_line = u->headers_in.status_line;
1989
1990    r->headers_out.content_length_n = u->headers_in.content_length_n;
1991
1992    u->length = u->headers_in.content_length_n;
1993
1994    return NGX_OK;
1995}
1996
1997
1998static void
1999ngx_http_upstream_process_body_in_memory(ngx_http_request_t *r,
2000    ngx_http_upstream_t *u)
2001{
2002    size_t             size;
2003    ssize_t            n;
2004    ngx_buf_t         *b;
2005    ngx_event_t       *rev;
2006    ngx_connection_t  *c;
2007
2008    c = u->peer.connection;
2009    rev = c->read;
2010
2011    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2012                   "http upstream process body on memory");
2013
2014    if (rev->timedout) {
2015        ngx_connection_error(c, NGX_ETIMEDOUT, "upstream timed out");
2016        ngx_http_upstream_finalize_request(r, u, NGX_ETIMEDOUT);
2017        return;
2018    }
2019
2020    b = &u->buffer;
2021
2022    for ( ;; ) {
2023
2024        size = b->end - b->last;
2025
2026        if (size == 0) {
2027            ngx_log_error(NGX_LOG_ALERT, c->log, 0,
2028                          "upstream buffer is too small to read response");
2029            ngx_http_upstream_finalize_request(r, u, NGX_ERROR);
2030            return;
2031        }
2032
2033        n = c->recv(c, b->last, size);
2034
2035        if (n == NGX_AGAIN) {
2036            break;
2037        }
2038
2039        if (n == 0 || n == NGX_ERROR) {
2040            ngx_http_upstream_finalize_request(r, u, n);
2041            return;
2042        }
2043
2044        u->state->response_length += n;
2045
2046        if (u->input_filter(u->input_filter_ctx, n) == NGX_ERROR) {
2047            ngx_http_upstream_finalize_request(r, u, NGX_ERROR);
2048            return;
2049        }
2050
2051        if (!rev->ready) {
2052            break;
2053        }
2054    }
2055
2056    if (u->length == 0) {
2057        ngx_http_upstream_finalize_request(r, u, 0);
2058        return;
2059    }
2060
2061    if (ngx_handle_read_event(rev, 0) != NGX_OK) {
2062        ngx_http_upstream_finalize_request(r, u, NGX_ERROR);
2063        return;
2064    }
2065
2066    if (rev->active) {
2067        ngx_add_timer(rev, u->conf->read_timeout);
2068
2069    } else if (rev->timer_set) {
2070        ngx_del_timer(rev);
2071    }
2072}
2073
2074
2075static void
2076ngx_http_upstream_send_response(ngx_http_request_t *r, ngx_http_upstream_t *u)
2077{
2078    int                        tcp_nodelay;
2079    ssize_t                    n;
2080    ngx_int_t                  rc;
2081    ngx_event_pipe_t          *p;
2082    ngx_connection_t          *c;
2083    ngx_http_core_loc_conf_t  *clcf;
2084
2085    rc = ngx_http_send_header(r);
2086
2087    if (rc == NGX_ERROR || rc > NGX_OK || r->post_action) {
2088        ngx_http_upstream_finalize_request(r, u, rc);
2089        return;
2090    }
2091
2092    if (u->upgrade) {
2093        ngx_http_upstream_upgrade(r, u);
2094        return;
2095    }
2096
2097    c = r->connection;
2098
2099    if (r->header_only) {
2100
2101        if (u->cacheable || u->store) {
2102
2103            if (ngx_shutdown_socket(c->fd, NGX_WRITE_SHUTDOWN) == -1) {
2104                ngx_connection_error(c, ngx_socket_errno,
2105                                     ngx_shutdown_socket_n " failed");
2106            }
2107
2108            r->read_event_handler = ngx_http_request_empty_handler;
2109            r->write_event_handler = ngx_http_request_empty_handler;
2110            c->error = 1;
2111
2112        } else {
2113            ngx_http_upstream_finalize_request(r, u, rc);
2114            return;
2115        }
2116    }
2117
2118    u->header_sent = 1;
2119
2120    if (r->request_body && r->request_body->temp_file) {
2121        ngx_pool_run_cleanup_file(r->pool, r->request_body->temp_file->file.fd);
2122        r->request_body->temp_file->file.fd = NGX_INVALID_FILE;
2123    }
2124
2125    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
2126
2127    if (!u->buffering) {
2128
2129        if (u->input_filter == NULL) {
2130            u->input_filter_init = ngx_http_upstream_non_buffered_filter_init;
2131            u->input_filter = ngx_http_upstream_non_buffered_filter;
2132            u->input_filter_ctx = r;
2133        }
2134
2135        u->read_event_handler = ngx_http_upstream_process_non_buffered_upstream;
2136        r->write_event_handler =
2137                             ngx_http_upstream_process_non_buffered_downstream;
2138
2139        r->limit_rate = 0;
2140
2141        if (u->input_filter_init(u->input_filter_ctx) == NGX_ERROR) {
2142            ngx_http_upstream_finalize_request(r, u, 0);
2143            return;
2144        }
2145
2146        if (clcf->tcp_nodelay && c->tcp_nodelay == NGX_TCP_NODELAY_UNSET) {
2147            ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0, "tcp_nodelay");
2148
2149            tcp_nodelay = 1;
2150
2151            if (setsockopt(c->fd, IPPROTO_TCP, TCP_NODELAY,
2152                               (const void *) &tcp_nodelay, sizeof(int)) == -1)
2153            {
2154                ngx_connection_error(c, ngx_socket_errno,
2155                                     "setsockopt(TCP_NODELAY) failed");
2156                ngx_http_upstream_finalize_request(r, u, 0);
2157                return;
2158            }
2159
2160            c->tcp_nodelay = NGX_TCP_NODELAY_SET;
2161        }
2162
2163        n = u->buffer.last - u->buffer.pos;
2164
2165        if (n) {
2166            u->buffer.last = u->buffer.pos;
2167
2168            u->state->response_length += n;
2169
2170            if (u->input_filter(u->input_filter_ctx, n) == NGX_ERROR) {
2171                ngx_http_upstream_finalize_request(r, u, 0);
2172                return;
2173            }
2174
2175            ngx_http_upstream_process_non_buffered_downstream(r);
2176
2177        } else {
2178            u->buffer.pos = u->buffer.start;
2179            u->buffer.last = u->buffer.start;
2180
2181            if (ngx_http_send_special(r, NGX_HTTP_FLUSH) == NGX_ERROR) {
2182                ngx_http_upstream_finalize_request(r, u, 0);
2183                return;
2184            }
2185
2186            if (u->peer.connection->read->ready || u->length == 0) {
2187                ngx_http_upstream_process_non_buffered_upstream(r, u);
2188            }
2189        }
2190
2191        return;
2192    }
2193
2194    /* TODO: preallocate event_pipe bufs, look "Content-Length" */
2195
2196#if (NGX_HTTP_CACHE)
2197
2198    if (r->cache && r->cache->file.fd != NGX_INVALID_FILE) {
2199        ngx_pool_run_cleanup_file(r->pool, r->cache->file.fd);
2200        r->cache->file.fd = NGX_INVALID_FILE;
2201    }
2202
2203    switch (ngx_http_test_predicates(r, u->conf->no_cache)) {
2204
2205    case NGX_ERROR:
2206        ngx_http_upstream_finalize_request(r, u, 0);
2207        return;
2208
2209    case NGX_DECLINED:
2210        u->cacheable = 0;
2211        break;
2212
2213    default: /* NGX_OK */
2214
2215        if (u->cache_status == NGX_HTTP_CACHE_BYPASS) {
2216
2217            r->cache->min_uses = u->conf->cache_min_uses;
2218            r->cache->body_start = u->conf->buffer_size;
2219            r->cache->file_cache = u->conf->cache->data;
2220
2221            if (ngx_http_file_cache_create(r) != NGX_OK) {
2222                ngx_http_upstream_finalize_request(r, u, 0);
2223                return;
2224            }
2225        }
2226
2227        break;
2228    }
2229
2230    if (u->cacheable) {
2231        time_t  now, valid;
2232
2233        now = ngx_time();
2234
2235        valid = r->cache->valid_sec;
2236
2237        if (valid == 0) {
2238            valid = ngx_http_file_cache_valid(u->conf->cache_valid,
2239                                              u->headers_in.status_n);
2240            if (valid) {
2241                r->cache->valid_sec = now + valid;
2242            }
2243        }
2244
2245        if (valid) {
2246            r->cache->last_modified = r->headers_out.last_modified_time;
2247            r->cache->date = now;
2248            r->cache->body_start = (u_short) (u->buffer.pos - u->buffer.start);
2249
2250            ngx_http_file_cache_set_header(r, u->buffer.start);
2251
2252        } else {
2253            u->cacheable = 0;
2254            r->headers_out.last_modified_time = -1;
2255        }
2256    }
2257
2258    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, c->log, 0,
2259                   "http cacheable: %d", u->cacheable);
2260
2261    if (u->cacheable == 0 && r->cache) {
2262        ngx_http_file_cache_free(r->cache, u->pipe->temp_file);
2263    }
2264
2265#endif
2266
2267    p = u->pipe;
2268
2269    p->output_filter = (ngx_event_pipe_output_filter_pt) ngx_http_output_filter;
2270    p->output_ctx = r;
2271    p->tag = u->output.tag;
2272    p->bufs = u->conf->bufs;
2273    p->busy_size = u->conf->busy_buffers_size;
2274    p->upstream = u->peer.connection;
2275    p->downstream = c;
2276    p->pool = r->pool;
2277    p->log = c->log;
2278
2279    p->cacheable = u->cacheable || u->store;
2280
2281    p->temp_file = ngx_pcalloc(r->pool, sizeof(ngx_temp_file_t));
2282    if (p->temp_file == NULL) {
2283        ngx_http_upstream_finalize_request(r, u, 0);
2284        return;
2285    }
2286
2287    p->temp_file->file.fd = NGX_INVALID_FILE;
2288    p->temp_file->file.log = c->log;
2289    p->temp_file->path = u->conf->temp_path;
2290    p->temp_file->pool = r->pool;
2291
2292    if (p->cacheable) {
2293        p->temp_file->persistent = 1;
2294
2295    } else {
2296        p->temp_file->log_level = NGX_LOG_WARN;
2297        p->temp_file->warn = "an upstream response is buffered "
2298                             "to a temporary file";
2299    }
2300
2301    p->max_temp_file_size = u->conf->max_temp_file_size;
2302    p->temp_file_write_size = u->conf->temp_file_write_size;
2303
2304    p->preread_bufs = ngx_alloc_chain_link(r->pool);
2305    if (p->preread_bufs == NULL) {
2306        ngx_http_upstream_finalize_request(r, u, 0);
2307        return;
2308    }
2309
2310    p->preread_bufs->buf = &u->buffer;
2311    p->preread_bufs->next = NULL;
2312    u->buffer.recycled = 1;
2313
2314    p->preread_size = u->buffer.last - u->buffer.pos;
2315
2316    if (u->cacheable) {
2317
2318        p->buf_to_file = ngx_calloc_buf(r->pool);
2319        if (p->buf_to_file == NULL) {
2320            ngx_http_upstream_finalize_request(r, u, 0);
2321            return;
2322        }
2323
2324        p->buf_to_file->start = u->buffer.start;
2325        p->buf_to_file->pos = u->buffer.start;
2326        p->buf_to_file->last = u->buffer.pos;
2327        p->buf_to_file->temporary = 1;
2328    }
2329
2330    if (ngx_event_flags & NGX_USE_AIO_EVENT) {
2331        /* the posted aio operation may corrupt a shadow buffer */
2332        p->single_buf = 1;
2333    }
2334
2335    /* TODO: p->free_bufs = 0 if use ngx_create_chain_of_bufs() */
2336    p->free_bufs = 1;
2337
2338    /*
2339     * event_pipe would do u->buffer.last += p->preread_size
2340     * as though these bytes were read
2341     */
2342    u->buffer.last = u->buffer.pos;
2343
2344    if (u->conf->cyclic_temp_file) {
2345
2346        /*
2347         * we need to disable the use of sendfile() if we use cyclic temp file
2348         * because the writing a new data may interfere with sendfile()
2349         * that uses the same kernel file pages (at least on FreeBSD)
2350         */
2351
2352        p->cyclic_temp_file = 1;
2353        c->sendfile = 0;
2354
2355    } else {
2356        p->cyclic_temp_file = 0;
2357    }
2358
2359    p->read_timeout = u->conf->read_timeout;
2360    p->send_timeout = clcf->send_timeout;
2361    p->send_lowat = clcf->send_lowat;
2362
2363    p->length = -1;
2364
2365    if (u->input_filter_init
2366        && u->input_filter_init(p->input_ctx) != NGX_OK)
2367    {
2368        ngx_http_upstream_finalize_request(r, u, 0);
2369        return;
2370    }
2371
2372    u->read_event_handler = ngx_http_upstream_process_upstream;
2373    r->write_event_handler = ngx_http_upstream_process_downstream;
2374
2375    ngx_http_upstream_process_upstream(r, u);
2376}
2377
2378
2379static void
2380ngx_http_upstream_upgrade(ngx_http_request_t *r, ngx_http_upstream_t *u)
2381{
2382    int                        tcp_nodelay;
2383    ngx_connection_t          *c;
2384    ngx_http_core_loc_conf_t  *clcf;
2385
2386    c = r->connection;
2387    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
2388
2389    /* TODO: prevent upgrade if not requested or not possible */
2390
2391    r->keepalive = 0;
2392    c->log->action = "proxying upgraded connection";
2393
2394    u->read_event_handler = ngx_http_upstream_upgraded_read_upstream;
2395    u->write_event_handler = ngx_http_upstream_upgraded_write_upstream;
2396    r->read_event_handler = ngx_http_upstream_upgraded_read_downstream;
2397    r->write_event_handler = ngx_http_upstream_upgraded_write_downstream;
2398
2399    if (clcf->tcp_nodelay && c->tcp_nodelay == NGX_TCP_NODELAY_UNSET) {
2400        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0, "tcp_nodelay");
2401
2402        tcp_nodelay = 1;
2403
2404        if (setsockopt(c->fd, IPPROTO_TCP, TCP_NODELAY,
2405                       (const void *) &tcp_nodelay, sizeof(int)) == -1)
2406        {
2407            ngx_connection_error(c, ngx_socket_errno,
2408                                 "setsockopt(TCP_NODELAY) failed");
2409            ngx_http_upstream_finalize_request(r, u, 0);
2410            return;
2411        }
2412
2413        c->tcp_nodelay = NGX_TCP_NODELAY_SET;
2414
2415        if (setsockopt(u->peer.connection->fd, IPPROTO_TCP, TCP_NODELAY,
2416                       (const void *) &tcp_nodelay, sizeof(int)) == -1)
2417        {
2418            ngx_connection_error(u->peer.connection, ngx_socket_errno,
2419                                 "setsockopt(TCP_NODELAY) failed");
2420            ngx_http_upstream_finalize_request(r, u, 0);
2421            return;
2422        }
2423
2424        u->peer.connection->tcp_nodelay = NGX_TCP_NODELAY_SET;
2425    }
2426
2427    if (ngx_http_send_special(r, NGX_HTTP_FLUSH) == NGX_ERROR) {
2428        ngx_http_upstream_finalize_request(r, u, 0);
2429        return;
2430    }
2431
2432    if (u->peer.connection->read->ready
2433        || u->buffer.pos != u->buffer.last)
2434    {
2435        ngx_http_upstream_process_upgraded(r, 1);
2436    }
2437
2438    if (c->read->ready
2439        || r->header_in->pos != r->header_in->last)
2440    {
2441        ngx_http_upstream_process_upgraded(r, 0);
2442    }
2443}
2444
2445
2446static void
2447ngx_http_upstream_upgraded_read_downstream(ngx_http_request_t *r)
2448{
2449    ngx_http_upstream_process_upgraded(r, 0);
2450}
2451
2452
2453static void
2454ngx_http_upstream_upgraded_write_downstream(ngx_http_request_t *r)
2455{
2456    ngx_http_upstream_process_upgraded(r, 1);
2457}
2458
2459
2460static void
2461ngx_http_upstream_upgraded_read_upstream(ngx_http_request_t *r,
2462    ngx_http_upstream_t *u)
2463{
2464    ngx_http_upstream_process_upgraded(r, 1);
2465}
2466
2467
2468static void
2469ngx_http_upstream_upgraded_write_upstream(ngx_http_request_t *r,
2470    ngx_http_upstream_t *u)
2471{
2472    ngx_http_upstream_process_upgraded(r, 0);
2473}
2474
2475
2476static void
2477ngx_http_upstream_process_upgraded(ngx_http_request_t *r,
2478    ngx_uint_t from_upstream)
2479{
2480    size_t                     size;
2481    ssize_t                    n;
2482    ngx_buf_t                 *b;
2483    ngx_uint_t                 do_write;
2484    ngx_connection_t          *c, *downstream, *upstream, *dst, *src;
2485    ngx_http_upstream_t       *u;
2486    ngx_http_core_loc_conf_t  *clcf;
2487
2488    c = r->connection;
2489    u = r->upstream;
2490
2491    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, c->log, 0,
2492                   "http upstream process upgraded, fu:%ui", from_upstream);
2493
2494    downstream = c;
2495    upstream = u->peer.connection;
2496
2497    if (downstream->write->timedout) {
2498        c->timedout = 1;
2499        ngx_connection_error(c, NGX_ETIMEDOUT, "client timed out");
2500        ngx_http_upstream_finalize_request(r, u, NGX_HTTP_REQUEST_TIME_OUT);
2501        return;
2502    }
2503
2504    if (upstream->read->timedout || upstream->write->timedout) {
2505        ngx_connection_error(c, NGX_ETIMEDOUT, "upstream timed out");
2506        ngx_http_upstream_finalize_request(r, u, 0);
2507        return;
2508    }
2509
2510    if (from_upstream) {
2511        src = upstream;
2512        dst = downstream;
2513        b = &u->buffer;
2514
2515    } else {
2516        src = downstream;
2517        dst = upstream;
2518        b = &u->from_client;
2519
2520        if (r->header_in->last > r->header_in->pos) {
2521            b = r->header_in;
2522            b->end = b->last;
2523            do_write = 1;
2524        }
2525
2526        if (b->start == NULL) {
2527            b->start = ngx_palloc(r->pool, u->conf->buffer_size);
2528            if (b->start == NULL) {
2529                ngx_http_upstream_finalize_request(r, u, 0);
2530                return;
2531            }
2532
2533            b->pos = b->start;
2534            b->last = b->start;
2535            b->end = b->start + u->conf->buffer_size;
2536            b->temporary = 1;
2537            b->tag = u->output.tag;
2538        }
2539    }
2540
2541    for ( ;; ) {
2542
2543        if (do_write) {
2544
2545            size = b->last - b->pos;
2546
2547            if (size && dst->write->ready) {
2548
2549                n = dst->send(dst, b->pos, size);
2550
2551                if (n == NGX_ERROR) {
2552                    ngx_http_upstream_finalize_request(r, u, 0);
2553                    return;
2554                }
2555
2556                if (n > 0) {
2557                    b->pos += n;
2558
2559                    if (b->pos == b->last) {
2560                        b->pos = b->start;
2561                        b->last = b->start;
2562                    }
2563                }
2564            }
2565        }
2566
2567        size = b->end - b->last;
2568
2569        if (size && src->read->ready) {
2570
2571            n = src->recv(src, b->last, size);
2572
2573            if (n == NGX_AGAIN || n == 0) {
2574                break;
2575            }
2576
2577            if (n > 0) {
2578                do_write = 1;
2579                b->last += n;
2580
2581                continue;
2582            }
2583
2584            if (n == NGX_ERROR) {
2585                src->read->eof = 1;
2586            }
2587        }
2588
2589        break;
2590    }
2591
2592    if ((upstream->read->eof && u->buffer.pos == u->buffer.last)
2593        || (downstream->read->eof && u->from_client.pos == u->from_client.last)
2594        || (downstream->read->eof && upstream->read->eof))
2595    {
2596        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2597                       "http upstream upgraded done");
2598        ngx_http_upstream_finalize_request(r, u, 0);
2599        return;
2600    }
2601
2602    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
2603
2604    if (ngx_handle_write_event(upstream->write, u->conf->send_lowat)
2605        != NGX_OK)
2606    {
2607        ngx_http_upstream_finalize_request(r, u, 0);
2608        return;
2609    }
2610
2611    if (upstream->write->active && !upstream->write->ready) {
2612        ngx_add_timer(upstream->write, u->conf->send_timeout);
2613
2614    } else if (upstream->write->timer_set) {
2615        ngx_del_timer(upstream->write);
2616    }
2617
2618    if (ngx_handle_read_event(upstream->read, 0) != NGX_OK) {
2619        ngx_http_upstream_finalize_request(r, u, 0);
2620        return;
2621    }
2622
2623    if (upstream->read->active && !upstream->read->ready) {
2624        ngx_add_timer(upstream->read, u->conf->read_timeout);
2625
2626    } else if (upstream->read->timer_set) {
2627        ngx_del_timer(upstream->read);
2628    }
2629
2630    if (ngx_handle_write_event(downstream->write, clcf->send_lowat)
2631        != NGX_OK)
2632    {
2633        ngx_http_upstream_finalize_request(r, u, 0);
2634        return;
2635    }
2636
2637    if (ngx_handle_read_event(downstream->read, 0) != NGX_OK) {
2638        ngx_http_upstream_finalize_request(r, u, 0);
2639        return;
2640    }
2641
2642    if (downstream->write->active && !downstream->write->ready) {
2643        ngx_add_timer(downstream->write, clcf->send_timeout);
2644
2645    } else if (downstream->write->timer_set) {
2646        ngx_del_timer(downstream->write);
2647    }
2648}
2649
2650
2651static void
2652ngx_http_upstream_process_non_buffered_downstream(ngx_http_request_t *r)
2653{
2654    ngx_event_t          *wev;
2655    ngx_connection_t     *c;
2656    ngx_http_upstream_t  *u;
2657
2658    c = r->connection;
2659    u = r->upstream;
2660    wev = c->write;
2661
2662    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2663                   "http upstream process non buffered downstream");
2664
2665    c->log->action = "sending to client";
2666
2667    if (wev->timedout) {
2668        c->timedout = 1;
2669        ngx_connection_error(c, NGX_ETIMEDOUT, "client timed out");
2670        ngx_http_upstream_finalize_request(r, u, NGX_HTTP_REQUEST_TIME_OUT);
2671        return;
2672    }
2673
2674    ngx_http_upstream_process_non_buffered_request(r, 1);
2675}
2676
2677
2678static void
2679ngx_http_upstream_process_non_buffered_upstream(ngx_http_request_t *r,
2680    ngx_http_upstream_t *u)
2681{
2682    ngx_connection_t  *c;
2683
2684    c = u->peer.connection;
2685
2686    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2687                   "http upstream process non buffered upstream");
2688
2689    c->log->action = "reading upstream";
2690
2691    if (c->read->timedout) {
2692        ngx_connection_error(c, NGX_ETIMEDOUT, "upstream timed out");
2693        ngx_http_upstream_finalize_request(r, u, 0);
2694        return;
2695    }
2696
2697    ngx_http_upstream_process_non_buffered_request(r, 0);
2698}
2699
2700
2701static void
2702ngx_http_upstream_process_non_buffered_request(ngx_http_request_t *r,
2703    ngx_uint_t do_write)
2704{
2705    size_t                     size;
2706    ssize_t                    n;
2707    ngx_buf_t                 *b;
2708    ngx_int_t                  rc;
2709    ngx_connection_t          *downstream, *upstream;
2710    ngx_http_upstream_t       *u;
2711    ngx_http_core_loc_conf_t  *clcf;
2712
2713    u = r->upstream;
2714    downstream = r->connection;
2715    upstream = u->peer.connection;
2716
2717    b = &u->buffer;
2718
2719    do_write = do_write || u->length == 0;
2720
2721    for ( ;; ) {
2722
2723        if (do_write) {
2724
2725            if (u->out_bufs || u->busy_bufs) {
2726                rc = ngx_http_output_filter(r, u->out_bufs);
2727
2728                if (rc == NGX_ERROR) {
2729                    ngx_http_upstream_finalize_request(r, u, 0);
2730                    return;
2731                }
2732
2733                ngx_chain_update_chains(r->pool, &u->free_bufs, &u->busy_bufs,
2734                                        &u->out_bufs, u->output.tag);
2735            }
2736
2737            if (u->busy_bufs == NULL) {
2738
2739                if (u->length == 0
2740                    || upstream->read->eof
2741                    || upstream->read->error)
2742                {
2743                    ngx_http_upstream_finalize_request(r, u, 0);
2744                    return;
2745                }
2746
2747                b->pos = b->start;
2748                b->last = b->start;
2749            }
2750        }
2751
2752        size = b->end - b->last;
2753
2754        if (size && upstream->read->ready) {
2755
2756            n = upstream->recv(upstream, b->last, size);
2757
2758            if (n == NGX_AGAIN) {
2759                break;
2760            }
2761
2762            if (n > 0) {
2763                u->state->response_length += n;
2764
2765                if (u->input_filter(u->input_filter_ctx, n) == NGX_ERROR) {
2766                    ngx_http_upstream_finalize_request(r, u, 0);
2767                    return;
2768                }
2769            }
2770
2771            do_write = 1;
2772
2773            continue;
2774        }
2775
2776        break;
2777    }
2778
2779    clcf = ngx_http_get_module_loc_conf(r, ngx_http_core_module);
2780
2781    if (downstream->data == r) {
2782        if (ngx_handle_write_event(downstream->write, clcf->send_lowat)
2783            != NGX_OK)
2784        {
2785            ngx_http_upstream_finalize_request(r, u, 0);
2786            return;
2787        }
2788    }
2789
2790    if (downstream->write->active && !downstream->write->ready) {
2791        ngx_add_timer(downstream->write, clcf->send_timeout);
2792
2793    } else if (downstream->write->timer_set) {
2794        ngx_del_timer(downstream->write);
2795    }
2796
2797    if (ngx_handle_read_event(upstream->read, 0) != NGX_OK) {
2798        ngx_http_upstream_finalize_request(r, u, 0);
2799        return;
2800    }
2801
2802    if (upstream->read->active && !upstream->read->ready) {
2803        ngx_add_timer(upstream->read, u->conf->read_timeout);
2804
2805    } else if (upstream->read->timer_set) {
2806        ngx_del_timer(upstream->read);
2807    }
2808}
2809
2810
2811static ngx_int_t
2812ngx_http_upstream_non_buffered_filter_init(void *data)
2813{
2814    return NGX_OK;
2815}
2816
2817
2818static ngx_int_t
2819ngx_http_upstream_non_buffered_filter(void *data, ssize_t bytes)
2820{
2821    ngx_http_request_t  *r = data;
2822
2823    ngx_buf_t            *b;
2824    ngx_chain_t          *cl, **ll;
2825    ngx_http_upstream_t  *u;
2826
2827    u = r->upstream;
2828
2829    for (cl = u->out_bufs, ll = &u->out_bufs; cl; cl = cl->next) {
2830        ll = &cl->next;
2831    }
2832
2833    cl = ngx_chain_get_free_buf(r->pool, &u->free_bufs);
2834    if (cl == NULL) {
2835        return NGX_ERROR;
2836    }
2837
2838    *ll = cl;
2839
2840    cl->buf->flush = 1;
2841    cl->buf->memory = 1;
2842
2843    b = &u->buffer;
2844
2845    cl->buf->pos = b->last;
2846    b->last += bytes;
2847    cl->buf->last = b->last;
2848    cl->buf->tag = u->output.tag;
2849
2850    if (u->length == -1) {
2851        return NGX_OK;
2852    }
2853
2854    u->length -= bytes;
2855
2856    return NGX_OK;
2857}
2858
2859
2860static void
2861ngx_http_upstream_process_downstream(ngx_http_request_t *r)
2862{
2863    ngx_event_t          *wev;
2864    ngx_connection_t     *c;
2865    ngx_event_pipe_t     *p;
2866    ngx_http_upstream_t  *u;
2867
2868    c = r->connection;
2869    u = r->upstream;
2870    p = u->pipe;
2871    wev = c->write;
2872
2873    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2874                   "http upstream process downstream");
2875
2876    c->log->action = "sending to client";
2877
2878    if (wev->timedout) {
2879
2880        if (wev->delayed) {
2881
2882            wev->timedout = 0;
2883            wev->delayed = 0;
2884
2885            if (!wev->ready) {
2886                ngx_add_timer(wev, p->send_timeout);
2887
2888                if (ngx_handle_write_event(wev, p->send_lowat) != NGX_OK) {
2889                    ngx_http_upstream_finalize_request(r, u, 0);
2890                }
2891
2892                return;
2893            }
2894
2895            if (ngx_event_pipe(p, wev->write) == NGX_ABORT) {
2896                ngx_http_upstream_finalize_request(r, u, 0);
2897                return;
2898            }
2899
2900        } else {
2901            p->downstream_error = 1;
2902            c->timedout = 1;
2903            ngx_connection_error(c, NGX_ETIMEDOUT, "client timed out");
2904        }
2905
2906    } else {
2907
2908        if (wev->delayed) {
2909
2910            ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2911                           "http downstream delayed");
2912
2913            if (ngx_handle_write_event(wev, p->send_lowat) != NGX_OK) {
2914                ngx_http_upstream_finalize_request(r, u, 0);
2915            }
2916
2917            return;
2918        }
2919
2920        if (ngx_event_pipe(p, 1) == NGX_ABORT) {
2921            ngx_http_upstream_finalize_request(r, u, 0);
2922            return;
2923        }
2924    }
2925
2926    ngx_http_upstream_process_request(r);
2927}
2928
2929
2930static void
2931ngx_http_upstream_process_upstream(ngx_http_request_t *r,
2932    ngx_http_upstream_t *u)
2933{
2934    ngx_connection_t  *c;
2935
2936    c = u->peer.connection;
2937
2938    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, c->log, 0,
2939                   "http upstream process upstream");
2940
2941    c->log->action = "reading upstream";
2942
2943    if (c->read->timedout) {
2944        u->pipe->upstream_error = 1;
2945        ngx_connection_error(c, NGX_ETIMEDOUT, "upstream timed out");
2946
2947    } else {
2948        if (ngx_event_pipe(u->pipe, 0) == NGX_ABORT) {
2949            ngx_http_upstream_finalize_request(r, u, 0);
2950            return;
2951        }
2952    }
2953
2954    ngx_http_upstream_process_request(r);
2955}
2956
2957
2958static void
2959ngx_http_upstream_process_request(ngx_http_request_t *r)
2960{
2961    ngx_temp_file_t      *tf;
2962    ngx_event_pipe_t     *p;
2963    ngx_http_upstream_t  *u;
2964
2965    u = r->upstream;
2966    p = u->pipe;
2967
2968    if (u->peer.connection) {
2969
2970        if (u->store) {
2971
2972            if (p->upstream_eof || p->upstream_done) {
2973
2974                tf = u->pipe->temp_file;
2975
2976                if (u->headers_in.status_n == NGX_HTTP_OK
2977                    && (u->headers_in.content_length_n == -1
2978                        || (u->headers_in.content_length_n == tf->offset)))
2979                {
2980                    ngx_http_upstream_store(r, u);
2981                    u->store = 0;
2982                }
2983            }
2984        }
2985
2986#if (NGX_HTTP_CACHE)
2987
2988        if (u->cacheable) {
2989
2990            if (p->upstream_done) {
2991                ngx_http_file_cache_update(r, u->pipe->temp_file);
2992
2993            } else if (p->upstream_eof) {
2994
2995                tf = u->pipe->temp_file;
2996
2997                if (u->headers_in.content_length_n == -1
2998                    || u->headers_in.content_length_n
2999                       == tf->offset - (off_t) r->cache->body_start)
3000                {
3001                    ngx_http_file_cache_update(r, tf);
3002
3003                } else {
3004                    ngx_http_file_cache_free(r->cache, tf);
3005                }
3006
3007            } else if (p->upstream_error) {
3008                ngx_http_file_cache_free(r->cache, u->pipe->temp_file);
3009            }
3010        }
3011
3012#endif
3013
3014        if (p->upstream_done || p->upstream_eof || p->upstream_error) {
3015            ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3016                           "http upstream exit: %p", p->out);
3017#if 0
3018            ngx_http_busy_unlock(u->conf->busy_lock, &u->busy_lock);
3019#endif
3020            ngx_http_upstream_finalize_request(r, u, 0);
3021            return;
3022        }
3023    }
3024
3025    if (p->downstream_error) {
3026        ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3027                       "http upstream downstream error");
3028
3029        if (!u->cacheable && !u->store && u->peer.connection) {
3030            ngx_http_upstream_finalize_request(r, u, 0);
3031        }
3032    }
3033}
3034
3035
3036static void
3037ngx_http_upstream_store(ngx_http_request_t *r, ngx_http_upstream_t *u)
3038{
3039    size_t                  root;
3040    time_t                  lm;
3041    ngx_str_t               path;
3042    ngx_temp_file_t        *tf;
3043    ngx_ext_rename_file_t   ext;
3044
3045    tf = u->pipe->temp_file;
3046
3047    if (tf->file.fd == NGX_INVALID_FILE) {
3048
3049        /* create file for empty 200 response */
3050
3051        tf = ngx_pcalloc(r->pool, sizeof(ngx_temp_file_t));
3052        if (tf == NULL) {
3053            return;
3054        }
3055
3056        tf->file.fd = NGX_INVALID_FILE;
3057        tf->file.log = r->connection->log;
3058        tf->path = u->conf->temp_path;
3059        tf->pool = r->pool;
3060        tf->persistent = 1;
3061
3062        if (ngx_create_temp_file(&tf->file, tf->path, tf->pool,
3063                                 tf->persistent, tf->clean, tf->access)
3064            != NGX_OK)
3065        {
3066            return;
3067        }
3068
3069        u->pipe->temp_file = tf;
3070    }
3071
3072    ext.access = u->conf->store_access;
3073    ext.path_access = u->conf->store_access;
3074    ext.time = -1;
3075    ext.create_path = 1;
3076    ext.delete_file = 1;
3077    ext.log = r->connection->log;
3078
3079    if (u->headers_in.last_modified) {
3080
3081        lm = ngx_http_parse_time(u->headers_in.last_modified->value.data,
3082                                 u->headers_in.last_modified->value.len);
3083
3084        if (lm != NGX_ERROR) {
3085            ext.time = lm;
3086            ext.fd = tf->file.fd;
3087        }
3088    }
3089
3090    if (u->conf->store_lengths == NULL) {
3091
3092        ngx_http_map_uri_to_path(r, &path, &root, 0);
3093
3094    } else {
3095        if (ngx_http_script_run(r, &path, u->conf->store_lengths->elts, 0,
3096                                u->conf->store_values->elts)
3097            == NULL)
3098        {
3099            return;
3100        }
3101    }
3102
3103    path.len--;
3104
3105    ngx_log_debug2(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3106                   "upstream stores \"%s\" to \"%s\"",
3107                   tf->file.name.data, path.data);
3108
3109    (void) ngx_ext_rename_file(&tf->file.name, &path, &ext);
3110}
3111
3112
3113static void
3114ngx_http_upstream_dummy_handler(ngx_http_request_t *r, ngx_http_upstream_t *u)
3115{
3116    ngx_log_debug0(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3117                   "http upstream dummy handler");
3118}
3119
3120
3121static void
3122ngx_http_upstream_next(ngx_http_request_t *r, ngx_http_upstream_t *u,
3123    ngx_uint_t ft_type)
3124{
3125    ngx_uint_t  status, state;
3126
3127    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3128                   "http next upstream, %xi", ft_type);
3129
3130#if 0
3131    ngx_http_busy_unlock(u->conf->busy_lock, &u->busy_lock);
3132#endif
3133
3134    if (ft_type == NGX_HTTP_UPSTREAM_FT_HTTP_404) {
3135        state = NGX_PEER_NEXT;
3136    } else {
3137        state = NGX_PEER_FAILED;
3138    }
3139
3140    if (ft_type != NGX_HTTP_UPSTREAM_FT_NOLIVE) {
3141        u->peer.free(&u->peer, u->peer.data, state);
3142    }
3143
3144    if (ft_type == NGX_HTTP_UPSTREAM_FT_TIMEOUT) {
3145        ngx_log_error(NGX_LOG_ERR, r->connection->log, NGX_ETIMEDOUT,
3146                      "upstream timed out");
3147    }
3148
3149    if (u->peer.cached && ft_type == NGX_HTTP_UPSTREAM_FT_ERROR) {
3150        status = 0;
3151
3152        /* TODO: inform balancer instead */
3153
3154        u->peer.tries++;
3155
3156    } else {
3157        switch(ft_type) {
3158
3159        case NGX_HTTP_UPSTREAM_FT_TIMEOUT:
3160            status = NGX_HTTP_GATEWAY_TIME_OUT;
3161            break;
3162
3163        case NGX_HTTP_UPSTREAM_FT_HTTP_500:
3164            status = NGX_HTTP_INTERNAL_SERVER_ERROR;
3165            break;
3166
3167        case NGX_HTTP_UPSTREAM_FT_HTTP_404:
3168            status = NGX_HTTP_NOT_FOUND;
3169            break;
3170
3171        /*
3172         * NGX_HTTP_UPSTREAM_FT_BUSY_LOCK and NGX_HTTP_UPSTREAM_FT_MAX_WAITING
3173         * never reach here
3174         */
3175
3176        default:
3177            status = NGX_HTTP_BAD_GATEWAY;
3178        }
3179    }
3180
3181    if (r->connection->error) {
3182        ngx_http_upstream_finalize_request(r, u,
3183                                           NGX_HTTP_CLIENT_CLOSED_REQUEST);
3184        return;
3185    }
3186
3187    if (status) {
3188        u->state->status = status;
3189
3190        if (u->peer.tries == 0 || !(u->conf->next_upstream & ft_type)) {
3191
3192#if (NGX_HTTP_CACHE)
3193
3194            if (u->cache_status == NGX_HTTP_CACHE_EXPIRED
3195                && (u->conf->cache_use_stale & ft_type))
3196            {
3197                ngx_int_t  rc;
3198
3199                rc = u->reinit_request(r);
3200
3201                if (rc == NGX_OK) {
3202                    u->cache_status = NGX_HTTP_CACHE_STALE;
3203                    rc = ngx_http_upstream_cache_send(r, u);
3204                }
3205
3206                ngx_http_upstream_finalize_request(r, u, rc);
3207                return;
3208            }
3209#endif
3210
3211            ngx_http_upstream_finalize_request(r, u, status);
3212            return;
3213        }
3214    }
3215
3216    if (u->peer.connection) {
3217        ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3218                       "close http upstream connection: %d",
3219                       u->peer.connection->fd);
3220#if (NGX_HTTP_SSL)
3221
3222        if (u->peer.connection->ssl) {
3223            u->peer.connection->ssl->no_wait_shutdown = 1;
3224            u->peer.connection->ssl->no_send_shutdown = 1;
3225
3226            (void) ngx_ssl_shutdown(u->peer.connection);
3227        }
3228#endif
3229
3230        if (u->peer.connection->pool) {
3231            ngx_destroy_pool(u->peer.connection->pool);
3232        }
3233
3234        ngx_close_connection(u->peer.connection);
3235        u->peer.connection = NULL;
3236    }
3237
3238#if 0
3239    if (u->conf->busy_lock && !u->busy_locked) {
3240        ngx_http_upstream_busy_lock(p);
3241        return;
3242    }
3243#endif
3244
3245    ngx_http_upstream_connect(r, u);
3246}
3247
3248
3249static void
3250ngx_http_upstream_cleanup(void *data)
3251{
3252    ngx_http_request_t *r = data;
3253
3254    ngx_http_upstream_t  *u;
3255
3256    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3257                   "cleanup http upstream request: \"%V\"", &r->uri);
3258
3259    u = r->upstream;
3260
3261    if (u->resolved && u->resolved->ctx) {
3262        ngx_resolve_name_done(u->resolved->ctx);
3263        u->resolved->ctx = NULL;
3264    }
3265
3266    ngx_http_upstream_finalize_request(r, u, NGX_DONE);
3267}
3268
3269
3270static void
3271ngx_http_upstream_finalize_request(ngx_http_request_t *r,
3272    ngx_http_upstream_t *u, ngx_int_t rc)
3273{
3274    ngx_time_t  *tp;
3275
3276    ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3277                   "finalize http upstream request: %i", rc);
3278
3279    if (u->cleanup) {
3280        *u->cleanup = NULL;
3281        u->cleanup = NULL;
3282    }
3283
3284    if (u->resolved && u->resolved->ctx) {
3285        ngx_resolve_name_done(u->resolved->ctx);
3286        u->resolved->ctx = NULL;
3287    }
3288
3289    if (u->state && u->state->response_sec) {
3290        tp = ngx_timeofday();
3291        u->state->response_sec = tp->sec - u->state->response_sec;
3292        u->state->response_msec = tp->msec - u->state->response_msec;
3293
3294        if (u->pipe) {
3295            u->state->response_length = u->pipe->read_length;
3296        }
3297    }
3298
3299    u->finalize_request(r, rc);
3300
3301    if (u->peer.free) {
3302        u->peer.free(&u->peer, u->peer.data, 0);
3303    }
3304
3305    if (u->peer.connection) {
3306
3307#if (NGX_HTTP_SSL)
3308
3309        /* TODO: do not shutdown persistent connection */
3310
3311        if (u->peer.connection->ssl) {
3312
3313            /*
3314             * We send the "close notify" shutdown alert to the upstream only
3315             * and do not wait its "close notify" shutdown alert.
3316             * It is acceptable according to the TLS standard.
3317             */
3318
3319            u->peer.connection->ssl->no_wait_shutdown = 1;
3320
3321            (void) ngx_ssl_shutdown(u->peer.connection);
3322        }
3323#endif
3324
3325        ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3326                       "close http upstream connection: %d",
3327                       u->peer.connection->fd);
3328
3329        if (u->peer.connection->pool) {
3330            ngx_destroy_pool(u->peer.connection->pool);
3331        }
3332
3333        ngx_close_connection(u->peer.connection);
3334    }
3335
3336    u->peer.connection = NULL;
3337
3338    if (u->pipe && u->pipe->temp_file) {
3339        ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3340                       "http upstream temp fd: %d",
3341                       u->pipe->temp_file->file.fd);
3342    }
3343
3344    if (u->store && u->pipe && u->pipe->temp_file
3345        && u->pipe->temp_file->file.fd != NGX_INVALID_FILE)
3346    {
3347        if (ngx_delete_file(u->pipe->temp_file->file.name.data)
3348            == NGX_FILE_ERROR)
3349        {
3350            ngx_log_error(NGX_LOG_CRIT, r->connection->log, ngx_errno,
3351                          ngx_delete_file_n " \"%s\" failed",
3352                          u->pipe->temp_file->file.name.data);
3353        }
3354    }
3355
3356#if (NGX_HTTP_CACHE)
3357
3358    if (r->cache) {
3359
3360        if (u->cacheable) {
3361
3362            if (rc == NGX_HTTP_BAD_GATEWAY || rc == NGX_HTTP_GATEWAY_TIME_OUT) {
3363                time_t  valid;
3364
3365                valid = ngx_http_file_cache_valid(u->conf->cache_valid, rc);
3366
3367                if (valid) {
3368                    r->cache->valid_sec = ngx_time() + valid;
3369                    r->cache->error = rc;
3370                }
3371            }
3372        }
3373
3374        ngx_http_file_cache_free(r->cache, u->pipe->temp_file);
3375    }
3376
3377#endif
3378
3379    if (u->header_sent
3380        && rc != NGX_HTTP_REQUEST_TIME_OUT
3381        && (rc == NGX_ERROR || rc >= NGX_HTTP_SPECIAL_RESPONSE))
3382    {
3383        rc = 0;
3384    }
3385
3386    if (rc == NGX_DECLINED) {
3387        return;
3388    }
3389
3390    r->connection->log->action = "sending to client";
3391
3392    if (rc == 0
3393        && !r->header_only
3394#if (NGX_HTTP_CACHE)
3395        && !r->cached
3396#endif
3397       )
3398    {
3399        rc = ngx_http_send_special(r, NGX_HTTP_LAST);
3400    }
3401
3402    ngx_http_finalize_request(r, rc);
3403}
3404
3405
3406static ngx_int_t
3407ngx_http_upstream_process_header_line(ngx_http_request_t *r, ngx_table_elt_t *h,
3408    ngx_uint_t offset)
3409{
3410    ngx_table_elt_t  **ph;
3411
3412    ph = (ngx_table_elt_t **) ((char *) &r->upstream->headers_in + offset);
3413
3414    if (*ph == NULL) {
3415        *ph = h;
3416    }
3417
3418    return NGX_OK;
3419}
3420
3421
3422static ngx_int_t
3423ngx_http_upstream_ignore_header_line(ngx_http_request_t *r, ngx_table_elt_t *h,
3424    ngx_uint_t offset)
3425{
3426    return NGX_OK;
3427}
3428
3429
3430static ngx_int_t
3431ngx_http_upstream_process_content_length(ngx_http_request_t *r,
3432    ngx_table_elt_t *h, ngx_uint_t offset)
3433{
3434    ngx_http_upstream_t  *u;
3435
3436    u = r->upstream;
3437
3438    u->headers_in.content_length = h;
3439    u->headers_in.content_length_n = ngx_atoof(h->value.data, h->value.len);
3440
3441    return NGX_OK;
3442}
3443
3444
3445static ngx_int_t
3446ngx_http_upstream_process_set_cookie(ngx_http_request_t *r, ngx_table_elt_t *h,
3447    ngx_uint_t offset)
3448{
3449#if (NGX_HTTP_CACHE)
3450    ngx_http_upstream_t  *u;
3451
3452    u = r->upstream;
3453
3454    if (!(u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_SET_COOKIE)) {
3455        u->cacheable = 0;
3456    }
3457#endif
3458
3459    return NGX_OK;
3460}
3461
3462
3463static ngx_int_t
3464ngx_http_upstream_process_cache_control(ngx_http_request_t *r,
3465    ngx_table_elt_t *h, ngx_uint_t offset)
3466{
3467    ngx_array_t          *pa;
3468    ngx_table_elt_t     **ph;
3469    ngx_http_upstream_t  *u;
3470
3471    u = r->upstream;
3472    pa = &u->headers_in.cache_control;
3473
3474    if (pa->elts == NULL) {
3475       if (ngx_array_init(pa, r->pool, 2, sizeof(ngx_table_elt_t *)) != NGX_OK)
3476       {
3477           return NGX_ERROR;
3478       }
3479    }
3480
3481    ph = ngx_array_push(pa);
3482    if (ph == NULL) {
3483        return NGX_ERROR;
3484    }
3485
3486    *ph = h;
3487
3488#if (NGX_HTTP_CACHE)
3489    {
3490    u_char     *p, *last;
3491    ngx_int_t   n;
3492
3493    if (u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_CACHE_CONTROL) {
3494        return NGX_OK;
3495    }
3496
3497    if (r->cache == NULL) {
3498        return NGX_OK;
3499    }
3500
3501    if (r->cache->valid_sec != 0) {
3502        return NGX_OK;
3503    }
3504
3505    p = h->value.data;
3506    last = p + h->value.len;
3507
3508    if (ngx_strlcasestrn(p, last, (u_char *) "no-cache", 8 - 1) != NULL
3509        || ngx_strlcasestrn(p, last, (u_char *) "no-store", 8 - 1) != NULL
3510        || ngx_strlcasestrn(p, last, (u_char *) "private", 7 - 1) != NULL)
3511    {
3512        u->cacheable = 0;
3513        return NGX_OK;
3514    }
3515
3516    p = ngx_strlcasestrn(p, last, (u_char *) "max-age=", 8 - 1);
3517
3518    if (p == NULL) {
3519        return NGX_OK;
3520    }
3521
3522    n = 0;
3523
3524    for (p += 8; p < last; p++) {
3525        if (*p == ',' || *p == ';' || *p == ' ') {
3526            break;
3527        }
3528
3529        if (*p >= '0' && *p <= '9') {
3530            n = n * 10 + *p - '0';
3531            continue;
3532        }
3533
3534        u->cacheable = 0;
3535        return NGX_OK;
3536    }
3537
3538    if (n == 0) {
3539        u->cacheable = 0;
3540        return NGX_OK;
3541    }
3542
3543    r->cache->valid_sec = ngx_time() + n;
3544    }
3545#endif
3546
3547    return NGX_OK;
3548}
3549
3550
3551static ngx_int_t
3552ngx_http_upstream_process_expires(ngx_http_request_t *r, ngx_table_elt_t *h,
3553    ngx_uint_t offset)
3554{
3555    ngx_http_upstream_t  *u;
3556
3557    u = r->upstream;
3558    u->headers_in.expires = h;
3559
3560#if (NGX_HTTP_CACHE)
3561    {
3562    time_t  expires;
3563
3564    if (u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_EXPIRES) {
3565        return NGX_OK;
3566    }
3567
3568    if (r->cache == NULL) {
3569        return NGX_OK;
3570    }
3571
3572    if (r->cache->valid_sec != 0) {
3573        return NGX_OK;
3574    }
3575
3576    expires = ngx_http_parse_time(h->value.data, h->value.len);
3577
3578    if (expires == NGX_ERROR || expires < ngx_time()) {
3579        u->cacheable = 0;
3580        return NGX_OK;
3581    }
3582
3583    r->cache->valid_sec = expires;
3584    }
3585#endif
3586
3587    return NGX_OK;
3588}
3589
3590
3591static ngx_int_t
3592ngx_http_upstream_process_accel_expires(ngx_http_request_t *r,
3593    ngx_table_elt_t *h, ngx_uint_t offset)
3594{
3595    ngx_http_upstream_t  *u;
3596
3597    u = r->upstream;
3598    u->headers_in.x_accel_expires = h;
3599
3600#if (NGX_HTTP_CACHE)
3601    {
3602    u_char     *p;
3603    size_t      len;
3604    ngx_int_t   n;
3605
3606    if (u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_XA_EXPIRES) {
3607        return NGX_OK;
3608    }
3609
3610    if (r->cache == NULL) {
3611        return NGX_OK;
3612    }
3613
3614    len = h->value.len;
3615    p = h->value.data;
3616
3617    if (p[0] != '@') {
3618        n = ngx_atoi(p, len);
3619
3620        switch (n) {
3621        case 0:
3622            u->cacheable = 0;
3623            /* fall through */
3624
3625        case NGX_ERROR:
3626            return NGX_OK;
3627
3628        default:
3629            r->cache->valid_sec = ngx_time() + n;
3630            return NGX_OK;
3631        }
3632    }
3633
3634    p++;
3635    len--;
3636
3637    n = ngx_atoi(p, len);
3638
3639    if (n != NGX_ERROR) {
3640        r->cache->valid_sec = n;
3641    }
3642    }
3643#endif
3644
3645    return NGX_OK;
3646}
3647
3648
3649static ngx_int_t
3650ngx_http_upstream_process_limit_rate(ngx_http_request_t *r, ngx_table_elt_t *h,
3651    ngx_uint_t offset)
3652{
3653    ngx_int_t             n;
3654    ngx_http_upstream_t  *u;
3655
3656    u = r->upstream;
3657    u->headers_in.x_accel_limit_rate = h;
3658
3659    if (u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_XA_LIMIT_RATE) {
3660        return NGX_OK;
3661    }
3662
3663    n = ngx_atoi(h->value.data, h->value.len);
3664
3665    if (n != NGX_ERROR) {
3666        r->limit_rate = (size_t) n;
3667    }
3668
3669    return NGX_OK;
3670}
3671
3672
3673static ngx_int_t
3674ngx_http_upstream_process_buffering(ngx_http_request_t *r, ngx_table_elt_t *h,
3675    ngx_uint_t offset)
3676{
3677    u_char                c0, c1, c2;
3678    ngx_http_upstream_t  *u;
3679
3680    u = r->upstream;
3681
3682    if (u->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_XA_BUFFERING) {
3683        return NGX_OK;
3684    }
3685
3686    if (u->conf->change_buffering) {
3687
3688        if (h->value.len == 2) {
3689            c0 = ngx_tolower(h->value.data[0]);
3690            c1 = ngx_tolower(h->value.data[1]);
3691
3692            if (c0 == 'n' && c1 == 'o') {
3693                u->buffering = 0;
3694            }
3695
3696        } else if (h->value.len == 3) {
3697            c0 = ngx_tolower(h->value.data[0]);
3698            c1 = ngx_tolower(h->value.data[1]);
3699            c2 = ngx_tolower(h->value.data[2]);
3700
3701            if (c0 == 'y' && c1 == 'e' && c2 == 's') {
3702                u->buffering = 1;
3703            }
3704        }
3705    }
3706
3707    return NGX_OK;
3708}
3709
3710
3711static ngx_int_t
3712ngx_http_upstream_process_charset(ngx_http_request_t *r, ngx_table_elt_t *h,
3713    ngx_uint_t offset)
3714{
3715    if (r->upstream->conf->ignore_headers & NGX_HTTP_UPSTREAM_IGN_XA_CHARSET) {
3716        return NGX_OK;
3717    }
3718
3719    r->headers_out.override_charset = &h->value;
3720
3721    return NGX_OK;
3722}
3723
3724
3725static ngx_int_t
3726ngx_http_upstream_process_connection(ngx_http_request_t *r, ngx_table_elt_t *h,
3727    ngx_uint_t offset)
3728{
3729    r->upstream->headers_in.connection = h;
3730
3731    if (ngx_strlcasestrn(h->value.data, h->value.data + h->value.len,
3732                         (u_char *) "close", 5 - 1)
3733        != NULL)
3734    {
3735        r->upstream->headers_in.connection_close = 1;
3736    }
3737
3738    return NGX_OK;
3739}
3740
3741
3742static ngx_int_t
3743ngx_http_upstream_process_transfer_encoding(ngx_http_request_t *r,
3744    ngx_table_elt_t *h, ngx_uint_t offset)
3745{
3746    r->upstream->headers_in.transfer_encoding = h;
3747
3748    if (ngx_strlcasestrn(h->value.data, h->value.data + h->value.len,
3749                         (u_char *) "chunked", 7 - 1)
3750        != NULL)
3751    {
3752        r->upstream->headers_in.chunked = 1;
3753    }
3754
3755    return NGX_OK;
3756}
3757
3758
3759static ngx_int_t
3760ngx_http_upstream_copy_header_line(ngx_http_request_t *r, ngx_table_elt_t *h,
3761    ngx_uint_t offset)
3762{
3763    ngx_table_elt_t  *ho, **ph;
3764
3765    ho = ngx_list_push(&r->headers_out.headers);
3766    if (ho == NULL) {
3767        return NGX_ERROR;
3768    }
3769
3770    *ho = *h;
3771
3772    if (offset) {
3773        ph = (ngx_table_elt_t **) ((char *) &r->headers_out + offset);
3774        *ph = ho;
3775    }
3776
3777    return NGX_OK;
3778}
3779
3780
3781static ngx_int_t
3782ngx_http_upstream_copy_multi_header_lines(ngx_http_request_t *r,
3783    ngx_table_elt_t *h, ngx_uint_t offset)
3784{
3785    ngx_array_t      *pa;
3786    ngx_table_elt_t  *ho, **ph;
3787
3788    pa = (ngx_array_t *) ((char *) &r->headers_out + offset);
3789
3790    if (pa->elts == NULL) {
3791        if (ngx_array_init(pa, r->pool, 2, sizeof(ngx_table_elt_t *)) != NGX_OK)
3792        {
3793            return NGX_ERROR;
3794        }
3795    }
3796
3797    ph = ngx_array_push(pa);
3798    if (ph == NULL) {
3799        return NGX_ERROR;
3800    }
3801
3802    ho = ngx_list_push(&r->headers_out.headers);
3803    if (ho == NULL) {
3804        return NGX_ERROR;
3805    }
3806
3807    *ho = *h;
3808    *ph = ho;
3809
3810    return NGX_OK;
3811}
3812
3813
3814static ngx_int_t
3815ngx_http_upstream_copy_content_type(ngx_http_request_t *r, ngx_table_elt_t *h,
3816    ngx_uint_t offset)
3817{
3818    u_char  *p, *last;
3819
3820    r->headers_out.content_type_len = h->value.len;
3821    r->headers_out.content_type = h->value;
3822    r->headers_out.content_type_lowcase = NULL;
3823
3824    for (p = h->value.data; *p; p++) {
3825
3826        if (*p != ';') {
3827            continue;
3828        }
3829
3830        last = p;
3831
3832        while (*++p == ' ') { /* void */ }
3833
3834        if (*p == '\0') {
3835            return NGX_OK;
3836        }
3837
3838        if (ngx_strncasecmp(p, (u_char *) "charset=", 8) != 0) {
3839            continue;
3840        }
3841
3842        p += 8;
3843
3844        r->headers_out.content_type_len = last - h->value.data;
3845
3846        if (*p == '"') {
3847            p++;
3848        }
3849
3850        last = h->value.data + h->value.len;
3851
3852        if (*(last - 1) == '"') {
3853            last--;
3854        }
3855
3856        r->headers_out.charset.len = last - p;
3857        r->headers_out.charset.data = p;
3858
3859        return NGX_OK;
3860    }
3861
3862    return NGX_OK;
3863}
3864
3865
3866static ngx_int_t
3867ngx_http_upstream_copy_last_modified(ngx_http_request_t *r, ngx_table_elt_t *h,
3868    ngx_uint_t offset)
3869{
3870    ngx_table_elt_t  *ho;
3871
3872    ho = ngx_list_push(&r->headers_out.headers);
3873    if (ho == NULL) {
3874        return NGX_ERROR;
3875    }
3876
3877    *ho = *h;
3878
3879    r->headers_out.last_modified = ho;
3880
3881#if (NGX_HTTP_CACHE)
3882
3883    if (r->upstream->cacheable) {
3884        r->headers_out.last_modified_time = ngx_http_parse_time(h->value.data,
3885                                                                h->value.len);
3886    }
3887
3888#endif
3889
3890    return NGX_OK;
3891}
3892
3893
3894static ngx_int_t
3895ngx_http_upstream_rewrite_location(ngx_http_request_t *r, ngx_table_elt_t *h,
3896    ngx_uint_t offset)
3897{
3898    ngx_int_t         rc;
3899    ngx_table_elt_t  *ho;
3900
3901    ho = ngx_list_push(&r->headers_out.headers);
3902    if (ho == NULL) {
3903        return NGX_ERROR;
3904    }
3905
3906    *ho = *h;
3907
3908    if (r->upstream->rewrite_redirect) {
3909        rc = r->upstream->rewrite_redirect(r, ho, 0);
3910
3911        if (rc == NGX_DECLINED) {
3912            return NGX_OK;
3913        }
3914
3915        if (rc == NGX_OK) {
3916            r->headers_out.location = ho;
3917
3918            ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3919                           "rewritten location: \"%V\"", &ho->value);
3920        }
3921
3922        return rc;
3923    }
3924
3925    if (ho->value.data[0] != '/') {
3926        r->headers_out.location = ho;
3927    }
3928
3929    /*
3930     * we do not set r->headers_out.location here to avoid the handling
3931     * the local redirects without a host name by ngx_http_header_filter()
3932     */
3933
3934    return NGX_OK;
3935}
3936
3937
3938static ngx_int_t
3939ngx_http_upstream_rewrite_refresh(ngx_http_request_t *r, ngx_table_elt_t *h,
3940    ngx_uint_t offset)
3941{
3942    u_char           *p;
3943    ngx_int_t         rc;
3944    ngx_table_elt_t  *ho;
3945
3946    ho = ngx_list_push(&r->headers_out.headers);
3947    if (ho == NULL) {
3948        return NGX_ERROR;
3949    }
3950
3951    *ho = *h;
3952
3953    if (r->upstream->rewrite_redirect) {
3954
3955        p = ngx_strcasestrn(ho->value.data, "url=", 4 - 1);
3956
3957        if (p) {
3958            rc = r->upstream->rewrite_redirect(r, ho, p + 4 - ho->value.data);
3959
3960        } else {
3961            return NGX_OK;
3962        }
3963
3964        if (rc == NGX_DECLINED) {
3965            return NGX_OK;
3966        }
3967
3968        if (rc == NGX_OK) {
3969            r->headers_out.refresh = ho;
3970
3971            ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
3972                           "rewritten refresh: \"%V\"", &ho->value);
3973        }
3974
3975        return rc;
3976    }
3977
3978    r->headers_out.refresh = ho;
3979
3980    return NGX_OK;
3981}
3982
3983
3984static ngx_int_t
3985ngx_http_upstream_rewrite_set_cookie(ngx_http_request_t *r, ngx_table_elt_t *h,
3986    ngx_uint_t offset)
3987{
3988    ngx_int_t         rc;
3989    ngx_table_elt_t  *ho;
3990
3991    ho = ngx_list_push(&r->headers_out.headers);
3992    if (ho == NULL) {
3993        return NGX_ERROR;
3994    }
3995
3996    *ho = *h;
3997
3998    if (r->upstream->rewrite_cookie) {
3999        rc = r->upstream->rewrite_cookie(r, ho);
4000
4001        if (rc == NGX_DECLINED) {
4002            return NGX_OK;
4003        }
4004
4005#if (NGX_DEBUG)
4006        if (rc == NGX_OK) {
4007            ngx_log_debug1(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
4008                           "rewritten cookie: \"%V\"", &ho->value);
4009        }
4010#endif
4011
4012        return rc;
4013    }
4014
4015    return NGX_OK;
4016}
4017
4018
4019static ngx_int_t
4020ngx_http_upstream_copy_allow_ranges(ngx_http_request_t *r,
4021    ngx_table_elt_t *h, ngx_uint_t offset)
4022{
4023    ngx_table_elt_t  *ho;
4024
4025#if (NGX_HTTP_CACHE)
4026
4027    if (r->cached) {
4028        r->allow_ranges = 1;
4029        return NGX_OK;
4030
4031    }
4032
4033#endif
4034
4035    ho = ngx_list_push(&r->headers_out.headers);
4036    if (ho == NULL) {
4037        return NGX_ERROR;
4038    }
4039
4040    *ho = *h;
4041
4042    r->headers_out.accept_ranges = ho;
4043
4044    return NGX_OK;
4045}
4046
4047
4048#if (NGX_HTTP_GZIP)
4049
4050static ngx_int_t
4051ngx_http_upstream_copy_content_encoding(ngx_http_request_t *r,
4052    ngx_table_elt_t *h, ngx_uint_t offset)
4053{
4054    ngx_table_elt_t  *ho;
4055
4056    ho = ngx_list_push(&r->headers_out.headers);
4057    if (ho == NULL) {
4058        return NGX_ERROR;
4059    }
4060
4061    *ho = *h;
4062
4063    r->headers_out.content_encoding = ho;
4064
4065    return NGX_OK;
4066}
4067
4068#endif
4069
4070
4071static ngx_int_t
4072ngx_http_upstream_add_variables(ngx_conf_t *cf)
4073{
4074    ngx_http_variable_t  *var, *v;
4075
4076    for (v = ngx_http_upstream_vars; v->name.len; v++) {
4077        var = ngx_http_add_variable(cf, &v->name, v->flags);
4078        if (var == NULL) {
4079            return NGX_ERROR;
4080        }
4081
4082        var->get_handler = v->get_handler;
4083        var->data = v->data;
4084    }
4085
4086    return NGX_OK;
4087}
4088
4089
4090static ngx_int_t
4091ngx_http_upstream_addr_variable(ngx_http_request_t *r,
4092    ngx_http_variable_value_t *v, uintptr_t data)
4093{
4094    u_char                     *p;
4095    size_t                      len;
4096    ngx_uint_t                  i;
4097    ngx_http_upstream_state_t  *state;
4098
4099    v->valid = 1;
4100    v->no_cacheable = 0;
4101    v->not_found = 0;
4102
4103    if (r->upstream_states == NULL || r->upstream_states->nelts == 0) {
4104        v->not_found = 1;
4105        return NGX_OK;
4106    }
4107
4108    len = 0;
4109    state = r->upstream_states->elts;
4110
4111    for (i = 0; i < r->upstream_states->nelts; i++) {
4112        if (state[i].peer) {
4113            len += state[i].peer->len + 2;
4114
4115        } else {
4116            len += 3;
4117        }
4118    }
4119
4120    p = ngx_pnalloc(r->pool, len);
4121    if (p == NULL) {
4122        return NGX_ERROR;
4123    }
4124
4125    v->data = p;
4126
4127    i = 0;
4128
4129    for ( ;; ) {
4130        if (state[i].peer) {
4131            p = ngx_cpymem(p, state[i].peer->data, state[i].peer->len);
4132        }
4133
4134        if (++i == r->upstream_states->nelts) {
4135            break;
4136        }
4137
4138        if (state[i].peer) {
4139            *p++ = ',';
4140            *p++ = ' ';
4141
4142        } else {
4143            *p++ = ' ';
4144            *p++ = ':';
4145            *p++ = ' ';
4146
4147            if (++i == r->upstream_states->nelts) {
4148                break;
4149            }
4150
4151            continue;
4152        }
4153    }
4154
4155    v->len = p - v->data;
4156
4157    return NGX_OK;
4158}
4159
4160
4161static ngx_int_t
4162ngx_http_upstream_status_variable(ngx_http_request_t *r,
4163    ngx_http_variable_value_t *v, uintptr_t data)
4164{
4165    u_char                     *p;
4166    size_t                      len;
4167    ngx_uint_t                  i;
4168    ngx_http_upstream_state_t  *state;
4169
4170    v->valid = 1;
4171    v->no_cacheable = 0;
4172    v->not_found = 0;
4173
4174    if (r->upstream_states == NULL || r->upstream_states->nelts == 0) {
4175        v->not_found = 1;
4176        return NGX_OK;
4177    }
4178
4179    len = r->upstream_states->nelts * (3 + 2);
4180
4181    p = ngx_pnalloc(r->pool, len);
4182    if (p == NULL) {
4183        return NGX_ERROR;
4184    }
4185
4186    v->data = p;
4187
4188    i = 0;
4189    state = r->upstream_states->elts;
4190
4191    for ( ;; ) {
4192        if (state[i].status) {
4193            p = ngx_sprintf(p, "%ui", state[i].status);
4194
4195        } else {
4196            *p++ = '-';
4197        }
4198
4199        if (++i == r->upstream_states->nelts) {
4200            break;
4201        }
4202
4203        if (state[i].peer) {
4204            *p++ = ',';
4205            *p++ = ' ';
4206
4207        } else {
4208            *p++ = ' ';
4209            *p++ = ':';
4210            *p++ = ' ';
4211
4212            if (++i == r->upstream_states->nelts) {
4213                break;
4214            }
4215
4216            continue;
4217        }
4218    }
4219
4220    v->len = p - v->data;
4221
4222    return NGX_OK;
4223}
4224
4225
4226static ngx_int_t
4227ngx_http_upstream_response_time_variable(ngx_http_request_t *r,
4228    ngx_http_variable_value_t *v, uintptr_t data)
4229{
4230    u_char                     *p;
4231    size_t                      len;
4232    ngx_uint_t                  i;
4233    ngx_msec_int_t              ms;
4234    ngx_http_upstream_state_t  *state;
4235
4236    v->valid = 1;
4237    v->no_cacheable = 0;
4238    v->not_found = 0;
4239
4240    if (r->upstream_states == NULL || r->upstream_states->nelts == 0) {
4241        v->not_found = 1;
4242        return NGX_OK;
4243    }
4244
4245    len = r->upstream_states->nelts * (NGX_TIME_T_LEN + 4 + 2);
4246
4247    p = ngx_pnalloc(r->pool, len);
4248    if (p == NULL) {
4249        return NGX_ERROR;
4250    }
4251
4252    v->data = p;
4253
4254    i = 0;
4255    state = r->upstream_states->elts;
4256
4257    for ( ;; ) {
4258        if (state[i].status) {
4259            ms = (ngx_msec_int_t)
4260                     (state[i].response_sec * 1000 + state[i].response_msec);
4261            ms = ngx_max(ms, 0);
4262            p = ngx_sprintf(p, "%d.%03d", ms / 1000, ms % 1000);
4263
4264        } else {
4265            *p++ = '-';
4266        }
4267
4268        if (++i == r->upstream_states->nelts) {
4269            break;
4270        }
4271
4272        if (state[i].peer) {
4273            *p++ = ',';
4274            *p++ = ' ';
4275
4276        } else {
4277            *p++ = ' ';
4278            *p++ = ':';
4279            *p++ = ' ';
4280
4281            if (++i == r->upstream_states->nelts) {
4282                break;
4283            }
4284
4285            continue;
4286        }
4287    }
4288
4289    v->len = p - v->data;
4290
4291    return NGX_OK;
4292}
4293
4294
4295static ngx_int_t
4296ngx_http_upstream_response_length_variable(ngx_http_request_t *r,
4297    ngx_http_variable_value_t *v, uintptr_t data)
4298{
4299    u_char                     *p;
4300    size_t                      len;
4301    ngx_uint_t                  i;
4302    ngx_http_upstream_state_t  *state;
4303
4304    v->valid = 1;
4305    v->no_cacheable = 0;
4306    v->not_found = 0;
4307
4308    if (r->upstream_states == NULL || r->upstream_states->nelts == 0) {
4309        v->not_found = 1;
4310        return NGX_OK;
4311    }
4312
4313    len = r->upstream_states->nelts * (NGX_OFF_T_LEN + 2);
4314
4315    p = ngx_pnalloc(r->pool, len);
4316    if (p == NULL) {
4317        return NGX_ERROR;
4318    }
4319
4320    v->data = p;
4321
4322    i = 0;
4323    state = r->upstream_states->elts;
4324
4325    for ( ;; ) {
4326        p = ngx_sprintf(p, "%O", state[i].response_length);
4327
4328        if (++i == r->upstream_states->nelts) {
4329            break;
4330        }
4331
4332        if (state[i].peer) {
4333            *p++ = ',';
4334            *p++ = ' ';
4335
4336        } else {
4337            *p++ = ' ';
4338            *p++ = ':';
4339            *p++ = ' ';
4340
4341            if (++i == r->upstream_states->nelts) {
4342                break;
4343            }
4344
4345            continue;
4346        }
4347    }
4348
4349    v->len = p - v->data;
4350
4351    return NGX_OK;
4352}
4353
4354
4355ngx_int_t
4356ngx_http_upstream_header_variable(ngx_http_request_t *r,
4357    ngx_http_variable_value_t *v, uintptr_t data)
4358{
4359    if (r->upstream == NULL) {
4360        v->not_found = 1;
4361        return NGX_OK;
4362    }
4363
4364    return ngx_http_variable_unknown_header(v, (ngx_str_t *) data,
4365                                         &r->upstream->headers_in.headers.part,
4366                                         sizeof("upstream_http_") - 1);
4367}
4368
4369
4370#if (NGX_HTTP_CACHE)
4371
4372ngx_int_t
4373ngx_http_upstream_cache_status(ngx_http_request_t *r,
4374    ngx_http_variable_value_t *v, uintptr_t data)
4375{
4376    ngx_uint_t  n;
4377
4378    if (r->upstream == NULL || r->upstream->cache_status == 0) {
4379        v->not_found = 1;
4380        return NGX_OK;
4381    }
4382
4383    n = r->upstream->cache_status - 1;
4384
4385    v->valid = 1;
4386    v->no_cacheable = 0;
4387    v->not_found = 0;
4388    v->len = ngx_http_cache_status[n].len;
4389    v->data = ngx_http_cache_status[n].data;
4390
4391    return NGX_OK;
4392}
4393
4394#endif
4395
4396
4397static char *
4398ngx_http_upstream(ngx_conf_t *cf, ngx_command_t *cmd, void *dummy)
4399{
4400    char                          *rv;
4401    void                          *mconf;
4402    ngx_str_t                     *value;
4403    ngx_url_t                      u;
4404    ngx_uint_t                     m;
4405    ngx_conf_t                     pcf;
4406    ngx_http_module_t             *module;
4407    ngx_http_conf_ctx_t           *ctx, *http_ctx;
4408    ngx_http_upstream_srv_conf_t  *uscf;
4409
4410    ngx_memzero(&u, sizeof(ngx_url_t));
4411
4412    value = cf->args->elts;
4413    u.host = value[1];
4414    u.no_resolve = 1;
4415    u.no_port = 1;
4416
4417    uscf = ngx_http_upstream_add(cf, &u, NGX_HTTP_UPSTREAM_CREATE
4418                                         |NGX_HTTP_UPSTREAM_WEIGHT
4419                                         |NGX_HTTP_UPSTREAM_MAX_FAILS
4420                                         |NGX_HTTP_UPSTREAM_FAIL_TIMEOUT
4421                                         |NGX_HTTP_UPSTREAM_DOWN
4422                                         |NGX_HTTP_UPSTREAM_BACKUP);
4423    if (uscf == NULL) {
4424        return NGX_CONF_ERROR;
4425    }
4426
4427
4428    ctx = ngx_pcalloc(cf->pool, sizeof(ngx_http_conf_ctx_t));
4429    if (ctx == NULL) {
4430        return NGX_CONF_ERROR;
4431    }
4432
4433    http_ctx = cf->ctx;
4434    ctx->main_conf = http_ctx->main_conf;
4435
4436    /* the upstream{}'s srv_conf */
4437
4438    ctx->srv_conf = ngx_pcalloc(cf->pool, sizeof(void *) * ngx_http_max_module);
4439    if (ctx->srv_conf == NULL) {
4440        return NGX_CONF_ERROR;
4441    }
4442
4443    ctx->srv_conf[ngx_http_upstream_module.ctx_index] = uscf;
4444
4445    uscf->srv_conf = ctx->srv_conf;
4446
4447
4448    /* the upstream{}'s loc_conf */
4449
4450    ctx->loc_conf = ngx_pcalloc(cf->pool, sizeof(void *) * ngx_http_max_module);
4451    if (ctx->loc_conf == NULL) {
4452        return NGX_CONF_ERROR;
4453    }
4454
4455    for (m = 0; ngx_modules[m]; m++) {
4456        if (ngx_modules[m]->type != NGX_HTTP_MODULE) {
4457            continue;
4458        }
4459
4460        module = ngx_modules[m]->ctx;
4461
4462        if (module->create_srv_conf) {
4463            mconf = module->create_srv_conf(cf);
4464            if (mconf == NULL) {
4465                return NGX_CONF_ERROR;
4466            }
4467
4468            ctx->srv_conf[ngx_modules[m]->ctx_index] = mconf;
4469        }
4470
4471        if (module->create_loc_conf) {
4472            mconf = module->create_loc_conf(cf);
4473            if (mconf == NULL) {
4474                return NGX_CONF_ERROR;
4475            }
4476
4477            ctx->loc_conf[ngx_modules[m]->ctx_index] = mconf;
4478        }
4479    }
4480
4481
4482    /* parse inside upstream{} */
4483
4484    pcf = *cf;
4485    cf->ctx = ctx;
4486    cf->cmd_type = NGX_HTTP_UPS_CONF;
4487
4488    rv = ngx_conf_parse(cf, NULL);
4489
4490    *cf = pcf;
4491
4492    if (rv != NGX_CONF_OK) {
4493        return rv;
4494    }
4495
4496    if (uscf->servers == NULL) {
4497        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4498                           "no servers are inside upstream");
4499        return NGX_CONF_ERROR;
4500    }
4501
4502    return rv;
4503}
4504
4505
4506static char *
4507ngx_http_upstream_server(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
4508{
4509    ngx_http_upstream_srv_conf_t  *uscf = conf;
4510
4511    time_t                       fail_timeout;
4512    ngx_str_t                   *value, s;
4513    ngx_url_t                    u;
4514    ngx_int_t                    weight, max_fails;
4515    ngx_uint_t                   i;
4516    ngx_http_upstream_server_t  *us;
4517
4518    if (uscf->servers == NULL) {
4519        uscf->servers = ngx_array_create(cf->pool, 4,
4520                                         sizeof(ngx_http_upstream_server_t));
4521        if (uscf->servers == NULL) {
4522            return NGX_CONF_ERROR;
4523        }
4524    }
4525
4526    us = ngx_array_push(uscf->servers);
4527    if (us == NULL) {
4528        return NGX_CONF_ERROR;
4529    }
4530
4531    ngx_memzero(us, sizeof(ngx_http_upstream_server_t));
4532
4533    value = cf->args->elts;
4534
4535    ngx_memzero(&u, sizeof(ngx_url_t));
4536
4537    u.url = value[1];
4538    u.default_port = 80;
4539
4540    if (ngx_parse_url(cf->pool, &u) != NGX_OK) {
4541        if (u.err) {
4542            ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4543                               "%s in upstream \"%V\"", u.err, &u.url);
4544        }
4545
4546        return NGX_CONF_ERROR;
4547    }
4548
4549    weight = 1;
4550    max_fails = 1;
4551    fail_timeout = 10;
4552
4553    for (i = 2; i < cf->args->nelts; i++) {
4554
4555        if (ngx_strncmp(value[i].data, "weight=", 7) == 0) {
4556
4557            if (!(uscf->flags & NGX_HTTP_UPSTREAM_WEIGHT)) {
4558                goto invalid;
4559            }
4560
4561            weight = ngx_atoi(&value[i].data[7], value[i].len - 7);
4562
4563            if (weight == NGX_ERROR || weight == 0) {
4564                goto invalid;
4565            }
4566
4567            continue;
4568        }
4569
4570        if (ngx_strncmp(value[i].data, "max_fails=", 10) == 0) {
4571
4572            if (!(uscf->flags & NGX_HTTP_UPSTREAM_MAX_FAILS)) {
4573                goto invalid;
4574            }
4575
4576            max_fails = ngx_atoi(&value[i].data[10], value[i].len - 10);
4577
4578            if (max_fails == NGX_ERROR) {
4579                goto invalid;
4580            }
4581
4582            continue;
4583        }
4584
4585        if (ngx_strncmp(value[i].data, "fail_timeout=", 13) == 0) {
4586
4587            if (!(uscf->flags & NGX_HTTP_UPSTREAM_FAIL_TIMEOUT)) {
4588                goto invalid;
4589            }
4590
4591            s.len = value[i].len - 13;
4592            s.data = &value[i].data[13];
4593
4594            fail_timeout = ngx_parse_time(&s, 1);
4595
4596            if (fail_timeout == (time_t) NGX_ERROR) {
4597                goto invalid;
4598            }
4599
4600            continue;
4601        }
4602
4603        if (ngx_strncmp(value[i].data, "backup", 6) == 0) {
4604
4605            if (!(uscf->flags & NGX_HTTP_UPSTREAM_BACKUP)) {
4606                goto invalid;
4607            }
4608
4609            us->backup = 1;
4610
4611            continue;
4612        }
4613
4614        if (ngx_strncmp(value[i].data, "down", 4) == 0) {
4615
4616            if (!(uscf->flags & NGX_HTTP_UPSTREAM_DOWN)) {
4617                goto invalid;
4618            }
4619
4620            us->down = 1;
4621
4622            continue;
4623        }
4624
4625        goto invalid;
4626    }
4627
4628    us->addrs = u.addrs;
4629    us->naddrs = u.naddrs;
4630    us->weight = weight;
4631    us->max_fails = max_fails;
4632    us->fail_timeout = fail_timeout;
4633
4634    return NGX_CONF_OK;
4635
4636invalid:
4637
4638    ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4639                       "invalid parameter \"%V\"", &value[i]);
4640
4641    return NGX_CONF_ERROR;
4642}
4643
4644
4645ngx_http_upstream_srv_conf_t *
4646ngx_http_upstream_add(ngx_conf_t *cf, ngx_url_t *u, ngx_uint_t flags)
4647{
4648    ngx_uint_t                      i;
4649    ngx_http_upstream_server_t     *us;
4650    ngx_http_upstream_srv_conf_t   *uscf, **uscfp;
4651    ngx_http_upstream_main_conf_t  *umcf;
4652
4653    if (!(flags & NGX_HTTP_UPSTREAM_CREATE)) {
4654
4655        if (ngx_parse_url(cf->pool, u) != NGX_OK) {
4656            if (u->err) {
4657                ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4658                                   "%s in upstream \"%V\"", u->err, &u->url);
4659            }
4660
4661            return NULL;
4662        }
4663    }
4664
4665    umcf = ngx_http_conf_get_module_main_conf(cf, ngx_http_upstream_module);
4666
4667    uscfp = umcf->upstreams.elts;
4668
4669    for (i = 0; i < umcf->upstreams.nelts; i++) {
4670
4671        if (uscfp[i]->host.len != u->host.len
4672            || ngx_strncasecmp(uscfp[i]->host.data, u->host.data, u->host.len)
4673               != 0)
4674        {
4675            continue;
4676        }
4677
4678        if ((flags & NGX_HTTP_UPSTREAM_CREATE)
4679             && (uscfp[i]->flags & NGX_HTTP_UPSTREAM_CREATE))
4680        {
4681            ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4682                               "duplicate upstream \"%V\"", &u->host);
4683            return NULL;
4684        }
4685
4686        if ((uscfp[i]->flags & NGX_HTTP_UPSTREAM_CREATE) && !u->no_port) {
4687            ngx_conf_log_error(NGX_LOG_WARN, cf, 0,
4688                               "upstream \"%V\" may not have port %d",
4689                               &u->host, u->port);
4690            return NULL;
4691        }
4692
4693        if ((flags & NGX_HTTP_UPSTREAM_CREATE) && !uscfp[i]->no_port) {
4694            ngx_log_error(NGX_LOG_WARN, cf->log, 0,
4695                          "upstream \"%V\" may not have port %d in %s:%ui",
4696                          &u->host, uscfp[i]->port,
4697                          uscfp[i]->file_name, uscfp[i]->line);
4698            return NULL;
4699        }
4700
4701        if (uscfp[i]->port && u->port
4702            && uscfp[i]->port != u->port)
4703        {
4704            continue;
4705        }
4706
4707        if (uscfp[i]->default_port && u->default_port
4708            && uscfp[i]->default_port != u->default_port)
4709        {
4710            continue;
4711        }
4712
4713        if (flags & NGX_HTTP_UPSTREAM_CREATE) {
4714            uscfp[i]->flags = flags;
4715        }
4716
4717        return uscfp[i];
4718    }
4719
4720    uscf = ngx_pcalloc(cf->pool, sizeof(ngx_http_upstream_srv_conf_t));
4721    if (uscf == NULL) {
4722        return NULL;
4723    }
4724
4725    uscf->flags = flags;
4726    uscf->host = u->host;
4727    uscf->file_name = cf->conf_file->file.name.data;
4728    uscf->line = cf->conf_file->line;
4729    uscf->port = u->port;
4730    uscf->default_port = u->default_port;
4731    uscf->no_port = u->no_port;
4732
4733    if (u->naddrs == 1) {
4734        uscf->servers = ngx_array_create(cf->pool, 1,
4735                                         sizeof(ngx_http_upstream_server_t));
4736        if (uscf->servers == NULL) {
4737            return NULL;
4738        }
4739
4740        us = ngx_array_push(uscf->servers);
4741        if (us == NULL) {
4742            return NULL;
4743        }
4744
4745        ngx_memzero(us, sizeof(ngx_http_upstream_server_t));
4746
4747        us->addrs = u->addrs;
4748        us->naddrs = 1;
4749    }
4750
4751    uscfp = ngx_array_push(&umcf->upstreams);
4752    if (uscfp == NULL) {
4753        return NULL;
4754    }
4755
4756    *uscfp = uscf;
4757
4758    return uscf;
4759}
4760
4761
4762char *
4763ngx_http_upstream_bind_set_slot(ngx_conf_t *cf, ngx_command_t *cmd,
4764    void *conf)
4765{
4766    char  *p = conf;
4767
4768    ngx_int_t                           rc;
4769    ngx_str_t                          *value;
4770    ngx_http_complex_value_t            cv;
4771    ngx_http_upstream_local_t         **plocal, *local;
4772    ngx_http_compile_complex_value_t    ccv;
4773
4774    plocal = (ngx_http_upstream_local_t **) (p + cmd->offset);
4775
4776    if (*plocal != NGX_CONF_UNSET_PTR) {
4777        return "is duplicate";
4778    }
4779
4780    value = cf->args->elts;
4781
4782    if (ngx_strcmp(value[1].data, "off") == 0) {
4783        *plocal = NULL;
4784        return NGX_CONF_OK;
4785    }
4786
4787    ngx_memzero(&ccv, sizeof(ngx_http_compile_complex_value_t));
4788
4789    ccv.cf = cf;
4790    ccv.value = &value[1];
4791    ccv.complex_value = &cv;
4792
4793    if (ngx_http_compile_complex_value(&ccv) != NGX_OK) {
4794        return NGX_CONF_ERROR;
4795    }
4796
4797    local = ngx_pcalloc(cf->pool, sizeof(ngx_http_upstream_local_t));
4798    if (local == NULL) {
4799        return NGX_CONF_ERROR;
4800    }
4801
4802    *plocal = local;
4803
4804    if (cv.lengths) {
4805        local->value = ngx_palloc(cf->pool, sizeof(ngx_http_complex_value_t));
4806        if (local->value == NULL) {
4807            return NGX_CONF_ERROR;
4808        }
4809
4810        *local->value = cv;
4811
4812        return NGX_CONF_OK;
4813    }
4814
4815    local->addr = ngx_palloc(cf->pool, sizeof(ngx_addr_t));
4816    if (local->addr == NULL) {
4817        return NGX_CONF_ERROR;
4818    }
4819
4820    rc = ngx_parse_addr(cf->pool, local->addr, value[1].data, value[1].len);
4821
4822    switch (rc) {
4823    case NGX_OK:
4824        local->addr->name = value[1];
4825        return NGX_CONF_OK;
4826
4827    case NGX_DECLINED:
4828        ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4829                           "invalid address \"%V\"", &value[1]);
4830        /* fall through */
4831
4832    default:
4833        return NGX_CONF_ERROR;
4834    }
4835}
4836
4837
4838static ngx_addr_t *
4839ngx_http_upstream_get_local(ngx_http_request_t *r,
4840    ngx_http_upstream_local_t *local)
4841{
4842    ngx_int_t    rc;
4843    ngx_str_t    val;
4844    ngx_addr_t  *addr;
4845
4846    if (local == NULL) {
4847        return NULL;
4848    }
4849
4850    if (local->value == NULL) {
4851        return local->addr;
4852    }
4853
4854    if (ngx_http_complex_value(r, local->value, &val) != NGX_OK) {
4855        return NULL;
4856    }
4857
4858    if (val.len == 0) {
4859        return NULL;
4860    }
4861
4862    addr = ngx_palloc(r->pool, sizeof(ngx_addr_t));
4863    if (addr == NULL) {
4864        return NULL;
4865    }
4866
4867    rc = ngx_parse_addr(r->pool, addr, val.data, val.len);
4868
4869    switch (rc) {
4870    case NGX_OK:
4871        addr->name = val;
4872        return addr;
4873
4874    case NGX_DECLINED:
4875        ngx_log_error(NGX_LOG_ERR, r->connection->log, 0,
4876                      "invalid local address \"%V\"", &val);
4877        /* fall through */
4878
4879    default:
4880        return NULL;
4881    }
4882}
4883
4884
4885char *
4886ngx_http_upstream_param_set_slot(ngx_conf_t *cf, ngx_command_t *cmd,
4887    void *conf)
4888{
4889    char  *p = conf;
4890
4891    ngx_str_t                   *value;
4892    ngx_array_t                **a;
4893    ngx_http_upstream_param_t   *param;
4894
4895    a = (ngx_array_t **) (p + cmd->offset);
4896
4897    if (*a == NULL) {
4898        *a = ngx_array_create(cf->pool, 4, sizeof(ngx_http_upstream_param_t));
4899        if (*a == NULL) {
4900            return NGX_CONF_ERROR;
4901        }
4902    }
4903
4904    param = ngx_array_push(*a);
4905    if (param == NULL) {
4906        return NGX_CONF_ERROR;
4907    }
4908
4909    value = cf->args->elts;
4910
4911    param->key = value[1];
4912    param->value = value[2];
4913    param->skip_empty = 0;
4914
4915    if (cf->args->nelts == 4) {
4916        if (ngx_strcmp(value[3].data, "if_not_empty") != 0) {
4917            ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
4918                               "invalid parameter \"%V\"", &value[3]);
4919            return NGX_CONF_ERROR;
4920        }
4921
4922        param->skip_empty = 1;
4923    }
4924
4925    return NGX_CONF_OK;
4926}
4927
4928
4929ngx_int_t
4930ngx_http_upstream_hide_headers_hash(ngx_conf_t *cf,
4931    ngx_http_upstream_conf_t *conf, ngx_http_upstream_conf_t *prev,
4932    ngx_str_t *default_hide_headers, ngx_hash_init_t *hash)
4933{
4934    ngx_str_t       *h;
4935    ngx_uint_t       i, j;
4936    ngx_array_t      hide_headers;
4937    ngx_hash_key_t  *hk;
4938
4939    if (conf->hide_headers == NGX_CONF_UNSET_PTR
4940        && conf->pass_headers == NGX_CONF_UNSET_PTR)
4941    {
4942        conf->hide_headers = prev->hide_headers;
4943        conf->pass_headers = prev->pass_headers;
4944
4945        conf->hide_headers_hash = prev->hide_headers_hash;
4946
4947        if (conf->hide_headers_hash.buckets
4948#if (NGX_HTTP_CACHE)
4949            && ((conf->cache == NULL) == (prev->cache == NULL))
4950#endif
4951           )
4952        {
4953            return NGX_OK;
4954        }
4955
4956    } else {
4957        if (conf->hide_headers == NGX_CONF_UNSET_PTR) {
4958            conf->hide_headers = prev->hide_headers;
4959        }
4960
4961        if (conf->pass_headers == NGX_CONF_UNSET_PTR) {
4962            conf->pass_headers = prev->pass_headers;
4963        }
4964    }
4965
4966    if (ngx_array_init(&hide_headers, cf->temp_pool, 4, sizeof(ngx_hash_key_t))
4967        != NGX_OK)
4968    {
4969        return NGX_ERROR;
4970    }
4971
4972    for (h = default_hide_headers; h->len; h++) {
4973        hk = ngx_array_push(&hide_headers);
4974        if (hk == NULL) {
4975            return NGX_ERROR;
4976        }
4977
4978        hk->key = *h;
4979        hk->key_hash = ngx_hash_key_lc(h->data, h->len);
4980        hk->value = (void *) 1;
4981    }
4982
4983    if (conf->hide_headers != NGX_CONF_UNSET_PTR) {
4984
4985        h = conf->hide_headers->elts;
4986
4987        for (i = 0; i < conf->hide_headers->nelts; i++) {
4988
4989            hk = hide_headers.elts;
4990
4991            for (j = 0; j < hide_headers.nelts; j++) {
4992                if (ngx_strcasecmp(h[i].data, hk[j].key.data) == 0) {
4993                    goto exist;
4994                }
4995            }
4996
4997            hk = ngx_array_push(&hide_headers);
4998            if (hk == NULL) {
4999                return NGX_ERROR;
5000            }
5001
5002            hk->key = h[i];
5003            hk->key_hash = ngx_hash_key_lc(h[i].data, h[i].len);
5004            hk->value = (void *) 1;
5005
5006        exist:
5007
5008            continue;
5009        }
5010    }
5011
5012    if (conf->pass_headers != NGX_CONF_UNSET_PTR) {
5013
5014        h = conf->pass_headers->elts;
5015        hk = hide_headers.elts;
5016
5017        for (i = 0; i < conf->pass_headers->nelts; i++) {
5018            for (j = 0; j < hide_headers.nelts; j++) {
5019
5020                if (hk[j].key.data == NULL) {
5021                    continue;
5022                }
5023
5024                if (ngx_strcasecmp(h[i].data, hk[j].key.data) == 0) {
5025                    hk[j].key.data = NULL;
5026                    break;
5027                }
5028            }
5029        }
5030    }
5031
5032    hash->hash = &conf->hide_headers_hash;
5033    hash->key = ngx_hash_key_lc;
5034    hash->pool = cf->pool;
5035    hash->temp_pool = NULL;
5036
5037    return ngx_hash_init(hash, hide_headers.elts, hide_headers.nelts);
5038}
5039
5040
5041static void *
5042ngx_http_upstream_create_main_conf(ngx_conf_t *cf)
5043{
5044    ngx_http_upstream_main_conf_t  *umcf;
5045
5046    umcf = ngx_pcalloc(cf->pool, sizeof(ngx_http_upstream_main_conf_t));
5047    if (umcf == NULL) {
5048        return NULL;
5049    }
5050
5051    if (ngx_array_init(&umcf->upstreams, cf->pool, 4,
5052                       sizeof(ngx_http_upstream_srv_conf_t *))
5053        != NGX_OK)
5054    {
5055        return NULL;
5056    }
5057
5058    return umcf;
5059}
5060
5061
5062static char *
5063ngx_http_upstream_init_main_conf(ngx_conf_t *cf, void *conf)
5064{
5065    ngx_http_upstream_main_conf_t  *umcf = conf;
5066
5067    ngx_uint_t                      i;
5068    ngx_array_t                     headers_in;
5069    ngx_hash_key_t                 *hk;
5070    ngx_hash_init_t                 hash;
5071    ngx_http_upstream_init_pt       init;
5072    ngx_http_upstream_header_t     *header;
5073    ngx_http_upstream_srv_conf_t  **uscfp;
5074
5075    uscfp = umcf->upstreams.elts;
5076
5077    for (i = 0; i < umcf->upstreams.nelts; i++) {
5078
5079        init = uscfp[i]->peer.init_upstream ? uscfp[i]->peer.init_upstream:
5080                                            ngx_http_upstream_init_round_robin;
5081
5082        if (init(cf, uscfp[i]) != NGX_OK) {
5083            return NGX_CONF_ERROR;
5084        }
5085    }
5086
5087
5088    /* upstream_headers_in_hash */
5089
5090    if (ngx_array_init(&headers_in, cf->temp_pool, 32, sizeof(ngx_hash_key_t))
5091        != NGX_OK)
5092    {
5093        return NGX_CONF_ERROR;
5094    }
5095
5096    for (header = ngx_http_upstream_headers_in; header->name.len; header++) {
5097        hk = ngx_array_push(&headers_in);
5098        if (hk == NULL) {
5099            return NGX_CONF_ERROR;
5100        }
5101
5102        hk->key = header->name;
5103        hk->key_hash = ngx_hash_key_lc(header->name.data, header->name.len);
5104        hk->value = header;
5105    }
5106
5107    hash.hash = &umcf->headers_in_hash;
5108    hash.key = ngx_hash_key_lc;
5109    hash.max_size = 512;
5110    hash.bucket_size = ngx_align(64, ngx_cacheline_size);
5111    hash.name = "upstream_headers_in_hash";
5112    hash.pool = cf->pool;
5113    hash.temp_pool = NULL;
5114
5115    if (ngx_hash_init(&hash, headers_in.elts, headers_in.nelts) != NGX_OK) {
5116        return NGX_CONF_ERROR;
5117    }
5118
5119    return NGX_CONF_OK;
5120}
Note: See TracBrowser for help on using the repository browser.