Opened 7 years ago

Closed 7 years ago

Last modified 7 years ago

#435 closed defect (invalid)

Не оптимальная работа proxy_store

Reported by: Виталий Хныкин Owned by:
Priority: minor Milestone:
Component: nginx-core Version: 1.3.x
Keywords: Cc:
uname -a: Linux localhost 2.6.32-358.2.1.el6.x86_64 #1 SMP Wed Mar 13 00:26:49 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
nginx -V: nginx version: nginx/1.5.6
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC)
TLS SNI support enabled
configure arguments: --user=nginx --group=nginx --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi --http-scgi-temp-path=/var/lib/nginx/tmp/scgi --pid-path=/var/run/nginx.pid --lock-path=/var/lock/subsys/nginx --with-http_secure_link_module --with-http_random_index_module --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gzip_static_module --with-http_degradation_module --with-http_stub_status_module --with-http_perl_module --with-http_geoip_module --with-mail --with-mail_ssl_module --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' --with-ipv6 --with-file-aio --add-module=/builddir/build/BUILD/nginx-1.5.6/nginx-upstream-fair --add-module=/builddir/build/BUILD/nginx-1.5.6/nginx-upload-progress-module --add-module=/builddir/build/BUILD/nginx-1.5.6/mod_zip-1.1.6 --add-module=/builddir/build/BUILD/nginx-1.5.6/ngx_http_auth_pam_module-1.2 --add-module=/builddir/build/BUILD/nginx-1.5.6/nginx-rtmp-module-master

Description

есть следующая конструкция:

proxy_temp_path /mnt/ftp/cache/temp 1;
   location /
    {
            aio on;
            directio 1m;
            root /mnt/ftp;
            try_files $uri @download_it;
    }

    location @download_it
    {
            aio on;
            directio 1m;
            root /mnt/ftp;
            proxy_store  on;
            proxy_store_access     user:rw group:rw all:rw;
            proxy_pass http://http_backend;
    }


проблема следующая:
получается ,что система кеширования работает следующим образом:
если файла нет на месте, читает файл из http_backend и пишет файл в temp, когда файл подтянет переносит его в root.

но есть один ньюанс: пока файл лежит в temp и не перенесся в root,каждый новый запрос на этот же файл пораждает новый файл в директории temp,
когда файлы не большие проблем нет, но когда появился файл 30Гбайт, а люди кинулись его качать в 20 потоков это породило одновременное кешированние файла, тем самым полностью убив производительность машины.

попытался на http_backend сервере поставить
expires 1M;
подумав что заголовки разные потому не используется в кеше тот же файл, но это не помогло.

подскажите возможно есть настройка,чтобы избежать повторного кеширования файла?

Change History (2)

comment:1 by Maxim Dounin, 7 years ago

Resolution: invalid
Status: newclosed

The proxy_store directive provides a mechanism to store all responses received. If you need sophisticated caching, use proxy_cache instead, with proxy_cache_lock and proxy_cache_use_stale updating mechanisms available.

comment:2 by Виталий Хныкин, 7 years ago

не понятно зачем на вопрос на русском языке вы даете ответ на английском -ну да ладно

The proxy_store directive provides a mechanism to store all responses received.

несмотря на то что Вы пишите, что механизм сохраняет все запросы: сервер это делает неэффективно потому что абсолютно точно зная что получит такой-же ответ он всё равно делает копию файла.
я понимаю что эта фича не приоритетная для Вас, однако не соглашусь с тем что Ticket is invalid

Note: See TracTickets for help on using tickets.