Всем привет.

Надеюсь, тем кто регулярно импортит руки в свою БД, данная информация будет полезна.
Сам нашел эту ветку на цгм-е, сегодня опробовал лично.

Правим postgresql.conf, предварительно естественно закрыв трекер, остановив сервер.

shared_buffers = 512MB
work_mem = 32MB
maintenance_work_mem = 128MB
fsync = off
synchronous_commit = off
wal_buffers = 512kB
effective_cache_size = 512MB

потом делаем "Reload Configuration", запускаем сервер, и....

На новом железе с Intel Core 2 Quad, 4 гига мозгов, и, самое приятное, 2 харда по 500 ГБ с массивом RAID 0, импорт 70 килорук занял 5 минут, хаускипинг еще 6 ))

Скорость импорта - 200 рук в сек.

Пока пишу, запустил импорт 2500 килорук. Расчетное время импорта - 3 часа. Скорость - 220 рук/сек.
Очень приятно после старого ноута и старых настроек, на котором было 30 рук в сек.

Всем удачи в нашем нелегком деле, надеюсь информация была полезной.

Более, чем. Спасибо.
Интересная тема.

Как я понял, этим мы предоставляем базе доп ресурсы?

Надо будет попробовать. Как думаешь, на старом железе результат будет?

будет, конечно. Только с настройками надо быть поаккуратнее, то есть если у тебя памяти меньше 2 ГБ, то пропорционально надо уменьшить параметры выделяемой памяти, чтобы не было свопинга.
Хотя, конечно, RAID-массив дает колоссальное преимущество при чтении/записи информации на хард.

Я уже подумал об этом .
А с какими именно?

Не силен я в этом деле
что из них, на что влияет, не подскажешь?

сколько оперативки у тебя ?

1024

уменьши все параметры (цифровые) в два раза

ОК, попробую.
Спасибо.

Колян, после того, как прочитает эту тему, разнесет свой комп вдребезги!!!
ЗыСы А у меня на ноуте мозгов 3гб, надеюсь, параметры не надо изменять?

можно увеличить. в полтора раза
а можно оставить по дефолту, они рассчитаны на 512КБ оперативки, и оставить себе скорость импорта около 40 рук в сек. )) и импортировать манинг сутками ))

Вообще-то для этих целей есть Stack builder, который настройки под конкретное железо подбирает... 

Если есть, ссылку выложите.
Хотя эти параметры подбираются не только чисто под железо. Например, расчет производится из объема свободной оператиной памяти, а не физической. ибо если у вас будет запущен еще одно ресурсоемкое приложение, свопинг неизбежен

 Да это не сторонний софт, в самом postgres. Пуск-....-postgreSQL...-application stack builder. И там уже в addons выбираем EntepriseDB для postgresql. Буквально в два клика все делается. Конечно, настройки не всегда оптимальные, но вручную править параметры в конф файлах, абсолютно не представляя, для чего это делается много хуже.

А можно на этом месте подробней? А то я по этому пути пройдя ничего не нашел (заблудился после postgreSQL). Спасибо.

народ - ветка очень актуальная - ща засек у себя. железо хорошее а импортит всего 300 рук в минуту. 5рук/сек против лакиных 200. кто нить знает как можно оптимизировать это дело ? ХЕЛП

всю ночь бился над тем как ускорить. майнинг и правда грузится сутками. два раза сноисл пт что бы что то придумать. ставил пострге = кароче вынес себе мозг. и результата ноль. он по прежнему еле едет

хм - стал импортить около 45 раздач в сек. будем считать жалкая но победа.