Обновить страницу
  • Аудиокнига Романа Шапошникова ''Покер для начинающих''. Бесплатно и легально!\ title=
Полезные статьи
> Ускорение работы PostgreSQL при импорте
LuckyLake
сообщение 17.9.2009, 0:13
Сообщение #1


Преподаватель ЭГ
***

Группа: Преподаватели
Сообщений: 1873
Регистрация: 19.6.2009
Из: МО
Пользователь №: 15688
Всем привет.

Надеюсь, тем кто регулярно импортит руки в свою БД, данная информация будет полезна.
Сам нашел эту ветку на цгм-е, сегодня опробовал лично.

Правим postgresql.conf, предварительно естественно закрыв трекер, остановив сервер.

shared_buffers = 512MB
work_mem = 32MB
maintenance_work_mem = 128MB
fsync = off
synchronous_commit = off
wal_buffers = 512kB
effective_cache_size = 512MB

потом делаем "Reload Configuration", запускаем сервер, и....

На новом железе с Intel Core 2 Quad, 4 гига мозгов, и, самое приятное, 2 харда по 500 ГБ с массивом RAID 0, импорт 70 килорук занял 5 минут, хаускипинг еще 6 ))

Скорость импорта - 200 рук в сек.

Пока пишу, запустил импорт 2500 килорук. Расчетное время импорта - 3 часа. Скорость - 220 рук/сек.
Очень приятно после старого ноута и старых настроек, на котором было 30 рук в сек.

Всем удачи в нашем нелегком деле, надеюсь информация была полезной.
Перейти в начало страницы
 
  +Цитировать сообщение
 
 Начать новую тему
Ответов
LuckyLake
сообщение 17.9.2009, 12:10
Сообщение #2


Преподаватель ЭГ
***

Группа: Преподаватели
Сообщений: 1873
Регистрация: 19.6.2009
Из: МО
Пользователь №: 15688
будет, конечно. Только с настройками надо быть поаккуратнее, то есть если у тебя памяти меньше 2 ГБ, то пропорционально надо уменьшить параметры выделяемой памяти, чтобы не было свопинга.
Хотя, конечно, RAID-массив дает колоссальное преимущество при чтении/записи информации на хард.
Перейти в начало страницы
 
  +Цитировать сообщение
XBOCT
сообщение 17.9.2009, 12:31
Сообщение #3


Активный участник
***

Группа: Модераторы
Сообщений: 149
Регистрация: 15.7.2008
Из: Москва
Пользователь №: 4398
Цитата(LuckyLake @ 17.9.2009, 13:10) *
будет, конечно. Только с настройками надо быть поаккуратнее

Я уже подумал об этом .
А с какими именно?
Цитата(LuckyLake @ 17.9.2009, 1:13) *
shared_buffers = 512MB
work_mem = 32MB
maintenance_work_mem = 128MB
fsync = off
synchronous_commit = off
wal_buffers = 512kB
effective_cache_size = 512MB

Не силен я в этом деле sad.gif
что из них, на что влияет, не подскажешь?
Перейти в начало страницы
 
  +Цитировать сообщение

Сообщений в этой теме
- LuckyLake   Ускорение работы PostgreSQL при импорте   17.9.2009, 0:13
- - XBOCT   Цитата(LuckyLake @ 17.9.2009, 1:13) надею...   17.9.2009, 10:30
- - LuckyLake   сколько оперативки у тебя ?   17.9.2009, 15:19
- - XBOCT   1024   17.9.2009, 16:03
- - LuckyLake   уменьши все параметры (цифровые) в два раза   17.9.2009, 16:17
|- - XBOCT   Цитата(LuckyLake @ 17.9.2009, 17:17) умен...   17.9.2009, 16:33
- - dzhamb9   Колян, после того, как прочитает эту тему, разнесе...   17.9.2009, 19:33
|- - LuckyLake   Цитата(dzhamb9 @ 17.9.2009, 20:33) ЗыСы А...   17.9.2009, 21:02
- - Fouer   Вообще-то для этих целей есть Stack builder, котор...   17.9.2009, 21:30
- - LuckyLake   Если есть, ссылку выложите. Хотя эти параметры по...   17.9.2009, 21:51
- - Fouer    Да это не сторонний софт, в самом postgres. Пуск-...   18.9.2009, 0:34
|- - dzhamb9   Цитата(Fouer @ 18.9.2009, 1:34)  Да это н...   18.9.2009, 9:21
- - zubr1989   народ - ветка очень актуальная - ща засек у себя. ...   11.2.2011, 8:50
- - zubr1989   всю ночь бился над тем как ускорить. майнинг и пра...   11.2.2011, 13:39

 

Ответить в данную темуНачать новую тему

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

 



(c) "PokerMoscow"
2005-2013