承接国内外服务器租用托管、定制开发、网站代运营、网站seo优化托管接单、网站代更新,新老站点皆可!!咨询QQ:3787320601

浅谈PostgreSQL消耗的内存计算方法

管理员 2023-06-28 09:42:22 互联网圈 8 ℃ 0 评论 5142字 收藏

浅谈PostgreSQL消耗的内存计算方法

wal_buffers默许值为⑴,此时wal_buffers使用的是shared_buffers,wal_buffers大小为shared_buffers的1/32

autovacuum_work_mem默许值为⑴,此时使用maintenance_work_mem的值

1 不使用wal_buffers、autovacuum_work_mem

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem)

假定PostgreSQL的配置以下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
autovacuum_max_workers = 3
maintenance_work_mem=1GB #默许值64MB

select(
(100*(32*1024*1024)::bigint)
+ (100*(32*1024*1024)::bigint)
+ (19*(1024*1024*1024)::bigint)
+ (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
–output
28.25

此时pg满载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.

2 使用wal_buffers,不使用autovacuum_work_mem

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)

假定PostgreSQL的配置以下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
wal_buffers=16MB #–with-wal-segsize的默许值
autovacuum_max_workers = 3
maintenance_work_mem=1GB

select(
(100*(32*1024*1024)::bigint)
+ (100*(32*1024*1024)::bigint)
+ (19*(1024*1024*1024)::bigint)
+ (16*1024*1024)::bigint
+ (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
–output
28.26

此时pg满载峰值时最多使用28.5GB内存,物理内容为32GB,还有3.5GB内存给操作系统使用.

3 同时使用wal_buffers、autovacuum_work_mem[建议使用]

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)+ maintenance_work_mem

假定PostgreSQL的配置以下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
wal_buffers=262143kb
autovacuum_max_workers = 3
autovacuum_work_mem=256MB
maintenance_work_mem=2GB

select(
(100*(32*1024*1024)::bigint)
+ (100*(32*1024*1024)::bigint)
+ (19*(1024*1024*1024)::bigint)
+ (262143*1024)::bigint
+ (3 * (256*1024*1024)::bigint )
+ ( 2 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
–output
28.01

此时pg载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.建议所有内存消耗根据硬件配置,也就是使用这个配置.

补充:postgresql 内存使用配置

shared_buffers:这是最重要的参数,postgresql通过shared_buffers和内核和磁盘打交道,因此应当尽可能大,让更多的数据缓存在shared_buffers中。通常设置为实际RAM的10%是公道的,比如50000(400M)

work_mem: 在pgsql 8.0之前叫做sort_mem。postgresql在履行排序操作时,会根据work_mem的大小决定会不会将一个大的结果集拆分为几个小的和 work_mem查不多大小的临时文件。明显拆分的结果是下降了排序的速度。因此增加work_mem有助于提高排序的速度。通常设置为实际RAM的2% ⑷%,根据需要排序结果集的大小而定,比如81920(80M)

effective_cache_size:是postgresql能够使用的最大缓存,这个数字对独立的pgsql服务器而言应当足够大,比如4G的内存,可以设置为3.5G(437500)

maintenance_work_mem:这里定义的内存只是在CREATE INDEX, VACUUM等时用到,因此用到的频率不高,但是常常这些指令消耗比较多的资源,因此应当尽快让这些指令快速履行终了:给maintence_work_mem大的内存,比如512M(524288)

max_connections: 通常,max_connections的目的是避免max_connections * work_mem超越了实际内存大小。比如,如果将work_mem设置为实际内存的2%大小,则在极端情况下,如果有50个查询都有排序要求,而且都使 用2%的内存,则会致使swap的产生,系统性能就会大大下降。固然,如果有4G的内存,同时出现50个如此大的查询的概率应当是很小的。不过,要清楚 max_connections和work_mem的关系。

配置 主机: 32GB

shared_buffers = 1024MB
work_mem = 1MB
effective_cache_size = 20480MB
maintenance_work_mem = 1024MB
max_connections = 8000

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有毛病或未斟酌完全的地方,望不吝赐教。

文章来源:丸子建站

文章标题:浅谈PostgreSQL消耗的内存计算方法

https://www.wanzijz.com/view/60284.html

X

截屏,微信识别二维码

微信号:weimawl

(点击微信号复制,添加好友)

打开微信