PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_数据库

最近周四的一篇文字中的分享引起了部分同学的注意,私信我,并问了一些问题,这里挑拣了 红旗迎东风(希望名字没有敲错)同学的问题。他的问题主要是围绕 POSTGRESQL  buffer 与 os cache 之间的关系,展开的。

首先今天要说的这部分buffer 如果要用其他的数据库来理解的话,ORALCE 中有PGA  和 SGA, 今天要说的这部分就是 SGA, 数据库中共享内存。而postgresql 中这块共享内存和其他的数据库不同的地方,在于大部分数据库MYSQL 设置自己的 innodb_buffer_pool_size 一般是要设置成总内存的 60-80% , SQL SERVER  一般也会吃进大部分系统内存,并且一般不会再释放,我们可以理解,这些数据库(mysql, oracle ,sql server)都有自己的内存管理器,并且倾向性的独占。 

反观postgresql 一般建议在设置share_buffer 的建议是系统总内存的25%,这与上边的三个数据库相比有点背道而驰的赶脚。所以就引出了今天的问题,到底POSTGRESQL 在内存的使用和缓存的使用中有什么“与众不同”。

select current_setting(name),* from pg_settings where name like 'share%';

PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_数据_02

postgresql 在大部分的情况中是倾向于使用OS 的缓冲来完成工作的,也就是读取的数据都是要经过OS CACHE 的,跳过system cache 大致只有WAL writes。那问题是为什么要需要buffer cache ,如果直接可以使用使用OS  cache 不就可以了。

那到底为什么要有buffer cache 原因主要在于buffer cache 有数据库独有的算法,在postgresql 的 buffer cache 中可以通过近似LRU 的算法将经常被用到的数据,“粘”在buffer cache 中,增加数据库自身缓冲的利用率。

PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_数据库_03

那可能又有问题提出,为什么PG 建议将buffer cache 设置到总体的内存的25%,而不是更大,更大不是更好吗?  实际上根据 PG9.X PG 10 的相关书籍中提到的,如果这样可能适得其反,书中提出的观点是,PG 在操作时,有一部分是通过系统的CACHE 会更直接。以下是书中原文截图

PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_数据库_04

所以这就引出另一个问题,我们怎么设置共享内存(LINUX系统中的)让系统更好的为数据库服务,下面是一个脚本,可以得到设置LINUX 共享内存的大小值

PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_数据_05

./shmsetup >> /etc/sysctl.conf

这位同学又问了另一个问题,就是既然PG 有 buffer cache 和 OS cache 那这样的设计会浪费内存的空间。

这里想说的是不会,大家可以想一下,数据库的系统buffer cache 是可以黏住经常访问的数据,而系统的的缓冲是没有这样的功能的,也就是系统的缓冲和数据库的BUFFER CACHE 之间存在相同的数据的可能性是比较低,一个数据会经常被访问才能放到缓冲中,而如果一个经常被访问的数据放到数据库的 BUFFER 中,就不会再访问系统的CACHE ,所以系统就会清理掉他,系统的缓冲和数据库的缓冲能存在一样的数据的可能性就比较低。

OK 今天的问题就到这里,找个时间来说说怎么让缓冲最大化,以及查看相关的信息来证明你优化的成果。

PostgreSQL  自己的 DB buffer & 与别的人的OS cache  之 回答问题_共享内存_06

阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6