使用PostgreSQL数据库建立用户画像系统的方法
说起大数据中的利用,很多同学可能马上会想起用户画像。用户画像,英文称之为User Profile,通过用户画像可以完善地抽象出一个用户的信息全貌,通过用户画像数据可以精准地分析用户的各种行动习惯,如消费习惯、兴趣爱好、能力情况等等重要用户信息。 通经常使用户画像是通过给用户建标签系统来实现的,本文介绍了怎样使用PostgreSQL的json数据类型来建立用户画像数据库。
说起大数据中的利用,很多同学可能马上会想起用户画像。
用户画像,英文称之为User Profile,通过用户画像可以完善地抽象出一个用户的信息全貌,通过用户画像数据可以精准地分析用户的各种行动习惯,如消费习惯、兴趣爱好、能力情况等等重要用户信息。 通经常使用户画像是通过给用户建标签系统来实现的,本文介绍了怎样使用PostgreSQL的json数据类型来建立用户画像数据库。
标签模型
为了说明具体的方法方法,我们建一套简单的两级标签系统:
- 职业: 农民、工人、IT工程师、理发师、医生、老师、美工、律师、公务员、官员
- 爱好:游泳、乒乓球、羽毛球、网球、爬山、高尔夫球、滑雪、爬山、旅游
- 学历:无学历、小学、初中、高中、中专、专科、本科、硕士、博士
- 性情:外向、内向、谨慎、慎重、仔细、粗心、浮躁、自信
固然你也能够根据实际情况建立三级或更多级的复杂的标签体系。
建表和造数据
下面使用一个具体的例子来讲明怎样使用PostgreSQL的json数据类型来建立用户标签数据库。
建用户标签表:
这个表只有两个字段,uid表示用户ID,而tag字段中放了用户的所有标签,tag字段类型为jsonb。
为了说明怎样使用本方案,需要给表中造一些标签数据。 先建一个函数,在后面的INSERT的SQL中会调用此函数生成一些随机的标签:
RETURNS text[] AS $$
DECLARE
i integer := 0;
r integer := 0;
res text[];
v text;
l integer;
num integer;
BEGIN
num := (random()*max_attr)::int;
IF num < 1 THEN
num := 1;
END IF;
l := array_length(attr, 1);
WHILE i < num LOOP
r := round(random()*l)::int + 1;
v := attr[r];
IF res @> array[v] THEN
continue;
ELSE
res := array_append(res, v);
i := i + 1;
END IF;
END LOOP;
return res;
END;
$$ LANGUAGE plpgsql;
我们通过下面的INSERT语句就能够造一些随机的数据了:
SELECT seq,
json_build_object(
‘职业’,
f_random_attr(array[‘农民’,’工人’,’IT工程师’,’理发师’,’医生’,’老师’,’美工’,’律师’,’公务员’,’官员’], 1),
‘爱好’,
f_random_attr(array[‘游泳’,’乒乓球’,’羽毛球’,’网球’,’爬山’,’高尔夫球’,’滑雪’,’爬山’,’旅游’], 5),
‘学历’,
f_random_attr(array[‘无学历’,’小学’,’初中’,’高中’,’中专’,’专科’,’本科’,’硕士’,’博士’], 1),
‘性情’,
f_random_attr(array[‘外向’,’内向’,’谨慎’,’慎重’,’仔细’,’粗心’,’浮躁’,’自信’], 3))::jsonb
FROM generate_series(1, 10000) as t(seq);
建索引和查询
为了加快查询,我们在tag列上建GIN索引。GIN索引是PostgreSQL中的一种特殊的索引,可以实现类似全文搜索的功能:
这时候我们如果想查询性情为外向和仔细的老师,则SQL语句:
上面SQL语句中的where条件中的 “tag @> '{"性情":["外向","仔细"]}' ”中的“@>”是一个PostgreSQL中jsonb类型的特殊运算符,意思为“包括”。
我们如果想查询性情为外向和仔细而又喜欢滑雪和游泳的医生,则SQL语句:
从上面可以看出,只需要1~2ms就能够查询出结果,缘由是我们使用GIN索引,可以通过查看一下履行计划:
GIN索引是PostgreSQL中的核武器,大家从上面就能够看出GIN索引的强大了。GIN索除可以用在json数据类型上,也能够使用到数组类型中。
jsonb为GIN索引提供了两类索引操作符(你可以认为是两种索引):
- jsonb_ops,这是默许,上面我们建的索引就是这个类型的,
- jsonb_path_ops
jsonb_ops可以支持“@>”、“?”、“?&”、“?|”等操作符进行查询,这些操作符的意思请见:官方文档
而jsonb_path_ops只支持“@>”操作符,固然jsonb_path_ops索引要比json_ops索引小很多,具体可以见:
pg_relation_size
——————
245760
(1 row)
Time: 0.522 ms
osdba=# CREATE INDEX idx_user_tag_tag2 on user_tag using gin(tag jsonb_path_ops);
CREATE INDEX
Time: 46.947 ms
osdba=# select pg_relation_size(‘idx_user_tag_tag2’);
pg_relation_size
——————
147456
(1 row)
jsonb_path_ops索引使用的方法与jsonb_ops基本相同:
DROP INDEX
Time: 2.833 ms
osdba=# select * from user_tag where tag @> ‘{“性情”:[“外向”,”仔细”]}’ and tag @> ‘{“职业”:[“医生”]}’ and tag @>'{“爱好”:[“滑雪”, “游泳”]}’;
uid | tag
——+————————————————————————————————–
4469 | {“学历”: [“小学”], “性情”: [“外向”, “仔细”, “慎重”], “爱好”: [“滑雪”, “游泳”], “职业”: [“医生”]}
(1 row)
Time: 1.401 ms
osdba=# explain select * from user_tag where tag @> ‘{“性情”:[“外向”,”仔细”]}’ and tag @> ‘{“职业”:[“医生”]}’ and tag @>'{“爱好”:[“滑雪”, “游泳”]}’;
QUERY PLAN
————————————————————————————————————————————————————–
Bitmap Heap Scan on user_tag (cost=24.00..28.02 rows=1 width=153)
Recheck Cond: ((tag @> ‘{“性情”: [“外向”, “仔细”]}’::jsonb) AND (tag @> ‘{“职业”: [“医生”]}’::jsonb) AND (tag @> ‘{“爱好”: [“滑雪”, “游泳”]}’::jsonb))
-> Bitmap Index Scan on idx_user_tag_tag2 (cost=0.00..24.00 rows=1 width=0)
Index Cond: ((tag @> ‘{“性情”: [“外向”, “仔细”]}’::jsonb) AND (tag @> ‘{“职业”: [“医生”]}’::jsonb) AND (tag @> ‘{“爱好”: [“滑雪”, “游泳”]}’::jsonb))
(4 rows)
Time: 0.634 ms
你可以写更多的SQL来做用户画像的数据分析,这里就不再赘述了。
固然也能够使用PostgreSQL的数组类型建标签系统,数组类型也运行GIN索引,但总的来讲没有使用json类型直观。
到此这篇关于使用PostgreSQL数据库建立用户画像系统的文章就介绍到这了,更多相关PostgreSQL用户画像系统内容请搜索之前的文章或继续浏览下面的相关文章希望大家以后多多支持!
文章来源:丸子建站
文章标题:使用PostgreSQL数据库建立用户画像系统的方法
https://www.wanzijz.com/view/59319.html
相关文章
Related articles
- 1 CentOS系统下Redis安装和自启动配置的步骤 2023-06-26 08:28:48
- 2 有关数据库SQL递归查询在区别数据库中的实现方法 2023-06-26 08:28:48
- 3 详解redis desktop manager安装及连接方式 2023-06-26 08:28:48
- 4 MySQL删除表数据与MySQL清空表命令的3种方法浅析 2023-06-26 08:28:48
- 5 深入浅析mybatis oracle BLOB类型字段保存与读取 2023-06-26 08:28:47
- 6 MySQL ifnull()函数的具体使用 2023-06-26 08:28:47
- 7 怎么实现只授与用户查看存储进程定义的权限 2023-06-26 08:28:47
- 8 PostgreSQL copy 命令教程详解 2023-06-26 08:28:47
- 9 深入理解MongoDB分片的管理 2023-06-26 08:28:47
- 10 mysql设置某字段不能重复问题 2023-06-26 08:28:47
随机看看
NEW ARTICLE
- 1 把SQL Server的发明人带进历史:让我们肃然起敬的怀念 04-21
- 2 css中使用cdn如何配置 09-22
- 3 MSSQL支持哪些操作系统? 05-18
- 4 centos防护软件有哪几种 03-24
- 5 租用不用备案香港高防服务器好处有哪些 05-12
- 6 缩Linux下RAR文件解紧缩简易指南 08-17
热门文章
HOT ARTICLE
- 1 显卡:centos查看显卡信息的方法 04-07
- 2 黑客利用SQLServer数据库成功实行盲注入攻击 05-11
- 3 android开发工具有哪些?又该如何进行选择? 02-13
- 4 公众号和订阅号有什么区别?公众号和订阅号有什么优势? 01-30
- 5 python怎么获取列表元素的下标 03-23
- 6 navicat:navicat怎样连接mongodb 04-04
- 7 速率:centos7怎么查看网卡速率 04-07
- 8 字体:小程序字体加粗怎么实现 04-09
- 9 公众号登录的方法是什么?公众号登录失败的原因是什么? 01-30
- 10 【mssql中实现多个like查询的方式】 04-21