网易首页 > 网易号 > 正文 申请入驻

使用MySQL,请用好 JSON 这张牌!

0
分享至

来源:https://blog.csdn.net/java_pfx/article/details/116594654

关系型的结构化存储存在一定的弊端,因为它需要预先定义好所有的列以及列对应的类型。但是业务在发展过程中,或许需要扩展单个列的描述功能,这时,如果能用好 JSON 数据类型,那就能打通关系型和非关系型数据的存储之间的界限,为业务提供更好的架构选择。

当然,很多同学在用 JSON 数据类型时会遇到各种各样的问题,其中最容易犯的误区就是将类型 JSON 简单理解成字符串类型。但当你看完这篇文章后,会真正认识到 JSON 数据类型的威力,从而在实际工作中更好地存储非结构化的数据。

JSON 数据类型

JSON(JavaScript Object Notation)主要用于互联网应用服务之间的数据交换。MySQL 支持RFC 7159定义的 JSON 规范,主要有JSON 对象JSON 数组两种类型。下面就是 JSON 对象,主要用来存储图片的相关信息:


"Image": {
"Width": 800,
"Height": 600,
"Title": "View from 15th Floor",
"Thumbnail": {
"Url": "http://www.example.com/image/481989943",
"Height": 125,
"Width": 100
},
"IDs": [116, 943, 234, 38793]

从中你可以看到, JSON 类型可以很好地描述数据的相关内容,比如这张图片的宽度、高度、标题等(这里使用到的类型有整型、字符串类型)。

JSON对象除了支持字符串、整型、日期类型,JSON 内嵌的字段也支持数组类型,如上代码中的 IDs 字段。

另一种 JSON 数据类型是数组类型,如:


"precision": "zip",
"Latitude": 37.7668,
"Longitude": -122.3959,
"Address": "",
"City": "SAN FRANCISCO",
"State": "CA",
"Zip": "94107",
"Country": "US"
},
"precision": "zip",
"Latitude": 37.371991,
"Longitude": -122.026020,
"Address": "",
"City": "SUNNYVALE",
"State": "CA",
"Zip": "94085",
"Country": "US"

上面的示例演示的是一个 JSON 数组,其中有 2 个 JSON 对象。

到目前为止,可能很多同学会把 JSON 当作一个很大的字段串类型,从表面上来看,没有错。但本质上,JSON 是一种新的类型,有自己的存储格式,还能在每个对应的字段上创建索引,做特定的优化,这是传统字段串无法实现的。JSON 类型的另一个好处是无须预定义字段,字段可以无限扩展。而传统关系型数据库的列都需预先定义,想要扩展需要执行 ALTER TABLE ... ADD COLUMN ... 这样比较重的操作。

需要注意是,JSON 类型是从 MySQL 5.7 版本开始支持的功能,而 8.0 版本解决了更新 JSON 的日志性能瓶颈。如果要在生产环境中使用 JSON 数据类型,强烈推荐使用 MySQL 8.0 版本。

讲到这儿,你已经对 JSON 类型的基本概念有所了解了,接下来,我们进入实战环节:如何在业务中用好JSON类型?

业务表结构设计实战用户登录设计

在数据库中,JSON 类型比较适合存储一些修改较少、相对静态的数据,比如用户登录信息的存储如下:

DROP TABLE IF EXISTS UserLogin;

CREATE TABLE UserLogin (
userId BIGINT NOT NULL,
loginInfo JSON,
PRIMARY KEY(userId)
);

由于当前业务的登录方式越来越多样化,如同一账户支持手机、微信、QQ 账号登录,所以这里可以用 JSON 类型存储登录的信息。

接着,插入下面的数据:

SET @a = '
"cellphone" : "13918888888",
"wxchat" : "破产码农",
"QQ" : "82946772"

INSERT INTO UserLogin VALUES (1,@a);

SET @b = '
{
"cellphone" : "15026888888"
}
';

INSERT INTO UserLogin VALUES (2,@b);

从上面的例子中可以看到,用户 1 登录有三种方式:手机验证码登录、微信登录、QQ 登录,而用户 2 只有手机验证码登录。

而如果不采用 JSON 数据类型,就要用下面的方式建表:

SELECT
userId,
JSON_UNQUOTE(JSON_EXTRACT(loginInfo,"$.cellphone")) cellphone,
JSON_UNQUOTE(JSON_EXTRACT(loginInfo,"$.wxchat")) wxchat
FROM UserLogin;
| userId | cellphone | wxchat |
| 1 | 13918888888 | 破产码农 |
| 2 | 15026888888 | NULL |
2 rows in set (0.01 sec)

当然了,每次写 JSON_EXTRACT、JSON_UNQUOTE 非常麻烦,MySQL 还提供了 ->> 表达式,和上述 SQL 效果完全一样:

SELECT
userId,
loginInfo->>"$.cellphone" cellphone,
loginInfo->>"$.wxchat" wxchat
FROM UserLogin;

当 JSON 数据量非常大,用户希望对 JSON 数据进行有效检索时,可以利用 MySQL 的函数索引功能对 JSON 中的某个字段进行索引。

比如在上面的用户登录示例中,假设用户必须绑定唯一手机号,且希望未来能用手机号码进行用户检索时,可以创建下面的索引:

ALTER TABLE UserLogin ADD COLUMN cellphone VARCHAR(255) AS (loginInfo->>"$.cellphone");

ALTER TABLE UserLogin ADD UNIQUE INDEX idx_cellphone(cellphone);

上述 SQL 首先创建了一个虚拟列 cellphone,这个列是由函数 loginInfo->>"$.cellphone" 计算得到的。然后在这个虚拟列上创建一个唯一索引 idx_cellphone。这时再通过虚拟列 cellphone 进行查询,就可以看到优化器会使用到新创建的 idx_cellphone 索引:

EXPLAIN SELECT * FROM UserLogin
WHERE cellphone = '13918888888'\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: UserLogin
partitions: NULL
type: const
possible_keys: idx_cellphone
key: idx_cellphone
key_len: 1023
ref: const
rows: 1
filtered: 100.00
Extra: NULL
1 row in set, 1 warning (0.00 sec)

当然,我们可以在一开始创建表的时候,就完成虚拟列及函数索引的创建。如下表创建的列 cellphone 对应的就是 JSON 中的内容,是个虚拟列;uk_idx_cellphone 就是在虚拟列 cellphone 上所创建的索引。

CREATE TABLE UserLogin (
userId BIGINT,
loginInfo JSON,
cellphone VARCHAR(255) AS (loginInfo->>"$.cellphone"),
PRIMARY KEY(userId),
UNIQUE KEY uk_idx_cellphone(cellphone)
用户画像设计

某些业务需要做用户画像(也就是对用户打标签),然后根据用户的标签,通过数据挖掘技术,进行相应的产品推荐。比如:

  • 在电商行业中,根据用户的穿搭喜好,推荐相应的商品;

  • 在音乐行业中,根据用户喜欢的音乐风格和常听的歌手,推荐相应的歌曲;

  • 在金融行业,根据用户的风险喜好和投资经验,推荐相应的理财产品。

在这,我强烈推荐你用 JSON 类型在数据库中存储用户画像信息,并结合 JSON 数组类型和多值索引的特点进行高效查询。假设有张画像定义表:

CREATE TABLE Tags (
tagId bigint auto_increment,
tagName varchar(255) NOT NULL,
primary key(tagId)

SELECT * FROM Tags;
+-------+--------------+
| tagId | tagName |
+-------+--------------+
| 1 | 70后 |
| 2 | 80后 |
| 3 | 90后 |
| 4 | 00后 |
| 5 | 爱运动 |
| 6 | 高学历 |
| 7 | 小资 |
| 8 | 有房 |
| 9 | 有车 |
| 10 | 常看电影 |
| 11 | 爱网购 |
| 12 | 爱外卖 |
+-------+--------------+

可以看到,表 Tags 是一张画像定义表,用于描述当前定义有多少个标签,接着给每个用户打标签,比如用户 David,他的标签是 80 后、高学历、小资、有房、常看电影;用户 Tom,90 后、常看电影、爱外卖。

若不用 JSON 数据类型进行标签存储,通常会将用户标签通过字符串,加上分割符的方式,在一个字段中存取用户所有的标签:


|用户 |标签 |
|David |80后 ; 高学历 ; 小资 ; 有房 ;常看电影 |
|Tom |90后 ;常看电影 ; 爱外卖 |

这样做的缺点是:不好搜索特定画像的用户,另外分隔符也是一种自我约定,在数据库中其实可以任意存储其他数据,最终产生脏数据。

用 JSON 数据类型就能很好解决这个问题:

DROP TABLE IF EXISTS UserTag;
CREATE TABLE UserTag (
userId bigint NOT NULL,
userTags JSON,
PRIMARY KEY (userId)

INSERT INTO UserTag VALUES (1,'[2,6,8,10]');
INSERT INTO UserTag VALUES (2,'[3,10,12]');

其中,userTags 存储的标签就是表 Tags 已定义的那些标签值,只是使用 JSON 数组类型进行存储。

MySQL 8.0.17 版本开始支持 Multi-Valued Indexes,用于在 JSON 数组上创建索引,并通过函数 member of、json_contains、json_overlaps 来快速检索索引数据。所以你可以在表 UserTag 上创建 Multi-Valued Indexes:

ALTER TABLE UserTag
ADD INDEX idx_user_tags ((cast((userTags->"$") as unsigned array)));

如果想要查询用户画像为常看电影的用户,可以使用函数 MEMBER OF:

EXPLAIN SELECT * FROM UserTag
WHERE 10 MEMBER OF(userTags->"$")\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: UserTag
partitions: NULL
type: ref
possible_keys: idx_user_tags
key: idx_user_tags
key_len: 9
ref: const
rows: 1
filtered: 100.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)

SELECT * FROM UserTag
WHERE 10 MEMBER OF(userTags->"$");
+--------+---------------+
| userId | userTags |
+--------+---------------+
| 1 | [2, 6, 8, 10] |
| 2 | [3, 10, 12] |
+--------+---------------+
2 rows in set (0.00 sec)

如果想要查询画像为 80 后,且常看电影的用户,可以使用函数 JSON_CONTAINS:

EXPLAIN SELECT * FROM UserTag
WHERE JSON_CONTAINS(userTags->"$", '[2,10]')\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: UserTag
partitions: NULL
type: range
possible_keys: idx_user_tags
key: idx_user_tags
key_len: 9
ref: NULL
rows: 3
filtered: 100.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)

SELECT * FROM UserTag
WHERE JSON_CONTAINS(userTags->"$", '[2,10]');
+--------+---------------+
| userId | userTags |
+--------+---------------+
| 1 | [2, 6, 8, 10] |
+--------+---------------+
1 row in set (0.00 sec)

如果想要查询画像为 80 后、90 后,且常看电影的用户,则可以使用函数 JSON_OVERLAP:

EXPLAIN SELECT * FROM UserTag
WHERE JSON_OVERLAPS(userTags->"$", '[2,3,10]')\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: UserTag
partitions: NULL
type: range
possible_keys: idx_user_tags
key: idx_user_tags
key_len: 9
ref: NULL
rows: 4
filtered: 100.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)

SELECT * FROM UserTag
WHERE JSON_OVERLAPS(userTags->"$", '[2,3,10]');
+--------+---------------+
| userId | userTags |
+--------+---------------+
| 1 | [2, 6, 8, 10] |
| 2 | [3, 10, 12] |
+--------+---------------+
2 rows in set (0.01 sec)
总结

JSON 类型是 MySQL 5.7 版本新增的数据类型,用好 JSON 数据类型可以有效解决很多业务中实际问题。最后,我总结下今天的重点内容:

  • 使用 JSON 数据类型,推荐用 MySQL 8.0.17 以上的版本,性能更好,同时也支持 Multi-Valued Indexes;

  • JSON 数据类型的好处是无须预先定义列,数据本身就具有很好的描述性;

  • 不要将有明显关系型的数据用 JSON 存储,如用户余额、用户姓名、用户身份证等,这些都是每个用户必须包含的数据;

  • JSON 数据类型推荐使用在不经常更新的静态数据存储。

END

2021年Java原创面试题库连载中

更多内容,点击上方名片查看

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
百万级网红卖课割韭菜遭点名:一门课6890元,疑似已跑路

百万级网红卖课割韭菜遭点名:一门课6890元,疑似已跑路

鞭牛士
2024-05-07 12:42:15
最新!云南持刀伤人后续:警情通报,原因疑似曝光,果然有情况!

最新!云南持刀伤人后续:警情通报,原因疑似曝光,果然有情况!

皖声微言
2024-05-07 18:19:39
他出身黑道,曾是高官的司机和白手套,迎娶小燕子,后花十年洗白

他出身黑道,曾是高官的司机和白手套,迎娶小燕子,后花十年洗白

阿胡
2024-04-29 11:49:43
云南镇雄一男子在医院持刀砍人,2死21伤,嫌疑人被抓,画面曝光

云南镇雄一男子在医院持刀砍人,2死21伤,嫌疑人被抓,画面曝光

180°视角
2024-05-07 15:10:36
国务院任免国家工作人员

国务院任免国家工作人员

界面新闻
2024-05-07 17:48:00
沙特大满贯赛:混双4强已出其3!张本/早田晋级,有望迎战莎头

沙特大满贯赛:混双4强已出其3!张本/早田晋级,有望迎战莎头

全言作品
2024-05-07 16:03:02
中国老年痴呆人数全球第一,是喝茶惹的祸?茶喝越多,痴呆越易

中国老年痴呆人数全球第一,是喝茶惹的祸?茶喝越多,痴呆越易

39健康网
2024-05-05 19:40:02
穆雷18中3仍在全美第一热搜:数钱+丢毛巾+扔热敷袋 狼队盼严惩

穆雷18中3仍在全美第一热搜:数钱+丢毛巾+扔热敷袋 狼队盼严惩

颜小白的篮球梦
2024-05-07 21:07:24
大S近照被嘲显老,本人亲自晒出老公视角照澄清,结果墙都P歪

大S近照被嘲显老,本人亲自晒出老公视角照澄清,结果墙都P歪

萌神木木
2024-05-06 22:24:49
法国提供技术支持,世界级集中式污泥处理项目将落地东莞

法国提供技术支持,世界级集中式污泥处理项目将落地东莞

南方都市报
2024-05-07 20:16:11
尘埃落定,请瓜迪奥拉回归!10亿豪门认错高层支持,阿隆索没办法

尘埃落定,请瓜迪奥拉回归!10亿豪门认错高层支持,阿隆索没办法

阿泰希特
2024-05-07 16:08:11
一个也别想走!总工程师被抓,打了科兴疫苗谁也别想“庆幸”了?

一个也别想走!总工程师被抓,打了科兴疫苗谁也别想“庆幸”了?

影孖看世界
2024-05-07 00:05:58
以色列通知美国即将攻打拉法,国际社会担忧:发动地面战将致大量平民伤亡

以色列通知美国即将攻打拉法,国际社会担忧:发动地面战将致大量平民伤亡

环球网资讯
2024-05-07 06:50:16
又一官二代自曝?日本留学辱骂国人滞纳猪,回国后托关系进国税局上班,请相关部门严查

又一官二代自曝?日本留学辱骂国人滞纳猪,回国后托关系进国税局上班,请相关部门严查

不掉线电波
2024-05-07 08:57:10
记者:中国足坛有第二个像霍深坪一样给毫无瓜葛的队鞠躬的?

记者:中国足坛有第二个像霍深坪一样给毫无瓜葛的队鞠躬的?

懂球帝
2024-05-07 16:47:12
美女密码:090

美女密码:090

娱乐的小灶
2024-05-06 07:50:26
痛心!青岛小伙不幸溺亡!他去救别人的儿子,去救别人的妈妈,而他的妻子、儿子站在岸边,眼睁睁看着失去他

痛心!青岛小伙不幸溺亡!他去救别人的儿子,去救别人的妈妈,而他的妻子、儿子站在岸边,眼睁睁看着失去他

鲁中晨报
2024-05-07 11:15:10
云南丽江:五一旅游爆冷,最终吃下了自己种的恶果

云南丽江:五一旅游爆冷,最终吃下了自己种的恶果

李砍柴
2024-05-06 13:02:52
疯传:中方一夜歼灭缅北武装3个营,是真是假?

疯传:中方一夜歼灭缅北武装3个营,是真是假?

晨曦谈兵
2024-05-07 20:00:19
我的天啊! 俞飞鸿瞬间秒杀了袁泉!

我的天啊! 俞飞鸿瞬间秒杀了袁泉!

光影纪史
2024-05-07 11:05:51
2024-05-07 21:40:49
Meta
Meta
关注java进阶架构师送架构
1043文章数 9858关注度
往期回顾 全部

科技要闻

FF再次到悬崖边 贾跃亭也想做网红卖货还债

头条要闻

云南持刀伤人案嫌犯疑出狱后性格大变:觉得自己有冤情

头条要闻

云南持刀伤人案嫌犯疑出狱后性格大变:觉得自己有冤情

体育要闻

归化奥斯卡,足协有何顾忌?

娱乐要闻

44岁董洁携顶顶拍杂志 与儿子相互依偎

财经要闻

中国首富的公司,业绩暴雷了

汽车要闻

配国产首颗车规级7nm芯片 吉利银河E5官图发布

态度原创

旅游
房产
亲子
教育
时尚

旅游要闻

伴游、租妻,「性旅游」正在全球化

房产要闻

真难!海口地王,开始亏本甩卖!

亲子要闻

妈妈带宝宝见94岁太姥姥,提前教会孩子,哄的太太合不拢嘴

教育要闻

日本语言学校奖学金真有那么可观吗?能抵消多少学费?

爱一个人,如爱一棵树|庆山

无障碍浏览 进入关怀版