夜莺升级tsdb为m3db(v3)

guan 5月 28, 2021 1K+ 0

tsdb和m3db都是时序数据库，tsdb数据库对于历史数据的存储会出现降采样的情况，导致数据出现不准确，因此需要将tsdb升级到m3db，m3db的优缺点如下：

优点：

对硬盘IO要求没那么高了，普通机械硬盘也能抗比较大的量
存原始数据，不降采样了，追问题的时候更方便，当然了，存储的数据时长就变短了，相同硬盘空间大小，比如原来rrd可以存1年的历史趋势数据，m3可能只能存1个月
扩容非常方便，直接加m3dbnode即可，index+tsdb的方案使用migrate配置，扩容不易
容灾更好了，可以设置3副本，如果集群部署了3台机器，挂掉一台机器完全没有影响
索引避免了原来index+tsdb的单点容量问题，原来index虽然是可以部署为集群，但是集群里每个节点都是全量索引

劣势：

硬盘空间占用大，毕竟存储原始数据嘛，一般生产环境建议存1个月，再久也尽量不要超过3个月，当然了，要监控的设备比较少，部署m3的机器硬盘又比较大，那另当别论
内存占用比较多，一般配置是最近两个小时的数据要缓存在内存里，所以比较吃内存

注意：切换为m3db数据库后，就不再需要index和tsdb模块， transfer模块会承接索引请求，转发给M3处理

单机版m3db安装

单机版适用于夜莺的测试环境，生产环境建议采用集群的方式部署m3db

1、下载单机版安装包m3dbnode-single-v0.0.1.tar.gz，上传到夜莺服务器上，加压缩，进入解压目录执行scripts目录下的install.sh脚本执行安装，如图：

2、安装之后，在/home/n9e/目录下可以看到m3db目录，并且在m3db/data/m3db/可以看到创建的持久化数据信息，如图：

注意：上图中的安装目录以及持久化数据目录都是通过install.sh脚本以及etc目录下的m3dbnode.yml中修改的，全部都修改完之后，执行install.sh即可

install.sh文件的内容如下：

#!/bin/bash

: '
  @此脚本为单机版m3db的安装方式
  下面的n9e路径根据需要自己修改即可
'

CWD=$(cd $(dirname $0)/; pwd)
cd $CWD/..

systemctl stop m3dbnode

mkdir -p /home/n9e/m3db/data/{m3db,m3kv}
mkdir -p /home/n9e/m3db/{bin,etc}

cp -af ./bin/* /home/n9e/m3db/bin/
cp -af ./etc/*.yml /home/n9e/m3db/etc/

sysctl -w vm.max_map_count=3000000
sysctl -w vm.swappiness=1
sysctl -w fs.file-max=3000000
sysctl -w fs.nr_open=3000000
# echo "${USER} hard nofile 3000000" >> /etc/security/limits.conf
# Edit /etc/security/limits.conf file and allow the user under which asterisk runs to modify the ulimit to a higher value.
# <username> hard nofile <number>
ulimit -n 3000000

grep 'vm.max_map_count = 3000000' /etc/sysctl.conf || cat >> /etc/sysctl.conf <<'EOF'
# m3db
vm.max_map_count = 3000000
vm.swappiness = 1
fs.file-max = 3000000
fs.nr_open = 3000000
EOF

sudo cp -a ./systemd/m3dbnode.service /usr/lib/systemd/system/m3dbnode.service
systemctl daemon-reload
systemctl start m3dbnode
systemctl status m3dbnode
sleep 10
#创建持久化数据，适用为单机版，保存时间为30天
curl -X POST http://localhost:7201/api/v1/database/create -d '{
  "type": "local",
  "namespaceName": "default",
  "retentionTime": "720h",        #720h等于30天
  "numShards": "8",
  "replicationFactor": "1",
  "hosts": [
    {
      "id": "m3db_local",
      "zone": "embedded",
      "address": "127.0.0.1",
      "port": 9000
    }
  ]
}'

m3dbnode.yml中需要修改的位置，如图：