一开始打算把启动脚本和配置文件放入configmap,直接使用一个yaml文件进行部署,但是实际操作中遇到个问题, 后续解决了,再使用单一yaml文件部署, 这里使用自定义镜像方式,来进行部署,以下是部署流程
- 制作redis镜像
也可以直接使用构建好的,"k9scc/base-env:redis-7-sentinel"
- 使用yaml文件,创建redis
制作redis镜像
Dockerfile
FROM redis:7
MAINTAINER "You"
COPY *.conf /opt/conf/
COPY run.sh /opt/run.sh
RUN apt update -y;apt-get install vim net-tools -y;apt-get clean && \
chmod +x /opt/run.sh
CMD /opt/run.sh
run.sh
#!/bin/bash
pod_seq=$(echo $POD_NAME | awk -F"-" '{print $2}')
if [[ ${pod_seq} -ne 0 ]];then #为从机
sed -i '/^slaveof /d' /opt/conf/redis.conf
echo "slaveof redis-0.redis.redis-cluster.svc.cluster.local 6379" >> /opt/conf/redis.conf #redis-0.redis代表第一个redis的访问地址
fi
/usr/local/bin/redis-server /opt/conf/redis.conf
sleep 15 #如果redis-0没起来,它里面的哨兵也起不来,等待一段时间再启动哨兵
/usr/local/bin/redis-sentinel /opt/conf/sentinel.conf
redis.conf
#绑定到哪台机器,0.0.0.0表示允许所有主机访问
bind 0.0.0.0
#redis3.2版本之后加入的特性,yes开启后,如果没有配置bind则默认只允许127.0.0.1访问
protected-mode yes
#对外暴露的访问端口
port 6379
#登录密码
requirepass a12345678
#主从同步认证密码
masterauth a12345678
#三次握手的时候server端接收到客户端 ack确认号之后的队列值
tcp-backlog 511
#服务端与客户端连接超时时间,0表示永不超时
timeout 0
#连接redis的时候的密码 hello
#requirepass hello
#tcp 保持会话时间是300s
tcp-keepalive 300
#redis是否以守护进程运行,如果是,会生成pid
daemonize yes
supervised no
#pid文件路径
pidfile /var/run/redis_6379.pid
#日志级别
loglevel notice
#logfile /var/log/redis.log
#默认redis有几个db库
databases 16
#每间隔900秒,如果一个键值发生变化就触发快照机制
save 900 1
save 300 10
save 60 10000
#快照出错时,是否禁止redis写入
stop-writes-on-bgsave-error no
#持久化到rdb文件时,是否压缩文件
rdbcompression yes
#持久化到rdb文件是,是否RC64开启验证
rdbchecksum no
#持久化输出的时候,rdb文件命名
dbfilename dump.rdb
dir /data
#持久化文件路径
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
#是否开启aof备份
appendonly yes
#aof备份文件名称
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
#客户端最大连接数
#maxclients 20000
#lazyfree-lazy-eviction yes
#lazyfree-lazy-expire yes
#lazyfree-lazy-server-del yes
#slave-lazy-flush yes
sentinel.conf
# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 哨兵sentinel的工作目录
dir "/tmp"
sentinel deny-scripts-reconfig yes
sentinel monitor mymaster redis-0.redis 6379 2
sentinel auth-pass mymaster a12345678
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 15000
# 设定5秒内没有响应,说明服务器挂了,需要将配置放在sentinel monitor master 127.0.0.1 6379 下面
sentinel parallel-syncs mymaster 2
# 设定15秒内master没有活起来,就重新选举主
sentinel config-epoch mymaster 3
#.表示如果master重新选出来后,其它slave节点能同时并行从新master同步缓存的台数有多少个,显然该值越大,所有slave节点完成同步切换的整体速度越快,但如
#果此时正好有人在访问这些slave,可能造#成读取失败,影响面会更广。最保定的设置为1,只同一时间,只能有一台干这件事,这样其它slave还能继续服务,但是所
#有slave全部完成缓存更新同步的进程将变慢。
sentinel leader-epoch mymaster 3
SENTINEL resolve-hostnames yes
SENTINEL announce-hostnames yes
构建redis镜像
我这边已经构建好, 也可以自己构建,
k9scc/base-env:redis-7-sentinel #redis密码a12345678
把Dockerfile, run.sh, redis.conf, sentinel.conf放在一个目录下,然后执行下面的命令
docker build -t docker用户名/项目名:tag .
docker push docker用户名/项目名:tag
k8s部署redis, 并使用存储类持久化存储
---
apiVersion: v1
kind: Namespace
metadata:
name: redis-cluster
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: redis
namespace: redis-cluster
spec:
serviceName: redis
selector:
matchLabels:
app: redis
replicas: 3
template:
metadata:
labels:
app: redis
spec:
nodeSelector: {}
restartPolicy: Always
containers:
- name: redis
image: k9scc/base-env:redis-7-sentinel
imagePullPolicy: Always
env:
- name: POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
livenessProbe:
tcpSocket:
port: 6379
initialDelaySeconds: 3
periodSeconds: 5
readinessProbe:
tcpSocket:
port: 6379
initialDelaySeconds: 3
periodSeconds: 5
ports:
- containerPort: 6379
resources:
requests:
memory: 256Mi
cpu: 50m
limits:
memory: 2048Mi
cpu: 1000m
volumeMounts:
- name: redis-pv-claim
mountPath: /data
readOnly: false
volumeClaimTemplates:
- metadata:
name: redis-pv-claim
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: openebs-hostpath #修改为自己环境的存储类
---
apiVersion: v1
kind: Service
metadata:
name: redis
namespace: redis-cluster
spec:
type: ClusterIP
ports:
- name: redis
port: 6379
targetPort: 6379
selector:
app: redis
连接
连接哨兵 使用26379端口
java 连接redis哨兵配置
spring:
redis:
database: 4 #redis数据库
sentinel:
master: mymaster
nodes: redis://redis-0.redis.redis-cluster.svc.cluster.local:26379,redis://redis-1.redis.redis-cluster.svc.cluster.local:26379,redis://redis-2.redis.redis-cluster.svc.cluster.local:26379
password: a12345678 #redis密码
客户端连接redis, 使用podip + 6379端口
redis-cli 10.1.x.x -a a12345678