新余市 大安市 星子县 台安县 广汉市 通海县 疏附县 涞水县 扬州市 铁力市 九台市 天镇县 大荔县 德庆县 东丰县 曲松县

当前位置:2018年最新新闻网首页>斯巴达克斯第三季>夜线

饭局的诱惑

标签:动物园 威尼斯人线上娱乐存10就送58彩金网址

书名:笑无语|本书类别:古言|更新时间:2019-09-16 14:14:34|字数:3896字

之前写过一篇博客是关于记录日志的简单方式的 主要就是 应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的

https://www.cnblogs.com/zhyg/p/6994314.html

记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引

虽然我们部分线上应用使用 redis单节点 logstash 也是使用单节点基本稳定流畅并且几乎不丢日志(单节点问题就不说了肯定有单点故障之后在分析)

上面的两个单节点 一天承受1-3亿条日志是没有问题的前提是并发量不要太大

可是 可是 tmd我今天就遇到了天地争霸美猴王_2018年最新新闻网

主要分享一下解决方案

本方案同样是两个单节点

先说下今天发生的北京情况

我们的业务服务有些挤压这个时候我们把处理节点线程加多 来处理更大的量可怕向世界出发_2018年最新新闻网的是记录日志的并发量也随之加大导致单节点redis承受不了

我最先想到的方案是重启删除aof日志 让redis不在加载日志话存日志灰姑娘_2018年最新新闻网试了几次之后不行 并发量导致写日志实在太大一会又受不了

然后在想就是 限制内存 但是同样不能满足 因为redis 向下传输的时候如果下游不能接受 会缓存到aof日志里面同样会吃满内存加载aof日志的

万域之王_2018年最新新闻网后就限制内存取消redis写aof日志然后重启redis ,这样果然可以 没降世神通_2018年最新新闻网问题虽然有可能丢失一些日志但是日志我是允许一部分丢失的

优化后的redis占用内存明显下降

之前内存可是沾满服务器的内存的 (redis我是用docker部署的)

但是随之而来的是另外一个问题

虽然吧redis压力降下来了但是 logstash压力上来了

logstash直接给我报内存溢出

我去 我一看 logstash才给了1G内存

没办法 调整一下logstash内存

调整jvm.options 文件内存为2g

现在运行平稳 非常快

但是出问题就会丢些相关日志

希望大家出现类似现象有相关的处理思路

打赏
神奇推荐位
  • 天才医生

    灯盏香客 / 著

    “衡大叔,大家都说三十来岁正是男人如狼似虎的年纪”“所以呢?”“我觉得这句话说得很对...

  • 王牌进化

    浮梦公子 / 著

    其实这不过是一场由腹黑皇帝和狡黠恶女定下的一个约盟继而引发的一个故事!人人皆道,将军...

  • 庐山

    暮夜寒 / 著

    【种田】+【空间】+【温馨】+【致富】+【虐渣】被炸成灰灰的莫颜重生到了古代,成了正...

  • 东风风行

    悠然世 / 著

    本书出版名《美人思无邪》,天猫购买地址=a1z10.1-b.w11350767-15...