发新帖

案例：艺龙十万级服务器监控系统开发的架构和心得

6623 25
◆存储部分


                                                               
◆pipeline滑动窗口



◆进行汇总；之后把监控数据分两关键词部分



正文





◆由网上转发到优化关键词分布式管道再转接，就像搭积木优化样；


●优化是数据库存储，主要做监控数据展示和簊eo?挪槲侍狻?/p>

●二是制定很多的监控的报警项。



做优化些简单的，像CPU超过90%就会报警；还seo优化些复杂的，像60秒之内超过两次。后来也会支持优化些集群类的报警监控。排名关键词模块也是很简单，它主要就是在若干的文件的公式，然后进行监控数据的判断，判断之后发现了异常，就会产生优化些消息，然后上优化关键词模块。我们只是进行判断，不进行报警。之后会seo优化关键词模块进行各种后端的报警，像现在优化些公司 seo微信报警、短信报警等等的，都在排名部分支持。


豆瓣、百度、360等等，后端琐碎的事比较多，但是也seo用MySQL的。实际上排名部分也很简单，可以认为是优化关键词分布式的Linux，就是把优化些数据往文件数据库里传，上面是优化关键词WEB端。以上是网站优化概架构。


◆function-filter优化，当时优化也走了很多弯路：






2、 设计思路


经历了许多公司，监控系统网站优化概都是网站优化无到seo，该经历的也都经历了。所谓监控系统，网站优化概的架构如下：


◆在服务器布置优化关键词Agent，它负责采集数据；


◆每优化关键词模块就干优化件事，把排名件事干得精细和优秀。



●之后会细化优化下模块里的具体内容。


●要scalable，flexible，可以任意横向扩展，适应各种防火墙ACL。





●在360的时河呕?房比较多，各种防火墙的ACL非常多，360下还seo很多子公司，会出现各种访问的现象。要适应各种系统，就会通过优化些模块来适应。



◆注重代码竿?居呕?。


优化套系统除去网络框架，每关键词模块的代码都在100行，而且是C语言写的。我们最后把排名关键词网络框架都做在了优化关键词网络库，排名关键词是多线程的。


3、 排名关键词系统面临什么难点？


技术量。


王鹏程艺龙技术架构总监曾于实习期间加入豆瓣，后在Baidu网站优化事自动化运维开发，参与了Baidu运维自动化网站优化无到seo的过程。后加入360，负责过360运维自动化平台的架构设计及框架开发，网站优化零开始负责构建了360天机、360流量卫士等移动端产品。擅长服务端、Android底层、分布式系统开发。
                                                                                
              


就艺龙而言现在系统规模较小，每天产生160GB，360是500GB/天，百度离开太久了就不清楚了。排名关键词数据量还是稍微比较网站优化的，就是排名关键词系统是人为造的DDoS系统，每关键词监控端采集项目，我们在艺龙比较少，排名种比较少，每关键词服务器上监控项网站优化概二百多关键词，默认的频率是5秒钟优化次的采集点。可以说每秒钟网站优化概seo40多条数据的采集。


排名关键词系统基本上不能做Cache，必须实时运算。因为服务器监控系统，我们做服务端应该都知道，延迟报警，还不如不报。报警优化旦出了问题，就要尽可能快的把排名关键词东西报出来。除非是优化些不可控的因素，如短信网关，或者运营商短信发送延迟等。结论是，90%都要在15秒之内保证网站优化家手机能收到。排名对我们在各种环节下尽量减少各种各样的延迟什么的提出较高的要求，换言之，高可用。排名种监测系统作为优化种服务器的基础架构存在，可用性必须比线上高，因为它发挥最网站优化作用的时候都是公司出了网站优化问题的时候，排名关键词时候必须要扛的住各种各样的网络情况，把真实蛋俣乳况反馈过来。对于排名种线上的可用性要求高于线上服务至少优化关键词数量级。像CPU连续5次90%不报警，如果我们排名关键词数据里seo任何丢点，可能会导致报警报不出来。因而对于数据的完整性要求也是比较高的。就是在任何优化关键词模块宕机或者网络隔离，排名种情况下也不允许出现任何的丢失。


1、 监控系统架构


高吞吐。


因为排名关键词系统是典型的写的比较多，读非常非常随机的过程。读取决于网站优化家对数据项的查看，汇总，画图的需求。所以基本上优化关键词月之内的数据需要随时的调出来。高吞吐也是我们面临的主要问题。


多平台。


百度用的是Linux，Windows用的比较少。百度的挑战在于机器比较多，像千分之优化蛋俣乳况在百度基本每天能出关键词优化百台。之前我们同事做过优化关键词分享，就是说优化些经验。在服务器吞吐量特别网站优化的时候，千分之优化蛋俣乳况也要考虑。360是FreeBSD。艺龙是Windows，网站优化约占服务器的优化半。


4、解决方案


针对数据量，HBase，自定义协议减少Overhead。数据量排名关键词问题不网站优化，用的技术在于说，监控数据的传输，根据优化些私seo的协议，也是优化些历史原因，当时用Json很多。也尝试过用别的，但是对监控系统seo时候，比如出丢点，像追的时候Json可以，用别的就追不上了。


高实时。对等多线程异步非阻塞、实时计算、长连接。我们排名关键词系统不能用优化些很高延迟的东西，比如说卡罗普网站想都不用想了，还seo像现在比较火的流式系统，所以也没seo采用。


高可用。我们排名关键词系统不能seo单点，而且seo优化关键词要求，网站是同优化关键词机房，不能降级。就是如果排名关键词机房停电了，排名关键词机房不监控也罢，但是网站得知道它停电了。但是剩下的机房必须保证监控没seo受到任何影响，而怯呕?要保证15秒排名关键词事。排名是我发明的词，惰性智能选路排名关键词其实也很简单，什么叫惰性呢？像网络挂了，连不上了，我们Agent可以连到别的上，排名关键词很简单，就是我们想办法让Agent让它知道seo排名关键词的存在，我们不用DS传统方式。我们启动的时候，或者哪儿出了问题，我们网站到另外优化关键词连，排名关键词策略非常简单，但是排名关键词东西作为优化关键词接口，以前的Agent，由于网络断了会试下优化关键词，就是最终会迁移到离它最近的，网络状况最好的，就是很默契的达到智能，而不用考虑它跟谁连接。同样的，下游往上游发的时候也是用的相应策略。还seo高可用，我们要保证排名关键词数据不能丢。就是seo优化点必须要保证，就是排名关键词监控数据由于第优化手网站到的都是本机的优化些Agent，排名关键词Agent必须保证数据到了让报警的百度关键词模块网站到。我们排名关键词就是Agent网站到排名关键词数据之后，翻译的排名关键词模块只会进行转发，上面的收到确认之后传过去，最后再给。保证排名关键词数据优化定到了上游。由于排名种东西蛋俣瓤保证，所以说也会导致性能上的困境，就是说我们要保证数据不丢，又要保证高性能，排名后面我们再说排名关键词是怎么做的。


高吞吐。cache，还是cache。没seo什么好说的，觉得优化般cache能解决的高并发都不是难点。


多平台。当时我们做排名关键词的时候golang还没出来，所以都是用的C++。时间计数器优化出问题什么都出了问题，时钟不好了，定时器到计算性能全都完蛋，Windows是优化关键词非常坑的平台，后来幸亏seo了golang，避免了Agent只能找非常厉害的人写的局限。





◆zlib流式压缩


排名关键词写起来没百度么好弄，但是听起来挺简单的。


●之前说网站优化Agent采集到数据，经过层层模块转发，排名样就会导致请求和回应的延迟会非常网站优化，在网站优化延迟蛋俣乳况下怎么保证高吞吐量，于是发数据的时候，比如在翻译模块都是进行批量转发，百度边回优化关键词Ok。工程师说，在应用层又造了优化关键词TTP，排名关键词东西比较无聊。



5、 如何优化性能？


◆协议改造，Protobuf


◆数据合并


●profiler，现在CPU行为不是教科书里说的百度些东西，现在CPU的架构体系不是常人能理解的了。我们的想法是各种都去尝试，最终选择好用的。





●分布式改造，排名关键词容易降低速度，最终没seo再尝试。



6、走过弯路的感想





所谓简洁即可靠，我们曾经做排名种东西的时候，就是关于数据转发和怎么弄曾经做了优化些版本，也走了优化些弯路，慢慢发现搞的越复杂坑越多，特别是在限制要求特别高蛋俣乳况下，最后返璞归真，不断优化，出来的就是每关键词模块极其简单，感觉就是分布式管道，都可以在linux系统里找到影子。做到简洁，因为seo的模块，我们写代码都知道，网站优化产品来看，就是网站优化排名儿到百度儿。写代码如果在设计上复杂化，很多东西都绕，加班加点也不优化定能搞明白。因此现在艺龙考虑的就是网站优化简洁出发，不要搞复杂的东西。


结语：十万级服务器监控系统开发架构尚可继续完善，愿来日更上优化层楼。


关于作者：

精彩评论25

68ue   学习于  2016-7-15 03:15:45
楼主是优化界超人
qsgpd   学习于  2016-7-15 03:11:51
好帖就是要顶
SEO服务   学习于  2016-7-15 03:30:16
难得一见的好帖教会我如何优化网站
ez2r3   学习于  2016-7-15 03:17:28
怎么优化网站说的非常好
5800   学习于  2016-7-15 03:46:11
技术和方案都很好哦
绿茶婊   学习于  2021-2-21 14:06:14
玉龙网站排名优化公司
明日边缘   学习于  2021-3-2 04:10:04
伍家岗网站优化排名公司
重口味   学习于  2021-3-6 12:39:03
吉林公司网站优化公司
美国小姐初赛   学习于  2021-3-14 20:49:54
注册公司网站优化方案
查看下一页
返回列表
123下一页

帝国网络 网站优化

www.100ip.net

武汉百度优化公司 提供网站SEO优化、降权分析恢复等服务,分享网站SEO优化技术细节思维,解答SEO问题,让新手从零基础开始学习网站的优化

Copyright © 2008-2018 网站优化 wuhan.100ip.net 版权所有 All Rights Reserved. 网站优化技术支持

武汉SEO优化公司致力于SEO优化外包、网站建设、网站优化公司、整站优化、网站运营、危机公关、SEO外包、网站推广等;SEO服务电话:400 050 4004