架构设计与重构并发/高并发微服务架构和实践

架构-高并发-解决方案

2018-01-02  本文已影响246人  5fc9b6410f4f

5 个构建第一个 Java 镜像的小窍门

本文介绍了构建 Java 镜像的五个小窍门,从而以超越基本概念和框架的方式开启 Docker 容器之旅。


唱吧 K 歌亭基于 Docker 的微服务架构


随着互联网的高速发展,各个公司都面临着巨大的产品迭代压力,如何更快的发布高质量的产品,也是每个互联网公司都面临的问题。在这个大趋势下,微服务与 DevOps 的概念应运而生,在低耦合的同时实现高聚合,也对新时代的 DevOps 提出了更高的技术与理念要求。


HDFS 架构设计


HDFS 架构设计


一种提高微服务架构的稳定性与数据一致性的方法


微服务架构解决了很多问题,但是同时引入了很多问题。本文要探讨的是如何解决下面这几个问题。

有大量的同步 RPC 依赖,如何保证自身的可靠性?
RPC 调用失败,降级处理之后如何保证数据可修复?
消息队列是一个 RPC 主流程的旁路流程,怎么保证可靠性?
消息队列怎么保持与数据库的事务一致?


万亿级数据洪峰下的分布式消息引擎


通过简单回顾阿里中间件 (Aliware) 消息引擎的发展史,本文开篇于双 11 消息引擎面临的低延迟挑战,通过经典的应用场景阐述可能会面临的问题 - 响应慢,雪崩,用户体验差,继而交易下跌。为了应对这些不可控的洪峰数据,中间件团队通过大量研究和实践,推出了低延迟高可用解决方案,在分布式存储领域具有一定的普适性。在此基础上,通过对现有有限资源的规划,又推出了分级的容量保障策略,通过限流、降级,甚至熔断技术,能够有效保障重点业务的高吞吐,成功的支撑集团包括海外业务平缓舒畅地度过双 11 高峰。与此同时,在一些对高可靠、高可用要求极为苛刻的场景下,中间件团队又重点推出了基于多副本机制的高可用解决方案,能够动态识别机器宕机、机房断网等灾难场景,自动实现主备切换。整个切换过程对用户透明,运维开发人员无需干预,极大地提升消息存储的可靠性以及整个集群的高可用性。


基于用户画像的实时异步化视频推荐系统


标题有点长,其实是为了突出该推荐系统的三个亮点,一个是实时,一个是基于用户画像去做的,一个是异步化。


美团点评业务风控系统构建经验


本文根据 “第八届中国系统架构师大会” 演讲内容整理而成。


双十一背后的安全战斗力


2000 年开始研究安全技术,长期活跃在中国的安全社区,在安全行业中有很大的影响力。2005 年加入阿里巴巴,是阿里安全的早期建设者。陆续设计了阿里巴巴、淘宝、支付宝、阿里云的应用安全体系。2012 年到 2014 年成为安全宝合伙人,开始创业,致力于为客户提供更好的云安全产品和服务。2014 年重回阿里,负责阿里云云盾。著有《白帽子讲 Web 安全》一书,并运营个人微信 / 知乎公众账号:道哥的黑板报。


想染指系统架构?你绝对不可错过的一篇。


原文地址:github.com/donnemartin/system-design-primer 译文出自:掘金翻译计划 译者:XatMassacrE、L9m、Airmacho、xiaoyusilen、jifaxu 请持续关注 中文维护链接 获取最新内容。 系统设计入门 翻译 …


100 亿次的挑战:如何实现一个 “有把握” 的春晚摇一摇系统


羊年春晚摇一摇活动已经落下帷幕,现在回过头来看看这一全民参与的有趣的活动背后,有着怎样的后台系统?这个系统又是如何被设计与实现出来的?


袖珍分布式系统(二) - 简书


分布式编程大多数数时间都是在处理分布式后带来的影响。为什么这么说呢?因为虽然理想情况是:我们在分布式系统上编程跟在单机上编程一样,这种抽象对于程序员来说是最友好的,但是呢?理想很丰满,现实很骨感,我们必须拨开抽象,去处理影藏在单机抽象背后的多机系统带来的问题,才可能很好的解决问题。因此,我们现在不断在寻求一个更好的抽象模型,尽可能的让编程在分布式环境下变的简单。


通用直播模型及其实现



最近由于公司业务关系,需要一个在公网上能实时互动超清视频的架构和技术方案。众所周知,视频直播用 CDN + RTMP 就可以满足绝大部分视频直播业务,我们也接触了和测试了几家 CDN 提供的方案,单人直播没有问题,一旦涉及到多人互动延迟非常大,无法进行正常的互动交谈。对于我们做在线教育的企业来说没有互动的直播是毫无意义的,所以我们决定自己来构建一个超清晰(1080P)实时视频的传输方案。


Web实时弹幕原理分析


废话不多说,首先上效果图。 效果图 Web实时弹幕原理分析 用途 搞活动、年会的时候,在大屏幕上实时显示留言、吐槽。 在视频网站上,将大家的吐槽实时展示出来。 ... 原理 其他原理挺简单的,就是将大家的留言实时展示出来。 注意点:实时性、动画效果、数据存储。 实时性 首先我们…


微店分布式监控系统实践


微店分布式监控系统实践。


用 JAVA 实现交通灯管理系统


从设计到架构,再到具体的实现。


从限流削峰到性能优化,谈 1 号店的抽奖系统架构实践


抽奖是一个典型的高并发场景应用,平时流量不多,但遇到大促活动,流量就会暴增,今年的周年庆期间的日均 UV 就超过百万。在过去的一年里,负责过这个项目的多次重构工作,期间各种踩坑无数,就以此文当做总结,来聊聊我们是如何架构这个高并发系统吧。


好友动态的实现原理


今天准备跟大家聊的一个功能就是:好友动态功能。听起来好抽象,有木有~~ 那说直白一点:微信朋友圈。这下听懂了嘛?


日均PV千万的后台是如何形成的


新书Java并发编程系统与模型已上线,欢迎拜读。 一个日均PV在千万以上的移动客户端,大概有20w-50w的注册用户数。为了简单起见,将一次PV来代表一次Http请求。在移动客户端下,这些是纯逻辑的,不包含静态页面的访问和图片的访问。 并发量 并发量的计算公式是pv/时间。无论…


Bilibili 高并发实时弹幕系统的实战之路


随着直播的发展,直播弹幕也逐渐火爆起来。在架构设计上,高稳定、高可用、低延迟是一款直播弹幕系统必备的三要素。


分布式系统频次限制实现


分布式服务架构下,利用 redis cluster 实现可拓展、高并发的用户访问频次限制服务。


日交易额百亿级交易系统的超轻量日志实现


本 java 日志基于双缓冲队列,提供多种日志级别、多种刷盘机制和多种 RollingFile 机制,支持配置修改热加载,是个超轻量级的高性能日志实现,成功用于日交易额百亿级交易系统。


网易和淘宝移动 WEB 适配方案再分析


最近把移动 WEB 适配相关的问题梳理了一遍,学习了几篇文章,其中

从网易与淘宝的 font-size 思考前端设计稿与工作流 - 流云诸葛 - 博客园

分析了网易和淘宝对移动 WEB 适配问题的解决方案,干货不少,但是一些概念和思路不是很清晰。我在这里结合一些其他的文章和自己的实验思考对两种适配方案再做分析,顺便把相关的知识点做个总结。

作者:吴成琦
链接:https://zhuanlan.zhihu.com/p/25216275
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


PC 与无线齐飞,Web 共 Native 一色——天猫首页全解密


正如灰太狼被打飞时常说的一句话——『我还会回来的』,在手淘团队推出了一套新的 Native 化方案 WeeX 以后,天猫首页又死性不改蠢蠢欲动地进行了尝试。实际体验优于 Web,从业务数据上来看也取得了较好的结果。



一次模拟简单秒杀场景的实践 Docker + Nodejs + Kafka + Redis + MySQL


秒杀活动可以说在互联网上随处可见,从 12306 抢票,到聚划算抢购,我们生活的方方面面都可以看到秒杀的身影。秒杀的架构设计也是对于一个架构师架构设计能力的一次考验。本文的目的并不在于提供一个可以直接落地的设计方案,而是意在提供一个简单的方法,一个思路,使大家能够对于秒杀背后的一些设计有更感性的认识, 并且可以自己亲自动手实践一下。所有的配置及源码都在本文最后的 GitHub repository 中可以找到。


袖珍分布式系统(三) - 简书


在单机系统中,传统的模式是: a single program, one process, one memory space running on one CPU。我们做了很多努力来给编程者提供一种简单的编程模型,一种顺序执行的模型,让程序实际执行的顺序就是代码的顺序。


大型网站技术架构 - 入门梳理


本文是对《大型网站架构设计》(李智慧 著) 一书的梳理,类似文字版的 “思维导图”。罗列了大型网站架构涉及到的概念,附上了简单说明


扛住 100 亿次请求?我们来试一试


前几天,偶然看到了 《扛住 100 亿次请求——如何做一个 “有把握” 的春晚红包系统”》(url)一文,看完以后,感慨良多,收益很多。正所谓他山之石,可以攻玉,虽然此文发表于 2015 年, 我看到时已经是 2016 年末,但是其中的思想仍然是可以为很多后端设计借鉴,。同时作为一个工程师,看完以后又会思考,学习了这样的文章以后,是否能给自己的工作带来一些实际的经验呢?所谓纸上得来终觉浅,绝知此事要躬行,能否自己实践一下 100 亿次红包请求呢?否则读完以后脑子里能剩下的东西 不过就是 100 亿 1400 万 QPS 整流 这样的字眼,剩下的文章将展示作者是如何以此过程为目标,在本地环境的模拟了此过程。

实现的目标: 单机支持 100 万连接,模拟了摇红包和发红包过程,单机峰值 QPS 6 万,平稳支持了业务。

注:本文以及作者所有内容,仅代表个人理解和实践,过程和微信团队没有任何关系,真正的线上系统也不同,只是从一些技术点进行了实践,请读者进行区分。因作者水平有限,有任何问题都是作者的责任,有问题请联系 ppmsn2005#gmail.com


RESTful Web 服务:教程


在它提出十多年后的今天,REST 已经成为最重要的 Web 应用技术之一。随着所有技术朝着 API 方向发展,它的重要性有可能持续快速地增长。每门主要编程语言现在已经包含构建 RESTful Web 服务的框架。同样地,Web 开发者和架构师对 REST 和 RESTful 服务有一个清晰的理解是很重要的。这篇教程解释了 REST 架构,然后研究使用它构建通用地基于 API 的任务的细节。


常见性能优化策略的总结


常见性能优化策略的总结


石墨文档的云端表格实时压缩策略


探讨了在对时延非常敏感的场景下云端表格的压缩策略


阿里中间件团队:17.5W 秒级交易峰值下的混合云弹性架构之路


每年的双 11 都是一个全球狂欢的节日,随着每年交易逐年创造奇迹的背后,按照传统的方式,我们的成本也在逐年上升。双 11 当天的秒级交易峰值平时的近 10 多倍,我们要用 3-4 倍的机器去支撑。但大促过后这批机器的资源利用率不高,到次年的双 11 会形成较长时间的低效运行。


美团点评 Docker 容器管理平台


本文介绍美团点评的 Docker 容器集群管理平台(以下简称 “容器平台”)。


大型项目架构演进过程及思考的点


一个大型服务系统都是从小一步一步走过来的,在每个阶段,找到对应该阶段网站架构所面临的问题,然后在不断解决这些问题,在这个过程中整个架构会一直演进。

上一篇 下一篇

猜你喜欢

热点阅读