三、Paxos的工程实践

2.2.3 Paxos算法详解 假设有一组可以提出提案的进程集合,那么对于一个一致性算法来说需要保证以下几点: 在这些被提出的提案中,只有一个会被选定。 如果没有填被提出,那么就不会有被选定的提案。 当一个填被选定后,进程应该可以获取被选定的提案信息。 对于一致性来说,安全性(Safety)需求如下: 只有被提出的提案才能被选定。 只有一个值被选定。 如果某么进程认为某个提案被选定了,那么这个提案必须是真的被选定的那个。 提案的选定 大多数。 推导过程 P1:一个Accptor必须批准它收到的第一个提案 P1a:一个Acceptor只要尚未响应过任何编号大于Mn的Prepare请求,那么它就可以接收这个编号为Mn的提案。(优化:可以忽略已批准过的提案的Prepare请求) P2:如果编号为M0,Value值为V0的提案(即[M0,V0])被选定了,那么所有比编号M0更高的,且被选定的提案,其Value值必须为V0。 P2a:如果编号为M0,Value值为V0的提案(即[M0,V0])被选定了,那么所有比编号M0更高的,且被Acceptor批准的提案,其Value值必须为V0。 P2b:如果一个提案[M0,V0]被选定后,那么之后任何Proposer产生的编号更高的提案,其Value值都为V0。 P2c:对于任意的Mn和Vn,如果提案[Mn,Vn]被提出,那么肯定存在一个由半数以上的Acceptor组成的集合S,满足以下两个条件中的任意一个: S中不存在任何批准过编号小于Mn的提案的Acceptor。 选取S中所有Acceptor批准的编号小于Mn的提案,其中编号最大的那个提案其Value值是Vn。 推导过程为第二数学归纳法。略 Proposer生成提案 对于Proposer,获取被通过的提案比预测可能会被通过的提案简单。 Proposer选择一个新的提案编号Mn,然后向某个Acceptor集合的成员发送请求,要求该集合中的Acceptor做出如下回应。 像Proposer承诺,保证不再批准任何编号小于Mn的提案。 如果Acceptor已经批准过任何提案,那么其就向Proposer反馈当前该Acceptor已经批准的编号小于Mn但为最大编号的那个提案的值。 如果Proposer收到了来自半数以上的Acceptor的响应结果,那么它就可以产生编号为Mn、Value值为Vn的提案,这里的Vn是所有响应中编号最大的提案Value值。当然还存在一种情况,就是半数以上的Acceptor都没有批准过任何提案,即响应中不包含任何的提案,那么此时Vn值就可以由Proposer任意选择。 Acceptor批准提案 一个Acceptor可能会收到来自Proposer的两种请求,分别是Prepare请求和Accept请求,分别相应如下: Prepare请求:Acceptor可以在任何时候响应一个Prepare请求。 Accept请求:在不违背Accept现有承诺的前提下,可以任意响应Accept请求。 算法陈述 阶段一: Proposer发送提案编号Mn; Acceptor根据约束接收提案,如果接收过返回接收最大值Vn; 阶段二: 如果Proposer收到大多数A的响应,发送[Mn,Vn]; Acceptor根据约束接收提案; 提案的获取 通知全部Learner 选取主Learner 将主Learner改为Learner集合 通过选取主Proposer保证算法的活性 三、Paxos的工程实践 3.1 Chubby 一个分布式锁服务。解决分布式协作,元数据存储,Master选举等一系列与分布式锁服务相关的问题。 底层为Paxos算法。 3.1.1 概述

2021-06-08

序

序 大、快、多样性只是表象,大数据的真正价值在于生命性和生态性。(活数据) 第1 章 总述 如果不能对数据进行有序、有结构地分类组织和存储,如果不能有效利用并发掘它,继而产生价值,那么它同时也成为一场“灾难”。无需、无结构的数据犹如堆积如山的垃圾,给企业带来的是有令人咋舌的高额成本。 要求: 如何建设高效的数据模型和体系,是数据易用,避免重复建设和数据不一致性; 如何提供高效易用的数据开发工具; 如何做好数据质量保障; 如何有效管理和控制日益增长的存储和计算消耗; 如何保证数据服务的稳定,保证其性能; 如何设计有效的数据产品高效赋能于外部客户和内部员工 数据采集层 日志采集体系方案包括两大体系:Aplus.JS是Web端日志采集技术方案;UserTrack是App端日记采集技术方案。 在采集技术基础上面向各个场景的埋点规范。 在传输方面采用TimeTunel(TT),它既包括数据库的增量数据传输,也包括日志数据的传输;既支持实时流式计算,也知乎此各种时间窗口的批量计算。 也通过数据同步工具(DataX和同步中心,其中同步中心是给予DataX易用性封装的)直连异构数据库(备库)来抽取各种时间窗口的数据。 数据计算层 数据只有被整合和计算,才能被用于洞察商业规律,挖掘潜在信息,从而实现大数据价值,达到赋能于商业和创造价值的目的。 阿里巴巴的数据计算层包括两大体系:数据存储及计算云平台(离线计算平台MaxCompute和实时计算平台StreamCompute)和数据整合及管理体系(内部称之为“ OneData ”) 。 MaxCompute是阿里巴巴自主研发的离线大数据平台。 StreamCompute是阿里巴巴自主研发的流式大数据平台。 OneData是数据整合及管理的方法体系和工具。 借助此体系,构建了数据公共层。 从数据计算频率角度来看,阿里数据仓库可以分为离线数据仓库(传统的数据仓库概念)和实时数据仓库(典型应用:双11实时数据)。 阿里数据仓库的数据加工链路也是遵循业界的分层理念,包括: 操作数据层(Operational Data Store,ODS); 明细数据层(Data WareHouse Detail,DWD); 应用数据层(Application Data Store,ADS)。 通过数据仓库不同层次之间的加工过程实现从数据资产向信息资产的转化,并且对整个过程进行有效的元数据管理及数据质量处理。 元数据模型整合及应用是一个重要的组成部分,主要包含: 数据源元数据 数据仓库元数据 数据链路元数据 工具类元数据 数据质量类元数据 元数据应用主要面向数据发现、数据管理等,如用于存储、计算和成本管理。 数据服务层 当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费。 针对不同的需求,数据服务层的数据源架构在多种数据库之上,如Mysql和HBase。 数据服务层主要考虑性能、稳定性、扩展性。 OneService(数据服务平台)一数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务(用户识别、用户画像等)和实时数据推送服务。 数据应用层 第1篇 数据技术篇 第2章 日志采集 第2篇 数据模型篇 第8章 大数据领域建模综述 8.1 为什么需要数据建模 如何将数据进行有序、有结构地分类组织和存储? 数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处: 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。 质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。 8.2 关系行数据库系统和数据仓库 大数据领域仍然使用关系型数据库,使用关系理论描述数据之间的关系,只是基于其数据存储的特点关系数据模型的范式上有了不同的选择。 8.3 从OLTP和OLAP系统特别看模型方法论的选择 OLTP系统通常面向的主要数据操作是随即读写,主要采用满足3NF的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一致性问题;而OLAP系统面向的主要数据操作时批量读写,事物处理中的一致性不是OLAP所关注的,其主要关注数据的集合,以及在一次性的复杂大数据查询和处理中的性能,因此它需要采用一些不同的数据建模方法。 8.4 典型的数据仓库建模方法论 8.4.1 ER模型 数据仓库中的3NF和OLPT系统中的3NF的却别在于,它是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象关系的抽象。其具有以下几个特点: 需要全面了解企业业务和数据; 事实周期非常长; 对建模人员的能力要求非常高。 采用ER模型建设数据仓库魔性的出发点是整合数据将个系统中的数据以整个企业角度按主题进项相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。 其建模步骤分为三个阶段: 高层模型:一个高度抽象的模型,描述主要的主题以及主题间的关系,用语描述企业的业务总体概况。 中层模型:在高层模型的基础上,细化主题的数据项。 物理模型(也叫底层模型):在中层模型的基础上,考虑物理存储,同时基于性能和平台特点进行物理属性的设计,也可能作一些表的合并、分区的设计等。 实践典型:金融业务FS-LDM。 8.4.2 维度模型 是数据仓库工程领域最流行的数据仓库建模的经典。 维度建模从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型,以及在一些特殊场景下使用的雪花模型。其设计分为一下几个步骤: 选择需要进行分析决策的业务过程。业务过程可以是单个业务事件,比如交易的支付、退款等;也可以时某个时间的状态,比如当前的账户余额等;还可以是一系列相关业务时间组成的业务流程,具体需要看我们分析的是某些事件发生情况,还是当前状态,或是事件流转效率; 选择粒度。在事件分析中,我们要预判所有分析需要细分的程度,从而决定选择的粒度。粒度是维度的一个组合; 识别维表。选择好粒度之后,就需要细雨此粒度设计维表,包括维度属性,用于分析时进行分组和筛选; 选择事实。确定分析需要衡量的指标。 8.4.3 Data Vault模型 ER模型的衍生。其设计的出发点也是为了实现数据的整合,但不能直接用于数据分析决策。 ...

2021-06-08

lantern 邀请码

lantern 是一款专业的代理软件,方便更好的使用互联网,输入我的邀请码 46KBX2 来获得三个月的蓝灯专业版!立即下载 https://github.com/getlantern/forum

2021-06-08

idea 付费版和免费版的区别

idea 付费版和免费版的区别 IntelliJ IDEA Ultimate IntelliJ IDEA Community Edition Java, Kotlin, Groovy, Scala + + Android + + Maven, Gradle, sbt + + Git, SVN, Mercurial + + Debugger + + Profiling tools + - Spring, Java EE, Micronaut, Quarkus, Helidon, and more + - Swagger, Open API Specifications + - JavaScript, TypeScript + - Database Tools, SQL + -

2020-09-24

github 的 master 分支将更改为 main

从今年 10 月 1 日起,GitHub 在该平台上创建的所有新的源代码仓库将默认被命名为 “main”,而不是原先的"master"。值得注意的是,现有的存储库不会受到此更改影响。 早在今年 6 月份,受美国大规模的 “Black Lives Matter”运动影响,为了安抚愈演愈烈的民众情绪,GitHub 就宣布将替换掉 master 等术语,以避免联想奴隶制。现如今,在外界一些声音的催促下,这一举措则终于要正式落地了。 除 GitHub 外,为了避免带有所谓的“种族歧视色彩”,许多科技巨头或知名软件也都调整了自己的业务和产品,以平息社会舆论。包括有:MySQL 宣布删除 master、黑名单白名单等术语;Linus Torvalds 通过了 Linux 中避免 master/slave 等术语的提案;还有 Twitter 、GitHub、微软、LinkedIn、Ansible、Splunk、OpenZFS、OpenSSL、JP Morgan、 Android 移动操作系统、Go 编程语言、PHPUnit 和 Curl 等宣布要对此类术语进行删除或更改。同时,IBM、亚马逊、微软也都接连调整面部识别平台业务,以防加深歧视或遭受指责。 且最初在 Git 中写下“master”一词的开发者 Petr Baudis 也于 6 月份在社交网站上表明立场称,自己当年不该使用“master”这个可能给别人造成伤害的词语。并表示,他曾多次希望可以将“master”改成“main”(和“upstream”)。不过直到现在,才由 GitHub 开始主导替换工作。 而对于为何选择“main”而不是其他替换词汇,Github 方面给出的解释为,main 是他们在平台上看到的最受欢迎的 master 替代品。并且 main 这个词汇很短,可以帮助用户形成良好的肌肉记忆;在很多种语言中翻译起来也都很容易。 此外,Github 还透露,截至今年年底,他们将使现有存储库无缝重命名其默认分支。当用户重命名分支机构时,他们将重新定位打开的 PR 和草稿版本、移动分支机构保护策略等,且所有的这些都将自动完成。 事实上,计算机术语政治正确性早已不是新鲜话题。2004 年,“master/slave”曾被全球语言检测机构评为年度最不政治正确的十大词汇之一,时任主席称这是政治渗透到计算机技术控制中的表现。2008 年,开源软件 Drupal 在社区发布消息,高调站队,将“master/slave”重命名为“client/server”。2018年,IETF 也在草案当中指出,要求开源软件更改“master/slave”和“blacklist/whitelist”两项表述。 但是值得思考的是,在计算机源码领域中,“master/slave”和“blacklist/whitelist”之类的技术用语有错吗?一味的“一刀切”的话,会不会导致所谓的矫枉过正呢

2020-09-22

免费的云存储

七牛云存储 提供了每月10G的免费存储,一般的网站已经够用,如果超额了,费用也很低,可以考虑将网站的图片存在七牛,安全可靠。

2020-09-18

在线交互式学习k8s/docker/linux

katacoda is Interactive Learning and Training Platform for Software Engineers Helping Developers Learn and Companies Increase Adoption 可以交互式的学习各种前沿技术:k8s linux docker 机器学习等

2020-09-17

vscode 列选择 快捷键

vscode 列选择 快捷键: shift + alt + 鼠标左键

2020-09-14

frp 使用

frp 是一个可用于内网穿透的高性能的反向代理应用,支持 tcp, udp, http, https 协议。本文简单的介绍frp的配置使用。 实现内网穿需要有一台公网服务器。本文将公网服务器称为服务端,内网服务器称为客户端。需要开启相关的端口。相关端口没开通,访问就会失败。 frp git地址:https://github.com/fatedier/frp 中文文档:https://github.com/fatedier/frp/blob/master/README_zh.md frp下载地址:https://github.com/fatedier/frp/releases 本文使用软件:frp_0.21.0_linux_amd64.tar.gz 本文使用系统:centos7(公网一台,内网一台) 本文使用软件:frp_0.21.0_linux_amd64.tar.gz,frp的客户端和服务端都在同一个包里。 文件说明 frps.ini: 服务端配置文件 frps: 服务端软件 frpc.ini: 客户端配置文件 frpc: 客户端软件 frps.ini配置 [common] bind_port = 7000 # auth token token = Qwert123 dashboard_port = 7500 # dashboard 用户名密码,默认都为 admin dashboard_user = admin dashboard_pwd = Qwert123 vhost_http_port = 7083 开启服务端服务 ./frps -c ./frps.ini 可以用脚本来启动: #!/bin/sh nohup /usr/local/frp/frps -c /usr/local/frp/frps.ini & frpc.ini配置 [common] #服务器ip地址 server_addr = 121.199.2.XXX server_port = 7000 #开放api,提供reload服务 admin_addr = 127.0.0.1 admin_port = 7400 # auth token token = Qwert123 [ssh] type = tcp local_ip = 127.0.0.1 #ssh端口 local_port = 22 remote_port = 1022 可以使用脚本来启动(start.sh) #!/bin/sh sudo nohup /usr/local/frp/frpc -c /usr/local/frp/frpc.ini & 如果更改配置文件,可以使用重新加载来更新配置(reload.sh) ...

2020-09-08