当前位置:首页 >> 计算机软件及应用 >>

MyCat


MyCAT In Action 中文版
MyCAT 2.0 版本

1. MyCAT 介绍
1.1. 什么是 MyCAT?
简单的说,MyCAT 就是: ? ? ? ? ? ? 一个彻底开源的,面向企业应用开发的“大数据库集群” 支持事务、ACID、可以替代 mySql 的加强版数据库 一个可以视为“mySql”集群的企业级数据库,用来替代昂贵的 Oracle RAC 集群 一个融合内存缓存技术、Nosql 技术、HDFS 大数据的新型 SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品 一个新颖的数据库中间件产品

1.2. MyCAT 的目标是
低成本的将现有的单机数据库和应用平滑迁移到“云”端,解决数据存储和业务规模迅速增长情况下的数据 瓶颈问题。

1.3. MyCAT 的关键特性
? ? ? ? ? ? 支持 mySql 集群,可以作为 Proxy 使用; 自动故障切换,高可用性; 支持读写分离,支持 mySql 双主多从,以及一主多从的模式; 支持全局表,数据自动分片到多个节点,用于高效表关联查询; 支持独有的基于 E-R 关系的分片策略,实现了高效的表关联查询; 多平台支持,部署和实施简单;

1.4. MyCAT 的优势
? ? 基于阿里开源的 Cobar 产品而研发,Cobar 的稳定性、可靠性、优秀的架构和性能,以及众多成熟的 使用案例使得 MyCAT 一开始就拥有一个很好的起点,站在巨人的肩膀上,我们能看到更远。 广泛吸取业界优秀的开源项目和创新思路,将其融入到 MyCAT 的基因中,使得 MyCAT 在很多方面 都领先于目前其他一些同类的开源项目,甚至超越某些商业产品。

? ?

MyCAT 背后有一只强大的技术团队,其参与者都是 5 年以上资深软件工程师、架构师、DBA 等,优 秀的技术团队保证了 MyCAT 的产品质量。 MyCAT 并不依托于任何一个商业公司,因此不像某些开源项目,将一些重要的特性封闭在其商业产 品中,使得开源项目成了一个摆设。

1.5. MyCAT 的长期路线规划
? 在支持 mySql 的基础上,后端增加更多的开源数据库和商业数据库的支持,包括原生支持 PosteSQL、 FireBird 等开源数据库,以及通过 JDBC 等方式间接支持其他非开源的数据库如 Oracle、DB2、SQL Server 等; 实现更为智能的自我调节特性,如自动统计分析 SQL,自动创建和调整索引,根据数据表的读写频 率,自动优化缓存和备份策略等; 实现更全面的监控管理功能; 与 HDFS 集成,提供 SQL 命令,将数据库装入 HDFS 中并能够快速分析; 集成优秀的开源报表工具,使之具备一定的数据分析的能力;

? ? ? ?

2. MyCAT 架构

Client (MySQL CLI/JDBC/ODBC/…) Front

MySQL Socket Protocol Handler

SQL Parser

SQL Router SQL Executor Server

DataNode

HeartBeat Checker

MySQL instance A

MySQL instance C

MySQL instance B

More….

Storage

如图所示:MyCAT 使用 mySql 的通讯协议模拟成了一个 mySql 服务器,并建立了完整的 Schema(数据库)、 Table (数据表)、User(用户)的逻辑模型,并将这套逻辑模型映射到后端的存储节点 DataNode(mySql Instance)上的真实物理库中,这样一来,所有能使用 mySql 的客户端以及编程语言都能将 MyCAT 当成是 mySql Server 来使用,不必开发新的客户端协议。 当 MyCAT 收到一个客户端发送的 SQL 请求时,会先对 SQL 进行语法分析和检查,分析的结果用于 SQL 路由, SQL 路由策略支持传统的基于表格的分片字段方式进行分片,也支持独有的基于数据库 E-R 关系的分片策略, 对于路由到多个数据节点(DataNode)的 SQL,则会对收到的数据集进行“归并”然后输出到客户端。 SQL 执行的过程,简单的说,就是把 SQL 通过网络协议发送给后端的真正的数据库上进行执行,对于 mySql Server 来说,是通过 mySql 网络协议发送报文,并解析返回的结果,若 SQL 不涉及到多个分片节点,则直接 返回结果,写入客户端的 SOCKET 流中,这个过程是非阻塞模式(NIO)。 DataNode 是 MyCAT 的逻辑数据节点,映射到后端的某一个物理数据库的一个 Database,为了做到系统高可 用性,每个 DataNode 可以配置多个引用地址(DataSource),当主 DataSource 被检测为不可用时,系统会 自动切换到下一个可用的 DataSource 上,这里的 DataSource 即可认为是 mySql 的主从服务器的地址。

3. MyCAT 逻辑库
与任何一个传统的关系型数据库一样,MyCAT 也提供了“数据库”的定义,并有用户授权的功能,下面是 MyCAT 逻辑库相关的一些概念: schema 逻辑库,与 mySql 中的 Database(数据库)对应,一个逻辑库中定义了所包括的 Table。 table 表,即物理数据库中存储的某一张表,与传统数据库不同,这里的表格需要声明其所存储 的逻辑数据节点 DataNode,这是通过表格的分片规则定义来实现的,table 可以定义其所属 的“子表(childTable)”,子表的分片依赖于与“父表”的具体分片地址,简单的说,就是 属于父表里某一条记录 A 的子表的所有记录都与 A 存储在同一个分片上。 是一个字段与函数的捆绑定义,根据这个字段的取值来返回所在存储的分片(DataNode) 的序号,每个表格可以定义一个分片规则,分片规则可以灵活扩展,默认提供了基于数字 的分片规则,字符串的分片规则等。 DataNode MyCAT 的逻辑数据节点,是存放 table 的具体物理节点,也称之为分片节点,通过 DataSource 来关联到后端某个具体数据库上,一般来说,为了高可用性,每个 DataNode 都 设置两个 DataSource,一主一丛,当主节点宕机,系统自动切换到从节点。 DataSource 定义某个物理库的访问地址,用于捆绑到 Datanode 上。

分片规则

MyCAT 目前通过配置文件的方式来定义逻辑库和相关配置: ? ? ? MYCAT_HOME/conf/schema.xml 中定义逻辑库,表、分片节点等内容 MYCAT_HOME/conf/rule.xml 中定义分片规则 MYCAT_HOME/conf/server.xml 中定义用户以及系统相关变量,如端口等。

下图给出了 MyCAT 的 一个可能的逻辑库到物理库(mySql 的完整映射关系),可以看出其强大的分片能力 以及灵活的 mySql 集群整合能力。

schema

Table A

Table B

Datanode 1

Datanode 2

Datanode 3

Datanode 4

Database a

Database c Database e Database b

192.168.0.1

192.168.0.2

192.168.0.3

4. 分片策略
4.1. MyCAT 支持水平分片与垂直分片
? ? 水平分片:一个表格的数据分割到多个节点上,按照行分隔。 垂直分片:一个数据库中多个表格 A,B,C,A 存储到节点 1 上,B 存储到节点 2 上,C 存储到节点 3 上。

MyCAT 通过定义表的分片规则来实现分片,每个表格可以捆绑一个分片规则,每个分片规则指定一个分片 字段并绑定一个函数,来实现动态分片算法。以常用的基于整数映射的分片函数 org.MyCAT.route.function.PartitionByFileMap 为例,此函数通过一个配置文件来确定映射关系,以下面的 sharding-by-intfile 这个分片规则为例:
<tableRule name="sharding-by-intfile"> <rule> <columns>sharding_id</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <tableRule name="auto-sharding-long"> <rule> <columns>id</columns> <algorithm>rang-long</algorithm> </rule> </tableRule> <function name="hash-int" class="org.MyCAT.route.function.PartitionByFileMap"> <property name="mapFile">partition-hash-int.txt</property> </function> <function name="rang-long" class="org.MyCAT.route.function.AutoPartitionByLong"> <property name="mapFile">autopartition-long.txt</property>\ </function>

partition-hash-int.txt 的文件如下: 10000=0 10010=1 表明当字段 sharding_id 取值为 10000 的时候,返回分片节点 ID 为 0,以此类推。 Schema.xml 中定义 customer 表的分片规则为此规则:
<table name="customer" dataNode="dn1,dn2" rule="sharding-by-intfile" />

于是 customer 按照字段 sharding_id 进行水平分片,分片存储在两个数据节点 dn1,dn2 上。 如何知道某个 SQL 在哪个分片上执行? 用 explain sql 语句:
explain select * from customer where sharding_id=10000

根据业务场景和数据特点,可以选用以下的分片规则: auto-sharding-long 主键自动增长的数字,按照范围进行自动分片,比如 0-200 万的数据在分片节点 0,200-400 万的数据在分片节点 2,依次类推,根据数据库服务器的性能,可以每个分 片存储 100-500 条记录之间,此种方式,每个分片表一个独立的自增长 ID 机制,确保 记录的连续性。conf/ autopartition-long.txt 中定义了分段范围与分片 ID 的关系。 表中有字段 sharding_id,其类型为整数,对应具体的业务含义,比如 10000 对应电 信,10010 对应联通,此外,按照省份编码进行定义,也是可行的方式,为了效率, 编码被映射为数字而不是字符串,conf/ partition-hash-int.txt, 定义了某个整数值到某 个分片 id 的映射关系。 对某些表,我们基本上很少会涉及到范围查询,只根据某个字段(最常见是主键)进 行查找定位,则可以用求余的方式,随机分配到其中一个节点上。 所有的分片规则都在 rule.xml 中定义,不同的表根据需求,定义不同的分片规则。

sharding-by-intfile

mod-long

4.2. 基于 E-R 关系分片策略
传统的数据库分片方式都是基于单个表格,对于表关联这种操作,则很难处理,考虑下面的分片模 型,customer 与 orders 分片在不同节点上,orders 的 parent_id 字段存放父表 customer 的主键:

customer Dn1(customer) Id:1 Id:2 Dn2(customer) Id:3 Id:4 Dn3(customer) Id:5 Id:6

orders Dn1(orders) Parent_id:1 Parent_id:3

Dn2(orders) Parent_Id:2 Parent_id :5 Dn3(orders) Parent_id :1 Parent_id:3 Parent_id:5

为了能够执行 customer 与 orders 的联合查询,意味着分片表的数据必须要跨节点进行网络传输,以上图为 例: ? ? ? DN1 节点上的 orders 表 JOIN 时候需要 DN1 和 DN2 的节点 DN2 节点上的 orders 表 JOIN 时候需要 DN1 和 DN3 的节点 DN3 节点上的 orders 表 JOIN 时候需要 DN1、DN2、DN3 的节点

目前这种方式的 JOIN,业界没有很好的解决办法,而且实现起来都很复杂,性能也达不到企业应用开发的 要求。 MyCAT 借鉴了 NewSQL 领域的新秀 Foundation DB 的设计思路,Foundation DB 创新性的提出了 Table Group 的概念,其将子表的存储位置依赖于主表,并且物理上紧邻存放,因此彻底解决了 JION 的效率和性能问题, 根据这一思路,提出了基于 E-R 关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分 片上。 以上述例子为例,schema.xml 中定义如下的分片配置:
<table name="customer" dataNode="dn1,dn2" rule="sharding-by-intfile"> <childTable name="orders" joinKey="customer_id" parentKey="id"/> </table>

customer 采用 sharding-by-intfile 这个分片策略,分片在 dn1,dn2 上,orders 依赖父表进行分片,两个表的关 联关系为 orders.customer_id=customer.id。于是数据分片和存储的示意图如下: customer Dn1(customer) Id:1 Id:2 Dn2(customer) Id:3 Id:4 orders Dn1(orders) Parent_id:1 Parent_id:2

Dn2(orders) Parent_Id:3 Parent_id :4

这样一来,分片 Dn1 上的的 customer 与 Dn1 上的 orders 就可以进行局部的 JOIN 联合,Dn2 上也如此,再 合并两个节点的数据即可完成整体的 JOIN,试想一下,每个分片上 orders 表有 100 万条,则 10 个分片就有 1 个亿,基于 E-R 映射的数据分片模式,基本上解决了 80%以上的企业应用所面临的问题。

多对多的表格如何处理?多对多的表格通常情况下,有以下几种: ? ? 主表+关系表+字典表(全局表) 主表 A+关系表+主表 B

对于第一种,字典表可以被定义为“全局表”,字典表的记录规模可以在几千到几十万之间,基本是变动比 较少的表,由 MyCAT 自动实时同步到所有分片,这样就可以三个表都做 JOIN 操作了。 对于第二种,需要从业务角度来看,关系表更偏向哪个表,即“A 的关系”还是“B 的关系”,来决定关系 表跟从那个方向存储。目前还暂时无法很好支持这种模式下的的 3 个表之间的关联。未来版本中将考虑将中 间表进行双向复制,以实现从 A-关系表 以及 B-关系表的双向关联查询。 关于全局表的实现方式,全局表在数据插入或更新的时候,会自动在全局表定义的所有数据节点上执行相同 的操作,以保证所有数据节点都一致,由于这个特性,全局表可以跟任何分片或不分片的表格进行 JOIN 操 作。对数据更新不频繁的,规模不是很大的(100 万之内)的表都可以定义为 MyCAT 的全局表,以实现用 存储换性能的目标。

4.3. 主键分片 VS 非主键分片
主键分片还是非主键分片,这个问题并不是很难,当你没有任何字段可以作为分片字段的时候,主键分片就 是唯一选择,其优点是按照主键的查询最快,当采用自动增长的序列号作为主键时,还能比较均匀的将数据 分片在不同的节点上。 若有某个合适的业务字段比较合适作为分片字段,则建议采用此业务字段分片,选择分片字段的条件如下: ? ? 尽可能的比较均匀分布数据到各个节点上 该业务字段是最频繁的或者最重要的查询条件

常见的除了主键之外的其他可能分片字段有“订单创建时间”、店铺类别或所在省等。当你找到某个合适的 业务字段作为分片字段以后,不必纠结于“牺牲了按主键查询记录的性能”,因为在这种情况下,MyCAT 提供了“主键到分片”的内存缓存机制,热点数据按照主键查询,丝毫不损失性能。做法如下:

对于非主键分片的 TABLE,填写属性 primaryKey,此时 MyCAT 会将你根据主键查询的 SQL 语句的第一次执 行结果进行分析,确定该 Table 的某个主键在什么分片上,并进行主键到分片 ID 的缓存,以下面 SQL 为例, 由于 id 不是 orders 的分片字段,因此这个 SQL 第一次会发送给所有分片去执行:
select * from orders where id=1;

执行完成以后:

在缓存 TableID2DataNodeCache.TESTDB_ORDERS 中放入一条信息,key 为主键的值,value 为分片 ID,当 我们再次执行上述语句,MyCAT 就直接将 SQL 发往 dn2 了:

对于多个主键的查询,一样可以自动优化:如 Select * from orders where id in (1,2,3) ,则会分别存储 1、2、 3 这三个主键到分片的缓存关系。 设想下,每个表有 5000 万数据,10%的热点数据经常按照主键查询,5000 万*10%=500 万,缓存上述信息大 概需要 1.5G 内存,通过分析缓存使用信息,就可以最精确的调优这笔缓存的内存。通过连接 MyCAT 的 9066 管理端口,执行 show @@cache,可以显示当前缓存的使用情况:

更多内容,参照 MyCAT 性能调优手册。

4.4. MyCAT 全局表
一个真实的业务系统中,往往存在大量的类似字典表的表格,它们与业务表之间可能有关系,这种关系,可 以理解为“标签”,而不应理解为通常的“主从关系”,这些表基本上很少变动,可以根据主键 ID 进行缓 存,下面这张图说明了一个典型的“标签关系”图:

省份表

厂商表

网络设备

设备状态表

设备类型表

在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较 棘手的问题,考虑到字典表具有以下几个特性: ? ? ? 变动不频繁 数据量总体变化不大 数据规模不大,很少有超过数十万条记录。

鉴于此,MyCAT 定义了一种特殊的表,称之为“全局表”,全局表具有以下特性: ? ? ? 全局表的插入、更新操作会实时在所有节点上执行,保持各个分片的数据一致性 全局表的查询操作,只从一个节点获取 全局表可以跟任何一个表进行 JOIN 操作

将字典表或者符合字典表特性的一些表定义为全局表,则从另外一个方面,很好的解决了数据 JOIN 的难题。 通过全局表+基于 E-R 关系的分片策略,MyCAT 可以满足 80%以上的企业应用开发。

5. 高可用性以及读写分离
MyCAT 的读写分离机制如下: ? ? ? 事务内的 SQL,全部走写节点,除非某个 select 语句以注释/*balance*/开头 自动提交的 select 语句会走读节点,并在所有可用读节点之间随机负载均衡 当某个主节点宕机,则其全部读节点都不再被使用,因为此时,同步失败,数据已经不是最新的, MyCAT 会采用另外一个主节点所对应的全部读节点来实现 select 负载均衡。 当所有主节点都失败,则为了系统高可用性,自动提交的所有 select 语句仍将提交到全部存活的读 节点上执行,此时系统的很多页面还是能出来数据,只是用户修改或提交会失败。

?

MyCAT 的读写分离的配置如下:

dataHost 的 balance 属性设置为:

? ?

0,不开启读写分离机制 1,全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从模式 (M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。

?

2,所有的 readHost 与 writeHost 都参与 select 语句的负载均衡,也就是说,当系统的写操作压力不 大的情况下,所有主机都可以承担负载均衡。

一个 dataHost 元素,表明进行了数据同步的一组数据库,DBA 需要保证这一组数据库服务器是进行了数 据同步复制的。writeHost 相当于 Master DB Server,而旗下的 readHost 则是与从数据库同步的 Slave DB Server。当 dataHost 配置了多个 writeHost 的时候,任何一个 writeHost 宕机,Mycat 都会自动检测出来, 并尝试切换到下一个可用的 writeHost。 MyCAT 支持高可用性的企业级特性,根据您的应用特性,可以配置如下几种策略: ? ? ? 后端数据库配置为一主多从,并开启读写分离机制。 后端数据库配置为双主双从(多从),并开启读写分离机制 后端数据库配置为多主多从,并开启读写分离机制

后面两种配置,具有更高的系统可用性,当其中一个写节点(主节点)失败后,Mycat 会侦测出来(心跳机 制)并自动切换到下一个写节点,MyCAT 在任何时候,只会往一个写节点写数据。 下面是典型的双主双从的 mySql 集群配置: MyCAT

) M1(writeHost)

M2(writeHost)

) S1(readHost)

) S2(readHost)

Log4j.xml 中配置日志输出级别为 debug 时,当选择节点的时候,会输出如下日志:
16:37:21.660 DEBUG [Processor0-E3] (PhysicalDBPool.java:333) -select read source hostM1 for dataHost:localhost1 16:37:21.662 DEBUG [Processor0-E3] (PhysicalDBPool.java:333) -select read source hostM1 for dataHost:localhost1 根据这个信息,可以确定某个 SQL 发往了哪个读(写)节点,据此可以分析判断是否发生了读写分离。

)

)

6. 全局序列号
全局序列号是 MyCAT 提供的一个新功能,为了实现分库分表情况下,表的主键是全局唯一,而默认的 mySQL 的自增长主键无法满足这个要求。全局序列号的语法符合标准 SQL 规范,其格式为:
next value for MYCATSEQ_GLOBAL

其中 MYCATSEQ_GLOBAL 是序列号的名字,MyCAT 自动创建新的序列号,免去了开发的复杂度,另外, MyCAT 也提供了一个全局的序列号,名称为:MYCATSEQ_GLOBAL。 MyCAT 温馨提示: 实践中,建议每个表用自己的序列号,序列号的命名建议为 MYCATSEQ _tableName_ID_SEQ。

6.1. SQL 中使用说明
自定义序列号的标识为:MYCATSEQ_XXX ,其中 XXX 为具体定义的 sequence 的名称,应用举例如下: ? 使用默认的全局 sequence :
insert into tb1(id,name) values(next value for MYCATSEQ_GLOBAL,'micmiu.com');

?

使用自定义的 sequence :
insert into tb2(id,name) values(next value for MYCATSEQ_MY1,'micmiu.com');

6.2. 配置说明
MyCAT 目前已经提供了一个本地配置版的实现,下面是配置说明: 配置文件:sequence_conf.properties 格式说明: XXX.HISIDS= 1-100,501-800,3001-5000 //使用过的历史分段 XXX.MINID=10001 //当前可用分段的最小值 XXX.MAXID=20000 //当前可用分段的最大值 XXX.CURID=10000 //当前可用分段的当前值

全局sequence配置如下: GLOBAL.HISIDS= GLOBAL.MINID=1 GLOBAL.MAXID=50000 GLOBAL.CURID=10000 自定义 sequence 配置如下: MY1.HISIDS= MY1.MINID=101 MY1.MAXID=200

MY1.CURID=152

7. 快速上手
是用 Java 开发,需要有 JAVA 运行环境,若本机没有,则需要下载安装: http://www.java.com/zh_CN/ 获取 MyCAT 的最新开源版本,项目主页 http://code.google.com/p/MyCAT/ 目前最新代码暂时在淘宝上托管,二进制包下载地址: http://code.taobao.org/svn/openclouddb/downloads/ windows 下可以下载 Mycat-server-xxxx.ZIP,linux 下可以下载 tar.gz 解开在某个目录下,注意,目录不能有空 格,在 Linux(Unix)下,建议放在/usr/local/MyCAT 目录下,如下面类似的:

下面是修改 MyCat 用户的密码方式(仅供参考)

目录解释如下:

7.1. bin 程序目录
存放了 window 版本和 linux 版本,除了提供封装成服务的版本之外,也提供了 nowrap 的 shell 脚本命令, 方便大家选择和修改,进入到 bin 目录: ? Windows 下 运行: mycat.bat console 在控制台启动程序,也可以装载成服务,若此程序运行有问题, 也可以运行 startup_nowrap.bat,确保 java 命令可以在命令执行。 Linux 下运行:mycat console,首先要 chmod +x mycat

?

Warp 方式的命令,可以安装成服务并启动或停止。 ? ? mycat install (可选) mycat start

注意,wrap 方式的程序,其 JVM 配置参数在 conf/wrap.conf 中,可以修改为合适的参数,参数调整参照 http://wrapper.tanukisoftware.com/doc/english/properties.html。用下面是一段实例: # Java Additional Parameters wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G wrapper.java.additional.6=-Dcom.sun.management.jmxremote # Initial Java Heap Size (in MB) wrapper.java.initmemory=2048 # Maximum Java Heap Size (in MB) wrapper.java.maxmemory=2048 若启动报内存不够,可以试着将上述内存都改小,改为 1G 或 500M。

7.2. conf 目录
存放配置文件,server.xml 是 MyCAT 服务器参数调整和用户授权的配置文件,schema.xml 是逻辑库定义和表 以及分片定义的配置文件,rule.xml 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件, 也在这个目录下,配置文件修改,需要重启 MyCAT 或者通过 9066 端口 reload。

7.3. logs 目录
日志存放在 logs/mycat.log 中,每天一个文件,日志的配置是在 conf/log4j.xml 中,根据自己的需要,可以调 整输出级别为 debug,debug 级别下,会输出更多的信息,方便排查问题。

7.4. 实战
建议本地有一个 mySql Server,若没有,建议安装一个,下载地址: http://dev.mysql.com/downloads/mysql/5.5.html#downloads 启动 mySql,确保能正常登录访问数据,msyql 命令行工具 mysql\bin\mysql.exe 建议加入 PATH 路径中,为 了方便使用。 用命令行工具或图形化客户端,连接 mySql,创建 DEMO 所用三个分片数据库; CREATE database db1; CREATE database db2; CREATE database db2; 注意:若是 LINUX 版本的 mySql,则需要设置为 mySql 大小写不敏感,否则可能会发生表找不到的问题。
在 MySQL 的配置文件中 my.ini [mysqld] 中增加一行 lower_case_table_names = 1

编辑 MYCAT_HOME/conf/schema.xml 文件,修改 dataHost 对应的连接信息:

注意 writeHost/readHost 中的 location,user,password 的值符合你所采用的 Mysql 的连接信息。 修改完成后保存,进入到 MYCAT_HOME/bin 目录下,执行启动命令:startup.bat ,启动成功以后显示如下信 息:

注意,默认数据端口为 8066,管理端口为 9066。

客户端也可以用图形化的客户端如:mySqlWorkbench、 navicat 、以及一些基于 Java 的数据库客户 端来访问,注意要填写端口号 8066,以及 database 为 TESTDB。
命令行运行:mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB 就能访问 OpenCloudDB 了,以下操作都在此命 令行里执行(JDBC 则将 mysql 的 URL 中的端口 3306 改为 8066 即可) 提示:访问 MyCAT 的用户账号和授权信息是在 conf/server.xml 文件中配置,而 MyCAT 用来连接后端 MySQL 库的用户名密码信息则在 conf/schema.xml 中,这是两套完全独立的系统,类似的还有 MyCAT 的逻 辑库(schema),逻辑表(table)也是类似的。 Employee 表,是根据规则 sharding-by-intfile (分片字段为 sharding_id)进行分片。创建 employee 表:输入 如下 SQL
create table employee (id int not null primary key,name varchar(100),sharding_id int not null);

运行 explain 指令,查看该 SQL 被发往哪些分片节点执行:
explain create table employee (id int not null primary key,name varchar(100),sharding_id int not null);

建议参照 schema.xml 中 employee 表的定义,以及其分片规则,来看看什么数据会出现在 dn1 上,什么数据 会出现在 dn2 上。 温馨提示:explain 可以用于任何正确的 SQL 上,其作用是告诉你,这条 SQL 会路由到哪些分片节点上执行, 这对于诊断分片相关的问题很有帮助。另外,explain 可以安全的执行多次,它仅仅是告诉你 SQL 的路由分 片,而不会执行该 SQL。 插入数据:
insert insert insert insert into into into into employee(id,name,sharding_id) employee(id,name,sharding_id) employee(id,name,sharding_id) employee(id,name,sharding_id) values(1,'leader us',10000); values(2,’me’,10010); values(3,’mycat’,10000); values(4,’mydog’,10010);

company 表是根据规则 auto-sharding-long(主键范围)进行分片。创建 company 表:输入如下 SQL
create table company(id int not null primary key,name varchar(100));

录入数据:
insert into company(id,name) values(1,'hp'); insert into company(id,name) values(2,'ibm'); insert into company(id,name) values(3,'oracle');

你会看到三个分片上都插入了 3 条数据,因为 company 定义为全局表,用 explain 来确认这个情况:
explain insert into company(id,name) values(1,'hp')

返回 3 个节点的信息: | DATA_NODE | SQL |

+-----------+---------------------------------------------+ | dn1 | dn2 | dn3 | insert into company(id,name) values(1,'hp') | | insert into company(id,name) values(1,'hp') | | insert into company(id,name) values(1,'hp') |

+-----------+---------------------------------------------+ 创建客户表:
create table customer(id int not null primary key,name varchar(100),company_id int not null,sharding_id int not null);

插入数据:
insert into //stored in insert into //stored in insert into //stored in customer (id,name,company_id,sharding_id )values(1,'wang',1,10000); db1; customer (id,name,company_id,sharding_id )values(2,'xue',2,10010); db2; customer (id,name,company_id,sharding_id )values(3,'feng',3,10000); db1;

查询结果:
select * from customer; explain Select * from customer;

//(确认数据是分片存储) 创建表格 orders,并插入数据:
create table orders (id int not null primary key ,customer_id int not null,sataus int ,note varchar(100) ); insert into orders(id,customer_id) values(1,1); //stored in db1 because customer table with id=1 stored in db1 insert into orders(id,customer_id) values(2,2); //stored in db2 because customer table with id=1 stored in db2 explain insert into orders(id,customer_id) values(2,2); select customer.name ,orders.* from customer ,orders where customer.id=orders.customer_id;

travelrecord 根据 ID 主键的范围进行分片:

create table travelrecord (id bigint not null primary key,user varchar(100),traveldate DATE, fee decimal,days int); insert into travelrecord (id,user,traveldate,fee,days) values(1,’wang’,’2014-0105’,510.5,3);

explain insert into travelrecord (id,user,traveldate,fee,days) values(2000001,'wang','2014-01-05',510.5,3); 这个 ID 就存放在分片 2 上了

看到支持跨分片的 JOIN! 热点新闻,用取摸的方式随机分配到 dn1,dn2,dn3 上
create table hotnews(id int datetime); not null primary key ,title varchar(400) ,created_time

插入数据
insert into hotnews(id,title,created_time) values(1,'first',now());

在分片 1 上

而 Id 为 5,则到 dn3 上,5%3=2 ,即对应 dn3 的 index

其他: goods 表

create table goods(id int not null primary key,name varchar(200),good_type tinyint,good_img_url varchar(200),good_created date,good_desc varchar(500), price double);

一起探索 MyCAT 的奇妙新世界吧! QQ 群:106088787

8. 管理监控
MyCAT 自身有类似其他数据库的管理监控方式,通过 Mysql 命令行,登录管理端口(9066)执行相应的 SQL, 进行管理 mysql -utest -ptest -P9066 show @@help; 此命令会显示所有的管理监控命令,另外请参照《Mycat 命令行监控指南.docx》这个文档来 深入了解。
欢迎有志于大数据、分布式计算、数据库算法和优化等方面的大侠加入。

附: MyCAT 1.0GA 版与 Cobar 1.2.7 最新版的对比 特性 支持 mySql 集群 跨 mySql 分表 NIO 前端 NIO 后端 全局表 基于 E-R 关系的分片策略 跨节点数据的归并、排序、分页 后端连接池共享(一台 mySql 上的所有物理连接贡献) 数据库读写分离和负载均衡 独立的均衡组件 完善的 WEB 管理系统 数据库智能优化 Cobar Y Y Y N N N N N N N N N MyCAT Y Y Y Y Y Y Y Y Y Y Y Y(正在研

发) 社区及活跃度 目前已 经停止 维护 众多互联 网公司的 资深架构 师和工程 师参与研 发、测评 以及 BUG 修复

另外,MyCAT 修复了众多 Cobar 的 BUG 还做了很多优化,以下是比较重要的一部分: ? ? ? Mysql 连接数过大,拒绝连接后,Cobar 报错,indexoutof bound,导致难以排查故障原因 当前活跃连接数和空闲连接数的计算存在 BUG 当某些 SQL 执行比较慢,会导致 Cobar 卡死,可以用 select sleep(300) from anytalbe,此 SQL 执行不 到一百个,就导致 Cobar 假死,无法响应新的请求 在某些情况下,后端连接得不到释放,另外,Cobar 没有控制后端总数,当高并发的情况下,会创建 更多连接,导致数据库压力增大,系统可靠性降低。

?


相关文章:
mycat之mysql函数测试
Mycat 测试报告 1.刷新无法达到实时更新:在 mycat 数据库中新建一个表: create table employee (id int not null primary key,name varchar(100),sharding_id ...
Mycat大型项目使用案例
--> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://org.opencloudb/"> <system> <property name="defaultSqlParser">...
mycat实现mysql读写分离安装配置文档v1.0
[root@wyg003 bin]# 说明:进入/usr/local/Mycat/bin/目录执行; 5 读写分离验证先将日志的 debug(log4j.xml 文件)模式打开,执行建表插入数据操作; mysql> ...
mycat程序写入中文乱码解决-补充
mycat程序写入中文乱码解决-补充_计算机软件及应用_IT/计算机_专业资料。程序写入 mycat 中文乱码解决乱码问题可能出现的三个地方 1.程序连接的编码要设置 jdbc:mysql...
Mycat 26亿单表分片案例及性能测试
Mycat 26亿单表分片案例及性能测试_计算机软件及应用_IT/计算机_专业资料。项目 XXX 大中小规模性能测试报告 1 测试结果 1.1 小规模测试结果 1.1.1 测试场景...
MyCat_window安装教程
MyCat_window安装教程_计算机软件及应用_IT/计算机_专业资料。mycat在window上的安装及配置文件的修改调试过程 下载Windows 的安装包 https://github.com/MyCATApache...
mycat分析
mycat___beijing_03-10000020-mycat | 2016-02-13 00:40:27 | | 26 | 2 | 1-10000020 | shanghai_10-10000020-mycat | 2016-02-13 00:40:18 | +-...
Mycat性能调优指南_图文
MyCAT 性能调优指南 JVM 调优: 内存占用分两部分:java 堆内存+直接内存映射(DirectBuffer 占用),建议堆内存 适度大小,直接映射内存尽可能大,两种一起占据操作系统...
mycat-V1.5用户使用手册
启动 zookeeper Windowns 操作系统启动命令:zookeeper-3.4.6\bin\zkServer.bat Linux 操作系统启动命令:zookeeper-3.4.6\bin\zkServer.sh start 2 Mycat eye ...
windows环境下MyCAT+mysql主从配置
windows环境下MyCAT+mysql主从配置_计算机软件及应用_IT/计算机_专业资料。Mysql 主从配置(windows 环境下) 主库配置 1.修改配置文件(这个路径是默认隐藏的,当时被 ...
更多相关标签: