在mysql中,每个数据库最多可创建20亿个表,一个表允许定义1024列,每行的最大长度为8092字节(不包括文本和图像类型的长度)。
当表中定义有varchar、nvarchar或varbinary类型列时,如果向表中插入的数据行超过8092字节时将导致Transact-SQL语句失败,并产生错误信息。
SQL对每个表中行的数量没有直接限制,但它受数据库存储空间的限制。
每个数据库的最大空间1048516TB,所以一个表可用的最大空间为1048516TB减去数据库类系统表和其它数据库对象所占用的空间。
为什么需要多数据库?默认情况下,Spring Boot使用的是单数据库配置(通过spring.datasource.*配置具体数据库连接信息)。
对于绝大多数Spring Boot应用,这是符合其使用场景的,因为Spring Boot提倡的是微服务理念,每个应用对应一个单独的业务领域。但在某些特殊情况下,一个应用对应多个数据库又是无法避免的,例如实施数据库分库后原本单个数据库变为多个数据库。本文就结合实际代码介绍如何在单个Boot应用中配置多数据库,以及与之相关的Druid,jOOQ,Flyway等数据服务框架的配置改造。
配置示例
DB1,DB2: 两个示例数据库
ServiceA, ServiceB: 分别使用DB1和DB2的服务类
连接池Druid
Druid是阿里巴巴开源的数据库连接池,提供了强大的监控支持,号称Java语言中最好的连接池。
创建两个配置类分别注册对应DB1和DB2的DataSource Bean和TransactionManager Bean。以DB1为例:
Tip: 可以把其中一个配置类中注册的DataSource Bean和DataSourceTransactionManager Bean加上@Primary注解,作为默认装配实例。
// DB1
@Configuration
public class Db1Config {
@Bean(initMethod = "init", destroyMethod = "close")
@ConfigurationProperties(prefix = "db.db1")
public DataSource dataSource1() {
return new DruidDataSource()
}
@Bean
public DataSourceTransactionManager transactionManager1() {
DataSourceTransactionManager transactionManager = new DataSourceTransactionManager()
transactionManager.setDataSource(dataSource1())
return transactionManager
}
}
application.conf中的配置:
# DB1
db.db1.url=jdbc:mysql://127.0.0.1:3306/db1?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true
db.db1.username=root
db.db1.password=
ORM框架jOOQ
jOOQ是一个开源ORM框架,最大特点是提供类型安全的流式API,支持代码生成。
参照Boot自带的JooqAutoConfiguration,不难写出如下配置类:
@Configuration
public class JooqConfig {
// DB1
@Bean
public DataSourceConnectionProvider dataSourceConnectionProvider1(
@Qualifier("dataSource1") DataSource dataSource1) {
return new DataSourceConnectionProvider(
new TransactionAwareDataSourceProxy(dataSource1))
}
@Bean
public SpringTransactionProvider transactionProvider1(
@Qualifier("transactionManager1") DataSourceTransactionManager txManager1) {
return new SpringTransactionProvider(txManager1)
}
// DB2
// ...
@Configuration
public static class DslContextConfig {
@Autowired(required = false)
private RecordMapperProvider recordMapperProvider
@Autowired(required = false)
private Settings settings
@Autowired(required = false)
private RecordListenerProvider[] recordListenerProviders
@Autowired
private ExecuteListenerProvider[] executeListenerProviders
@Autowired(required = false)
private VisitListenerProvider[] visitListenerProviders
// DSLContext for DB1
@Bean
public DefaultDSLContext dslContext1(@Qualifier("dataSourceConnectionProvider1") DataSourceConnectionProvider connectionProvider1,
@Qualifier("transactionProvider1") SpringTransactionProvider transactionProvider1) {
return new DefaultDSLContext(configuration(connectionProvider1, transactionProvider1))
}
// DSLContext for DB2
// ...
private DefaultConfiguration configuration(ConnectionProvider connectionProvider, TransactionProvider transactionProvider) {
DefaultConfiguration configuration = new DefaultConfiguration()
configuration.setSQLDialect(SQLDialect.MYSQL)
configuration.set(connectionProvider)
configuration.set(transactionProvider)
if (this.recordMapperProvider != null) {
configuration.set(this.recordMapperProvider)
}
if (this.settings != null) {
configuration.set(this.settings)
}
configuration.set(this.recordListenerProviders)
configuration.set(this.executeListenerProviders)
configuration.set(this.visitListenerProviders)
return configuration
}
}
}
服务类
配置好DataSource,TransacationManager和DSLContext之后,服务类的配置就比较简单了,直接引用即可。注意由于存在多套Beans,需要通过@Qualifier注解指定装配实例。
@Transactional("TransactionManager1")//每个事务指定 tx
public class ServiceA {
@Autowired
@Qualifier("dslContext1")
protected DSLContext dsl
}
数据库迁移框架Flyway
Flyway是一个轻量级的开源数据库迁移框架,使用非常广泛。
参照Boot自带的FlywayAutoConfiguration,同样可以写出如下配置类:
@Configuration
public class FlywayConfig {
@Bean(initMethod = "migrate")
@ConfigurationProperties(prefix = "fw.db1")
public Flyway flyway(@Qualifier("dataSource1") DataSource dataSource1) {
Flyway clinic = new Flyway()
clinic.setDataSource(dataSource1)
return clinic
}
// DB2
// ...
/**
* @see FlywayAutoConfiguration
*/
@Bean
@ConfigurationPropertiesBinding
public StringOrNumberToMigrationVersionConverter stringOrNumberMigrationVersionConverter() {
return new StringOrNumberToMigrationVersionConverter()
}
/**
* Convert a String or Number to a {@link MigrationVersion}.
* @see FlywayAutoConfiguration
*/
private static class StringOrNumberToMigrationVersionConverter
implements GenericConverter {
private static final Set<ConvertiblePair>CONVERTIBLE_TYPES
static {
Set<ConvertiblePair>types = new HashSet<ConvertiblePair>(2)
types.add(new ConvertiblePair(String.class, MigrationVersion.class))
types.add(new ConvertiblePair(Number.class, MigrationVersion.class))
CONVERTIBLE_TYPES = Collections.unmodifiableSet(types)
}
@Override
public Set<ConvertiblePair>getConvertibleTypes() {
return CONVERTIBLE_TYPES
}
@Override
public Object convert(Object source, TypeDescriptor sourceType,
TypeDescriptor targetType) {
String value = ObjectUtils.nullSafeToString(source)
return MigrationVersion.fromVersion(value)
}
}
}
application.conf中的配置:
# DB1
fw.db1.enabled=true
1、一个文件或文件组不能由多个数据库使用。例如,任何其他数据库都不能使用包含 sales 数据库中的数据和对象的文件 sales.mdf 和 sales.ndf。2、一个文件只能是一个文件组的成员。
3、一个文件组可以包含多个文件,一个数据表在创建时可以指定要将数据放在那一个文件组上,而没有办法指定是要放在哪一个文件上,文件组对组内的所有文件都使用按比例填充策略。
4、事务日志文件不能属于任何文件组。
使用文件和文件组时的一些一般建议:
大多数数据库在只有单个数据文件和单个事务日志文件的情况下性能良好。
如果使用多个文件,请为附加文件创建第二个文件组,并将其设置为默认文件组。这样,主文件将只包含系统表和对象。
若要使性能最大化,请在尽可能多的不同的可用本地物理磁盘上创建文件或文件组。将争夺空间最激烈的对象置于不同的文件组中。
使用文件组将对象放置在特定的物理磁盘上。
将在同一联接查询中使用的不同表置于不同的文件组中。由于采用并行磁盘 I/O 对联接数据进行搜索,所以性能将得以改善。
将最常访问的表和属于这些表的非聚集索引置于不同的文件组中。如果文件位于不同的物理磁盘上,由于采用并行 I/O,所以性能将得以改善。
请勿将事务日志文件置于其中已有其他文件和文件组的物理磁盘上。
文件组对组内的所有文件都使用按比例填充策略的解析:
当数据写入文件组时,SQL Server 数据库引擎按文件中的可用空间比例将数据写入文件组中的每个文件,而不是将所有数据都写入第一个文件直至其变满为止。然后再写入下一个文件。例如,如果文件 f1 有 100 MB 可用空间,文件 f2 有 200 MB 可用空间,则从文件 f1 中分配一个区,从文件 f2 中分配两个区,依此类推。这样,两个文件几乎同时填满,并且可获得简单的条带化。
假定将数据库设置为自动增长,则当文件组中的所有文件填满后,数据库引擎便会采用循环方式一次自动扩展一个文件以容纳更多数据。例如,某个文件组由三个文件组成,它们都设置为自动增长。当文件组中所有文件的空间都已用完时,只扩展第一个文件。当第一个文件已满,无法再向文件组中写入更多数据时,将扩展第二个文件。当第二个文件已满,无法再向文件组中写入更多数据时,将扩展第三个文件。当第三个文件已满,无法再向文件组中写入更多数据时,将再次扩展第一个文件,依此类推
自己实践过程摸索的内容:
文件与文件组的删除,如果因为以前的分区方案不合理,需要取消分区,或者按另外一种方式分区,就需要涉及到文件与文件组的删除 *** 作,如果没有掌握正确步骤,有时候可能无法删除,会提示你“文件不为空,无法删除”或者“文件组不为空,不能删除”等等,如果不知道技巧,会很郁闷!本人就曾经经历过这样的郁闷!在百度也没找到正确答案,下面说说我自己经过摸索后得到的答案。
1、 文件的删除:首先要先清空文件里的数据,删除之前数据一定要记得先备份,可将数据复制到其他表,然后执行:
DBCC SHRINKFILE (FileName, EMPTYFILE)
文件中的内容删除后,再执行删除文件命令,DataBaseName表示数据名,FileName 表示文件名:
ALTER DATABASE [DataBaseName] REMOVE FILE FileName
2、文件组的删除:
当文件组的文件被删除后,按正常理解,应该就可以直接删除文件组,实际是不行的,你无法删除文件组。
因为还有几个东西依赖文件组,一是分区方案,二是使用该分区方案的分区表。
所以要删除分区方案才能删除文件组。但要删除分区方案之前要先更改依赖它的分区表,使其不依赖它。
这个主要是更改分区表的分区列,使其不使用分区方案,如果实在不会更改,在表里数据已经备份的前提下,可以直接删除表来解决。
然后再删除分区表方案,最后就可以直接删除文件组了。
总结前面的删除过程:
1、修改分区表,使其不依赖分区方案。
2、删除分区方案(依赖要删除的文件组)。
DROP PARTITION SCHEME [Part_func_scheme_Name]
3、直接删除文件组。
ALTER DATABASE [DataBaseName] REMOVE FILEGROUP [FGName]
DataBaseName表示数据名,FGName 表示文件组名。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)