Cloudera的运营数据库为应用程序提供了无与伦比的可扩展性和灵活性，使企业能够整合和处理来自更多来源的所有类型的数据，同时为开发人员提供所需的灵活性。在此博客中，我们将研究使Operational Database成为超大规模的正确选择的功能。
向上扩展架构
Cloudera的运营数据库（OpDB）支持向上扩展（SMP）环境。高速缓存层能够占用大型SMP环境中的所有内存。内存必须足够大以覆盖RegionServer、DataNode和操作系统，并且必须有足够的额外空间以允许块高速缓存辅助读取。当HBase与其他组件一起运行时，CPU争用和内存争用可能是一个问题，通过适当的YARN调整很容易解决。
由于采用了向上扩展的体系结构，因此可以在单个节点上运行多个服务和引擎。对于较小的节点，必须在较大的一组节点中分散多个服务和引擎。
横向扩展架构
除了向上扩展外，Cloudera的OpDB默认还支持横向扩展（集群）架构。
如果需要，可以使用Cloudera Manager将其他节点轻松添加到集群。该过程涉及在此新节点上安装相同的JDK版本，Cloudera Manager代理和Parcel。启动代理后，可以使用主机安装OpDB角色或OpDB服务。
例如，您可以启用RegionServer添加其他工作节点容量。然后，您可以运行平衡器以平衡此新节点上的现有工作负载。您还可以将此新节点添加为主节点，以在增加容量的同时实现高可用性。内部部署和云部署的过程相同。
限制
数据类型
Cloudera的OpDB在数据类型上有多种选择。它原生支持无类型的数据，而数据类型的大小不受限制（仅受集群给定节点中的内存限制）。
支持AVRO数据类型：
原始数据类型
null
boolean
int
long
float
double
bytes
string
复杂数据类型
Records
Enums
Arrays
Maps
Unions
Fixed
有关AVRO数据类型的更多信息，请参见Avro Schemas文档。
还支持Phoenix数据类型：
Integer/UNSIGNED_INT: 4 bytes
BIGINT/UNSIGNED_LONG/TIME/UNSIGNED_TIME/UNSIGNED_DATE/DATE: 8 bytes
TINYINT/UNSIGNED_TINYINT: 1 byte
SMALLINT, UNSIGNED_SMALLINT: 2 bytes
FLOAT/UNSIGNED_FLOAT: 4 bytes
DOUBLE/UNSIGNED_DOUBLE: 8 bytes
DECIMAL: upto 38 digits with a variable length binary representation
BOOLEAN: 1 byte, TIMESTAMP/UNSIGNED_TIMESTAMP: 12 bytes
VARCHAR/CHAR/BINARY/VARBINARY/ARRAY: no limit
数据库内存大小
OpDB的内存中部分可以跨DRAM和像Intel Optane这样的持久性内存。
此外，数据库可以跨越集群中的多个节点，并且不限于单个服务器的内存限制，从而可以实现TB级的规模。或者，当整个数据集都可以容纳在内存中（跨越一个服务器或多个服务器）并且表被配置为驻留/缓存的内存时，OpDB可以充当内存数据库，在低延迟，高吞吐量方面具有类似的好处。在这种情况下，写入操作仍将写入磁盘。
大型数据库
Cloudera的OpDB可以充当OLTP应用程序的超大型数据库，并且此用例不需要特殊的管理工具
OLTP数据库的大小没有具体限制。Cloudera客户最大的已知实现是每个实例大于2.5PB。
区域可扩展性
Cloudera的OpDB支持跨区域扩展。异步复制可用于允许数据库通过复杂的双向和多向复制链接跨越遍布全局的不同区域，这些链接创建具有可调一致性模型的复杂拓扑。
根据这些链接之间的延迟，集群也可以延伸到更小的距离。尽管没有预定义的限制，但客户通常希望节点之间的网络延迟小于20ms（最好小于1ms），以确保性能范围满足其应用程序要求。在这种情况下，建议在三个数据中心之间扩展集群，以确保在云中进行部署时在三个可用性区域中具有弹性。
快速加载
提供了多种机制来进行批量加载，例如通过API或使用MapReduce或Spark进行批量加载。
作者： Liliana Kadar& Gokul Kamaraj & Krishna Maheshwari
