锅炉信息网 > 锅炉知识 > 锅炉百科

专用的冗余结构支撑大数据查询

发布时间:

为完成特定的性能目标可以设计一些面向主题的冗余结构,比如结存表,明细表等。功能上,一个单据描述一个业务实体,但如果单据的量级很大

为完成特定的性能目标可以设计一些面向主题的冗余结构,比如结存表,明细表等。

功能上,一个单据描述一个业务实体,但如果单据的量级很大,那么可以设计一个根单据并行的“影子”单据,这个“影子”单据由原始单据生成,为实现特定的性能目标而设计,针对这个特定的目标可以通过减少维度来降低数据精度,这样有效压缩数据量,通过增加冗余列减少表关联,甚至可以做一些分区和分表的处理,这样的针对特定场景的定制冗余结构一定是性能最优化的。

冗余结构可以实时维护,比如单据的增删改这些数据触点都要顺便维护一下这个结构。当然也可以批量维护,比如可以T+1的方式维护这个数据,如果要实时,差异数据可以从原始单据中查询。

专用的冗余结构是大数据很终极的解决方案,就像并行是大数据量计算终极方案一样,代价是原始单据的一些操作性能会受一些影响,但整体体验影响不大。如果架构上没有支持特定数据的定制化的冗余结构,那就需要客户化开发来实现,有一定的工作量。

如果目标是必须要达成的,且只有这一种,那也别无选择。

精选推荐

  • 711关东煮供应商
    711关东煮供应商

    今天给大家介绍三位,奶粉,全家、罗森这些便利店里关东煮的供应商。店里卖三四块钱一串的关东煮,在网上买不到,一块钱就搞定。首先关东

  • 健康日历|高压锅容易爆炸的4个原因
    健康日历|高压锅容易爆炸的4个原因

    来源:医药养生保健报设计:李雅琴医学审核:姜峰出品人:胡丽丽

  • 高炉
    高炉

    今天这活却是个白事,等到了时辰,那家人便准备火化,本来准备送普炉,我却心中一动,便对那家人说道:“这老人走也不要省,还是送高炉吧。”

  • 高压锅和电压力锅的区别,推荐几款点压力锅
    高压锅和电压力锅的区别,推荐几款点压

    记得之前有一次去朋友家玩,他正在用高压锅煮小米粥,是的,高压锅压小米粥,大概煮了半小时,高压锅突然爆炸了,现场惨不忍睹啊,幸好厨房里没

0