百亿级数据如何做秒级聚合计算？
回答·12
最热
最新
- 多买几根内存条，只要内存条够多，数据流就追不上你
- 如果数据存储做到了按索引分布式，则很容易通过多服务器，多 CPU，多线程再加上 MPI 并行计算来实现秒级聚合计算。 反之如果数据是无序的杂乱存储，则神仙来了也无计可施。
- 试试 clickhouse 有惊喜哦
- 解决进程间，应用间，系统间，硬件之间，网络之间。延迟之后。他们就成了一个亲密无间的强大系统。后果你懂的。。。
- 看你的用途， 如果是常用的聚合，可以提前预聚合。 如果不常用，那就使用内存聚合，
- 对聚合的数据进行数据结构设计，在形成中存储中间支持参数。
- 矿机原理妙算百万数据分分钟搞定，就比如一台电脑装好几个显卡，想像一下跑起来的速度。
- Hadoop? 搭好并调优好集群，处理好倾斜，写好语句，跑就完了。
- 多线程多加几台服务器
- 合理使用公司自搭建的云计算服务资源。
相似问题
推荐关注
正在加载中...