其乐融融的IT技术小站

标签:大数据

存储架构

分布式存储系统在大数据处理中扮演着怎样的角色?

0

其乐融融 发布于 2023/12/20 01:10:14

如果存储节点本身可以定制,则通常会让其支持部分计算能力,以利用数据的亲和性,将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储,无法定制,则通常会将数据在计算节点缓存,并且尽量的复用。
参考资料

阅读(488)评论(0)赞 (11)

MySQL

线上优化之案例实战,你学会了吗?

1

其乐融融 发布于 2023/12/13 01:33:59

像日志这种大数据量落库,都是新增且无修改得场景建议使用 Clickhouse 进行存储,好处是相同数据量下对比 MySQL 占用存储更少,查询速度更快,坏处就是并发查询性能比较低,相比 MySQL 使用不算那么成熟。

阅读(462)评论(0)赞 (10)

SQL Server

大厂大数据SQL如何优化代码细节

1

其乐融融 发布于 2023/10/29 01:26:24

大数据SQL查询涉及海量数据的处理,往往会面临数据膨胀和性能问题。数据膨胀是指在SQL查询过程中,由于数据量庞大,导致查询速度变慢和资源消耗增加。

阅读(447)评论(0)赞 (14)

机器视觉

2021年十大科技趋势 - 人工智能,边缘计算,机器视觉等

1

其乐融融 发布于 2023/10/26 02:50:30

随着科技浪潮的不断涌进,2021年,微服务将变得极简;云原生则以应用为导向;边缘计算也将迎来规模化商业落地;前端代码会更简单;并且大数据也将会发生变革,与云融合,湖仓一体从理论到落地;人工智能将迈过发展的初级阶段,可解释性AI大规模应用落地更进一步;做重要的是5G的应用加快更多产业的升级。

阅读(643)评论(0)赞 (10)

SQL Server

大厂大数据SQL如何优化代码细节

1

其乐融融 发布于 2023/09/23 03:10:11

大数据SQL查询涉及海量数据的处理,往往会面临数据膨胀和性能问题。数据膨胀是指在SQL查询过程中,由于数据量庞大,导致查询速度变慢和资源消耗增加。

阅读(502)评论(0)赞 (15)

机器视觉

2021年十大科技趋势 - 人工智能,边缘计算,机器视觉等

1

其乐融融 发布于 2023/06/21 05:40:43

随着科技浪潮的不断涌进,2021年,微服务将变得极简;云原生则以应用为导向;边缘计算也将迎来规模化商业落地;前端代码会更简单;并且大数据也将会发生变革,与云融合,湖仓一体从理论到落地;人工智能将迈过发展的初级阶段,可解释性AI大规模应用落地更进一步;做重要的是5G的应用加快更多产业的升级。

阅读(619)评论(0)赞 (13)