京东的大数据架构挺有意思的,从最初的集中式一步步演进到现在的分布式,还用了不少自研工具。最关键的两点,一个是怎么撑起复杂业务的数据仓库,另一个是怎么在保障数据安全的同时,还能让数据使用门槛降低。嗯,这些在文档和 PPT 里讲得挺清楚的。
平台用的是类似 Hadoop、JDW2.0 这类分布式技术,说白了就是让数据不再堆在一个点上,分散更快更稳。比如他们从 Oracle
迁到自研的 JDW2.0
,响应也快,成本也下来了。
如果你平时对电商场景下的数据感兴趣,或者正好在搞 数据仓库 搭建,不妨看看他们的白皮书和架构 PPT,思路挺值得参考的。