Facebook数据科学面试指南

Facebook的数据库设计

每天任务统计：- 10TB 压缩数据新增- 135TB 扫描数据总量- 7500+ 任务- 80K 计算小时- 95% Hadoop 任务使用 Hive1GB 机架内连接，100MB 机架间连接所有磁盘均为 7200 SATA

在数据科学领域，面试时常涉及到多种技术的深入理解，特别是在Hadoop、Spark、Hive和HBase等核心组件上。以下是一些可能在面试中遇到的关键知识点： Hadoop 1. HDFS（Hadoop分布式文件系统）读写流程：读取文件时，首先通过NameNode获取文件块的位置信息，然后从最近或负载较低的DataNode节点读取数据。写文件时，数据会被切分为块并复制到多个DataNode上，以实现冗余和容错。 2. HDFS故障处理：如果读取过程中某个块损坏，HDFS会自动尝试其他副本。即使DataNode挂掉，HDFS也会继续将数据块写入其他可用的DataNode，确保数据完整性。 3.

Spark 是大数据领域的明星，性能和灵活性让它受到了广泛欢迎。如果你是数据科学家或开发者，Spark 几乎是你不可错过的工具。Spark for Data Science这本书就深入了如何用 Spark 2.0 进行数据，是在机器学习的应用上。书里不仅仅讲 Spark 的基本框架，还了 Spark SQL、MLlib 等常用组件，你掌握最新的技术和应用。无论是流、图形计算还是大规模数据，Spark 都能轻松搞定。而且，Spark 的弹性分布式数据集（RDD）设计也让大数据变得更加高效。书中的内容深度适中，适合想要入门或进阶的开发者。推荐给那些对大数据和机器学习有兴趣的朋友们，能你更好地理解

数据科学入门的那点事儿，总得有人讲得明白点、轻松点。《intro-to-datascience.pdf》就是这么个还挺实在的材料。文件一上来就提了 1996 年“datascience”这个词的由来，还带了点八卦味儿，挺吸引人。后面讲到 H2O 这个 AI 平台，适合你玩 Python 或 R 语言的同学试试水。里面还有安装指导，基本不用你瞎猜怎么配环境。 数据科学家的“独角兽”说法也挺形象，意思就是这类人不常见，但有料。文件里把团队结构也梳理清楚了，像数据工程、、建模这几类角色分别是干嘛的，看完你就心里有数了。更好的是，机器学习、深度学习、集成学习这些也都有提到，虽然是入门内容，但覆盖面还蛮

Facebook公司的一个核心业务是关系数据库管理系统（RDBMS）数据模型。

这是一本全面介绍数据分析领域的入门书籍，重点以Python语言为主线，涵盖了numpy、Pandas和scikit-learn等数据分析库，以及可视化工具Orange 3。内容包括kNN、Kmeans、决策树、随机森林等常用算法的实际应用，还涉及特征工程和深度学习中的自动编程器。此外，书籍还介绍了在大数据环境中如何使用Hadoop、Hive和Spark的ML/MLlib库进行分布式机器学习。通过大量的实战案例，读者可以全面掌握数据科学的各个方面。

本内容分享了Facebook在Spark调优方面的实践经验。

SQL Server最近两个版本才开始全面支持数据科学。如果您同时熟悉SQL Server和数据科学，并有兴趣在项目中使用SQL Server和机器学习（ML）服务，那么这本书非常适合您。本书是使用Microsoft SQL Server和内置ML服务进行数据科学的理想入门指南，涵盖从业务和数据理解、数据概述、数据准备、建模和算法使用、模型评估到部署的所有数据科学项目阶段。您将学习使用SQL Server附带的引擎和语言，包括R和Python语言的ML服务以及Transact-SQL。还将了解如何选择哪种算法用于哪项任务，以及每种算法的工作原理。