Apache火花:Apache 2.3火花初学者

Apache Spark是用于数据科学的开源集群计算框架，已成为事实上的大数据框架。在这个技能展示课程，探索Apache Spark的基础知识，分析引擎，用于与Hadoop顶部建造的大数据一起使用。了解它允许使用自己的库方法和SQL的数据进行操作，同时提供出色的性能。这里涉及的主要概念包括火花与Hadoop合作;火花RDD，它们的特征以及如何区分RDD和DataFrames;以及Spark和Spark Session，Master和Worker节点的功能的组件。然后观察如何安装pyspark并初始化火花上下文;如何从RDD的内容初始化Spark DataFrame;使用SQLContext的Dataframe的内容。接下来，您将学习如何在RDD上应用Map（）函数来配置DataFrame; how to retrieve required data from DataFrame and how to apply transformations; and how to convert Spark DataFrames to Pandas DataFrames and vice versa.

用于数据科学的开放源集群计算框架，Apache Spark已成为事实上的大数据框架。在此技能展示课程中，学习者探索如何使用DataFrame API方法分析实际数据集。发现如何优化共享变量的操作，并使用连接组合来自多个DataFrame的数据。本课程中涵盖的主要概念包括使Spark 2.x版本的功能明显快于火花1.x;如何从CSV文件的内容创建Spark DataFrame并在DataFrame上应用一些简单的转换;以及如何在DataFrame上应用分组和聚合操作，以分析数据集中的数据类别。然后使用Matplotlib可视化Spark DataFrame的内容;了解广播变量以及如何使用DataFrame执行连接操作;并在文本文件中研究DataFrame的内容进行存档或共享。最后，了解如何在Spark Dataframes上执行不同的连接操作以将数据与多个源组合，以及如何使用DataFrame API分析数据。

继续探索Apache Spark，事实上的大数据科学框架，在这个Skillsoft Aspire课程。您将学习如何通过将Spark DataFrame当作关系数据库表来分析它。学习如何从Spark DataFrame创建视图并对其运行SQL查询，以及如何在Windows中定义和探索数据。本课程的关键概念包括在Spark DataFrame内容上优化任何查询或方法调用的不同阶段;如何从一个Spark DataFrame的内容创建视图，并对它们运行查询;以及如何在创建视图之前修剪和清理DataFrame，作为运行SQL查询的前体。接下来，学习如何通过运行不同的SQL查询执行数据分析;如何配置一个明确定义的模式的DataFrame;并在Spark上下文中定义什么是窗口。最后，观察如何使用Windows在数据集中创建和分析数据类别。

Apache Spark是一个开源的大数据处理框架。探索如何下载和安装Apache Spark，以及如何构建、配置和初始化Spark。

Apache Spark SQL在Spark中用于结构化数据处理。探索Spark SQL的特性，如SparkSessions, DataFrames和Datasets。

发现结构化蒸汽的概念，如窗口，dataframe和SQL操作，以及探索文件宿，重复数据删除和检查点。

Apache Spark为实现机器学习和深度学习提供了一个健壮的框架。它利用弹性分布式数据库提供了一个非常适合开发大数据应用程序的容错平台。因为许多大公司正在积极地使用这个框架，AI开发人员应该熟悉使用Apache Spark和Spark ml实现AI的基础知识。在本课程中，您将探索分布式计算的概念。您将识别使用Spark进行AI开发的好处，分析使用Spark相比其他大数据AI平台的优点和缺点。接下来，您将描述如何使用Spark实现机器学习、深度学习、自然语言处理和计算机视觉。最后，您将使用Spark ML创建Netflix和YouTube常用的电影推荐系统。

Spark是一种领先的开源聚类计算框架，用于分布式数据库和机器学习。虽然没有主要为AI设计，但Spark允许您利用AI开发中使用的数据并行性和大型分布式系统。AI从业者应识别何时使用Spark为特定应用程序。在本课程中，您将探讨使用Apache Spark的高级技术，并确定在其他平台上使用火花的关键优势。您将定义弹性分布式数据库（RDDS）的含义，并探索与它们相关的几个工作流程。您将继续识别如何使用Spark DataFrame，识别其功能和用例。最后，您将学习如何使用Spark ML管道创建机器学习管道。