Pyspark安装和设置使用
1.下载安装JDK（Java7、Java8)
2.设置JAVA HOME环境变量
3.安装设置Scala(version 2.11.8)
4.下载安装Spark（version 1.6.2）
5.设置PySpark环境变量
export SPARK_HOME=/opt/spark
export PYTHONPATH=$SPARK_HOME/python
export PYSPARK_PYTHON=python3
6.验证
>>> from pyspark import SparkContext
>>> sc = SparkContext()
1.下载安装JDK（Java7、Java8)
2.设置JAVA HOME环境变量
3.安装设置Scala(version 2.11.8)
4.下载安装Spark（version 1.6.2）
5.设置PySpark环境变量
export SPARK_HOME=/opt/spark
export PYTHONPATH=$SPARK_HOME/python
export PYSPARK_PYTHON=python3
6.验证
>>> from pyspark import SparkContext
>>> sc = SparkContext()
杨杰 香草缘-工程师 联系助理电话：17512919705
擅长处理：JAVA\Adriod\PHP\.NAT\Python\linux\windows开发环境搭建、计算机软件系统维护 、网络系统组网、计算机安装配置、计算机组装配置。
分享到：
收藏