启动spark shell.

在spark安装目录bin文件夹下

./spark-shell --master spark://nbdo1:7077 --executor-memory 2g --total-executor-cores 2

参数说明：

--master spark://nbdo1:7077 指定Master的地址

--executor-memory 2g 指定每个worker可用内存为2G

--total-executor-cores 2 指定整个集群使用的cpu核数为2个

注意：

如果启动spark shell时没有指定master地址，但是也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，没有与集群建立联系。

不指定 --executor-memory使用每台worker内存总数-1GB的内存（如总的8gb，预留1gb给操作系统，使用7gb）。

不指定--total-executor-cores使用整个集群的cpu数。

scala> [hadoop@nbdo1 bin]$ ./spark-shell --master spark://nbdo1:7077
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/15 16:31:18 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/15 16:31:24 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.18.146:4040
Spark context available as 'sc' (master = spark://nbdo1:7077, app id = app-20170515163119-0001).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.1
/_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_73)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 可以在这里直接运行scala代码