Scala 2.11.8 + JDK 1.8 环境搭建与 IDEA 配置避坑指南

简介这份Scala学习资料面向大数据开发初学者及需要理解Spark底层语言的开发者聚焦Scala基础入门与开发环境搭建两大痛点。内容围绕学习目标展开涵盖Scala与JVM、函数式与面向对象融合的语言定位Spark 1.6与2.0在Scala 2.10/2.11版本上的差异官网六大特征Java互操作、类型推测、并发分布式、特质、模式匹配、高阶函数以及Windows与Linux下的安装和环境变量配置、IDEA与Eclipse插件配置流程。基础部分讲解数据类型、var与val变量常量声明、if表达式与类型推测并用完整示例演示类、单例对象、apply方法及伴生类与伴生对象的写法便于边看边敲、对照实践。资源包共1个docx文件约2.04MB以图文笔记形式组织目录按学习目标、语言介绍、安装配置、编程基础递进排列适合作为课前预习或查阅手册。目前已有2066人学习下载可供Scala与Spark入门阶段系统梳理知识、快速搭建开发环境时参考。1. 装 Scala 之前先定版本JDK 1.8 配 Scala 2.11.8 这条线上个月帮 A 同学收拾一台开发机IDEA 装好了JDK 是随手下的新版Scala 也拉了最新的结果新建工程一路飘红连1 to 10这种最简单的表达式都编译不过。问题不在代码在版本线。Scala 跑在 JVM 上JDK 版本和 Scala 版本是绑死的Spark 1.6 那条线用的是 Scala 2.10Spark 2.0 以后切到 Scala 2.11而 Scala 2.11 对 JDK 的兼容上限基本就压在 1.8 附近。所以这套环境的起点不是「装最新的」而是先把 JDK 1.8 和 scala-2.11.8 这一对钉死再谈 IDEA 插件和 SDK 绑定。下面按 Windows、Linux 两条路各走一遍配上 IDEA 的插件配置最后给一段能直接验证环境的代码。2. Windows 与 Linux 装 Scala 2.11.8三个环境变量最容易写错的地方Scala 本体其实不复杂压缩包解压就能用真正让人卡住的是环境变量——JAVA_HOME、SCALA_HOME、PATH这三条写错一个字符命令行就会告诉你「不是内部或外部命令」。这一章先把 JDK 1.8 落到位再分别走 Windows 的 msi 安装和 Linux 的解压安装最后用三条命令把结果验一遍。2.1 JDK 1.8 先落地安装路径别带空格和中文Scala 2.11.8 编译时依赖 JDK 的 tools.jar 一类的东西JDK 没装好后面 scalac 一定报错。我一般把 JDK 装在短路径下比如C:\env\jdk1.8不要放在C:\Program Files\...里——路径里的空格会让一部分构建脚本解析出错这种问题排查起来非常费时间。Windows 下装完 JDK用管理员权限打开 cmd 写环境变量:: /M 表示写入系统级变量不加则只写当前用户 setx JAVA_HOME C:\env\jdk1.8 /M :: 把 JDK 的 bin 追加到 Path 最前面保证优先命中 setx PATH %JAVA_HOME%\bin;%PATH% /Msetx是立即写注册表的但当前这个 cmd 窗口读不到新值必须关掉重新开一个窗口再验证。另外setx对超过 1024 字符的 Path 有截断风险如果机器上 Path 已经很长老老实实打开「系统属性 → 环境变量」用图形界面改别图省事。java -version javac -version两行都要出结果并且版本号是 1.8.x。只有java能跑、javac找不到说明装的是 JRE 不是 JDK后面配 Scala SDK 会失败。Linux 上同理解压后写进/etc/profilesudo tar -zxvf jdk1.8.tar.gz -C /opt/ sudo ln -s /opt/jdk1.8 /opt/java# /etc/profile 末尾追加 export JAVA_HOME/opt/java export PATH$JAVA_HOME/bin:$PATHsource /etc/profile之后java -version能出版本号即可。这里把$JAVA_HOME/bin放在$PATH前面而不是后面是为了避免系统自带的 openjdk 抢先命中——很多 Linux 发行版预装了旧版 JDK顺序写反就会出现「明明配了 1.8java -version却显示别的版本」这种问题。2.2 Windows 装 scala-2.11.8.msi自动配好的变量也得复核一遍Windows 下拿scala-2.11.8.msi双击安装一路下一步就行默认落在C:\Program Files (x86)\scala。安装器一般会自己建SCALA_HOME并往 Path 里追加两条但这一步在不同系统上表现不一致装完必须复核。关掉所有 cmd 窗口重新开一个:: 看 SCALA_HOME 有没有被建出来 echo %SCALA_HOME% :: 看 scala 命令实际落在哪个目录 where scala :: 看版本 scala -version如果echo %SCALA_HOME%输出的是%SCALA_HOME%本身说明变量没建手动补setx SCALA_HOME C:\Program Files (x86)\scala /M setx PATH %SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;%PATH% /M这里有两个细节值得说清楚。第一Path 里追加时前面那个分号是分隔符不是命令的一部分手工编辑时多一个分号会得到一个空路径项少一个分号会把两条路径拼成一条两种情况都会让命令找不到。第二%SCALA_HOME%\jre\bin是 msi 自带的那个精简 JRE作用是机器上完全没装 JDK 时也能跑scala命令如果你已经装了 JDK 1.8这一条加不加都能用但要保证%JAVA_HOME%\bin排在它前面别让自带 JRE 抢了 JDK 的位置否则 IDEA 里绑 SDK 时会指到一个不完整的运行时上。还有一个容易忽略的点msi 装在Program Files (x86)下这个目录名带空格和括号某些老脚本在拼接路径时会挂。真遇到诡异问题把整个 scala 目录复制到C:\env\scala-2.11.8再把SCALA_HOME指过去问题往往就没了。2.3 Linux 解压即装目录规划加软链方便以后换版本Linux 下 Scala 不需要安装程序解压就是安装sudo tar -zxvf scala-2.11.8.tgz -C /opt/ # 建一个不带版本号的软链后面换版本只改软链环境变量不用动 sudo ln -s /opt/scala-2.11.8 /opt/scala# /etc/profile 末尾追加只对登录 shell 生效 export SCALA_HOME/opt/scala export PATH$SCALA_HOME/bin:$PATHsource /etc/profile scala -version scalac -versionSCALA_HOME指向软链而不是真实目录是个成本很低的好习惯将来要试 Scala 2.12只需要解压新包、改一下软链指向profile 一个字都不用改。写 PATH 时用$SCALA_HOME/bin前置是因为有的机器上装了多个 Scala 版本比如为了跑不同版本的 Spark 作业前置能保证命令行里命中的是你想要的那个。如果是多人共用的开发机除了/etc/profile还要注意用户自己的~/.bashrc里有没有覆盖 PATH 的语句。bash 的加载顺序是/etc/profile→~/.bash_profile→~/.bashrc后面的会盖前面的我遇到过配了半小时不生效最后发现是.bashrc里有一行旧的export PATH把新路径顶掉了。2.4 三条验证命令每一行输出都要看懂装完别急着开 IDEA先在命令行把这三条跑一遍# 1. 解释器版本看是不是 2.11.8 scala -version # 2. 编译器版本编译器和解释器应该是同一个版本 scalac -version # 3. 真正跑一段代码验证运行时没问题 scala -e println(1 to 10)第三条最关键。前两条只证明程序能找到第三条才证明 JVM、类库、REPL 全都正常输出应该是Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)。三条全过Scala 本体这一层就算装完了。下面这张表把两套系统的变量对照列一下配的时候直接照着核变量名Windows 取值示例Linux 取值示例说明JAVA_HOMEC:\env\jdk1.8/opt/java指向 JDK 根目录不是 binSCALA_HOMEC:\Program Files (x86)\scala/opt/scala指向 Scala 根目录不是 binPATH 追加项%JAVA_HOME%\bin、%SCALA_HOME%\bin$JAVA_HOME/bin、$SCALA_HOME/binJDK 的 bin 要排在前面3. IDEA 配 Scala 插件从 Plugins 搜索到 SDK 绑定命令行能跑只是第一步日常写代码还得靠 IDE。Scala 的可选 IDE 有三个Eclipse 装插件、Scala IDE 独立版、IDEA 装插件。前两个现在基本可以放一边了Eclipse 插件对版本卡得极死装的插件版本和 Eclipse 版本对不上就打不开Scala IDE 更新早就停了。IDEA 这条路上手最省事但插件和 SDK 两步配置各有各的坑。3.1 插件安装先 close 项目再进 ConfigureIDEA 里装插件的入口在欢迎界面上不在打开的项目里打开 IDEA如果有项目自动打开了先File → Close Project回到欢迎界面。点Configure → Plugins新版界面是Plugins。在搜索框输入scala找到官方那个 Scala 插件点Install。装完重启 IDEA。这里有个容易搞混的地方搜索出来的结果里可能还有 sbt、Scala Worksheet 之类的插件那些是选装件先把主插件装上就行。另外如果公司网络对插件市场做了限制安装会一直转圈然后失败这种情况常见做法是手动下载插件包用Install Plugin from Disk从本地装——但要注意插件包必须和 IDEA 大版本对应2020.x 的包塞进 2022.x 里是装不上的。提示插件装完必须重启 IDEA重启前在 Plugins 列表里确认 Scala 那一行的勾是打上的没勾上等于没装。3.2 绑 JDK 1.8Project Structure 里的两个位置插件装好之后先配 JDK再配 Scala SDK顺序不能反因为 Scala SDK 建立时会去读当前项目的 JDK。打开File → Project Structure在左侧选Platform Settings → SDKs点号选JDK然后浏览到你装 JDK 1.8 的那个目录C:\env\jdk1.8或/opt/java选中根目录不要选到bin或者jre子目录里去。IDEA 认出来之后会显示版本号确认是 1.8。然后在Project Settings → Project里把Project SDK选成刚加的 1.8Project language level也选 8。language level 如果停留在更高的级别写 Scala 代码时一些语法检查会误报虽然不影响编译但一片黄线看着难受。3.3 建工程时选 Scala SDKBrowse 到安装根目录新建工程File → New → Project左侧选Scala右侧会让你选构建方式IDEA、sbt、Lightbend三选一。刚开始学的时候选IDEA就行不引入 sbt 那套依赖管理工程结构简单出问题好排查。下一步会提示选择 Scala SDK点Create或Browse浏览到你 Scala 的安装目录——注意是根目录/opt/scala或C:\Program Files (x86)\scala不是bin目录。选中之后 IDEA 会自己扫出scala-compiler、scala-library这些 jar列表里显示出版本 2.11.8 就对了。原文里提到「点击 Browse 选择本地安装的 Scala 目录选择 system.Scala」说的就是这个动作如果机器上同时存在 IDEA 自带的 Scala 和你本地装的 Scala列表里会显示多行选带system字样或者路径指向你本地安装目录的那个别选成 IDEA 自带的版本。选错的表现是代码能写但编译报版本不匹配或者scala-library的版本和 SDK 对不上。3.4 Eclipse 插件和 Scala IDE老方案还值不值得走原文里给了 Eclipse 的两条路一条是下载 scala 插件 zip 包把features和plugins两个文件夹拷到 Eclipse 安装目录的dropins/scala下另一条是直接下 Scala IDE 独立版。这条路现在还能走通但前提是你对版本极其小心。插件必须和 Eclipse 大版本严格对应装错了 Eclipse 直接起不来而且报错信息非常含糊基本看不出是插件的问题。真要用 Eclipse我的做法是单独下一份 Eclipse专门用来跑 Scala别拿日常开发 Java 的那个 Eclipse 去折腾出问题直接删掉重来成本最低。绝大多数情况下直接用 IDEA 更省事。Scala IDE 那个独立版虽然开箱即用但内置的 Eclipse 内核版本很老写代码时的补全和跳转体验跟 IDEA 差一截不值得为省一步插件安装去忍受。4. 第一个 Scala 工程变量、类与伴生对象怎么跑起来环境搭好之后别急着看 Spark 的代码先在本机把 Scala 的基本构件跑一遍。这一步不是为了学语法是为了确认「IDEA Scala SDK JDK」这条链路是真的通的——代码能写、能编译、能运行、断点能停四件事都过了环境才算立住。4.1 val 与 var极简原则下的类型推断Scala 有个极简原则能推断出来的类型一概不写。变量声明只有两个关键字var可改val不可改后者等价于 Java 里的 final。object VarDemo { def main(args: Array[String]): Unit { // var 定义变量可以重新赋值 var name demo-user println(name) name demo-user-2 println(name) // val 定义常量相当于 Java 的 final重新赋值会编译报错 val gender m // gender f // 这行放开就是编译错误 println(gender) // 类型可以显式写也可以让编译器推断 val a: Int 10 println(a) } }代码里val gender m这行编译器会自动把类型推成String不用写val gender: String。反过来如果显式写了类型赋的值类型对不上编译期就报错这是 Scala 类型安全的一部分。注意注释掉的那行gender f很多人第一次写会以为它只是覆盖变量实际是编译不通过的——val声明之后引用不可再指向新值。这一条在 IDEA 里会直接标红不用等到编译。4.2 class 与 objectnew 与不 new 的区别Scala 里class和object是两套东西。class是普通类用new创建实例object是单例对象不能new直接按名字调用作用上相当于 Java 里的工具类。// 定义一个类属性自带 getter/setter class Person { val name demo-user val age 18 def sayName(): String { my name is name } } // 单例对象里面放 main 方法作为程序入口 object LessonClass { def main(args: Array[String]): Unit { // class 需要 newnew 的时候类体里除了方法之外都会执行 val person new Person() println(person.age) println(person.sayName()) } }几个从 Java 转过来最容易别扭的点第一class默认就可以带参数类的参数列表就是默认构造函数写class Person(xname: String, xage: Int)就已经有了构造能力。第二重写构造函数必须先用this(...)调用默认构造不能像 Java 那样随便写。第三new一个 class 的时候类体里除了方法之外的语句都会被执行一遍方法本身不会执行。第四object里不能传参数Trait也不能传参数这点在写工具类和特质时要注意。4.3 伴生类和伴生对象私有成员可以互访同一个文件里如果class和object名字相同它们互为伴生关系这个 object 是那个 class 的伴生对象这个 class 是那个 object 的伴生类。最大的好处是可以互相访问私有成员。class Person(xname: String, xage: Int) { var name Person.name // 访问伴生对象的成员 val age xage var gender m // 辅助构造函数第一行必须调用默认构造 def this(name: String, age: Int, g: String) { this(name, age) gender g } def sayName(): String { my name is name } } object Person { val name demo-user def main(args: Array[String]): Unit { val person new Person(demo-user-2, 10, f) println(person.age) println(person.sayName()) println(person.gender) } }对象里还有个apply方法值得单独说。object本身不能传参但如果你按Obj(参数)的方式调用编译器会自动去找 object 里参数个数匹配的apply方法。这个机制在 Scala 里用得极广很多看起来像构造函数的写法底层都是 apply。写的时候只要记住参数个数要对上对不上就报找不到 apply。4.4 方法与函数def 和 val 的分界线这是 Scala 里概念上最容易混淆的一处。def定义的是方法val配合定义的是函数二者在 Scala 里不是一回事函数是「头等公民」可以像普通值一样赋给变量、作为参数传递、作为返回值返回。object FuncDemo { // 方法用 def 定义参数必须标类型 def method(a: Int, b: Int) a * b // 函数本质是一个对象赋给 val val f1 (x: Int, y: Int) x y // 高阶函数参数是函数 def highFun(f: (Int, Int) Int, a: Int): Int { f(a, 100) } def main(args: Array[String]): Unit { println(method(3, 5)) println(f1(1, 2)) // 把函数当参数传进去 println(highFun(f1, 1)) // 也可以直接传匿名函数 println(highFun((x, y) x y, 2)) } }几个参数上的细节方法定义时参数类型必须写返回值类型可写可不写编译器会推断但递归方法和返回值是函数类型的方法返回类型必须显式写否则推断不出来。方法体如果只有一行花括号可以省略。方法里写return的话必须同时写返回类型不写return就把最后一行当返回值。还有一个反直觉的点如果去掉方法定义里等号后面的内容直接写成def f(a: Int) { ... }返回类型必定是Unit方法体里算出来的值会被丢掉——这个坑我在写工具方法时踩过调了半天以为逻辑有问题其实是少写了个等号。参数这一块还有三种形态会用得上带默认值的参数传参个数少于定义个数时要按名字指定比如fun3(b 2)不指定名字会按位置匹配可变参数用Int*声明多个参数逗号分开偏应用函数则是固定住一部分参数得到一个新函数val logWithDate log(date, _: String)这种写法就是固定了第一个参数把第二个留空。4.5 for 与 yield、lazy val写循环时的几个硬规矩Scala 的 for 循环和 Java 差得比较多to和until的区别是第一个要记的1 to 10左右都包含1 until 10左闭右开。两个都可以带步长1 to (10, 2)表示从 1 开始、步长 2、到 10 结束步长不能为 0可以是负数负数就是递减。object LoopDemo { def main(args: Array[String]): Unit { // to 包含右边界until 不包含 println(1 to 10) println(1 until 10) // 带步长 println(1 to (10, 2)) // 多层 for分号隔开多个生成器 var count 0 for (i - 1 to 10; j - 1 until 10) { count 1 } println(count) // 循环里加条件判断分号可以省略 for (i - 1 to 10 if i % 2 0 if i 4) { println(i) } // yield 把满足条件的元素收成一个集合 val result for (i - 1 to 100 if i 50 if i % 2 0) yield i println(result) // lazy val第一次被访问时才求值 lazy val lazyVal { println(I am too lazy); 1 } println(before access) println(lazyVal) } }注意count 1这行Scala 里没有count和count--只能写count count 1或count 1。从 Java 过来的人第一次写i会直接编译报错这算是 Scala 给新人的一个下马威。yield那块返回的是一个集合而不是单个值类型由循环体决定上面这段返回的是IndexedSeq[Int]。lazy val则是延迟求值第一次被访问才执行花括号里的内容所以上面那段输出顺序是先before access、再I am too lazy、最后1这个执行顺序在调试初始化逻辑时很有用。5. 避坑与排查装 Scala 2.11.8 最常翻车的五个地方环境装完不等于能跑起来。下面这五条是我在不同机器上反复撞见的按现象、原因、解决三段的顺序记下次遇到直接对号入座。5.1 scala 命令提示「不是内部或外部命令」现象环境变量配完新开 cmd 敲scala -version提示scala 不是内部或外部命令也不是可运行的程序。原因Path 里追加的路径写错了或者写了但没生效。常见的三种错法是路径末尾多写了\bin\bin追加时忘了前面的分号把新旧路径拼成了一串调用setx之后没重开窗口当前窗口读的还是旧环境变量。解决先用echo %PATH%把整条 Path 打出来看逐段核对有没有...\scala\bin这一段。再直接dir C:\Program Files (x86)\scala\bin确认目录真实存在、里面有scala.bat。如果是 Linux用which scala和echo $PATH看是否命中还要检查~/.bashrc里有没有旧语句覆盖。确认配置无误但还不生效的重启一次终端甚至注销重登是成本最低的排除法。5.2 IDEA 里新建工程找不到 Scala 选项现象插件装完重启了File → New → Project左侧只有 Java、Kotlin 这些没有 Scala。原因插件没真正启用或者装的插件版本和 IDEA 大版本不匹配。还有一种情况是插件装在了「已禁用」状态列表里能看到但勾没打上。解决去Configure → Plugins → Installed里找 Scala确认勾选状态没勾就勾上然后重启。版本不匹配的去插件市场看当前 IDEA 版本对应的 Scala 插件版本装匹配的那个。如果是在受限网络下从本地装插件包装完报兼容性错误那基本只能换 IDEA 版本或者换插件包硬装上去会有一堆奇怪的运行时异常。5.3 绑定 Scala SDK 时选到 bin 目录编译一直报找不到库现象Project Structure 里点 Browse 选了 Scala 目录结果列表里扫不出scala-library或者能扫出来但编译时报object scala is not a member of package这类错误。原因浏览时选的是bin子目录或者lib子目录而不是 Scala 安装根目录。IDEA 需要从根目录下的lib里读 jar 包根目录选错了后面的推断全乱。解决重新绑一次路径选到C:\Program Files (x86)\scala或/opt/scala这一层。选对之后SDK 列表里会明确显示scala-library-2.11.8.jar之类的条目版本号能对上就说明对了。5.4 JDK 版本过高Scala 2.11.8 编译直接崩现象JDK 用的是新版比如 11 或 17scala -version能出版本号但一编译就报错报错内容五花八门有时是找不到某个类有时是字节码版本不支持。原因Scala 2.11 这条线是围绕 JDK 8 开发的对更高版本的 JDK 兼容性没有保证。新版 JDK 移除了一批老 APIScala 2.11 的编译器内部还在用于是编译阶段就挂了。解决老老实实装 JDK 1.8把JAVA_HOME指过去IDEA 的项目 SDK 也切回 1.8。机器上如果因为别的项目必须保留高版本 JDK就靠JAVA_HOME切换别在同一个项目里混用。这个坑很值得提前避开因为它的报错信息完全不指向 JDK 版本容易让人误以为是代码写错了白白浪费一晚上。5.5 命令行能跑IDEA 里运行报编码错误或乱码现象同一个文件命令行scala xxx.scala正常IDEA 里 Run 出来中文全是问号或者编译时报unmappable character之类的编码错误。原因Windows 下命令行默认编码和 IDEA 工程编码不一致IDEA 的 File Encodings 里 Global Encoding 和 Project Encoding 可能还是别的值源文件又有可能是 GBK 保存的。解决Settings → Editor → File Encodings里把 Global、Project、Default encoding for properties files 全设成 UTF-8勾上Transparent native-to-ascii conversion。已经存成 GBK 的源文件用 IDEA 右下角的编码切换先选 GBK 让内容正常显示再Convert成 UTF-8别直接改编码否则中文会变成乱码再也回不来。6. 装完怎么验证一段代码同时压 JDK、SDK 和插件前面几步都做完最后一步不是再跑一次scala -version那只能证明程序在。我一般会写一段同时用到伴生对象、类型推断、高阶函数和 yield 的代码一次把 JDK、Scala SDK、IDEA 插件三条链路都压一遍任何一环没配好这段代码都跑不出预期结果。把它保存成EnvCheck.scala放在新建的 Scala 工程里// 伴生类与伴生对象同文件同名用来验证 SDK 绑定正确 class EnvCheck(val tag: String) object EnvCheck { // 私有成员用来验证伴生关系能互访 private val version 2.11.8 // 高阶函数接收一个函数作为参数 def apply(f: Int Int, n: Int): Int f(n) def main(args: Array[String]): Unit { // 类型推断不写类型由编译器推 val nums 1 to 10 // for yield 生成集合验证 Range 和集合操作正常 val evens for (i - nums if i % 2 0) yield i println(evens evens) // 匿名函数作为参数传给高阶函数 println(square EnvCheck(x x * x, 5)) // 伴生类实例化读取伴生对象里的私有值 val c new EnvCheck(ok) println(tag c.tag , scala EnvCheck.version) } }在 IDEA 里右键 Run预期输出三行evens Vector(2, 4, 6, 8, 10)、square 25、tag ok, scala 2.11.8。然后切到命令行进到该文件所在目录再跑一遍# 先编译验证 scalac 能正常调用 JDK 1.8 scalac EnvCheck.scala # 再运行验证运行时类路径没问题 scala EnvCheck两处输出一致说明四件事都成立JDK 1.8 能被编译器找到Scala SDK 版本是 2.11.8IDEA 插件能正常索引和编译for/yield、高阶函数这些基础语法在运行时也没问题。如果 IDEA 里过了命令行不过问题在环境变量命令行过了 IDEA 不过问题在工程的 SDK 绑定或编码设置按这个方向分头查比盲目重装快得多。提示这段代码别跑完就删留在工程里当冒烟测试用。以后换机器、升级 IDEA、切换 JDK先跑它一遍比重新走一遍安装流程省事。从那以后我每次装 Scala 环境都会先把 JDK 1.8 和 Scala 2.11.8 这对版本写进记录里再动手配环境变量最后用这段小代码过一遍三步缺一步都不算装完。吃过一次「版本装高了报错却指向代码」的亏就知道后悔药不如事前把版本钉死。希望这套流程能帮你少走两个晚上。本文还有配套的精品资源点击获取