在日常写代码时往往不会注重注释的格式、规范等问题,可能注释都不会写,但是一旦代码完成后要交付他人,就需要考虑注释的问题了,因为重要函数、方法的注释往往对整个代码的阅读起着十分重要的作用,在eclipse中,我们可以自动生成注释的模板,在IDEA中显然也是可以的,下面就介绍两种生成注释的方式。

作为一名合格的计算机人士,百折不挠的瞎折腾精神是必备的。今天本想使用一下尘封已久的VMware虚拟机搭的集群,结果发现 Spark 有各种问题,应该是之前潦草搭集群时挖下的坑(前几天也用过,但并不是cluster mode,我现在才知道..),面对这些坑,果断的选择重装啊,所以叒叒叒开始愉快的搭环境了,,

背景是这样的:手上有一个学长之前实现的Spark项目,使用到了GraphX,并且用的Scala编写,现在需要再次运行这个项目,但如果直接在IDEA中打开项目,则由于各种错误会导致运行失败,这里就记录一下该如何使用IDEA来加载老旧的Spark项目。
注意:默认你的机器已有Scala环境,项目使用IDEA打开,对Sbt不做要求,因为这里采用的是NoSbt方式添加依赖的。

前言

在日常项目开发中,组件的引入是很平常的事情,一般来说,我们的项目由Maven构建,然后在需要新引入一个依赖时,只需在pom.xml中添加依赖描述即可,但是,有时我们的项目未必采用Maven构建,比如Spark项目就多采用sbt,或者直接添加jar包的方式,这时,如果需要添加某个外部依赖如果采用添加jar包的方式就会非常繁琐,不过IDEA为我们提供了方便的添加方式。

现在IDEA编译成功topo后,使用WinSCP将打包好的包传到主节点
注意:打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

1
2
3
4
5
6
7
8
//本地测试模式           
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("firstTopo", conf, builder.createTopology());
Utils.sleep(100000);
cluster.killTopology("firstTopo");
cluster.shutdown();
//集群提交模式
StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

基本调试过程

现在IDEA编译成功topo后,使用WinSCP将打包好的包传到主节点

注意:打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

1
2
3
4
5
6
7
8
//本地测试模式           
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("firstTopo", conf, builder.createTopology());
Utils.sleep(100000);
cluster.killTopology("firstTopo");
cluster.shutdown();
//集群提交模式
StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());




全站共计 313.7k 字,自豪地使用 Volantis 主题

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议