GraphX 是新的(alpha)的图形和图像并行计算的Spark API。从整理上看,GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD:一个将有效信息放在顶点和边的有向多重图。为了支持图形计算,GraphX 公开了一组基本的运算(例如,subgraph,joinVertices和mapReduceTriplets),以及在一个优化后的
PregelAPI的变形。此外,GraphX 包括越来越多的图算法和 builder 构造器,以简化图形分析任务。

背景是这样的:手上有一个学长之前实现的Spark项目,使用到了GraphX,并且用的Scala编写,现在需要再次运行这个项目,但如果直接在IDEA中打开项目,则由于各种错误会导致运行失败,这里就记录一下该如何使用IDEA来加载老旧的Spark项目。
注意:默认你的机器已有Scala环境,项目使用IDEA打开,对Sbt不做要求,因为这里采用的是NoSbt方式添加依赖的。

image_1cb93ulb8ngvs86jjo1r8l1u899.png-138.6kB

原文名:OpenOrd: An Open-Source Toolbox for Large Graph Layout
中译名:OpenOrd-面向大规模图布局的开源算法
刊载源:出版源 Visualization & Data Analysis , 2011 , 7868 (3) :-
作者们:Shawn Martin a , W. Michael Brown b  
机构名:
    - Sandia National Laboratories [a] 桑迪亚国家实验室,US
    - Oak Ridge National Laboratories [b] 橡树岭国家实验室,US
原文名:Cluster Stability and the Use of Noise in Interpretation of Clustering
中文译:聚类的稳定性和在聚类解释中添加噪声
源刊载:IEEE Symposium on Information Visualization , 2001 :23
机构名:Sandia National Laboratories 桑迪亚国家实验室,US
研究点:
    - Clustering algorithms
    - Data visualization
    - Stability analysis
    - Algorithm design and analysis
    - Best practices

前言

在日常项目开发中,组件的引入是很平常的事情,一般来说,我们的项目由Maven构建,然后在需要新引入一个依赖时,只需在pom.xml中添加依赖描述即可,但是,有时我们的项目未必采用Maven构建,比如Spark项目就多采用sbt,或者直接添加jar包的方式,这时,如果需要添加某个外部依赖如果采用添加jar包的方式就会非常繁琐,不过IDEA为我们提供了方便的添加方式。





全站共计 313.7k 字,自豪地使用 Volantis 主题

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议