基于Spark的大规模天文数据天区覆盖生成算法
摘 要:天区覆盖生成是天文数据归档中的重要一环,其结果对天文数据检索、计算等后续处理流程至关重要.由于天文数据的海量性,应用传统科学计算方法处理这一问题通常耗时较长,效率不高,且受存储空间的制约,扩展性差.为解决这一问题,本文提出了一种基于HEALPix 索引和Spark 框架的高效分布式天区覆盖生成算法.实验证明:该算法可以在短时间内完成大规模天文数据的天区覆盖生成,为实现海量天文数据的快速归档提供了支持;同时,所生成的结果还可以用于数据可视化,直观地展现星表中的天文数据在天区上的分布情况.
论文下载: