黑洞

这里藏着一些独特的想法

0%

学习大数据开发第一个月

距离我学习大数据开发已经过去了一个月,今天浅记一下心路历程。

这段时间,我每天熬夜到凌晨两三点,遇到做不出的题目时甚至会纠结到天亮。我知道这样不好,但是我不得不玩命学习。我想要表明转行的决心,更想要对得起昂贵的网课费用。


在这一个月里,我学习了一些Linux的常用命令,因为这是基操,所以上手起来并没有难度。同样,Excel也是非常的简单。

SQL更不必多说,大数据肯定要和数据库打交道。总体学起来并不费劲,难点在于如何根据需求将各表数据关联在一起。如果想不出查询的逻辑步骤,掌握的语句和函数也无用武之地。

对于Python,主要负责数据清洗和分析。由于之前自学过,就当重温复习了一遍吧。

在Python中,Pandas这个库是数据分析的利器。第一次看这一章节时,大量的知识点让我喘不过气。这个库的使用语法特别的复杂,每个方法的参数也非常的多,以至于我一度认为这个库的作者是不是有什么大病。令我高兴的是,二刷此章节时更加容易理解了。到目前为止,我做pandas的题目全靠查文档。看来还是要多练才能掌握,凡事熟能生巧。

综上所述,大量的知识点集中在了SQL和Python的Pandas库。

另外,也学习了一些其他知识。比如:ETL工具的使用(Kettle、Flume),Hadoop(HDFS、Hive),数据可视化(FineBI、Superset)。这些知识点相对零散,在今后的课程中会深入学习。


总体来说,我对整个工作流程有了初步的体验与雏形的认知。

兴趣是最好的老师,加油吧!看看再过一个月我学到了什么。

如果觉得文章写得不错或对您有帮助,请我喝杯柠檬茶吧!