市场岗位
1、大数据的系统架构(掌握计算机体系结构、网络架构、编程范式、文件系统、分布并行处理)
2、大数据的系统分析(人工智能、机器学习、数理统计、矩阵计算、优化方法)
3、hadoop开发(大数据存储问题)
4、数据分析(至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。优秀的分析师可以掌握业务、管理、分析、工具、设计兼顾)
5、数据挖掘(数学知识要强一些,编程语言要掌握Java、Python)
6、大数据可视化(有点高级哈哈,涉及D3啊R啊等一些编程语言和Excel以及一些可视化工具,可以自行查阅一下或者看下面提及到的技能图谱)
下图是StuQ所总结的大数据工程师所掌握的技能图谱:/20181008004058740.jpg)
本科知识体系
数学基础:
1、数学分析,华东大的教材,习题是谢惠民版的<数学分析习题课讲义>
2、高等代数,蓝以中版。
3、离散数学,”十二五”规划的邓辉文<离散数学第三版>+配套的离散数学习题解答。或是著名屈婉玲老教授的离散数学第三版+配套的离散数学习题解答与学习指导第三版。这个自我感觉自学起来很难学,本人科班,老师自己讲都是一知半解,学透还是别想了,看国外著作感觉也没那么专业,有时间有能力还是可以去看罗森的<离散数学及其应用>,我感觉看看国内的那些指定用书就行了,其他的教材都是抄来抄去的hh。
4、概率论与数理统计,经典教材浙大第四版。
计算机基础:
1、编程语言(一般高校是c/cpp程序设计入门,但java和python基础是必须的,我自己认为javaee和大数据没什么联系,只不过是java语言在web上做的开发,当然作为科班也不得不学,就全当对Java的扩充了。html和json需要了解和看懂)
2、Linux(科班学的是操作系统原理,非网络专业都没接触过,但感觉这个已经成为了企业标配,学大数据也得会Linux基本命令,操作管理和shell编程)
3、数据库原理(知其原理还是挺重要的,用mysql操作语句是基础)
4、数据结构(掌握链、队列、链表散列表、树、图,c和cpp没学好比如我就只能看java版了QAQ)
5、算法(我感觉王宏志的大数据算法挺不错的,日后有需要还得再补,算法是灵魂)
然后是一些基本技能/知识。
6、JDBC java程序与数据的接口,应该算在Java SE体系里了。
7、正则表达式 文本模式,动态处理
8、git,GitHub 版本控制工具 https://www.zhihu.com/question/20070065/answer/30521531
9、maven java开发的项目自动化构建工具
知识性补充:
有人说,操作系统、编译与计算机组成原理在三门,你对它们的理解决定了你水平的高低。
不谈正确性,但足以有一定的重要性。
计算机网络和汇编,一个的网络知识相关,一个是底层编程原理的理解,我就了解个什么前端后台编程,客户端与服务器的交互,tcp/ip协议,网络安全信息加密知道个什么REA啊DES啊哈希算法Md5密钥啊之类的这些常见的。更多的CS专业补充可参考知乎搜索263445600。
作者:Facenoboy
来源:CSDN
原文:https://blog.csdn.net/qq_36042506/article/details/82948473
版权声明:本文为博主原创文章,转载请附上博文链接!