大數(shù)據(jù)開(kāi)發(fā)跟大數(shù)據(jù)平臺(tái)開(kāi)發(fā)有區(qū)別嗎？

大數(shù)據(jù)是我的主要研究方向之一，我也是大數(shù)據(jù)方向的研究生，所以我來(lái)討論一下這個(gè)問(wèn)題。

首先，大數(shù)據(jù)開(kāi)發(fā)通常是指基于大數(shù)據(jù)產(chǎn)業(yè)鏈的一系列開(kāi)發(fā)任務(wù)，涉及大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)分析等。，此外還開(kāi)發(fā)數(shù)據(jù)收集產(chǎn)品和數(shù)據(jù)整理產(chǎn)品等。如果向上延伸，一些大數(shù)據(jù)開(kāi)發(fā)任務(wù)也與人工智能開(kāi)發(fā)任務(wù)密切相關(guān)。

大數(shù)據(jù)平臺(tái)的發(fā)展通常有兩層含義。一個(gè)是開(kāi)發(fā)大數(shù)據(jù)平臺(tái)本身，屬于研發(fā)；amp發(fā)展任務(wù)。比如大數(shù)據(jù)平臺(tái)Hadoop，就是用Java語(yǔ)言開(kāi)發(fā)的。整個(gè)大數(shù)據(jù)平臺(tái)還涉及一系列產(chǎn)品，包括Hbase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等。，而開(kāi)發(fā)這些產(chǎn)品也需要龐大的團(tuán)隊(duì)。開(kāi)發(fā)大數(shù)據(jù)平臺(tái)的程序員往往需要有豐富的開(kāi)發(fā)經(jīng)驗(yàn)和強(qiáng)大的研發(fā)能力，能夠構(gòu)建穩(wěn)定的分布式計(jì)算系統(tǒng)。

另一層意思是在大數(shù)據(jù)平臺(tái)下開(kāi)發(fā)應(yīng)用，比如Hadoop、Spark平臺(tái)。這部分開(kāi)發(fā)通常屬于應(yīng)用級(jí)開(kāi)發(fā)，難度相對(duì)較小，但往往需要緊密聯(lián)系具體場(chǎng)景，要求開(kāi)發(fā)者具備一定的行業(yè)背景知識(shí)。

目前，大數(shù)據(jù)應(yīng)用的發(fā)展主要有兩項(xiàng)任務(wù)。一是將現(xiàn)有軟件產(chǎn)品轉(zhuǎn)化為大數(shù)據(jù)。二是針對(duì)特定的大數(shù)據(jù)需求，開(kāi)發(fā)新的大數(shù)據(jù)應(yīng)用。目前因?yàn)槭谴髷?shù)據(jù)應(yīng)用的初級(jí)階段，大數(shù)據(jù)轉(zhuǎn)型的開(kāi)發(fā)任務(wù)會(huì)更多，未來(lái)新的大數(shù)據(jù)開(kāi)發(fā)任務(wù)會(huì)逐漸增加。

相比大數(shù)據(jù)開(kāi)發(fā)，大數(shù)據(jù)分析也需要編碼。例如，機(jī)器學(xué)習(xí)是目前常用的數(shù)據(jù)分析方法。機(jī)器學(xué)習(xí)需要算法設(shè)計(jì)、算法實(shí)現(xiàn)、算法訓(xùn)練、算法驗(yàn)證、算法應(yīng)用。雖然算法設(shè)計(jì)是機(jī)器學(xué)習(xí)的核心，但是算法實(shí)現(xiàn)也需要程序員來(lái)完成具體的開(kāi)發(fā)過(guò)程。

本人從事互聯(lián)網(wǎng)行業(yè)多年，目前在讀計(jì)算機(jī)專業(yè)研究生。我的主要研究方向是大數(shù)據(jù)和人工智能。我會(huì)陸續(xù)寫(xiě)一些互聯(lián)網(wǎng)技術(shù)方面的文章，有興趣的朋友可以關(guān)注我。我相信我一定會(huì)有所收獲。

一個(gè)程序員要會(huì)多少種程序？

一個(gè)程序員應(yīng)該知道兩種程序。

因?yàn)樗械木幊陶Z(yǔ)言基本都搞清楚了，語(yǔ)法和用法規(guī)則都差不多，所以只要掌握兩門語(yǔ)言，學(xué)習(xí)其他語(yǔ)言就相對(duì)容易了。一種是常見(jiàn)的java語(yǔ)言、php語(yǔ)言和python語(yǔ)言，即業(yè)務(wù)邏輯處理語(yǔ)言，另一種是數(shù)據(jù)庫(kù)語(yǔ)言和數(shù)據(jù)存儲(chǔ)。