如何執行自帶count,如何執行自帶wordcount

時間 2021-07-25 18:43:34

1樓:匿名使用者

1.找到examples例子

我們需要找打這個例子的位置:首先需要找到你的hadoop資料夾,然後依照下面路徑:

/hadoop/share/hadoop/mapreduce會看到如下圖:

hadoop-mapreduce-examples-2.2.0.jar

第二步:

我們需要需要做一下執行需要的工作,比如輸入輸出路徑,上傳什麼檔案等。

1.先在hdfs建立幾個資料目錄:

hadoop fs -mkdir -p /data/wordcount

hadoop fs -mkdir -p /output/

2.目錄/data/wordcount用來存放hadoop自帶的wordcount例子的資料檔案,執行這個mapreduce任務的結果輸出到/output/wordcount目錄中。

首先新建檔案inputword:

vi /usr/inputword

新建完畢,檢視內容:

cat /usr/inputword

將本地檔案上傳到hdfs中:

hadoop fs -put /usr/inputword /data/wordcount/

可以檢視上傳後的檔案情況,執行如下命令:

hadoop fs -ls /data/wordcount

可以看到上傳到hdfs中的檔案。

通過命令

hadoop fs -text /data/wordcount/inputword

看到如下內容:

下面,執行wordcount例子,執行如下命令:

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.

jar wordcount /data/wordcount /output/wordcount

可以看到控制檯輸出程式執行的資訊

檢視結果,執行如下命令:

hadoop fs -text /output/wordcount/part-r-00000

結果資料示例如下:

登入到web控制檯,訪問連結http.//master:8088/可以看到任務記錄情況。

2樓:三界大亨

1、在linux系統中,所在目錄“/home/kcm”下建立一個檔案input

[ubuntu@701~]$ mkdir input

2.在資料夾input中建立兩個文字檔案file1.txt和file2.

txt,file1.txt中內容是“hello word”,file2.txt中內容是“hello hadoop”、“hello mapreduce”(分兩行)。

[ubuntu@701~]$ cd input

[ubuntu@701~]$ vi file1.txt(編輯檔案並儲存)

[ubuntu@701~]$ vi file2.txt(編輯檔案並儲存)

[ubuntu@701~]$ ls -l /home/kcm/input

file1.txt file2.txt

顯示檔案內容可用:

[ubuntu@701~]$ cat/home/kcm/input/file1.txt

hello word

[ubuntu@701~]$ cat /home/kcm/input/file2.txt

hello mapreduce

hello hadoop

3.在hdfs上建立輸入資料夾wc_input,並將本地資料夾input中的兩個文字檔案上傳到叢集的wc_input下

[ubuntu@701~]$ hadoop fs -mkdir wc_input

[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input

檢視wc_input中的檔案:

[ubuntu@701~]$ /hadoop fs -ls wc_input

found 2 items

-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt

-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt

4.首先,在window下將wordcount進行打包,我們這裡把它打包成wordcount.jar;然後,將wordcount.

jar拷貝到linux系統中,存放的目錄自己決定即可。我們這裡存放到/home/kcm目錄下面。

5.執行wordcount.jar包**到該jar包存放的目錄下):

[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output

3樓:匿名使用者

jobtracker和tasktracker之間通訊存在問題

如何執行Python程式的方法,如何執行Python程式

冉芷殳鬆雨 linux下 方法一 1python my.py 方法二 在my.py上加上檔案頭 12 usr bin env python.然後12chmod x my.py.my.py方法三 1234mkdir p mylibcp my.py mylibexport pythonpath myli...

制度執行如何落地,如何讓執行力落地?

星願下的期盼 制度執行需要根據以下四個原則來落地 1 經常性原則 由於制度具有重複性的特性,因此制度執行也要貫徹經常性原則。制度執行並非一勞永逸,只要規則中所描述的情況發生,就必須要按規則辦事。2 一視同仁原則 規則的精神就是它對所有人都一樣,正如 法律面前人人平等 不能有任何特權 規則排斥特權,特...

如何提高執行力,如何有效的提高執行力

繁人凡人 1 將自己的表撥快10分鐘。2 為目標設定像1 2 3這樣的優先順序。3 把大目標細分為可以立刻執行出結果的小任務。4 第一次就做對。5 每天自學1小時。6 每天花5分鐘改進自己的工作,在5年裡將使同一個工作被改進1200餘次 如何有效的提高執行力 訾可欣迮詞 一要著眼於 嚴 積極進取,增...