當前位置:編程學習大全網 - 編程語言 - 如何在Windows下搭建Storm

如何在Windows下搭建Storm

在過去,在windows下跑storm是壹個極大的挑戰。通常,這種方式會涉及到Storm的源碼編程方式,storm的生態依賴以及如何讓windows偽裝成UNIX/POSIX。

就是因為這個原因,導致了很大壹部分Storm的潛在用戶放棄了將storm整合的到大數據處理框架中。

非常感謝Storm的開發者David Lao以及 來自Yahoo!的貢獻(making-storm-fly-with-netty),下壹個storm版本 (0.9.1-incubating) 將會更容易地部署到windows環境中。

下面,我將列出幾個步驟,講述如何將storm部署到windows環境中,並且將會跑壹個簡單的拓撲在這個環境中。這是壹個簡單的創建單節點以及跑壹個"word count"簡單拓撲的過程。

先附上UI圖:

安裝JAVA:

下載JDK(Storm 需要的環境是JDK6/7),在這個步驟中,我使用JDK 7,大家可以自行到Oracle官網下載。

我將它安裝在:

C:\Java\jdk1.7.0_45\

安裝Python:

為了測試python的安裝,我將部署"word count"來自storm-starter project 的例子,壹個用python寫的multi-lang bolt。我使用的python2.7.6可以從這裏下載。

我將python安裝在這裏:

C:\Python27\

安裝以及執行Zookeeper:

下載 Apache Zookeeper 3.3.6並且解壓它。按照如下命令進行配置以及執行:

> cd zookeeper-3.3.6

> copy conf\zoo_sample.cfg conf\zoo.cfg

> .\bin\zkServer.cmd

安裝Storm

允許storm部署到windows下的官方正式版本現在還沒有發布,但是妳可以下載並且編譯包含了這個功能的版本,點擊這裏下載。

(源碼分支參考這裏)。

解壓壓縮包到妳想要的位置。我選擇 C盤。

配置環境變量

在windows下需要配置兩個環境變量: STORM_HOME 以及 JAVA_HOME ,並且同樣要將安裝路徑配置到PATH中。

JAVA_HOME

C:\Java\jdk1.7.0_45\

STORM_HOME

C:\storm-0.9.1-incubating-SNAPSHOT-12182013\

PATH Add:

%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;

PATHEXT Add:

.PY

Start Nimbus, Supervisor, and Storm UI Daemons

為每壹個運行實例打開壹個命令行:

Nimbus

> cd %STORM_HOME%

> storm nimbus

Supervisor

> cd %STORM_HOME%

> storm supervisor

Storm UI

> cd %STORM_HOME%

> storm ui

通過瀏覽器 http://localhost:8080/ 驗證壹下Storm是否已經跑起來了。

部署“Word Count” 拓撲:

編譯 storm-starter 項目。

部署 Word Count 拓撲到妳的本地集群中:

> storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost

刷新UI頁面,就可以看到任務已經跑起來了。

  • 上一篇:淺談如何利用科技小發明活動,培養學生的創新能力、創新意識
  • 下一篇:vc怎麽調用ansys
  • copyright 2024編程學習大全網