1. 下載，安裝 livy

下載 地址 ：http://livy.io/quickstart.html
下載之后，解壓即可運(yùn)行

2. 配置環(huán)境變量

export SPARK_HOME=/usr/lib/spark? export HADOOP_CONF_DIR=/etc/hadoop/conf

3.配置主機(jī)和端口（可跳過(guò)，直接用默認(rèn)值）

# What host address to start the server on. By default, Livy will bind to all network interfaces. （主機(jī)） ?livy.server.host = 0.0.0.0 # What port to start the server on.（端口） livy.server.port = 8998# Time in milliseconds on how long Livy will wait before timing out an idle session.（超時(shí)時(shí)長(zhǎng)，即session多久未用之后，自動(dòng)kill掉）livy.server.session.timeout = 1h

這里需要?jiǎng)?chuàng)建logs文件夾

mkdir logs

chmod -R 777 logs

4. 開(kāi)啟livy服務(wù)

./bin/livy-server

5.REST Api (以下url均以host:port開(kāi)頭，默認(rèn)為 localhost:8998)

1）GET ??/sessions

Returns all the active interactive sessions.返回所有活躍的session

2)POST ?/sessions

Creates a new interativeScala,Python, or R shell in the cluster. 創(chuàng)建一個(gè)session，即新開(kāi)一個(gè)shel

Request Body

namedescriptiontype

kind	The session kind (required)	session kind
proxyUser	User to impersonate when starting the session	string
conf	Spark configuration properties	Map of key=val

3)GET /sessions/{sessionId}
Returns the session information. 返回相應(yīng)session的信息

4）DELETE /sessions/{sessionId}

Kills the Session?job.

5) GET /sessions/{sessionId}/statements

返回session的所有statement的信息

6）POST /sessions/{sessionId}/statements

Runs a statement in a session. 即提交一個(gè)語(yǔ)句，運(yùn)行

7) GET /sessions/{sessionId}/statements/{statementId}

獲取相應(yīng)statement的信息

總結(jié)

以上是生活随笔為你收集整理的利用 livy 远程提交 spark作业的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。