Mesos配置中存在哪些关键步骤或常见问题需要特别注意？

Mesos配置指南

简介

Mesos是一个开源的分布式资源调度器，可以管理多种资源，如CPU、内存、磁盘和端口等，它允许你在一个集群上运行多个框架，如Hadoop、Spark、 Marathon等，本文将详细介绍Mesos的配置过程，包括环境搭建、集群配置、服务配置等。

环境搭建

系统要求

Mesos支持多种操作系统，包括Linux、Mac OS X和Windows,以下是推荐的系统要求：

• 操作系统：Linux（如CentOS、Ubuntu）
• CPU：至少2核
• 内存：至少4GB
• 硬盘：至少20GB

安装依赖

在安装Mesos之前,需要安装以下依赖项：

• Java：Mesos需要Java运行环境，推荐使用Java 8。
• ZooKeeper：Mesos集群需要ZooKeeper进行协调，推荐使用ZooKeeper 3.4.6。

安装Mesos

以下是在Linux系统上安装Mesos的步骤：

（1）下载Mesos安装包：从Mesos官网下载最新的安装包，mesos-1.3.2.tar.gz。

（2）解压安装包：tar -xvf mesos-1.3.2.tar.gz。

（3）配置环境变量：在.bashrc或.bash_profile文件中添加以下内容：

export MESOS_HOME=/path/to/mesos-1.3.2 export PATH=$PATH:$MESOS_HOME/bin

然后执行source ~/.bashrc或source ~/.bash_profile使配置生效。

集群配置

1. 配置ZooKeeper

   （1）创建ZooKeeper集群配置文件：/etc/zookeeper/zoo.cfg如下：

   

   tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 maxClientCnxns=60 initLimit=10 syncLimit=5 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888

   （2）启动ZooKeeper服务：zkServer.sh start。

2. 配置Mesos Master

   （1）创建Mesos Master配置文件：/etc/mesos/mesos-master.json如下：

   { "master": { "ip": "master_ip", "port": 5050 } }

   （2）启动Mesos Master服务：mesos-master --config_file=/etc/mesos/mesos-master.json &

3. 配置Mesos Slave

   （1）创建Mesos Slave配置文件：/etc/mesos/mesos-slave.json如下：

   { "slave": { "ip": "slave_ip", "port": 5051 } }

   （2）启动Mesos Slave服务：mesos-slave --master=master_ip:5050 --config_file=/etc/mesos/mesos-slave.json &

服务配置

1. 配置Marathon

   （1）创建Marathon配置文件：/etc/marathon/marathon.json如下：

   { "master": "master_ip:5050", "zk": "zookeeper1:2181,zookeeper2:2181,zookeeper3:2181" }

   （2）启动Marathon服务：marathon --config_file=/etc/marathon/marathon.json &

2. 配置Hadoop

   （1）配置Hadoop的core-site.xml文件,添加以下内容：

   <property> <name>fs.defaultFS</name> <value>hdfs://master_ip:8020</value> </property>

   （2）配置Hadoop的hdfs-site.xml文件,添加以下内容：

   <property> <name>dfs.replication</name> <value>3</value> </property>

   （3）启动Hadoop服务。

FAQs

Q1：如何查看Mesos集群的状态？

A1：可以通过访问Mesos Master的Web界面（http://master_ip:5050）查看集群状态，包括Master、Slave和Framework的信息。

Q2：如何查看Marathon中的任务列表？

A2：可以通过访问Marathon的Web界面（http://master_ip:8080）查看任务列表，包括正在运行、已停止和已删除的任务。