hadoop是什么（hadoop实训报告）

原标题：hadoop是什么（hadoop实训报告）

导读：

1.hadoop，Hadoop还需要编译安装吗？否，不再需要编译和安装Hadoop。从Hadoop2.2开始，Hadoop提供了预编译的二进制发行版，可以直接下载解压使用。这简化了安装过程，并且无需用户手动编

1. hadoop，Hadoop还需要编译安装吗？

否，不再需要编译和安装Hadoop。从Hadoop 2.2开始，Hadoop提供了预编译的二进制发行版，可以直接下载解压使用。这简化了安装过程，并且无需用户手动编译源代码。只需根据您的操作系统和架构选择合适的二进制包并进行配置即可。这种方法使Hadoop 的安装和部署更加简单、快捷。

2. hadoop格式化过程？

Hadoop的格式化过程是将Hadoop文件系统（HDFS）命名空间的元数据和数据初始化为空状态的过程。此过程通常在第一次部署Hadoop集群之前，或者需要重新初始化Hadoop集群时执行。以下是Hadoop格式化过程的一般步骤： 1. 停止Hadoop集群中的所有服务，包括所有Hadoop守护进程（如NameNode、DataNode、ResourceManager等）。 2. 执行format命令，格式化NameNode。在Hadoop 2.x 及更高版本中，可以使用以下命令格式化NameNode：``hdfs namenode -format``` 在早期Hadoop 版本中，可以使用以下命令格式化NameNode：``hadoop namenode - format```该命令会在NameNode的存储路径中创建必要的目录和文件，包括fsimage和edits等。 3.格式化后，需要使用以下命令启动Hadoop集群的所有服务：` ``start-all.sh```或分别启动相应的守护进程。这将重新启动Hadoop 集群并加载格式化的元数据。需要注意的是，格式化过程会删除Hadoop集群中所有现有的数据和元数据，因此在执行格式化之前，一定要备份数据和元数据，防止数据丢失。此外，Hadoop格式化过程是一个耗时的操作。格式化大型Hadoop 集群可能需要很长时间。需要根据集群的大小和存储容量预留适当的时间。

3. 什么是Hadoop分布式文件系统？

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接到本地节点，而是通过计算机网络连接到节点。 Hadoop是由Apache软件基金会开发的开源并行计算编程工具和分布式文件系统。它在概念上类似于MapReduce 和Google 文件系统。 HDFS（Hadoop分布式文件系统）是其中的一部分。

4. 云计算分布式存储是用ceph还是hadoop？

云计算的发展需要多种语言的参与。 HADOOP只是云计算产品中的一个底层框架，适用于云盘、分布式计算等底层业务。很少有云产品能够仅用一种开发语言解决所有问题。语言只是工具。关键是要学会如何在不同的应用场景下正确选择合适的工具。云产品的框架有很多。例如，OpenStack是用Python编写的，Hadoop是用Java编写的。

Ceph架构简介及其特点Ceph简介

Ceph是一个统一的分布式存储系统，旨在提供更好的性能、可靠性和可扩展性。

Ceph 项目源于Sage 博士期间的工作。（最早的成果发表于2004年），随后贡献给开源社区。经过几年的发展，得到了众多云计算厂商的支持并得到广泛应用。 RedHat和OpenStack都可以与Ceph集成，支持虚拟机镜像的后端存储。

Ceph 特性

高性能

A。放弃传统的集中存储元数据寻址方案，采用CRUSH算法，数据分布均衡，并行度高。

b.考虑到容灾域的隔离，可以实现各类负载的副本放置规则，如跨机房、机架感知等。

C。可支持数千个存储节点的规模，支持TB到PB级别的数据。

高可用性

A。份数可灵活控制。

b.支持故障域分离和数据强一致性。

C。自动修复和自愈多种故障场景。

d.无单点故障，自动管理。

高扩展性

A。权力下放。

b.灵活扩展。

C。随着节点的增加线性增长。

丰富的功能

A。支持三种存储接口：块存储、文件存储、对象存储。

b.支持自定义接口和多语言驱动程序。

Hadoop简介及其特点Hadoop是Apache基金会开发的分布式系统基础设施。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的力量进行高速计算和存储。 Hadoop实现了分布式文件系统（Hadoop Distributed File System），简称HDFS。

HDFS具有高容错性，设计用于部署在低成本硬件上；它提供高吞吐量来访问应用程序数据，使其适合那些拥有大型数据集的人。设置）应用程序。 HDFS放宽了POSIX要求，可以以流式访问的形式访问文件系统中的数据。 Hadoop框架的核心设计是：HDFS和MapReduce。 HDFS为海量数据提供存储，MapReduce为海量数据提供计算。

云计算有多种开发语言。 Hadoop 和云计算是两个不同的东西。 HADOOP开发首选JAVA，其次是C/C++或Python。云计算很复杂，不同的应用有不同的选择。很少有云产品只使用一种开发语言来解决所有问题。语言只是工具。关键是要学会如何在不同的应用场景下正确选择合适的工具。云产品的框架有很多。例如，OpenStack是用Python编写的，Hadoop是用Java编写的。

HADOOP只是云计算产品中的一个底层框架，适用于云盘、分布式计算等底层业务。开发中上层使用的语言取决于产品的特性和技术人员的技术特点。