登录注册

  • HDFS - 可靠性

    DataNode可以失效DataNode会定时发送心跳到NameNode。如果ղ#x5728;一段时间内NameNode没有收到DataNode的心跳消息，则认为其失效。

    黑派客
    hdfs， 可靠性， hadoop

  • HDFS - 读文件

    客户端向NameNode发送读取请求NameNode#x8FD4;回文件的所有block和这些block所在的DataNodes（包括复制节点）客户端直接从DataNode中读取数据，如果该DataNode读取失败（DataNode失效或校验码不对），则从复制节点中读取（如果读取的数据就在本机，则直接读取，否则通过网络读取）

    黑派客
    hdfs， 文件， hadoop

  • HDFS - 写文件

    1.客户端将文件写入本地磁盘的N#x4E34;时文件中2.当临时文件大小达到一个block大小时，HDFS client通知NameNode，申请写入文件3.NameNode在HDFS的文件系统中创建一个文件，并把该block id和要写入的DataNode的列表返回给客户端4.客户端收到这些信息后，将临时文件写入DataNodes4.1 客户端将文件内容写入第一个DataNode（一般以4kb为单位进行传输）4.

    黑派客
    hdfs， 文件， hadoop

  • MapReduce - 读取数据

    通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给MapInputFormat决定读取数据的格式，可以是文件或数据库等功能验证作业输入的正确性，如格式等将输入文件切割成逻辑分片(InputSplit)，一个InputSplit将会被分配给一个独立的Map任务提供RecordReader实现，读取InputSplit中的&qu…

    黑派客
    mapreduce， 读取， 数据， hadoop

  • HDFS - 命令工具

    fsck: 检查文件的完整性start-balancer.sh: 重新平衡HDFShdfs dfs -copyFromLocal 从本地磁盘复制文&#x#x4EF6;到HDFS

    黑派客
    hdfs， 命令， 工具， hadoop

  • 解析 Hadoop 中 mapreduce 作业日志是如何生成的

    我们知道hadoop分为三大块：HDFS，Yarn，Mapreduce。其中mapreduce相关的核心代码都在hadoop-mapreduce-project子工程中。

    欢马劈雪
    Hadoop， mapreduce， 作业日志， 生成

  • Hadoop大数据架构简介及安装应用入门。

    目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

    黑派客
    Hadoop， 大数据， 架构， 安装， 应用， 入门
上一页

热门标签

关注时代Java

Copyright © 2014-2024NowJava. All Rights Reserved. 时代Java 版权所有 京ICP备14059627号-7

关注时代Java