Hadoop文件的存储格式实例详解

站长资源 2024/11/3 佚名

2 0 1

sequence文件存储格式

1.txt

纯文本格式，若干行记录。默认用字符编码存储

2.SequenceFile格式（顺序文件格式，可进行切割）

key-value 格式进行存储，最终形成的是一个二进制文件，需用hadoop提供的api进行写入存储。

编写写入 seq文件案例。

  Configuration configuration = new Configuration();
  configuration.set("fs.defaultFS","hdfs://s100:8020");
  FileSystem fileSystem = FileSystem.get(configuration);
  Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
  SequenceFile.Writer writer = SequenceFile.createWriter(fileSystem, configuration, path, IntWritable.class, Text.class);
  writer.append(new IntWritable(1),new Text("gg1"));
  writer.append(new IntWritable(1),new Text("gg2"));
  writer.append(new IntWritable(1),new Text("gg3"));
  writer.append(new IntWritable(1),new Text("gg4"));
  writer.close();

3.编写读取 seq 文件案例

 Configuration configuration = new Configuration();
  configuration.set("fs.defaultFS","hdfs://s100:8020");
  FileSystem fileSystem = FileSystem.get(configuration);
  Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
  SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
  IntWritable key = new IntWritable();
  Text value = new Text();
  while (sr.next(key,value)){
    System.out.println(key +":"+value );
  }

4.查看文件内容

$> hdfs dfs -text /user/myfile.seq
$> hdfs dfs -cat /user/myfile.seq （此命令查看会出现乱码）

seq 文件格式解析

顺序文件由文件头和随后的一条或多条记录组成

---文件头------
--key-value----sync
--key-value----
--key-value----
--key-value----
--key-value----sync
--key-value----
--key-value----
--key-value----sync

文件头格式

SEQ+版本号+key类型class+value类型class + 压缩格式类型

代码案例

 /**
   * 读取文件位置
   */
  public void seekSeq() throws IOException {
    Configuration configuration = new Configuration();
    configuration.set("fs.defaultFS","hdfs://s100:8020");
    FileSystem fileSystem = FileSystem.get(configuration);
    Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
    SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
    IntWritable key = new IntWritable();
    Text value = new Text();
    sr.seek(253); // 定位到第253字节的位置，告诉指针下一次要定位的位置。
    sr.next(key,value); // 定位到第253字节的位置，并取出相应的值。
    System.out.println(key +" : " + value);
    sr.close();
  }
 
  /**
   * 读取seqfile 同步点
   */
  public void sync() throws IOException {
    /**
     * -----文件头-------
 128byte* --key-value----sync
 153byte* --key-value----
    .* --key-value----
    .* --key-value----
    .* --key-value----sync
     * --key-value----
     * --key-value----
     * --key-value----sync
     */
    Configuration configuration = new Configuration();
    configuration.set("fs.defaultFS","hdfs://s100:8020");
    FileSystem fileSystem = FileSystem.get(configuration);
    Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq");
    SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration);
    IntWritable key = new IntWritable();
    Text value = new Text();
    int syncPos = 12;
    sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点
    long pos = sr.getPosition();//获取下次要定位的字节位置。
    sr.next(key,value);
    System.out.println("syncPos : " + syncPos + "pos : " + pos +"key : "+key+"value : " + value);
  }

MapFile文件格式

1.是排序的seqfie，具有索引。要求key按照大小顺序添加

2.包含两个文件

index 文件：索引和偏移量的映射，可以设置间隔，默认128（解释：第128key位置--->第256字节指存入128个key 对应的第128key的末尾位置是第128字节的位置。）
data 文件：存放真实的数据。格式为key -value 。和seqfile文件类似

总结

以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解，希望对大家有所帮助，如果大家有任何疑问欢迎给我留言，小编会及时回复大家的！

Hadoop文件存储格式,Hadoop,存储格式

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“Hadoop文件的存储格式实例详解”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月03日

Hadoop文件的存储格式实例详解

Hadoop 分布式存储系统 HDFS的实例详解

2019最新系统学习路线零基础如何转行大数据

评论“Hadoop文件的存储格式实例详解”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接