Unity开发者联盟收藏本站
发帖教程新人必读切换到宽版

 找回密码
 立即注册
Unity开发者联盟»论坛 › 3D Dev Asset 开发资源大全 › 学术研究 Scholarly › 哈夫曼编码详解
返回列表 发新帖
查看: 202|回复: 0

哈夫曼编码详解

[复制链接]
发表于 2023-2-18 22:30 | 显示全部楼层 |阅读模式
一：基本介绍

        哈夫曼编码也翻译为    赫夫曼编码(Huffman Coding)，又称霍夫曼编码，是一种编码方式, 属于一种程序算法 赫夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。 赫夫曼编码广泛地用于数据文件压缩。其压缩率通常在20%～90%之间 赫夫曼码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法，称之为最佳编码
1.1：原理剖析

1：通信领域中信息的处理方式1-定长编码
将 i like like like java do you like a java 定长编码       // 共40个字符(包括空格)  
105 32 108 105 107 101 32 108 105 107 101 32 108 105 107 101 32 106 97 118 97 32 100 111 32 121 111 117 32 108 105 107 101 32 97 32 106 97 118 97  //对应Ascii码
01101001 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101010 01100001 01110110 01100001 00100000 01100100 01101111 00100000 01111001 01101111 01110101 00100000 01101100 01101001 01101011 01100101 00100000 01100001 00100000 01101010 01100001 01110110 01100001 //对应的二进制 按照二进制来传递信息，总的长度是  359   (包括空格)
2:  通信领域中信息的处理方式2-变长编码
i like like like java do you like a java       // 共40个字符(包括空格)
d:1 y:1 u:1 j:2  v:2  o:2  l:4  k:4  e:4 i:5  a:5  （空格):9  // 各个字符对应的个数 0=(空格)  ,  1=a, 10=i, 11=e, 100=k, 101=l, 110=o, 111=v, 1000=j, 1001=u, 1010=y, 1011=d  
说明：按照各个字符出现的次数进行编码，原则是出现次数越多的，则编码越小，比如 空格出现了9 次， 编码为0 ,其它依次类推.
按照上面给各个字符规定的编码，则我们在传输  "i like like like java do you like a java" 数据时，编码就是 10010110100...   
字符的编码都不能是其他字符编码的前缀，符合此要求的编码叫做前缀编码， 即不能匹配到重复的编码，例如 1=a,110=o,那么a是o的前缀所以该编码不是前缀编码
3：通信领域中信息的处理方式3-赫夫曼编码
i like like like java do you like a java       // 共40个字符(包括空格)
d:1 y:1 u:1 j:2  v:2  o:2  l:4  k:4  e:4 i:5  a:5   :9  // 各个字符对应的个数 按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值.


根据赫夫曼树，给各个字符规定编码 （前缀编码）， 向左的路径为0 ，向右的路径为1
编码如下: o: 1000   u: 10010  d: 100110  y: 100111  i: 101 a : 110     k: 1110    e: 1111       j: 0000       v: 0001 l: 001          : 01
按照上面的赫夫曼编码，我们的"i like like like java do you like a java"   字符串对应的编码为 (注意这里我们使用的无损压缩) 1010100110111101111010011011110111101001101111011110100001100001110011001111000011001111000100100100110111101111011100100001100001110
长度为 ： 133
说明: 原来长度是  359 , 压缩了  (359-133) / 359 = 62.9% 此编码满足前缀编码, 即字符的编码都不能是其他字符编码的前缀。不会造成匹配的多义性
注意, 这个赫夫曼树根据排序方法不同，也可能不太一样，这样对应的赫夫曼编码也不完全一样，但是wpl 是一样的，都是最小的,字符总长度相同。 比如: 我们让每次生成的新的二叉树总是排在权值相同的二叉树的最后一个和最前面
二：案例——哈夫曼压缩

功能： 根据赫夫曼编码压缩数据的原理，需要创建 "i like like like java do you like a java" 对应的赫夫曼树
思路: (1) CodeNode{ data (存放数据)， weight (权值)， left  和 right }                                               (2) 得到  "i like like like java do you like a java"   对应的 byte[] 数组                                             (3)  编写一个方法，将准备构建赫夫曼树的Node 节点放到 List  , 形式 [CodeNode[date=97 ,weight = 5], CodeNode[date=32,weight = 9]......],  体现 d:1 y:1 u:1 j:2  v:2  o:2  l:4  k:4  e:4 i:5  a:5   :9                                                                                                                                           (4) 可以通过List 创建对应的赫夫曼树                                                                                          (5）根据哈夫曼树生成哈夫曼编码表，左路径为0，右路径为1                                                      (6)将转换后的字符串转换为字节数组
  1. package com.atgguigu.huffmanTree;
  3. import java.util.*;
  5. public class HuffmanCode {
  6.     static Map<Byte,String> hCode = new HashMap<>();  //存储字符对应编码
  7.     static StringBuilder stringBuilder = new StringBuilder();   //拼接路径生成编码
  9.     public static void main(String[] args) {
  10.         String s = "i like like like java do you like a java";
  11.         byte[] bytes = s.getBytes();
  12.         System.out.println(Arrays.toString(bytes));
  13.         System.out.println("没有压缩的原长度:"+bytes.length);
  15.         byte[] zip = zip(s);
  16.         System.out.println(Arrays.toString(zip));
  17.         System.out.println("哈夫曼编码压缩后的长度:"+zip.length);
  20.     }
  21.     /**
  22.      * 封装方法
  23.      */
  24.     private static byte[] zip(String s){
  25.         byte[] bytes = s.getBytes(); //获取字节数组
  26.         List<CodeNode> nodes = getNodes(bytes);  //构建集合存储字符和权值
  27.         CodeNode huffmanTree = createHuffmanTree(nodes);  //构建哈夫曼树
  28.         getCode(huffmanTree);  //根据哈夫曼树获取对应编码表
  30.         byte[] zip = zip(bytes, hCode);  //将字节数组转化为哈夫曼编码字节数组
  31.         return zip;
  32.     }
  34.     /**
  35.      * 统计字符数目构建对象列表
  36.      * @param bytes
  37.      * @return
  38.      */
  39.     private static List<CodeNode> getNodes(byte[] bytes){
  40.         ArrayList<CodeNode> nodes = new ArrayList<>();
  41.         Map<Byte,Integer> map = new HashMap<>();
  43.         //统计每个字符数量
  44.         for (byte b : bytes) {
  45.             Integer count = map.get(b);
  46.             if(count == null){
  47.                 map.put(b,1);
  48.             }else {
  49.                 map.put(b,count+1);
  50.             }
  51.         }
  52.         //构建CodeNode对象
  53.         for(Map.Entry<Byte,Integer> entry: map.entrySet()){
  54.             nodes.add(new CodeNode(entry.getKey(),entry.getValue()));
  55.         }
  56.         return  nodes;
  57.     }
  59.     //创建哈夫曼树
  60.     private static CodeNode createHuffmanTree(List<CodeNode> codeNodes){
  62.         while (codeNodes.size() > 1){
  63.             Collections.sort(codeNodes);
  65.             CodeNode leftNode = codeNodes.get(0);
  66.             CodeNode rightNode = codeNodes.get(1);
  68.             CodeNode parent = new CodeNode(leftNode.weight+rightNode.weight);
  69.             parent.left = leftNode;
  70.             parent.right = rightNode;
  72.             codeNodes.remove(leftNode);
  73.             codeNodes.remove(rightNode);
  75.             codeNodes.add(parent);
  76.         }
  77.         return codeNodes.get(0);
  78.     }
  80.     //前序遍历
  81.     public static void preOrder(CodeNode node){
  82.         if(node != null){
  83.             node.preOrder();
  84.         }else {
  85.             System.out.println("你玩我？空树还传过来");
  86.         }
  87.     }
  89.     //哈夫曼编码表
  91.     /**
  92.      *
  93.      * @param node 节点
  94.      * @param code  路径
  95.      * @param s  拼接路径
  96.      */
  97.     private static  void getCode(CodeNode node, String code, StringBuilder s){
  98.         StringBuilder s2 = new StringBuilder(s);
  99.         s2.append(code);
  100.         if(node != null){
  101.             if(node.data == null){ //非叶子结点
  102.                 getCode(node.left, "0",s2);  //左递归
  103.                 getCode(node.right, "1",s2);  //左递归
  104.             }else { //叶子结点
  105.                 hCode.put(node.data,s2.toString());
  106.             }
  107.         }
  108.     }
  110.     private static  Map<Byte,String> getCode(CodeNode node){
  111.         if (node == null){
  112.             return null;
  113.         }
  114.         getCode(node.left,"0",stringBuilder);
  115.         getCode(node.right,"1",stringBuilder);
  116.         return hCode;
  117.     }
  119.     //压缩生成哈夫曼编码
  120.     /**
  121.      *
  122.      * @param bytes 这时原始的字符串对应的 byte[]
  123.      * @param hCode 生成的赫夫曼编码map
  124.      * @return 返回赫夫曼编码处理后的 byte[]
  125.      * 举例： String content = "i like like like java do you like a java"; =》 byte[] contentBytes = content.getBytes();
  126.      * 返回的是 字符串 "1010100010111111110010001011111111001000101111111100100101001101110001110000011011101000111100101000101111111100110001001010011011100"
  127.      * => 对应的 byte[] huffmanCodeBytes  ，即 8位对应一个 byte,放入到 huffmanCodeBytes
  128.      * huffmanCodeBytes[0] =  10101000(补码) => byte  [推导  10101000=> 10101000 - 1 => 10100111(反码)=> 11011000= -88 ] 第一个1代表符号-后面反码
  129.      * huffmanCodeBytes[1] = -88
  130.      */
  131.     private static byte[] zip(byte[] bytes,Map<Byte,String> hCode){
  132.         StringBuilder stringBuilder = new StringBuilder();
  133.         for (byte b : bytes) {
  134.             stringBuilder.append(hCode.get(b));
  135.         }
  137.         //统计byte[] 的长度
  138.         int len ;
  139.         if(stringBuilder.length() % 8 == 0){
  140.             len =stringBuilder.length() / 8;
  141.         }else {
  142.             len =stringBuilder.length() / 8 + 1;
  143.         }
  145.         byte[] bs = new byte[len];
  146.         int index = 0;
  147.         for (int i =0;i<stringBuilder.length();i+=8){
  148.             String strByte;
  149.             if(i+8 > stringBuilder.length()-1){
  150.                 strByte = stringBuilder.substring(i);
  151.             }else {
  152.                 strByte = stringBuilder.substring(i,i+8);
  153.             }
  154.             bs[index] = (byte) Integer.parseInt(strByte,2);
  155.             index++;
  156.         }
  158.         return bs;
  159.     }
  162. }
  165. class CodeNode implements Comparable<CodeNode>{
  166.     Byte data; //存放数据（字符）
  167.     int weight; //权值
  168.     CodeNode left;
  169.     CodeNode right;
  171.     public CodeNode( int weight) {
  172.         this.weight = weight;
  173.     }
  175.     public CodeNode(Byte data, int weight) {
  176.         this.data = data;
  177.         this.weight = weight;
  178.     }
  180.     @Override
  181.     public int compareTo(CodeNode o) {
  182.         return this.weight - o.weight;  //小到大排序
  183.     }
  185.     @Override
  186.     public String toString() {
  187.         return "CodeNode{" +
  188.                 "data=" + data +
  189.                 ", weight=" + weight +
  190.                 '}';
  191.     }
  193.     //前序遍历
  194.     public void preOrder(){
  195.         System.out.print("==>"+this);
  197.         if(this.left != null){
  198.             this.left.preOrder();
  199.         }
  201.         if(this.right != null){
  202.             this.right.preOrder();
  203.         }
  204.     }
  206. }
复制代码
二：案例——哈夫曼解压
  1. package com.atgguigu.huffmanTree;
  3. import java.util.*;
  5. public class HuffmanCode {
  6.     static Map<Byte,String> hCode = new HashMap<>();  //存储字符对应编码
  7.     static StringBuilder stringBuilder = new StringBuilder();   //拼接路径生成编码
  9.     public static void main(String[] args) {
  10.         String s = "i like like like java do you like a java";
  11.         byte[] bytes = s.getBytes();
  12.         System.out.println(Arrays.toString(bytes));
  13.         System.out.println("没有压缩的原长度:"+bytes.length);
  15.         byte[] zip = zip(s);
  16.         System.out.println(Arrays.toString(zip));
  17.         System.out.println("哈夫曼编码压缩后的长度:"+zip.length);
  19.         byte[] decode = decode(hCode, zip);
  20.         System.out.println("解压:"+new String(decode));
  22.     }
  24.     /**解压
  25.      * 将一个byte 转成一个二进制的字符串, 如果看不懂，可以参考我讲的Java基础 二进制的原码，反码，补码
  26.      * @param b 传入的 byte
  27.      * @param flag 标志是否需要补高位如果是true ，表示需要补高位，如果是false表示不补, 如果是最后一个字节，无需补高位
  28.      * @return 是该b 对应的二进制的字符串，（注意是按补码返回）
  29.      */
  30.     private static String byteToBitString(boolean flag, byte b) {
  31.         //使用变量保存 b
  32.         int temp = b; //将 b 转成 int
  33.         //如果是正数我们还存在补高位
  34.         if(flag) {
  35.             temp |= 256; //按位与 256  1 0000 0000  | 0000 0001 => 1 0000 0001
  36.         }
  37.         String str = Integer.toBinaryString(temp); //返回的是temp对应的二进制的补码
  38.         if(flag) {
  39.             return str.substring(str.length() - 8);
  40.         } else {
  41.             return str;
  42.         }
  43.     }
  45.     //编写一个方法，完成对压缩数据的解码
  46.     /**
  47.      *解压
  48.      * @param huffmanCodes 赫夫曼编码表 map
  49.      * @param huffmanBytes 赫夫曼编码得到的字节数组
  50.      * @return 就是原来的字符串对应的数组
  51.      */
  52.     private static byte[] decode(Map<Byte,String> huffmanCodes, byte[] huffmanBytes) {
  54.         //1. 先得到 huffmanBytes 对应的 二进制的字符串 ， 形式 1010100010111...
  55.         StringBuilder stringBuilder = new StringBuilder();
  56.         //将byte数组转成二进制的字符串
  57.         for(int i = 0; i < huffmanBytes.length; i++) {
  58.             byte b = huffmanBytes[i];
  59.             //判断是不是最后一个字节
  60.             boolean flag = (i == huffmanBytes.length - 1);
  61.             stringBuilder.append(byteToBitString(!flag, b));
  62.         }
  63.         //把字符串安装指定的赫夫曼编码进行解码
  64.         //把赫夫曼编码表进行调换，因为反向查询 a->100 100->a
  65.         Map<String, Byte>  map = new HashMap<String,Byte>();
  66.         for(Map.Entry<Byte, String> entry: huffmanCodes.entrySet()) {
  67.             map.put(entry.getValue(), entry.getKey());
  68.         }
  70.         //创建要给集合，存放byte
  71.         List<Byte> list = new ArrayList<>();
  72.         //i 可以理解成就是索引,扫描 stringBuilder
  73.         for(int  i = 0; i < stringBuilder.length(); ) {
  74.             int count = 1; // 小的计数器
  75.             boolean flag = true;
  76.             Byte b = null;
  78.             while(flag) {
  79.                 //1010100010111...
  80.                 //递增的取出 key 1
  81.                 String key = stringBuilder.substring(i, i+count);//i 不动，让count移动，指定匹配到一个字符
  82.                 b = map.get(key);
  83.                 if(b == null) {//说明没有匹配到
  84.                     count++;
  85.                 }else {
  86.                     //匹配到
  87.                     flag = false;
  88.                 }
  89.             }
  90.             list.add(b);
  91.             i += count;//i 直接移动到 count
  92.         }
  93.         //当for循环结束后，我们list中就存放了所有的字符  "i like like like java do you like a java"
  94.         //把list 中的数据放入到byte[] 并返回
  95.         byte b[] = new byte[list.size()];
  96.         for(int i = 0;i < b.length; i++) {
  97.             b[i] = list.get(i);
  98.         }
  99.         return b;
  100.     }
  102. }
  105. class CodeNode implements Comparable<CodeNode>{
  106.     Byte data; //存放数据（字符）
  107.     int weight; //权值
  108.     CodeNode left;
  109.     CodeNode right;
  111.     public CodeNode( int weight) {
  112.         this.weight = weight;
  113.     }
  115.     public CodeNode(Byte data, int weight) {
  116.         this.data = data;
  117.         this.weight = weight;
  118.     }
  120.     @Override
  121.     public int compareTo(CodeNode o) {
  122.         return this.weight - o.weight;  //小到大排序
  123.     }
  125.     @Override
  126.     public String toString() {
  127.         return "CodeNode{" +
  128.                 "data=" + data +
  129.                 ", weight=" + weight +
  130.                 '}';
  131.     }
  133.     //前序遍历
  134.     public void preOrder(){
  135.         System.out.print("==>"+this);
  137.         if(this.left != null){
  138.             this.left.preOrder();
  139.         }
  141.         if(this.right != null){
  142.             this.right.preOrder();
  143.         }
  144.     }
  146. }
复制代码

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

×
回复

使用道具 举报

返回列表 发新帖
懒得打字嘛，点击右侧快捷回复 【右侧内容，后台自定义】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )

GMT+8, 2024-11-24 06:04 , Processed in 0.099116 second(s), 23 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表