(原)一次揪心的乱码排查过程-程序员宅基地

技术标签: 网络  开发工具  操作系统  

序)很多时候其实问题很简单,问题在于自己懂得过于肤浅

  项目中需要用到一个功能,机器人模拟和人类聊天,玩家说出一句话之后,机器人本能的和他开始聊天,这破B玩意儿我觉得只要有强大的词库和拆分算法,就那么点东西,但是要自己做还真是压力满满的。于是果断的在网上搜索,轻松的找到了这个东西:

  

 

  这玩意儿给我的第一感觉就是实在,可以,完全能够满足需求,不过貌似它没有提供接口,这不是事儿,果断的翻网页源码,找到post的地方,是一个ajax的post请求,带了一个参数,很简单,于是果断的来个java模拟HTTP,分分钟搞定,写了个junit测试下:

  

 

  10分钟就搞定了一个智能聊天机器人,本来以为问题就解决了,于是轻松的部署到jetty去,鄙人对jetty绯闻挺多了,websocket中的EOF曾经就搞了很久,部署上去之后,果断开始使用安卓端测试下,客户端发了一个:你好,另一个客户端收到:骞茶帿瀛�

  明显是乱码了,感觉debug一下:

  

 

  可以看到接受到http的返回值的时候已经乱码了,在此过程中经历过如下步骤:

  发出http请求 ---> 第三方接口http返回值 --> 本地jetty容器接受二进制流 --> jetty根据容器编码重新编码二进制数据 --> Java InputStream接受jetty编码之后的流 --> java将其转换成String

 

  于是我们看到了一个String的返回值,而这个返回值乱码,一般在汉字乱码中分为两种情况:

  1:骞茶帿瀛�  这样的乱码其实不叫乱码,而是数据不是我们想要的,因为我们要的是A却显示成了B,这样的原因主要是因为编码格式不正确导致

  2:?????  全是问号的乱码应该很多人都遇见过,这样的东西应该才是算乱码,为什么会出现?。因为字节内的东西无法用一个汉字展示出来,也就是找不到汉字对应这个内容,于是这样的东西会以?的形式展示出来,官方的称呼就是编码黑洞,对应的二进制数据为63,转换后就是一个?

 

  根据情况来看自己遇到的是第一种,于是有点疑惑,管他的,来个强转:

  

   ChangeCharset changeCharset = new ChangeCharset();
        try {
            result = changeCharset.toUTF_8(URLDecoder.decode(result, "UTF-8"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return result;

  管你什么编码,哥给你来个统一,于是美滋滋的再次打开客户端测试,又出现了另外一种情况:

 

  

机器人说:你好爱你哦亲??

  妈了个巴子,居然有部分乱码,于是继续测试想找出规律,后来果然发现规律,只要过来的数据是偶数个,则不会乱码,若是奇数个,则最后一个汉字乱码,乱码的形式是固定的?,来了一个?,我靠,今天两种情况都遇到了,本以为很简单的东西居然卡在了编码的地方,苦思冥想,很明显是容器编码问题,很SB的解决方法也很简单,判断下是不是奇偶,不是偶数加个东西就行了。

 

  但是想搞明白为什么是最后一个字乱码,突然想到一个东西,UTF-8中,一个汉字3个字节,GBK中一个汉字2个字节,我好像明白了什么。。

 

  因为jetty容器默认是按照系统编码来决定容器编码,前提是没有自己修改启动编码,而公司里我台PC是windows的,好像默认GBK的,反正我对windows绯闻也挺多的,于是这里有一个问题,比如jetty接受到了一串经过UTF-8编码的汉字:

  我很好

  jetty收到的最原始的二进制数组是这样的:

  [-26, -120, -111, -27, -66, -120, -27, -91, -67]

  当然这不是最原始的,最原始的0和1,当然为了好看就算他是最原始的吧,下一步jetty要开始编码了,按照jetty的GBK编码,他按照2个字节一个汉字的格式去编码,于是出现了这样的组合:

  [-26, -120]  [ -111, -27]  [-66, -120]  [-27, -91]  [-67]

  前面每两个字节都能找到对应的汉字,最后jetty发现最后居然只有一个字节,找不到对应的汉字,心里想这SB是哪来的,于是jetty放弃它了,把它赶出去,把63丢过去,于是最后的组合成了:

  [-26, -120]  [ -111, -27]  [-66, -120]  [-27, -91]  [63]

  经过GBK的格式编码,两个字节对应一个汉字,就显示出了这样的东西:

  骞茶帿瀛

  会出现5个,因为每2个字节代表一个汉字,最后一个字节是63,对应的符号是?,就出现了上面的东西,于是我对它做了强制的UTF-8编码,导致上面的二进制数组重新组合,经过UTF-8的组合之后,二进制数组成了这样:

  [-26, -120, -111] [-27, -66, -120] [-27, -91, 63]

  再经过UTF-8显示之后,变成了这样:

  我很�?

  前6个字节能够正常的显示出汉字,因为那就是真正的数据,然而最后3个字节,已经被GBK处理了,替换过了,即使使用UTF-8也无法还原它原来的容貌,于是它就显示成了上面的样子,但是为什么偶数不会出错?

  因为偶数能够被GBK正常的解码,也就是如果汉字是偶数,UTF-8和GBK是等同的,但是如果是奇数,则就出问题了,这也是传说中的最后一个汉字乱码的问题,因为最后一个 字节始终是63,要解决这个问题,必须要治标还要治本,项目中必须全程保证编码一致性,因为我这个项目是游戏服务器,走的WebSocket,要是Servlet可以直接在Servlet里面处理或者Filter处理。

  不同的编码方式,处理逻辑不一样,很多时候我们强转看似解决了问题,其实只是问题没有暴漏出来,知道其根本,方能运筹帷幄之中,决胜千里之外。

 

  扯点题外话,前几天半夜不知道抽了什么风,将Centos升级到了6.6,结果在6.6下eclipse全部打不开,全是fatal级别的错误,反正不是我等闲人能解决的,那一次更新下载的更新包是1.4GB,明显是系统兼容性的问题,我了个擦,于是想到一代码农不能死于eclipse下,于是折腾下了VIM,弄了几个插件。虽然以前也用VIM,但是没有这次这么正式,弄了下发现其实这玩意儿相当优秀,基本除了eclipse的打断点Debug,其他和他差不多,写C/C++更快,一个\im过去整个文件注释main整体就起来了,相当便捷,另外Linux下的UI也相当不错,特别是DUCK桌面,和Mac基本差不多,甚至你可以用java写出这样的东西:

  

  对于程序猿,Linux是个好东西,有喜欢试水的朋友,可以试试。

  附上最近给自己系统加了DUCK美容后的美照:

  

  

 

结语)其实这个问题很简单,只是当时太SB,想想就揪心。。

  

  

转载于:https://www.cnblogs.com/bfchuan/p/4083548.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33811539/article/details/93588647

智能推荐

python编码问题之encode、decode、codecs模块_python中encode在什么模块-程序员宅基地

文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 Eg:str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块

Java数据流-程序员宅基地

文章浏览阅读949次,点赞21次,收藏15次。本文介绍了Java中的数据输入流(DataInputStream)和数据输出流(DataOutputStream)的使用方法。

ie浏览器无法兼容的问题汇总_ie 浏览器 newdate-程序员宅基地

文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate

想用K8s,还得先会Docker吗?其实完全没必要-程序员宅基地

文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答,希望还在迟疑自己现有的知识储备能不能直接学 K8s 的,赶紧行动起来,K8s 是典型的入门有点难,后面越用越香。

ADI中文手册获取方法_adi 如何查看数据手册-程序员宅基地

文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册

React 分页-程序员宅基地

文章浏览阅读1k次,点赞4次,收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前 加载动画加载后 判断有内容的时候 无内容的时候用到的知识点1、动画效果(用在加载前,加载之后就隐藏或关闭,用开关效果即可)2、axios请求3、map渲染页面4、分页插件(antd)代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页

随便推点

关于使用CryPtopp库进行RSA签名与验签的一些说明_cryptopp 签名-程序员宅基地

文章浏览阅读449次,点赞9次,收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的,SignatureVerificationFilter::PUT_MESSAGE,如果在签名过程中putMessage设置为true,则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签,但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名

新闻稿的写作格式_新闻稿时间应该放在什么位置-程序员宅基地

文章浏览阅读848次。新闻稿是新闻从业者经常使用的一种文体,它的格式与内容都有着一定的规范。本文将从新闻稿的格式和范文两个方面进行介绍,以帮助读者更好地了解新闻稿的写作_新闻稿时间应该放在什么位置

Java中的转换器设计模式_java转换器模式-程序员宅基地

文章浏览阅读1.7k次。Java中的转换器设计模式 在这篇文章中,我们将讨论 Java / J2EE项目中最常用的 Converter Design Pattern。由于Java8 功能不仅提供了相应类型之间的通用双向转换方式,而且还提供了转换相同类型对象集合的常用方法,从而将样板代码减少到绝对最小值。我们使用Java8 功能编写了..._java转换器模式

应用k8s入门-程序员宅基地

文章浏览阅读150次。1,kubectl run创建pods[root@master ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1[root@master ~]# kubectl get podsNAME READY STATUS REST...

PAT菜鸡进化史_乙级_1003_1003 pat乙级 最优-程序员宅基地

文章浏览阅读128次。PAT菜鸡进化史_乙级_1003“答案正确”是自动判题系统给出的最令人欢喜的回复。本题属于 PAT 的“答案正确”大派送 —— 只要读入的字符串满足下列条件,系统就输出“答案正确”,否则输出“答案错误”。得到“答案正确”的条件是: 1. 字符串中必须仅有 P、 A、 T这三种字符,不可以包含其它字符; 2. 任意形如 xPATx 的字符串都可以获得“答案正确”,其中 x 或者是空字符串,或..._1003 pat乙级 最优

CH340与Android串口通信_340串口小板 安卓给安卓发指令-程序员宅基地

文章浏览阅读5.6k次。CH340与Android串口通信为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio移植的具体步骤CH340串口通信驱动函数通信过程中重难点还存在的问题为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio为了在这个工程基础上进行改动,验证串口的数据和配置串口的参数,我首先在Eclipse上配置了安卓开发环境,注意在配置环境是..._340串口小板 安卓给安卓发指令