解码二进制数据详解,NodeJS中Buffer模块详解
分类:关于美高梅

JavaScript很擅长处理字符串,但是因为它最初的设计是用来处理HTML文档,因此它并不太擅长处理二进制数据。JavaScript没有byte类型,没有结构化的类型(structured types),甚至没有字节数组,只有数字和字符串。(原文:JavaScript doesn't have a byte type — it just has numbers — or structured types, or even byte arrays: It just has strings.)

Node.js中使用Buffer编码、解码二进制数据详解,node.jsbuffer

JavaScript很擅长处理字符串,但是因为它最初的设计是用来处理HTML文档,因此它并不太擅长处理二进制数据。JavaScript没有byte类型,没有结构化的类型(structured types),甚至没有字节数组,只有数字和字符串。(原文:JavaScript doesn't have a byte type — it just has numbers — or structured types, or even byte arrays: It just has strings.)

因为Node基于JavaScript,它自然可以处理类似HTTP这样的文本协议,但是你也可以用它来跟数据库交互,处理图片或文件上传等,可以想象,如果仅仅用字符串来做这些事得有多困难。早些时候,Node通过将byte编码成文本字符来处理二进制数据,但这种方式后来被证明并不可行,既浪费资源,又缓慢,又不灵活,而且难以维护。

Node有一个二进制缓冲实现Buffer,这个伪类(pseudo-class)提供了一系列处理二进制数据的API,简化了那些需要处理二进制数据的任务。缓冲的长度由字节数据的长度决定,而且你可以随机的设置和获取缓冲内的字节数据。

注意:Buffer类有一个特殊的地方,缓冲内的字节数据所占用的内存不是分配在JavaScrp

It VM内存堆上的,也就是说这些对象不会被JavaScript的垃圾回收算法处理,取而代之的是一个不会被修改的永久内存地址,这也避免了因缓冲内容的内存复制所造成的CPU浪费。

创建缓冲

你可以用一个UTF-8字符串创建缓冲,像这样:

复制代码 代码如下:

var buf = new Buffer(‘Hello World!');

也可以用指定编码的字符串创建缓冲:

复制代码 代码如下:

var buf = new Buffer('8b76fde713ce', 'base64');

可接受的字符编码和标识如下:

1.ascii——ASCI,仅适用于ASCII字符集。
2.utf8——UTF-8,这种可变宽编码适用于Unicode字符集的任何字符,它已经成了Web世界的首选编码,也是Node的默认编码类型。
3.base64——Base64,这种编码基于64个可打印ASCII字符来表示二进制数据,Base64通常用于在字符文档内嵌入可以被转化成字符串的二进制数据,在需要时又可以完整无损的转换回原来的二进制格式。

如果没有数据来初始化缓冲,可以用指定的容量大小来创建一个空缓冲:

复制代码 代码如下:

var buf = new Buffer(1024); // 创建一个1024字节的缓冲

获取和设置缓冲数据

创建或接收一个缓冲对象后,你可能要查看或者修改它的内容,可以通过[]操作符来访问缓冲的某个字节:

复制代码 代码如下:

var buf = new Buffer('my buffer content');
// 访问缓冲内第10个字节
console.log(buf[10]); // -> 99

注意:当你(使用缓冲容量大小来)创建一个已初始化的缓冲时,一定要注意,缓冲的数据并没有被初始化成0,而是随机数据。

复制代码 代码如下:

var buf = new Buffer(1024);

console.log(buf[100]); // -> 5 (某个随机值)

你可以这样修改缓冲里任何位置的数据:

复制代码 代码如下:

buf[99] = 125; // 把第100个字节的值设置为125

注意:在某些情况下,一些缓冲操作并不会产生错误,比如:

1.缓冲内的字节最大值为255,如果某个字节被赋予大于256的数字,将会用256对其取模,然后将结果赋给这个字节。
2.如果将缓冲的某个字节赋值为256,它的实际值将会是0(译者注:其实跟第一条重复,256%256=0)
3.如果用浮点数给缓冲内某个字节赋值,比如100.7,实际值将会是浮点数的整数部分——100
4.如果你尝试给一个超出缓冲容量的位置赋值,赋值操作将会失败,缓冲不做任何修改。

你可以用length属性获取缓冲的长度:

复制代码 代码如下:

var buf = new Buffer(100);

console.log(buf.length); // -> 100

还可以使用缓冲长度迭代缓冲的内容,来读取或设置每个字节:

复制代码 代码如下:

var buf = new Buffer(100);

for(var i = 0; i < buf.length; i++) {

    buf[i] = i;

}

上面代码新建了一个包含100个字节的缓冲,并从0到99设置了缓冲内每个字节。

切分缓冲数据

一旦创建或者接收了一个缓冲,你可能需要提取缓冲数据的一部分,可以通过指定起始位置来切分现有的缓冲,从而创建另外一个较小的缓冲:

复制代码 代码如下:

var buffer = new Buffer("this is the content of my buffer");

var smallerBuffer = buffer.slice(8, 19);

console.log(smallerBuffer.toString()); // -> "the content"

注意,当切分一个缓冲的时候并没有新的内存被分配或复制,新的缓冲使用父缓冲的内存,它只是父缓冲某段数据(由起始位置指定)的引用。这段话含有几个意思。

首先,如果你的程序修改了父缓冲的内容,这些修改也会影响相关的子缓冲,因为父缓冲和子缓冲是不同的JavaScript对象,因此很容易忽略这个问题,并导致一些潜在的bug。

其次,当你用这种方式从父缓冲创建一个较小的子缓冲时,父缓冲对象在操作结束后依然会被保留,并不会被垃圾回收,如果不注意的话,很容易会造成内存泄露。

注意:如果你担心因此产生内存泄露问题,你可以使用copy方法来替代slice操作,下面将会介绍copy。

复制缓冲数据

你可以像这样用copy将缓冲的一部分复制到另外一个缓冲:

复制代码 代码如下:

var buffer1 = new Buffer("this is the content of my buffer");

var buffer2 = new Buffer(11);

var targetStart = 0;

var sourceStart = 8;

var sourceEnd = 19;

buffer1.copy(buffer2, targetStart, sourceStart, sourceEnd);

console.log(buffer2.toString()); // -> "the content"

上面代码,复制源缓冲的第9到20个字节到目标缓冲的开始位置。

解码缓冲数据

缓冲数据可以这样转换成一个UTF-8字符串:

复制代码 代码如下:

var str = buf.toString();

还可以通过指定编码类型来将缓冲数据解码成任何编码类型的数据。比如,你想把一个缓冲解码成base64字符串,可以这么做:

复制代码 代码如下:

var b64Str = buf.toString("base64");

使用toString函数,你还可以把一个UTF-8字符串转码成base64字符串:

复制代码 代码如下:

var utf8String = 'my string';

var buf = new Buffer(utf8String);

var base64String = buf.toString('base64')

小结

有时候,你不得不跟二进制数据打交道,但是原生JavaScript又没有明确的方式来做这件事,于是Node提供了Buffer类,封装了一些针对连续内存块的操作。你可以在两个缓冲之间切分或复制内存数据。

你也可以把一个缓冲转换成某种编码的字符串,或者反过来,把一个字符串转化成缓冲,来访问或处理每个bit。

NodeJS中Buffer模块详解,nodejsbuffer详解

一,开篇分析

所谓缓冲区Buffer,就是 "临时存贮区" 的意思,是暂时存放输入输出数据的一段内存。

JS语言自身只有字符串数据类型,没有二进制数据类型,因此NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。除了可以读取文件得到Buffer的实例外,还能够直接构造,例如:

复制代码 代码如下:

 var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

Buffer与字符串类似,除了可以用.length属性得到字节长度外,还可以用[index]方式读取指定位置的字节,例如:

复制代码 代码如下:

buffer[0] ; // 0x68;

Buffer与字符串能够互相转化,例如可以使用指定编码将二进制数据转化为字符串:

复制代码 代码如下:

var str = buffer.toString("utf-8");  // hello

将字符串转换为指定编码下的二进制数据:

复制代码 代码如下:

var buffer= new Buffer("hello", "utf-8") ; // <Buffer 68 65 6c 6c 6f>

一点儿区别:

Buffer与字符串有一个重要区别。字符串是只读的,并且对字符串的任何修改得到的都是一个新字符串,原字符串保持不变。

至于Buffer,更像是可以做指针操作的C语言数组。例如,可以用[index]方式直接修改某个位置的字节。


slice方法也不是返回一个新的Buffer,而更像是返回了指向原Buffer中间的某个位置的指针,如下所示。

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
    ^           ^
    |           |
   bin     bin.slice(2)
因此对slice方法返回的Buffer的修改会作用于原Buffer,例如:

复制代码 代码如下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var sub = bin.slice(2) ;
 sub[0] = 0x65 ;
 console.log(buffer) ; //  <Buffer 68 65 65 6c 6f>

如果想要拷贝一份Buffer,得首先创建一个新的Buffer,并通过.copy方法把原Buffer中的数据复制过去。

这个类似于申请一块新的内存,并把已有内存中的数据复制过去。以下是一个例子。

复制代码 代码如下:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var dup = new Buffer(bin.length) ;
 buffer.copy(dup) ;
 dup[0] = 0x48 ;
 console.log(buffer) ;  // <Buffer 68 65 6c 6c 6f>
 console.log(dup) ;  // <Buffer 48 65 65 6c 6f>

总之,Buffer将JS的数据处理能力从字符串扩展到了任意二进制数据。

以上简单让大家了解一下什么是Buffer,下面具体说说如何使用和具体使用场景。

二,聊聊Buffer

JavaScript对字符串处理十分友好,无论是宽字节还是单字节字符串,都被认为是一个字符串。Node中需要处理网络协议、操作数据库、处理图片、文件上传等,还需要处理大量二进制数据,自带的字符串远不能满足这些要求,因此Buffer应运而生。

Buffer结构

Buffer是一个典型的Javascript和C++结合的模块,性能相关部分用C++实现,非性能相关部分用javascript实现。

Node在进程启动时Buffer就已经加装进入内存,并将其放入全局对象,因此无需require

Buffer对象:类似于数组,其元素是16进制的两位数。

Buffer内存分配

Buffer对象的内存分配不是在V8的堆内存中,在Node的C++层面实现内存的申请。

为了高效的使用申请来得内存,Node中采用slab分配机制,slab是一种动态内存管理机制,应用各种*nix操作系统。slab有三种状态:

(1) full:完全分配状态

(2) partial:部分分配状态

(3) empty:没有被分配状态

Buffer的转换
 
Buffer对象可以和字符串相互转换,支持的编码类型如下:

ASCII、UTF-8、UTF-16LE/UCS-2、Base64、Binary、Hex

字符串转Buffer

new Buffer(str, [encoding]),默认UTF-8
buf.write(string, [offset], [length], [encoding])

Buffer转字符串

buf.toString([encoding], [start], [end])

Buffer不支持的编码类型

通过Buffer.isEncoding(encoding)判断是否支持

iconv-lite:纯JavaScript实现,更轻量,性能更好无需C++到javascript的转换

iconv:调用C++的libiconv库完成

Buffer的拼接

注意 "res.on('data', function(chunk) {})",其中的参数chunk是Buffer对象,直接用+拼接会自动转换为字符串,对于宽字节字符可能会导致乱码产生,

解决方法:

(1) 通过可读流中的setEncoding()方法,该方法可以让data事件传递不再是Buffer对象,而是编码后的字符串,其内部使用了StringEncoder模块。

(2) 将Buffer对象暂存到数组中,最后在组装成一个大Buffer让后编码转换为字符串输出。

Buffer在文件I/O和网络I/O中广泛应用,其性能举足轻重,比普通字符串性能要高出很多。

Buffer的使用除了与字符串的转换有性能损耗外,在文件读取时候,有一个highWaterMark设置对性能影响至关重要。

a,highWaterMark设置对Buffer内存的分配和使用有一定影响。

b, highWaterMark设置过小,可能导致系统调用次数过多。

什么时候该用buffer,什么时候不该用  ------ 纯粹的javascript支持unicode码而对二进制不是很支持,当解决TCP流或者文件流的时候,处理流是有必要的,我们保存非utf-8字符串,2进制等等其他格式的时候,我们就必须得使用 ”Buffer“ 。

三,实例引入

复制代码 代码如下:

 var buf = new Buffer("this is text concat test !") ,str = "this is text concat test !" ;
 console.time("buffer concat test !");
 var list = [] ;
 var len = 100000 * buf.length ;
 for(var i=0;i<100000;i++){
     list.push(buf) ;
     len += buf.length ;
 }
 var s1 = Buffer.concat(list, len).toString() ;
 console.timeEnd("buffer concat test !") ;
 console.time("string concat test !") ;
 var list = [] ;
 for (var i = 100000; i >= 0; i--) {
   list.push(str) ;
 }
 var s2 = list.join("") ;
 console.timeEnd("string concat test !") ;

以下是运行结果:

图片 1

读取速度肯定string更快,buffer还需要toString()的操作。 所以我们在保存字符串的时候,该用string还是要用string,就算大字符串拼接string的速度也不会比buffer慢。

那什么时候我们又需要用buffer呢?没办法的时候,当我们保存非utf-8字符串,2进制等等其他格式的时候,我们就必须得使用了。

四,总结一下

(1),JavaScript适合处理Unicode编码数据,但对二进制数据的处理并不友好。
(2),所以处理TCP流或文件系统时,对八位字节流的处理很有必要。
(3),Node有几个用于处理,创建和消耗八位字节流的方法。
(4),原始数据存放在一个Buffer实例中,一个Buffer类似一个整数数组,但是它的内存,分配在V8堆栈外。一个Buffer的大小是不能更改的。
(5),处理的编码类型有:ascii,utf8,utf16le,ucs2(utf16le的别名),base64,binary,hex。
(6),Buffer为全局元素,直接new Buffer()就得到一个Buffer实例。

一,开篇分析 所谓缓冲区Buffer,就是 "临时存贮区" 的意思,是暂时存放输入输出数据的一段内存。...

一,开篇分析

因为Node基于JavaScript,它自然可以处理类似HTTP这样的文本协议,但是你也可以用它来跟数据库交互,处理图片或文件上传等,可以想象,如果仅仅用字符串来做这些事得有多困难。早些时候,Node通过将byte编码成文本字符来处理二进制数据,但这种方式后来被证明并不可行,既浪费资源,又缓慢,又不灵活,而且难以维护。

遗传算法解码问题, 解码是只针对二进制编码还是说所有的遗传算法都得解码解码到底是个什过程

应该说所有的遗传算法都得编码、解码,遗传算法是模拟生物遗传和进化过程,交叉是遗传算法的核心操作。交叉过程就是二进制数据之间的运算操作,例如;与,或,异或……编码目的是实现从表现型到基因型的映射,便于遗传操作;然后通过适应度函数选择合适下一代,依次迭代,直到达到合适子代。此时所求的子代还是二进制,因此必须再通过解码将子代映射到表现型。  

所谓缓冲区Buffer,就是 "临时存贮区" 的意思,是暂时存放输入输出数据的一段内存。

Node有一个二进制缓冲实现Buffer,这个伪类(pseudo-class)提供了一系列处理二进制数据的API,简化了那些需要处理二进制数据的任务。缓冲的长度由字节数据的长度决定,而且你可以随机的设置和获取缓冲内的字节数据。

nodejs的buffer有什用

buffer 作为缓冲,在处理非utf-8 字符或者二进制数据时很有用。  

JavaScript很擅长处理字符串,但是因为它最初的设计是用来处理HTML文档,因此它并...

JS语言自身只有字符串数据类型,没有二进制数据类型,因此NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。除了可以读取文件得到Buffer的实例外,还能够直接构造,例如:

注意:Buffer类有一个特殊的地方,缓冲内的字节数据所占用的内存不是分配在JavaScrp

复制代码 代码如下:

It VM内存堆上的,也就是说这些对象不会被JavaScript的垃圾回收算法处理,取而代之的是一个不会被修改的永久内存地址,这也避免了因缓冲内容的内存复制所造成的CPU浪费。

 var buffer = new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;

创建缓冲

Buffer与字符串类似,除了可以用.length属性得到字节长度外,还可以用[index]方式读取指定位置的字节,例如:

你可以用一个UTF-8字符串创建缓冲,像这样:

复制代码 代码如下:

复制代码 代码如下:

buffer[0] ; // 0x68;

var buf = new Buffer(‘Hello World!');

Buffer与字符串能够互相转化,例如可以使用指定编码将二进制数据转化为字符串:

也可以用指定编码的字符串创建缓冲:

复制代码 代码如下:

复制代码 代码如下:

var str = buffer.toString("utf-8");  // hello

var buf = new Buffer('8b76fde713ce', 'base64');

将字符串转换为指定编码下的二进制数据:

可接受的字符编码和标识如下:

复制代码 代码如下:

1.ascii——ASCI,仅适用于ASCII字符集。
2.utf8——UTF-8,这种可变宽编码适用于Unicode字符集的任何字符,它已经成了Web世界的首选编码,也是Node的默认编码类型。
3.base64——Base64,这种编码基于64个可打印ASCII字符来表示二进制数据,Base64通常用于在字符文档内嵌入可以被转化成字符串的二进制数据,在需要时又可以完整无损的转换回原来的二进制格式。

var buffer= new Buffer("hello", "utf-8") ; // <Buffer 68 65 6c 6c 6f>

如果没有数据来初始化缓冲,可以用指定的容量大小来创建一个空缓冲:

一点儿区别:

复制代码 代码如下:

Buffer与字符串有一个重要区别。字符串是只读的,并且对字符串的任何修改得到的都是一个新字符串,原字符串保持不变。

var buf = new Buffer(1024); // 创建一个1024字节的缓冲

至于Buffer,更像是可以做指针操作的C语言数组。例如,可以用[index]方式直接修改某个位置的字节。

获取和设置缓冲数据


创建或接收一个缓冲对象后,你可能要查看或者修改它的内容,可以通过[]操作符来访问缓冲的某个字节:

slice方法也不是返回一个新的Buffer,而更像是返回了指向原Buffer中间的某个位置的指针,如下所示。

复制代码 代码如下:

[ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]
    ^           ^
    |           |
   bin     bin.slice(2)
因此对slice方法返回的Buffer的修改会作用于原Buffer,例如:

var buf = new Buffer('my buffer content');
// 访问缓冲内第10个字节
console.log(buf[10]); // -> 99

复制代码 代码如下:

注意:当你(使用缓冲容量大小来)创建一个已初始化的缓冲时,一定要注意,缓冲的数据并没有被初始化成0,而是随机数据。

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var sub = bin.slice(2) ;
 sub[0] = 0x65 ;
 console.log(buffer) ; //  <Buffer 68 65 65 6c 6f>

复制代码 代码如下:

如果想要拷贝一份Buffer,得首先创建一个新的Buffer,并通过.copy方法把原Buffer中的数据复制过去。

var buf = new Buffer(1024);

这个类似于申请一块新的内存,并把已有内存中的数据复制过去。以下是一个例子。

console.log(buf[100]); // -> 5 (某个随机值)

复制代码 代码如下:

你可以这样修改缓冲里任何位置的数据:

 var buffer= new Buffer([ 0x68, 0x65, 0x6c, 0x6c, 0x6f ]) ;
 var dup = new Buffer(bin.length) ;
 buffer.copy(dup) ;
 dup[0] = 0x48 ;
 console.log(buffer) ;  // <Buffer 68 65 6c 6c 6f>
 console.log(dup) ;  // <Buffer 48 65 65 6c 6f>

复制代码 代码如下:

总之,Buffer将JS的数据处理能力从字符串扩展到了任意二进制数据。

buf[99] = 125; // 把第100个字节的值设置为125

以上简单让大家了解一下什么是Buffer,下面具体说说如何使用和具体使用场景。

注意:在某些情况下,一些缓冲操作并不会产生错误,比如:

二,聊聊Buffer

1.缓冲内的字节最大值为255,如果某个字节被赋予大于256的数字,将会用256对其取模,然后将结果赋给这个字节。
2.如果将缓冲的某个字节赋值为256,它的实际值将会是0(译者注:其实跟第一条重复,256%256=0)
3.如果用浮点数给缓冲内某个字节赋值,比如100.7,实际值将会是浮点数的整数部分——100
4.如果你尝试给一个超出缓冲容量的位置赋值,赋值操作将会失败,缓冲不做任何修改。

JavaScript对字符串处理十分友好,无论是宽字节还是单字节字符串,都被认为是一个字符串。Node中需要处理网络协议、操作数据库、处理图片、文件上传等,还需要处理大量二进制数据,自带的字符串远不能满足这些要求,因此Buffer应运而生。

你可以用length属性获取缓冲的长度:

Buffer结构

复制代码 代码如下:

Buffer是一个典型的Javascript和C++结合的模块,性能相关部分用C++实现,非性能相关部分用javascript实现。

var buf = new Buffer(100);

Node在进程启动时Buffer就已经加装进入内存,并将其放入全局对象,因此无需require

console.log(buf.length); // -> 100

Buffer对象:类似于数组,其元素是16进制的两位数。

还可以使用缓冲长度迭代缓冲的内容,来读取或设置每个字节:

Buffer内存分配

复制代码 代码如下:

Buffer对象的内存分配不是在V8的堆内存中,在Node的C++层面实现内存的申请。

var buf = new Buffer(100);

为了高效的使用申请来得内存,Node中采用slab分配机制,slab是一种动态内存管理机制,应用各种*nix操作系统。slab有三种状态:

for(var i = 0; i < buf.length; i++) {

(1) full:完全分配状态

    buf[i] = i;

(2) partial:部分分配状态

}

(3) empty:没有被分配状态

上面代码新建了一个包含100个字节的缓冲,并从0到99设置了缓冲内每个字节。

Buffer的转换
 
Buffer对象可以和字符串相互转换,支持的编码类型如下:

切分缓冲数据

ASCII、UTF-8、UTF-16LE/UCS-2、Base64、Binary、Hex

一旦创建或者接收了一个缓冲,你可能需要提取缓冲数据的一部分,可以通过指定起始位置来切分现有的缓冲,从而创建另外一个较小的缓冲:

字符串转Buffer

复制代码 代码如下:

new Buffer(str, [encoding]),默认UTF-8
buf.write(string, [offset], [length], [encoding])

var buffer = new Buffer("this is the content of my buffer");

Buffer转字符串

var smallerBuffer = buffer.slice(8, 19);

buf.toString([encoding], [start], [end])

console.log(smallerBuffer.toString()); // -> "the content"

Buffer不支持的编码类型

注意,当切分一个缓冲的时候并没有新的内存被分配或复制,新的缓冲使用父缓冲的内存,它只是父缓冲某段数据(由起始位置指定)的引用。这段话含有几个意思。

通过Buffer.isEncoding(encoding)判断是否支持

首先,如果你的程序修改了父缓冲的内容,这些修改也会影响相关的子缓冲,因为父缓冲和子缓冲是不同的JavaScript对象,因此很容易忽略这个问题,并导致一些潜在的bug。

iconv-lite:纯JavaScript实现,更轻量,性能更好无需C++到javascript的转换

其次,当你用这种方式从父缓冲创建一个较小的子缓冲时,父缓冲对象在操作结束后依然会被保留,并不会被垃圾回收,如果不注意的话,很容易会造成内存泄露。

iconv:调用C++的libiconv库完成

注意:如果你担心因此产生内存泄露问题,你可以使用copy方法来替代slice操作,下面将会介绍copy。

Buffer的拼接

复制缓冲数据

注意 "res.on('data', function(chunk) {})",其中的参数chunk是Buffer对象,直接用+拼接会自动转换为字符串,对于宽字节字符可能会导致乱码产生,

你可以像这样用copy将缓冲的一部分复制到另外一个缓冲:

解决方法:

复制代码 代码如下:

(1) 通过可读流中的setEncoding()方法,该方法可以让data事件传递不再是Buffer对象,而是编码后的字符串,其内部使用了StringEncoder模块。

var buffer1 = new Buffer("this is the content of my buffer");

(2) 将Buffer对象暂存到数组中,最后在组装成一个大Buffer让后编码转换为字符串输出。

var buffer2 = new Buffer(11);

Buffer在文件I/O和网络I/O中广泛应用,其性能举足轻重,比普通字符串性能要高出很多。

var targetStart = 0;

Buffer的使用除了与字符串的转换有性能损耗外,在文件读取时候,有一个highWaterMark设置对性能影响至关重要。

var sourceStart = 8;

a,highWaterMark设置对Buffer内存的分配和使用有一定影响。

var sourceEnd = 19;

b, highWaterMark设置过小,可能导致系统调用次数过多。

buffer1.copy(buffer2, targetStart, sourceStart, sourceEnd);

什么时候该用buffer,什么时候不该用  ------ 纯粹的javascript支持unicode码而对二进制不是很支持,当解决TCP流或者文件流的时候,处理流是有必要的,我们保存非utf-8字符串,2进制等等其他格式的时候,我们就必须得使用 ”Buffer“ 。

console.log(buffer2.toString()); // -> "the content"

三,实例引入

上面代码,复制源缓冲的第9到20个字节到目标缓冲的开始位置。

复制代码 代码如下:

解码缓冲数据

 var buf = new Buffer("this is text concat test !") ,str = "this is text concat test !" ;
 console.time("buffer concat test !");
 var list = [] ;
 var len = 100000 * buf.length ;
 for(var i=0;i<100000;i++){
     list.push(buf) ;
     len += buf.length ;
 }
 var s1 = Buffer.concat(list, len).toString() ;
 console.timeEnd("buffer concat test !") ;
 console.time("string concat test !") ;
 var list = [] ;
 for (var i = 100000; i >= 0; i--) {
   list.push(str) ;
 }
 var s2 = list.join("") ;
 console.timeEnd("string concat test !") ;

缓冲数据可以这样转换成一个UTF-8字符串:

以下是运行结果:

复制代码 代码如下:

图片 2

var str = buf.toString();

读取速度肯定string更快,buffer还需要toString()的操作。 所以我们在保存字符串的时候,该用string还是要用string,就算大字符串拼接string的速度也不会比buffer慢。

还可以通过指定编码类型来将缓冲数据解码成任何编码类型的数据。比如,你想把一个缓冲解码成base64字符串,可以这么做:

那什么时候我们又需要用buffer呢?没办法的时候,当我们保存非utf-8字符串,2进制等等其他格式的时候,我们就必须得使用了。

复制代码 代码如下:

四,总结一下

var b64Str = buf.toString("base64");

(1),JavaScript适合处理Unicode编码数据,但对二进制数据的处理并不友好。
(2),所以处理TCP流或文件系统时,对八位字节流的处理很有必要。
(3),Node有几个用于处理,创建和消耗八位字节流的方法。
(4),原始数据存放在一个Buffer实例中,一个Buffer类似一个整数数组,但是它的内存,分配在V8堆栈外。一个Buffer的大小是不能更改的。
(5),处理的编码类型有:ascii,utf8,utf16le,ucs2(utf16le的别名),base64,binary,hex。
(6),Buffer为全局元素,直接new Buffer()就得到一个Buffer实例。

使用toString函数,你还可以把一个UTF-8字符串转码成base64字符串:

您可能感兴趣的文章:

  • Nodejs进程管理模块forever详解
  • Nodejs学习笔记之NET模块
  • NodeJS学习笔记之MongoDB模块
  • NodeJS 模块开发及发布详解分享
  • NodeJS的模块写法入门(实例代码)
  • nodejs命令行参数处理模块commander使用实例
  • nodejs下打包模块archiver详解
  • Nodejs实战心得之eventproxy模块控制并发
  • 详解Nodejs基于mongoose模块的增删改查的操作
  • NodeJs使用Mysql模块实现事务处理实例
  • NodeJS自定义模块写法(详解)
  • nodeJS模块简单用法示例

复制代码 代码如下:

var utf8String = 'my string';

var buf = new Buffer(utf8String);

var base64String = buf.toString('base64')

小结

有时候,你不得不跟二进制数据打交道,但是原生JavaScript又没有明确的方式来做这件事,于是Node提供了Buffer类,封装了一些针对连续内存块的操作。你可以在两个缓冲之间切分或复制内存数据。

你也可以把一个缓冲转换成某种编码的字符串,或者反过来,把一个字符串转化成缓冲,来访问或处理每个bit。

您可能感兴趣的文章:

  • 使用node.js中的Buffer类处理二进制数据的方法
  • 详解nodeJS之二进制buffer对象

本文由美高梅网址发布于关于美高梅,转载请注明出处:解码二进制数据详解,NodeJS中Buffer模块详解

上一篇:根据当前时间在jsp页面上显示上午或下午,九大 下一篇:没有了
猜你喜欢
热门排行
精彩图文