golang文件传输？

golangprotobufunknown字段透传

云端在线架构有上游A-中间模块B-下游C三个模块，都是proto格式数据传输交互。流量方向为从A-B-C，当A模块需要给proto增加某个字段，这个字段中间模块B并不关系，只需要透传给下游模块C来使用。

那么A和C模块都升级proto的情况下，作为透传模块的B能不能不升级proto文件呢？答案是肯定的，这就要说到proto3的unknown字段支持了(proto2和大于proto3.5版本的支持)

A模块和c模块的proto：

b模块的proto：

从两份proto文件可以看到，A模块和C模块相比较B模块的proto，就是header里面多了一个messageid字段。

先将proto生成goclass文件，然后

分别依次启动C,B,A服务：

从C打印出来的数据可以看到成功拿到了mssageid，这个key在B模块的proto中是没有定义的。

从b模块打印出来的信息可以看到：

经过A模块marshal传输过来的数据，在B模块unmarshal后，message这个不认识的字段的信息(unknownfield)被编码成了pb_id：val这样的数据给暂存下来，这样的数据经过marshal后会保留，传给下游C模块经unmarshal后，会根据pb_id找到key为messageid。至此，C模块成功的拿到了messageid。

当分别处于大小端模式下的内容存放如下

(1)大端模式存储（存储地址为16位）

地址数据

0x0004(高地址)0x44

0x00030x33

0x00020x22

0x0001(低地址)0x11

(2)小端模式存储（存储地址为16位）

地址数据

0x0004(高地址)0x11

0x00030x22

0x00020x33

0x0001(低地址)0x44

在前面也简单阐述了大小端序的定义并结合简单实例来说明，接下来会给出详细实例来说明：

1、大端序(Big-Endian):或称大尾序

一个类型:int32的数0X0A0B0C0D的内存存放情况

数据是以8bits为单位

2、小端序(little-endian):或称小尾序

比如0x00000001

大端序：内存低比特位00000000000000000000000000000001内存高比特位

小端序：内存低比特位10000000000000000000000000000000内存高比特位

其实在前面罗列出那么东西，最终是为了接下来讲述的在golang中涉及到网络传输、文件存储时的选择。一般来说网络传输的字节序，可能是大端序或者小端序，取决于软件开始时通讯双方的协议规定。TCP/IP协议RFC1700规定使用“大端”字节序为网络字节序，开发的时候需要遵守这一规则。默认golang是使用大端序。详情见golang中包encoding/binary已提供了大、小端序的使用

输出结果：

16909060usebigendian:

int32tobytes:[1234]###[0001000200030004]

bytestoint32:16909060

16909060uselittleendian:

int32tobytes:[4321]###[0004000300020001]

bytestoint32:16909060

在RPCX框架中关于RPC调用过程涉及的传递消息进行编码的，采用的就是大端序模式

golangSSH客户端系列文章目录

SSH(SecureShell)协议在远程登录时比较常用，但是除此之外还有一些其它的功能也很好用，比如端口映射，X11转发，sftp文件传输等。

以下三篇文章将介绍golang版SSH的远程登录功能，端口映射功能及sftp文件传输功能。X11包含GUI的一些操作，没有找到相关的包，故不做介绍

通过golang自带的ssh包golang.org/x/crypto/ssh可以实现远程登录功能，默认是不支持tab键和上下箭头的，

通过导入golang.org/x/crypto/ssh/terminal来创建VT100终端可以支持tab等功能，让golang版本的ssh客户端体验和平时用的其它客户端差不多。

importjava.io.*;importjxl.*;…………try{//构建Workbook对象,只读Workbook对象//直接从本地文件创建Workbook//从输入流创建WorkbookInputStreamis=newFileInputStream(sourcefile);jxl.Workbookrwb=Workbook.getWorkbook(is);}catch(Exceptione){e.printStackTrace();}一旦创建了Workbook，我们就可以通过它来访问ExcelSheet(术语：工作表)。参考下面的代码片段：//获取第一张Sheet表Sheetrs=rwb.getSheet(0);我们既可能通过Sheet的名称来访问它，也可以通过下标来访问它。如果通过下标来访问的话，要注意的一点是下标从0开始，就像数组一样。一旦得到了Sheet，我们就可以通过它来访问ExcelCell(术语：单元格)。参考下面的代码片段：//获取第一行，第一列的值Cellc00=rs.getCell(0,0);Stringstrc00=c00.getContents();//获取第一行，第二列的值Cellc10=rs.getCell(1,0);Stringstrc10=c10.getContents();//获取第二行，第二列的值Cellc11=rs.getCell(1,1);Stringstrc11=c11.getContents();System.out.println("Cell(0,0)"+"value:"+strc00+";type:"+c00.getType());System.out.println("Cell(1,0)"+"value:"+strc10+";type:"+c10.getType());System.out.println("Cell(1,1)"+"value:"+strc11+";type:"+c11.getType());如果仅仅是取得Cell的值，我们可以方便地通过getContents()方法，它可以将任何类型的Cell值都作为一个字符串返回。示例代码中Cell(0,0)是文本型，Cell(1,0)是数字型，Cell(1,1)是日期型，通过getContents()，三种类型的返回值都是字符型。如果有需要知道Cell内容的确切类型，API也提供了一系列的方法。参考下面的代码片段：Stringstrc00=null;doublestrc10=0.00;Datestrc11=null;Cellc00=rs.getCell(0,0);Cellc10=rs.getCell(1,0);Cellc11=rs.getCell(1,1);if(c00.getType()==CellType.LABEL){LabelCelllabelc00=(LabelCell)c00;strc00=labelc00.getString();}if(c10.getType()==CellType.NUMBER){NmberCellnumc10=(NumberCell)c10;strc10=numc10.getValue();}if(c11.getType()==CellType.DATE){DateCelldatec11=(DateCell)c11;strc11=datec11.getDate();}System.out.println("Cell(0,0)"+"value:"+strc00+";type:"+c00.getType());System.out.println("Cell(1,0)"+"value:"+strc10+";type:"+c10.getType());System.out.println("Cell(1,1)"+"value:"+strc11+";type:"+c11.getType());在得到Cell对象后，通过getType()方法可以获得该单元格的类型，然后与API提供的基本类型相匹配，强制转换成相应的类型，最后调用相应的取值方法getXXX()，就可以得到确定类型的值。API提供了以下基本类型，与Excel的数据格式相对应，如下图所示：每种类型的具体意义，请参见JavaExcelAPIDocument。当你完成对Excel电子表格数据的处理后，一定要使用close()方法来关闭先前创建的对象，以释放读取数据表的过程中所占用的内存空间，在读取大量数据时显得尤为重要。参考如下代码片段：//操作完成时，关闭对象，释放占用的内存空间rwb.close();JavaExcelAPI提供了许多访问Excel数据表的方法，在这里我只简要地介绍几个常用的方法，其它的方法请参考附录中的JavaExcelAPIDocument。?Workbook类提供的方法1.intgetNumberOfSheets()获得工作薄（Workbook）中工作表（Sheet）的个数，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));intsheets=rwb.getNumberOfSheets();2.Sheet[]getSheets()返回工作薄（Workbook）中工作表（Sheet）对象数组，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));Sheet[]sheets=rwb.getSheets();3.StringgetVersion()返回正在使用的API的版本号，好像是没什么太大的作用。jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));StringapiVersion=rwb.getVersion();?Sheet接口提供的方法1.StringgetName()获取Sheet的名称，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);StringsheetName=rs.getName();2.intgetColumns()获取Sheet表中所包含的总列数，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);intrsColumns=rs.getColumns();3.Cell[]getColumn(intcolumn)获取某一列的所有单元格，返回的是单元格对象数组，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);Cell[]cell=rs.getColumn(0);4.intgetRows()获取Sheet表中所包含的总行数，示例：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);intrsRows=rs.getRows();5.Cell[]getRow(introw)获取某一行的所有单元格，返回的是单元格对象数组，示例子：jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);Cell[]cell=rs.getRow(0);6.CellgetCell(intcolumn,introw)获取指定单元格的对象引用，需要注意的是它的两个参数，第一个是列数，第二个是行数，这与通常的行、列组合有些不同。jxl.Workbookrwb=jxl.Workbook.getWorkbook(newFile(sourcefile));jxl.Sheetrs=rwb.getSheet(0);Cellcell=rs.getCell(0,0);生成新的Excel工作薄下面的代码主要是向大家介绍如何生成简单的Excel工作表，在这里单元格的内容是不带任何修饰的(如：字体，颜色等等)，所有的内容都作为字符串写入。(完整代码见ExcelWriting.java)与读取Excel工作表相似，首先要使用Workbook类的工厂方法创建一个可写入的工作薄(Workbook)对象，这里要注意的是，只能通过API提供的工厂方法来创建Workbook，而不能使用WritableWorkbook的构造函数，因为类WritableWorkbook的构造函数为protected类型。示例代码片段如下：importjava.io.*;importjxl.*;importjxl.write.*;…………try{//构建Workbook对象,只读Workbook对象//Method1：创建可写入的Excel工作薄jxl.write.WritableWorkbookwwb=Workbook.createWorkbook(newFile(targetfile));//Method2：将WritableWorkbook直接写入到输出流/*OutputStreamos=newFileOutputStream(targetfile);jxl.write.WritableWorkbookwwb=Workbook.createWorkbook(os);*/}catch(Exceptione){e.printStackTrace();}API提供了两种方式来处理可写入的输出流，一种是直接生成本地文件，如果文件名不带全路径的话，缺省的文件会定位在当前目录，如果文件名带有全路径的话，则生成的Excel文件则会定位在相应的目录；另外一种是将Excel对象直接写入到输出流，例如：用户通过浏览器来访问Web服务器，如果HTTP头设置正确的话，浏览器自动调用客户端的Excel应用程序，来显示动态生成的Excel电子表格。接下来就是要创建工作表，创建工作表的方法与创建工作薄的方法几乎一样，同样是通过工厂模式方法获得相应的对象，该方法需要两个参数，一个是工作表的名称，另一个是工作表在工作薄中的位置，参考下面的代码片段：//创建Excel工作表jxl.write.WritableSheetws=wwb.createSheet("TestSheet1",0);"这锅也支好了，材料也准备齐全了，可以开始下锅了！"，现在要做的只是实例化API所提供的Excel基本数据类型，并将它们添加到工作表中就可以了，参考下面的代码片段：//1.添加Label对象jxl.write.LabellabelC=newjxl.write.Label(0,0,"ThisisaLabelcell");ws.addCell(labelC);//添加带有字型Formatting的对象jxl.write.WritableFontwf=newjxl.write.WritableFont(WritableFont.TIMES,18,WritableFont.BOLD,true);jxl.write.WritableCellFormatwcfF=newjxl.write.WritableCellFormat(wf);jxl.write.LabellabelCF=newjxl.write.Label(1,0,"ThisisaLabelCell",wcfF);ws.addCell(labelCF);//添加带有字体颜色Formatting的对象jxl.write.WritableFontwfc=newjxl.write.WritableFont(WritableFont.ARIAL,10,WritableFont.NO_BOLD,false,UnderlineStyle.NO_UNDERLINE,jxl.format.Colour.RED);jxl.write.WritableCellFormatwcfFC=newjxl.write.WritableCellFormat(wfc);jxl.write.LabellabelCFC=newjxl.write.Label(1,0,"ThisisaLabelCell",wcfFC);ws.addCell(labelCF);//2.添加Number对象jxl.write.NumberlabelN=newjxl.write.Number(0,1,3.1415926);ws.addCell(labelN);//添加带有formatting的Number对象jxl.write.NumberFormatnf=newjxl.write.NumberFormat("#.##");jxl.write.WritableCellFormatwcfN=newjxl.write.WritableCellFormat(nf);jxl.write.NumberlabelNF=newjxl.write.Number(1,1,3.1415926,wcfN);ws.addCell(labelNF);//3.添加Boolean对象jxl.write.BooleanlabelB=newjxl.write.Boolean(0,2,false);ws.addCell(labelB);//4.添加DateTime对象jxl.write.DateTimelabelDT=newjxl.write.DateTime(0,3,newjava.util.Date());ws.addCell(labelDT);//添加带有formatting的DateFormat对象jxl.write.DateFormatdf=newjxl.write.DateFormat("ddMMyyyyhh:mm:ss");jxl.write.WritableCellFormatwcfDF=newjxl.write.WritableCellFormat(df);jxl.write.DateTimelabelDTF=newjxl.write.DateTime(1,3,newjava.util.Date(),wcfDF);ws.addCell(labelDTF);这里有两点大家要引起大家的注意。第一点，在构造单元格时，单元格在工作表中的位置就已经确定了。一旦创建后，单元格的位置是不能够变更的，尽管单元格的内容是可以改变的。第二点，单元格的定位是按照下面这样的规律(column,row)，而且下标都是从0开始，例如，A1被存储在(0,0)，B1被存储在(1,0)。最后，不要忘记关闭打开的Excel工作薄对象，以释放占用的内存，参见下面的代码片段：//写入Exel工作表wwb.write();//关闭Excel工作薄对象wwb.close();这可能与读取Excel文件的操作有少少不同，在关闭Excel对象之前，你必须要先调用write()方法，因为先前的操作都是存储在缓存中的，所以要通过该方法将操作的内容保存在文件中。如果你先关闭了Excel对象，那么只能得到一张空的工作薄了。拷贝、更新Excel工作薄接下来简要介绍一下如何更新一个已经存在的工作薄，主要是下面二步操作，第一步是构造只读的Excel工作薄，第二步是利用已经创建的Excel工作薄创建新的可写入的Excel工作薄，参考下面的代码片段：(完整代码见ExcelModifying.java)//创建只读的Excel工作薄的对象jxl.Workbookrw=jxl.Workbook.getWorkbook(newFile(sourcefile));//创建可写入的Excel工作薄对象jxl.write.WritableWorkbookwwb=Workbook.createWorkbook(newFile(targetfile),rw);//读取第一张工作表jxl.write.WritableSheetws=wwb.getSheet(0);//获得第一个单元格对象jxl.write.WritableCellwc=ws.getWritableCell(0,0);//判断单元格的类型,做出相应的转化if(wc.getType()==CellType.LABEL){Labell=(Label)wc;l.setString("Thevaluehasbeenmodified.");}//写入Excel对象wwb.write();//关闭可写入的Excel对象wwb.close();//关闭只读的Excel对象rw.close();之所以使用这种方式构建Excel对象，完全是因为效率的原因，因为上面的示例才是API的主要应用。为了提高性能，在读取工作表时，与数据相关的一些输出信息，所有的格式信息，如：字体、颜色等等，是不被处理的，因为我们的目的是获得行数据的值，既使没有了修饰，也不会对行数据的值产生什么影响。唯一的不利之处就是，在内存中会同时保存两个同样的工作表，这样当工作表体积比较大时，会占用相当大的内存，但现在好像内存的大小并不是什么关键因素了。一旦获得了可写入的工作表对象，我们就可以对单元格对象进行更新的操作了，在这里我们不必调用API提供的add()方法，因为单元格已经于工作表当中，所以我们只需要调用相应的setXXX()方法，就可以完成更新的操作了。尽单元格原有的格式化修饰是不能去掉的，我们还是可以将新的单元格修饰加上去，以使单元格的内容以不同的形式表现。新生成的工作表对象是可写入的，我们除了更新原有的单元格外，还可以添加新的单元格到工作表中，这与示例2