8.1 上传文件功能
前端是web前端,所以上传文件的时候最终应该会是一个post请求。 这里的请求url类似如下:
http://192.168.2.107/upload/UploadAction
之后携带的数据便是文件的数据信息。
http上传文件信息具有一定的格式,我们这用的web应用端是用的fastCGI进行解析,那么我们应该按照一定的数据个数进行解析。
1 上传协议格式解剖
下图是我要上传的文件,是一个文本文件。这样能较为清晰地说明。 文本共有6行,是我随便写的内容。
下图是web服务端接收到的协议的内容,
将其标记一下,如下图所示。其中红框里面就是第一副图上文本的内容。绿框是协议格式的组成部分。
http协议规定,每一行之后要多增加一个'\n'和'\r',用来回车换行。每一行都有,下图只绿框标识了三个而已。详细的,可参考文章开头推荐的两篇博文知晓其原理。
但是我们会面临一个问题,如果红框的post数据就是我们要得到的文件,那么我们该如何把他截取出来。单纯从字符串考虑是不能够通过的,因为我们所传输的文件不可能只有文本文件,会有一些其他二进制文件,所以我们应该想办法考虑一个可能通过内存数据截取的接口。
这一点如果用c语言或者c++语言貌似并不是什么难事。
2、上传插件选择
简单提一下思路,有3种方案,
(1)直接使用form表单
(2)使用别人开发的html控件。如FileUpload,zyUpload,等。上传的插件非常多,百度一搜索一大把。
(3)其他语言开发的网页插件。如ocx等。
选择时的考量点在哪里? 纯web网页是用html+css+js开发的,网上找的开源html控件也是如此。自己直接使用form表单,那就需要自己编写css和js代码,这样也能让网页整体风格样式相同。 用别人的控件css和js都是现成的,开发人员需要把它嵌入进来,就跟调用接口一样。但是风格和样式就无法能够确保是否和自己的网页相同了。 如果是用别的语言开发网页插件则另当别论,开发的难度以及将插件向自己网页的集成是费时费力的环节。但是如果你熟悉此而不了解web网页开发的话,用这种方法也未尝不可。 所以说,没有哪种方案是万能的,关键是依据自己的项目进行取舍。
我最后选择的是zyUpload,原因是使用简单,样式可控。
3、C++服务端解析
首先在nginx搭建一个location server。
location = /upload/UploadAction {
fastcgi_pass 127.0.0.1:8082;
fastcgi_index upload.cgi;
include fastcgi.conf;
}
通过fastcgi开启一个后端服务程序upload.cgi处理。
该后台程序大致处理流程如下:
- 通过上面的文本固定形式,截取出文本文件内存数据。
- 将得到的文件存入fastDFS中,并且该文件在fastDFS的唯一标识ID
- 将文件存入fastDFS中的url路径存入本地redis表中,以被展示使用
redis存储文件表结构
方案一:
redis表中存放两张表
/*-----------------------------------------------------------.
| 文件信息表(LIST) |
| Key: FILE_INFO_LIST |
| Value: file_id|url|filename|create time|user|type |
| redis 语句 |
| 插入 LPUSH key value |
| 查询个数 LLEN key |
| 大于最大需要截断 LTRIM key 0 max-1 |
| 查询链表数据 LRANGE key 0 max-1 |
`-----------------------------------------------------------*/
本表中主要存放文件的基本信息
/*------------------------------------------.
| 点击量文件表 (ZSET) |
| Key: FILE_HOT_ZSET |
| Member: file_id |
| Score: pv |
| redis 语句 |
| ZINCRBY key increment member |
`------------------------------------------*/
本表中重要存放文件的下载量。
方案二(推荐):
也可以将FILE_INFO_LIST拆分成多个表:
/*------------------------------------------.
| 点击量文件表 (ZSET) |
| Key: FILE_HOT_ZSET |
| Member: file_id |
| Score: pv |
| redis 语句 |
| ZINCRBY key increment member |
`------------------------------------------*/
#define FILE_HOT_ZSET "FILE_HOT_ZSET"
/*------------------------------------------.
| 文件ID和文件名对应表 (HASH) |
| Key: FILEID_NAME_HASH |
| field: file_id |
| value: file_name |
| redis 语句 |
| hset key field value |
| hget key field |
`------------------------------------------*/
#define FILEID_NAME_HASH "FILEID_NAME_HASH"
/*------------------------------------------.
| 文件ID和文件创建时间对应表 (HASH) |
| Key: FILEID_NAME_HASH |
| field: file_id |
| value: create_time |
| redis 语句 |
| hset key field value |
| hget key field |
`------------------------------------------*/
#define FILEID_TIME_HASH "FILEID_TIME_HASH"
/*------------------------------------------.
| 文件ID和文件URL对应表 (HASH) |
| Key: FILEID_URL_HASH |
| field: file_id |
| value: url |
| redis 语句 |
| hset key field value |
| hget key field |
`------------------------------------------*/
#define FILEID_URL_HASH "FILEID_URL_HASH"
/*------------------------------------------.
| 文件ID和文件所属用户对应表 (HASH) |
| Key: FILEID_USER_HASH |
| field: file_id |
| value: username |
| redis 语句 |
| hset key field value |
| hget key field |
`------------------------------------------*/
#define FILEID_USER_HASH "FILEID_USER_HASH"
/*--------------------------------.
| 文件类型 |
`--------------------------------*/
#define FILE_TYPE_BMP "1"
#define FILE_TYPE_ZIP "2"
#define FILE_TYPE_VEDIO "3"
#define FILE_TYPE_MEDIA "4"
#define EVENT_TYPE_TXT "5"
#define EVENT_TYPE_OTHER "6"
/*------------------------------------------.
| 文件ID和文件类型对应表 (HASH) |
| Key: FILEID_TYPE_HASH |
| field: file_id |
| value: file_type |
| redis 语句 |
| hset key field value |
| hget key field |
`------------------------------------------*/
#define FILEID_TYPE_HASH "FILEID_TYPE_HASH"