8.1 上传文件功能

前端是web前端,所以上传文件的时候最终应该会是一个post请求。 这里的请求url类似如下:

http://192.168.2.107/upload/UploadAction

之后携带的数据便是文件的数据信息。

http上传文件信息具有一定的格式,我们这用的web应用端是用的fastCGI进行解析,那么我们应该按照一定的数据个数进行解析。

1 上传协议格式解剖

下图是我要上传的文件,是一个文本文件。这样能较为清晰地说明。 文本共有6行,是我随便写的内容。

下图是web服务端接收到的协议的内容,

将其标记一下,如下图所示。其中红框里面就是第一副图上文本的内容。绿框是协议格式的组成部分。

http协议规定,每一行之后要多增加一个'\n'和'\r',用来回车换行。每一行都有,下图只绿框标识了三个而已。详细的,可参考文章开头推荐的两篇博文知晓其原理。

但是我们会面临一个问题,如果红框的post数据就是我们要得到的文件,那么我们该如何把他截取出来。单纯从字符串考虑是不能够通过的,因为我们所传输的文件不可能只有文本文件,会有一些其他二进制文件,所以我们应该想办法考虑一个可能通过内存数据截取的接口。

这一点如果用c语言或者c++语言貌似并不是什么难事。

2、上传插件选择

简单提一下思路,有3种方案,

(1)直接使用form表单

(2)使用别人开发的html控件。如FileUpload,zyUpload,等。上传的插件非常多,百度一搜索一大把。

(3)其他语言开发的网页插件。如ocx等。

选择时的考量点在哪里? 纯web网页是用html+css+js开发的,网上找的开源html控件也是如此。自己直接使用form表单,那就需要自己编写css和js代码,这样也能让网页整体风格样式相同。 用别人的控件css和js都是现成的,开发人员需要把它嵌入进来,就跟调用接口一样。但是风格和样式就无法能够确保是否和自己的网页相同了。 如果是用别的语言开发网页插件则另当别论,开发的难度以及将插件向自己网页的集成是费时费力的环节。但是如果你熟悉此而不了解web网页开发的话,用这种方法也未尝不可。 所以说,没有哪种方案是万能的,关键是依据自己的项目进行取舍。

我最后选择的是zyUpload,原因是使用简单,样式可控。

3、C++服务端解析

首先在nginx搭建一个location server。

        location = /upload/UploadAction {
            fastcgi_pass 127.0.0.1:8082;
            fastcgi_index upload.cgi;
            include fastcgi.conf;
        }

通过fastcgi开启一个后端服务程序upload.cgi处理。

该后台程序大致处理流程如下:

  1. 通过上面的文本固定形式,截取出文本文件内存数据。
  2. 将得到的文件存入fastDFS中,并且该文件在fastDFS的唯一标识ID
  3. 将文件存入fastDFS中的url路径存入本地redis表中,以被展示使用

redis存储文件表结构

方案一:

redis表中存放两张表

/*-----------------------------------------------------------.
| 文件信息表(LIST)                                           |
| Key:     FILE_INFO_LIST                                    |
| Value:   file_id|url|filename|create time|user|type        |
| redis 语句                                                 |
|    插入 LPUSH key value                                    |
|    查询个数 LLEN key                                       |
|    大于最大需要截断 LTRIM key 0 max-1                      |
|    查询链表数据    LRANGE key 0 max-1                      |
`-----------------------------------------------------------*/

本表中主要存放文件的基本信息

/*------------------------------------------.
| 点击量文件表 (ZSET)                       |
| Key:     FILE_HOT_ZSET                    |
| Member:  file_id                          |
| Score:   pv                               |
| redis 语句                                |
|    ZINCRBY key increment member           |
`------------------------------------------*/

本表中重要存放文件的下载量。

方案二(推荐):

也可以将FILE_INFO_LIST拆分成多个表:

/*------------------------------------------.
| 点击量文件表 (ZSET)                       |
| Key:     FILE_HOT_ZSET                    |
| Member:  file_id                          |
| Score:   pv                               |
| redis 语句                                |
|    ZINCRBY key increment member           |
`------------------------------------------*/
#define FILE_HOT_ZSET                   "FILE_HOT_ZSET"


/*------------------------------------------.
| 文件ID和文件名对应表 (HASH)               |
| Key:     FILEID_NAME_HASH                 |
| field:  file_id                           |
| value:  file_name                         |
| redis 语句                                |
|    hset key field value                   |
|    hget key field                         |
`------------------------------------------*/
#define FILEID_NAME_HASH                "FILEID_NAME_HASH"

/*------------------------------------------.
| 文件ID和文件创建时间对应表 (HASH)         |
| Key:     FILEID_NAME_HASH                 |
| field:  file_id                           |
| value:  create_time                       |
| redis 语句                                |
|    hset key field value                   |
|    hget key field                         |
`------------------------------------------*/
#define FILEID_TIME_HASH                "FILEID_TIME_HASH"

/*------------------------------------------.
| 文件ID和文件URL对应表 (HASH)              |
| Key:     FILEID_URL_HASH                  |
| field:  file_id                           |
| value:  url                               |
| redis 语句                                |
|    hset key field value                   |
|    hget key field                         |
`------------------------------------------*/
#define FILEID_URL_HASH                 "FILEID_URL_HASH"

/*------------------------------------------.
| 文件ID和文件所属用户对应表 (HASH)         |
| Key:     FILEID_USER_HASH                 |
| field:  file_id                           |
| value:  username                          |
| redis 语句                                |
|    hset key field value                   |
|    hget key field                         |
`------------------------------------------*/
#define FILEID_USER_HASH                 "FILEID_USER_HASH"


/*--------------------------------.
| 文件类型                        |
`--------------------------------*/
#define FILE_TYPE_BMP           "1"
#define FILE_TYPE_ZIP           "2"
#define FILE_TYPE_VEDIO         "3"
#define FILE_TYPE_MEDIA         "4"
#define EVENT_TYPE_TXT          "5"
#define EVENT_TYPE_OTHER        "6"


/*------------------------------------------.
| 文件ID和文件类型对应表 (HASH)             |
| Key:     FILEID_TYPE_HASH                 |
| field:  file_id                           |
| value:  file_type                         |
| redis 语句                                |
|    hset key field value                   |
|    hget key field                         |
`------------------------------------------*/
#define FILEID_TYPE_HASH                 "FILEID_TYPE_HASH"

results matching ""

    No results matching ""