大文件分块上传后端服务器

2025-04-26 03:00:19 1 阅读

一、背景：

后台系统需要上传大文件、大视频等数据，耗时过长，接口等待超时，故需优化通过前端多线程+分片方式进行文件上传，显著提升上传速度。

二、流程：

前端逻辑：

前端使用分片技术，将大文或大视频件进行分片，可使用webupload，将视频进行切片，多线程上传后台服务器。同时计算hash值用于文件完整性校验。同时对每个分片视频或文件进行顺序记录，后面单个分片数据异常可以针对单个文件进行重新上传。

后端逻辑：

准备接口1：前端生成大文件的MD5，调用接口把MD5传递来，后端会用这个MD5去创建一个文件夹，一个视频就对应一个文件夹。

接口2：前端带MD5+视频分片信息去调用此接口，后端会根据MD5找到对应的文件夹，判断这个分片是否已经上传过了。同时也可以那这个分片号做异常返回，让前端重传。

接口3：前端根据接口2的调用进行判断，如果该分片已经上传则跳过，如果没有上传则进行该分片上传，传递MD5+视频分片信息，后端根据MD5找到文件夹，将视频分片存储起来

接口4：当所有视频通过多线程传完成，调用接口4，传递MD5+表单信息，后端通过流合并，把所有的分片信息整合成一个视频，此时上传完毕，视频已存储到服务器本地。后端还可以异步通过调用三方文件存储（OSS）进行上传对象服务器，生成访问地址存储数据库，修改对应数据状态位，同时可删除临时服务端文件。

三、后端接口及业务

@RequestMapping("/common/core/bigFile")
@RestController
public class BigFileController {
    /**
     * 创建文件夹
     */
@PostMapping("/createFolder")
    public JsonResult createFolder(@RequestParam("fileMd5") String fileMd5,     // 文件md5
                               @RequestParam("fileName") String fileName,       // 文件名
                               @RequestParam("fileExt") String fileExt	    //文件扩展名
                               ) {   
        return bigFileService.createFolder(fileMd5,fileName,fileSize,mimetype,fileExt);
    }


    /**
     * 检查分片接口
     */
    @PostMapping("/checkChunk")
    public Result checkChunk(
            @RequestParam("fileMd5") String fileMd5, //文件md5
            @RequestParam("chunk") Integer chunk // 当前分块下标
            ){
        return bigFileService.checkChunk(fileMd5,chunk,chunkSize);
    }

    /**
     * 上传分片接口
     */
    @PostMapping("/uploadChunk")
    public Result uploadChunk(
            @RequestParam("file") MultipartFile file, //分块后的文件
            @RequestParam("fileMd5") String fileMd5, // 文件md5
            @RequestParam("chunk") Integer chunk  // 分片标识
            ){
        return bigFileService.uploadChunk(file,fileMd5,chunk);
    }

    /**
     * 合并分片接口
     */
    @PostMapping("/mergeChunks")
    public Result mergeChunks(
            @RequestParam("deptId") Long deptId,  // 部门id
            @RequestParam("remark") String remark, // 备注
            @RequestParam("fileMd5") String fileMd5,// 文件md5
            @RequestParam("fileName") String fileName, // 原文件名
            @RequestParam("fileSize") Long fileSize, // 文件总大小
            @RequestParam("fileType") String fileType, // 文件类型
            @RequestParam("fileExt") String fileExt // 扩展名
            ){

        return bigFileService.mergeChunks(deptId,remark,fileMd5,fileName,fileSize,mimetype,fileExt);
    }
}

@Service
@Slf4j
public class BigFileService {

    @Autowired
    private BigFileMapper bigFileMapper;

    // 临时文件目录
    private String uploadPath = "/data/bigFile/temp/";


    /**
     *  创建文件夹
     */
    public Result createFolder(String fileMd5, String fileName, String fileExt) {
        //检查文件是否存在
        String filePath = getFilePath(fileMd5, fileExt);
        File file = new File(filePath);

        if (file.exists()) {
            log.info("文件夹已存在 {} ", fileName);
            return Result.error("上传文件已存在");
        }

        boolean fileFold = createFileFold(fileMd5);
        if (!fileFold) {
            //上传文件目录创建失败
            log.info("上传文件夹创建失败 {} ,文件夹存在", fileName);
            return Result.error("上传文件夹失败");
        }
        return Result.success();
    }

    /**
     * 检查分片
     */
    public Result cheCkchunk(String fileMd5, Integer chunk) {
        //获取块文件文件夹路径
        String chunkfileFolderPath = getChunkFileFolderPath(fileMd5);
        // 块文件的下标 1 2 3 排序使用
        File chunkFile = new File(chunkfileFolderPath + chunk);
        if (!chunkFile.exists()) {
            return Result.error();
        }
        return Result.success();
    }

    /**
     * 上传分片
     */
    public Result uploadChunk(MultipartFile file, String fileMd5, Integer chunk) {

        //块文件存放完整路径
        File chunkfile = new File(getChunkFileFolderPath(fileMd5) + chunk);

        //上传的块文件
        InputStream inputStream = null;
        FileOutputStream outputStream = null;
        try {
            inputStream = file.getInputStream();
            outputStream = new FileOutputStream(chunkfile);
            IOUtils.copy(inputStream, outputStream);
        } catch (Exception e) {
            e.printStackTrace();
            return Result.error("文件上传失败！");
        } finally {
            try {
                inputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            try {
                outputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return Result.success();
    }

    /**
     * 合并分片
     */
    public Result mergeChunks(String deptId, String remark, String fileMd5, String fileName, Long fileSize, String fileType, String fileExt) {

        //获取块文件的路径
        String chunkfileFolderPath = getChunkFileFolderPath(fileMd5);

        //创建文件目录
        File chunkfileFolder = new File(chunkfileFolderPath);

        //目录是否存在， 不存在就创建目录
        if (!chunkfileFolder.exists()) {
            chunkfileFolder.mkdirs();
        }

        //合并文件，创建新的文件对象
        File mergeFile = new File(getFilePath(fileMd5, fileExt));

        // 合并文件存在先删除再创建
        if (mergeFile.exists()) {
            mergeFile.delete();
        }

        boolean newFile = false;

        try {
            //创建文件
            newFile = mergeFile.createNewFile();
        } catch (IOException e) {
            e.printStackTrace();
        }

        if (!newFile) {
            //创建失败
            return Result.error("创建文件失败！");
        }

        //获取块文件，此列表是已经排好序的列表
        List chunkFiles = getChunkFiles(chunkfileFolder);
        //合并文件
        mergeFile = mergeFile(mergeFile, chunkFiles);
        if (mergeFile == null) {
            return Result.error("合并文件失败！");
        }
        //校验文件
        boolean checkResult = this.checkFileMd5(mergeFile, fileMd5);
        if (!checkResult) {
            return Result.error("文件校验失败！");
        }
        //将文件信息保存到数据库
        BigFile bigFile = new BigFile();
        //MD5作为文件唯一ID
        bigFile.setFileId(fileMd5);
        //文件名
        bigFile.setFileName(fileMd5 + "." + fileExt);
        //源文件名
        bigFile.setFileOriginalName(fileName);
        //文件路径保存相对路径
        bigFile.setFilePath(getFileFolderRelativePath(fileMd5, fileExt));
        bigFile.setFileSize(fileSize);
        bigFile.setUploadTime(new Date());
        bigFile.setFileType(fileType);
        bigFile.setFileType(fileExt);
        bigFile.setDeptId(deptId);
        bigFile.setRemark(remark);
        // 更新状态
        bigFile.setFileStatus(1);

        bigFileMapper.insert(mediaFile);

        // 后台上传oss完毕再更新云端地址，更新状态
        return Result.success("视频上传成功");
    }


    /*
     *根据文件md5得到文件路径
     */
    private String getFilePath(String fileMd5, String fileExt) {
        String filePath = uploadPath + fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/" + fileMd5 + "." + fileExt;
        return filePath;
    }

    //得到文件目录相对路径，路径中去掉根目录
    private String getFileFolderRelativePath(String fileMd5, String fileExt) {
        String filePath = fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/";
        return filePath;
    }

    //得到文件所在目录
    private String getFileFolderPath(String fileMd5) {
        String fileFolderPath = uploadPath + fileMd5.substring(0, 1) + "/" + fileMd5.substring(1, 2) + "/" + fileMd5 + "/";
        return fileFolderPath;
    }

    //创建文件目录
    private boolean createFileFold(String fileMd5) {
        //创建上传文件目录
        String fileFolderPath = getFileFolderPath(fileMd5);
        File fileFolder = new File(fileFolderPath);
        if (!fileFolder.exists()) {
            //创建文件夹
            boolean mkdirs = fileFolder.mkdirs();
            log.info("创建文件目录 {} ,结果 {}", fileFolder.getPath(), mkdirs);
            return mkdirs;
        }
        return true;
    }

    //得到块文件所在目录
    private String getChunkFileFolderPath(String fileMd5) {
        String fileChunkFolderPath = getFileFolderPath(fileMd5) + "/" + "chunks" + "/";
        return fileChunkFolderPath;
    }


    /**
     * 创建块文件目录
     */
    private boolean createChunkFileFolder(String fileMd5) {
        //创建上传文件目录
        String chunkFileFolderPath = getChunkFileFolderPath(fileMd5);
        File chunkFileFolder = new File(chunkFileFolderPath);
        if (!chunkFileFolder.exists()) {
            //创建文件夹
            boolean mkdirs = chunkFileFolder.mkdirs();
            return mkdirs;
        }
        return true;
    }

    /**
     * 校验文件完整性
     * @param mergeFile
     * @param md5
     * @return
     */
    private boolean checkFileMd5(File mergeFile, String md5) {
        if (mergeFile == null || StringUtils.isEmpty(md5)) {
            return false;
        }
        //进行md5校验
        FileInputStream mergeFileInputstream = null;
        try {
            mergeFileInputstream = new FileInputStream(mergeFile);
            //得到文件的md5
            String mergeFileMd5 = DigestUtils.md5Hex(mergeFileInputstream);
            //比较md5
            if (md5.equalsIgnoreCase(mergeFileMd5)) {
                return true;
            }
        } catch (Exception e) {
            e.printStackTrace();

        } finally {
            try {
                mergeFileInputstream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return false;
    }

    /**
     * 获取所有分片文件
     * @param chunkfileFolder
     * @return
     */
    private List getChunkFiles(File chunkfileFolder) {
        //获取路径下的所有块文件
        File[] chunkFiles = chunkfileFolder.listFiles();
        //将文件数组转成list，并排序
        List chunkFileList = new ArrayList();
        chunkFileList.addAll(Arrays.asList(chunkFiles));
        //排序
        Collections.sort(chunkFileList, (o1, o2) -> {
            if (Integer.parseInt(o1.getName()) > Integer.parseInt(o2.getName())) {
                return 1;
            }
            return -1;
        });
        return chunkFileList;
    }

    /**
     * 合并文件 流写入
     * @param mergeFile
     * @param chunkFiles
     * @return
     */
    private File mergeFile(File mergeFile, List chunkFiles) {
        try {
            //创建写文件对象
            RandomAccessFile raf_write = new RandomAccessFile(mergeFile, "rw");
            //遍历分块文件开始合并
            // 读取文件缓冲区
            byte[] b = new byte[1024];
            for (File chunkFile : chunkFiles) {
                RandomAccessFile raf_read = new RandomAccessFile(chunkFile, "r");
                int len = -1;
                //读取分块文件
                while ((len = raf_read.read(b)) != -1) {
                    //向合并文件中写数据
                    raf_write.write(b, 0, len);
                }
                raf_read.close();
            }
            raf_write.close();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
        return mergeFile;
    }
}


@Data
public class BigFile  {

    private Long id;
    /**
     * 文件的ID
     */
    private String fileId;
    /**
     * 文件名
     */
    private String fileName;
    /**
     * 源文件名
     */
    private String fileOriginalName;
    /**
     * oss地址
     */
    private String fileUrl;
    /**
     * 临时本地存储目录
     */
    private String filePath;
    /**
     * 文件类型
     */
    private String fileType;
    /**
     * 1待上传 2 上传成功 3上传失败
     */
    private Integer fileStatus;
    /**
     * 文件总大小
     */
    private Long fileSize;
    /**
     * 上传时间
     */
    private Date uploadTime;
    /**
     * 部门id
     */
    private Long deptId;
    /**
     * 备注
     */
    private String remark;
}

数据库

CREATE TABLE `big_file` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `file_id` varchar(255) DEFAULT NULL COMMENT '文件的ID',
  `file_name` varchar(255) DEFAULT NULL COMMENT '文件名',
  `file_original_name` varchar(255) DEFAULT NULL COMMENT '原文件名',
  `file_url` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci DEFAULT NULL COMMENT 'oss地址',
  `file_path` varchar(255) CHARACTER SET utf8mb3 COLLATE utf8mb3_general_ci DEFAULT NULL COMMENT '临时本地存储目录',
  `file_type` varchar(255) DEFAULT NULL COMMENT '文件类型',
  `file_status` tinyint DEFAULT NULL COMMENT '1待上传 2 上传成功 3上传失败',
  `file_size` bigint DEFAULT NULL COMMENT '文件总大小',
  `upload_time` datetime DEFAULT NULL COMMENT '上传时间',
  `dept_id` bigint DEFAULT NULL COMMENT '部门id',
  `remark` varchar(255) DEFAULT NULL COMMENT '备注',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3;