需求：从Excel导入大量客户数据。
项目环境：Spring+SpringMVC+MyBatis。
技术：使用jxl实现Excel数据导入。
方案：上传Excel文件，Controller层读取每行的内容保存到对象中，存储到List中。将保存数据的List每100个对象切割并存放到一个新的List 中的，然后使用一个大的List保存这些切割好的List组，传递到Service层遍历大List，将每组List传入的Dao层，让MyBatis批量插入数据。
废话不多说，上代码
Controller层
//获取用户上传的文件 Workbook workbook = Workbook.getWorkbook(file.getInputStream()); //获取工作簿sheet Sheet sheet = workbook.getSheet(0); //获取总行数 int rows = sheet.getRows(); //获取数据表中的数据 ListproductList = new ArrayList<>(); Cell cell; for (int i = 1; i < rows; i++) { //该对象请放在循环内部，让GC进行回收，放在循环外面。List集合中的所有对象引用相同，保存的所有对象都是同一个引用 Product product = new Product(); //判断名称是否为空，如果为空结束遍历 if (StringUtil.isEmpty(sheet.getCell(0, i).getContents())) { break; } product.setId(sheet.getCell(0, i).getContents()); product.setContent(sheet.getCell(1, i).getContents()); //读取时间类型 cell = sheet.getCell(2, i); if (cell.getType() == CellType.DATE) { DateCell dc = (DateCell) cell; Date date = dc.getDate(); Calendar c = Calendar.getInstance(); c.setTime(date); //解析excel的时候会默认当前输入的时间为格林威治时间，需要转为当前时区的时间（之前8小时） c.add(Calendar.HOUR, -8); product.setSr_material_date(c.getTime()); } //读取时间类型 cell = sheet.getCell(3, i); if (cell.getType() == CellType.DATE) { DateCell dc = (DateCell) cell; Date date = dc.getDate(); Calendar c = Calendar.getInstance(); c.setTime(date); //解析excel的时候会默认当前输入的时间为格林威治时间，需要转为当前时区的时间（之前8小时） c.add(Calendar.HOUR, -8); product.setDate(c.getTime()); } product.setAddress(sheet.getCell(4, i).getContents()); product.setTel(sheet.getCell(5, i).getContents()); //将当前对象保存的productList中 productList.add(product); } //关闭资源 workbook.close(); //List切割 List
> dataList = new ArrayList<>(); int listSize = productList.size(); int toIndex = 100; int keyToken = 0; for (int i = 0; i < productList.size(); i += 100) { // 作用为toIndex最后没有100条数据则剩余几条newList中就装几条 if (i + 100 > listSize) { toIndex = listSize - i; } List newList = productList.subList(i, i + toIndex); dataList.add(newList); } //将切割并打包好的List集合传递到Service层进行处理 productService.importFromExcel(dataList);复制代码
Service层
@Override @Transactional public int importFromExcel(List
> dataList) throws Exception { int result = 0; try { if (dataList != null) { for (List list : dataList) { result += productMapper.batchInsertProduct(list); } } } catch (Exception e) { logger.error(e.getMessage()); throw e; } return result; }复制代码
MyBatis 批量插入
INSERT INTO t_product ( id, content, date, address, tel ) VALUES 复制代码(#{pd.id}, #{pd.content}, #{pd.date}, #{pd.address}, #{pd.tel})
遇到的问题
刚开始想使用Lambda的partition进行List切割的，但是发现切割后返回的是List的父类Collection，看了下ArrayList源码，在将Collection转换为List操作是使用的遍历转换，先转换为对象数组。如果我这里要这么实现需要将切割后得到的Collection遍历转换为对象数组，再将对象数组中的多个元素中的多个对象转换出来，就会出现n*x的时间复杂度，并不是我需要的方式。就暂时使用上述的方法进行List切割。
ArrayList源码
/** * Constructs a list containing the elements of the specified * collection, in the order they are returned by the collection's * iterator. * * @param c the collection whose elements are to be placed into this list * @throws NullPointerException if the specified collection is null */ public ArrayList(Collection c) { elementData = c.toArray(); if ((size = elementData.length) != 0) { // c.toArray might (incorrectly) not return Object[] (see 6260652) if (elementData.getClass() != Object[].class) elementData = Arrays.copyOf(elementData, size, Object[].class); } else { // replace with empty array. this.elementData = EMPTY_ELEMENTDATA; } }复制代码 我写的Lambda切割List代码
List
> dataList = new ArrayList<>(); Collection
> partition = partition(productList, 100);复制代码
技术一般般，文章中有什么说的不对的地方，或者有更好的解决办法，还望多指教。谢谢。