关于Spring batch的学习之CSV2DB

最近在学习Spring batch相关的内容，网上也有不少Spring Batch相关的知识，不过大多都是使用xml进行配置的。这里是我用注解的方式进行相关的学习心得。

首先我们来看如何将一个文本文件中的内容导入到数据库中。

我们先来看一下我们所需要的环境。我们这里使用的是STS（Spring Tool Suite）当然也可以使用Eclipse(需要有maven插件)或者Myeclipse。我们使用的数据库是MySQl，当然也可以使用其他的数据库，根据自己的需要。

现在开始我们的文件到数据库的学习。

第一步，我们需要创建一个maven的project。然后在我们的项目下会有三个包，这里我们只需要其中的两个，就是main下的两个（java和resources包）。

第二步，我们来配置一下我们的pom文件。

　　一、org.springframework.boot

　　　　1、spring-boot-starter-batch

　　　　2、spring-boot-starter-jdbc

　　　　3、spring-boot-starter-jetty

　　二、mysql的jdbc驱动包

配置完这些，我们的软件就会自动下载这些包以及相关的依赖包，这需要一点时间。

第三步，我们需要来配置我们的数据库连接的相关信息。

　　我们需要在resources包下新建一个properties文件，如下。

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/test
spring.datasource.username=root
spring.datasource.password=

第四步:由于几天我们学习的是将文件内容读到数据库中，所以，接下来我们需要准备一个文件，这个文件需要时flat类型的，例如txt或者csv等。

zhangsan,anhui,1991/02/15,M
lisi,shanghai,1992/01/09,F
wangwu,wuhan,1990/01/22,M
zhaoliu,tianjin,1991/11/11,F
zhangkun,huashan,1989/09/20,M

第五步,我们需要创建一个entity对象类，如下：

public class User {
    private String userId;
    private String userName;
    private String address;
    private Date birth;
    private String gender;
    
    public String getUserId() {
        return userId;
    }

    public void setUserId(String userId) {
        this.userId = userId;
    }

    public Date getBirth() {
        return birth;
    }

    public void setBirth(Date birth) {
        this.birth = birth;
    }

    public String getGender() {
        return gender;
    }

    public void setGender(String gender) {
        this.gender = gender;
    }

    public String getUserName() {
        return userName;
    }

    public void setUserName(String userName) {
        this.userName = userName;
    }

    public String getAddress() {
        return address;
    }

    public void setAddress(String address) {
        this.address = address;
    }
    
    public User() {

    }

    public User(String userId, String userName, String address ,String gender, Date birth) {
        this.userId = userId;
        this.userName = userName;
        this.address = address;
        this.gender = gender;
        this.birth = birth;
    }

    @Override
    public String toString() {
        return "userId"+ userId +", userName: " + userName + ", address: " + address + ",gender: " + gender + ", birthDay: "+birth;
    }

}

 

第六步，batch是一个用来执行job的框架。所以我们需要来创建一个job，在job里需要配置我们的step，每一个step的完成需要有三个动作，读文件，处理信息，写数据库。代码如下：

@Configuration
@EnableBatchProcessing
public class Configuration {
    @Bean
    public ItemReader<User> reader() {
        FlatFileItemReader<User> reader = new FlatFileItemReader<User>();
        reader.setResource(new ClassPathResource("test.csv"));
        reader.setLineMapper(new DefaultLineMapper<User>() {{
            setLineTokenizer(new DelimitedLineTokenizer() {{
                setNames(new String[] { "userName", "address", "birth", "gender" });
            }});
            setFieldSetMapper(new BeanWrapperFieldSetMapper<User>() {{
                setTargetType(User.class);
            }});
        }});
        return reader;
    }

    @Bean
    public ItemProcessor<User, User> processor() {
        return new UserItemProcessor();
    }

    @Bean
    public ItemWriter<User> writer(DataSource dataSource) {
        JdbcBatchItemWriter<User> writer = new JdbcBatchItemWriter<User>();
        writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<User>());
        writer.setSql("INSERT INTO User (user_name, address,birth,gender) VALUES (:userName, :address, :birth,:gender)");
        writer.setDataSource(dataSource);
        return writer;
    }

    @Bean
    public Job CSV2DBJob(JobBuilderFactory jobs, Step s1) {
        return jobs.get("CSV2DBJob")
                .incrementer(new RunIdIncrementer())
                .flow(s1)
                .end()
                .build();
    }

    @Bean
    public Step step1(StepBuilderFactory stepBuilderFactory, ItemReader<User> reader,
            ItemWriter<User> writer, ItemProcessor<User, User> processor) {
        return stepBuilderFactory.get("step1")
                .<User, User> chunk(10)
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .build();
    }

    @Bean
    public JdbcTemplate jdbcTemplate(DataSource dataSource) {
        return new JdbcTemplate(dataSource);
    }

}

step中的process需要我们自己来根据自己的实际进行相关的处理，如下

public class UserItemProcessor implements ItemProcessor<User, User> {

    @Override
    public User process(final User user) throws Exception {
        final String userId = "2014010"+ user.getUserId();
        final String gender = user.getGender().equals("M")?"male":"female";
        final Date birth = user.getBirth();
        final String userName = user.getUserName().substring(0,1).toUpperCase()+user.getUserName().substring(1).toLowerCase();
        final String address = user.getAddress().substring(0,1).toUpperCase()+user.getAddress().substring(1).toLowerCase();
        
        final User transformedUser = new User(userId,userName, address,gender,birth);


        return transformedUser;
    }

一切都好了，我们还需要写一个application类来启动我们的job，具体如下：

@ComponentScan
@EnableAutoConfiguration
public class Application {

    public static void main(String[] args) {
        ApplicationContext ctx = SpringApplication.run(Application.class, args);
    }

}

最后，还需要提醒的是，由于我们的batch中的entity没有配置自动建表，所以我们需要自己提前在数据库中创建一个User表或者在我们的resources包下面建一个schema-all.sql文件，在这里写入我们的建表语句就可以了，schema-all是可以直接被Spring batch框架识别的。

DROP TABLE  IF EXISTS user;

CREATE TABLE user  (
    user_id BIGINT AUTO_INCREMENT NOT NULL PRIMARY KEY,
    user_name VARCHAR(20),
    address VARCHAR(20),
    birth Date,
    gender varchar(1)
);

好了一切到此就结束了，现在启动我们的工程就可以将我们的文件内容导入到我们的数据库中了。