问题背景

在最近的性能测试项目中，需要生成10万条测试数据并写入数据库。这是一个典型的批量数据处理场景。

解决方案

1. 数据生成优化

使用Python的Faker库生成测试数据，但要注意内存使用：

1
2
3
4
5
6
7
8
9
10
11

from faker import Faker
import itertools

def generate_data_batch(batch_size=1000):
    fake = Faker('zh_CN')
    for _ in range(batch_size):
        yield {
            'name': fake.name(),
            'email': fake.email(),
            'created_at': fake.date_time_this_year()
        }

2. 批量写入策略

• MySQL: 使用executemany()配合批量提交
• PostgreSQL: 使用COPY命令，速度最快
• Redis: 使用pipeline减少网络往返

3. 性能监控

关键指标：

• 写入速度（条/秒）
• 内存使用情况
• 数据库连接池状态

经验总结

1. 批量大小要适中（1000-5000条/批）
2. 关闭索引更新可以大幅提升写入速度
3. 使用连接池避免频繁创建连接