AI / 编程与调试
全量查询改成流式或分批处理,并给出内存上限的验证方法
这段代码一次查出 [表] 的全部记录,再在内存里过滤。请改成流式或分批处理:游标与分页的选法(避免 offset 越翻越慢)、批大小怎么定、处理失败时如何续跑、以及内存占用从「随数据量线性增长」变成「有上限」的验证方法。输出改后代码和一段大数据量下的验证说明。
中文原文
分批处理必须可重入,否则重跑到一半失败时,前半段数据会被处理两次。