Informatica初级调优要点

Informatica调优要点（高级） 概述 本篇文档主要针对Informatica的数据集成平台提出了若干高级调优建议，帮助用户更好地理解和优化其数据处理流程。这些调优建议涉及从简单的设计更改到复杂的技术调整等多个层面，帮助用户解决在数据集成过程中遇到的性能瓶颈。 重要调优建议 1. 将Mapping分解- 原理与实践：通过减少每个Mapping中的目标表数量，可以显著提高Informatica作业的执行速度。每个Mapping对应一个Session，而每个Session都会建立自己的数据库连接。为每个目标表建立独立的数据库连接有助于DBMS并行处理插入、更新和删除操作。- 实践技巧：如

大数据性能调优的本质是什么？我们的目标是什么？从何处入手？在深入 Spark 性能调优之前，理解这些至关重要的问题至关重要。 Spark 性能调优的要点包括: 资源优化参数调优 高效 RDD 操作算子 通过掌握这些要点，我们可以有效提升 Spark 的性能。

参数调优（I/O、CPU、内存、锁机制、tempdb） 应用程序调优 索引维护 SQL优化 数据类型匹配 连接优化（长连接、短连接、减少网络流量）

Oracle 的初级调优指南，内容主要讲的是参数优化那块，挺适合刚接触 Oracle 的小伙伴。像DB_CACHE_SIZE、LOG_BUFFER这些参数怎么调，文里都给了建议，讲得还挺细。尤其是对 10g 版本的内存管理，还区分了自动 SGA 和手动 SGA，算是比较系统的一篇入门文。你要是对性能调优不太熟，这篇文章能帮你理清不少思路，能少踩些坑。

本章要点t资源t据库设备t缺省设备t删除设备t磁盘镜像

加速数据库查询 数据库查询性能是应用效率的关键。以下技巧有助于优化SQL查询： 1. 理解查询计划: 使用 EXPLAIN 或 EXPLAIN ANALYZE 命令分析查询执行计划，识别瓶颈。 2. 索引优化:* 为经常出现在 WHERE、JOIN、ORDER BY 和 GROUP BY 子句中的列创建索引。* 避免过度索引，过多的索引会影响写入性能。 3. 查询结构优化:* 尽量使用 JOIN 代替子查询，尤其在处理大数据集时。* 避免使用 SELECT *，明确选择需要的列。* 使用 LIMIT 限制返回结果数量。 4. 数据类型优化:* 使用最有效的数据类型存储数据，例如使用 INT 而

hbase.regionserver.handler.count：线程数目，默认10，推荐150，过大可能导致GC频繁或内存溢出。

全面分析PGA和SGA 助力开发者优化ORACLE数据库

在做 Spark 调优时，直接用join操作会导致数据大规模 shuffle，需要大量的 I/O 操作，性能不太友好。是大数据时，shuffle 会拖慢任务执行速度。不过，使用broadcast操作就能这个问题。它会把小表广播到每台执行节点上，避免了 shuffle，关联操作直接在本地完成，效率提升。这样，不仅节省了 I/O 开销，任务并发度也提高了，整体性能大大增强。你可以尝试一下，如果你有小表关联的场景，broadcast是一个不错的选择。