hivesql优化常用15种方法详解

下面详细讲解1 5 种常用的HiveSQL优化技术。
存储层优化采用列式存储格式：使用ORC/Parquet列式存储可以减少I/O开销，支持压缩和谓词传递，相比TextFile性能提升5 0%以上。
分区表优化：对高基数字段（例如日期）进行分区，使用 PARTITION 子句过滤数据，并避免全表扫描。
分段表优化：按关键字段分组可以加快JOIN查询和选择的速度。
合并小文件：使用 ALTERTABLE...CONCATENATE 合并小文件，以减少 Map 任务的数量。
SQL 语法优化谓词提取 (PPD)。
启用 hive.optimize.ppd=true 将 WHERE 条件传递到存储层，以过滤数据并减少扫描量。
列减少：避免SELECT*，只查询自己需要的列，与列式存储结合效果会更好。
小表的JOIN优化：使用/*+MAPJOIN(small_table)*/提示符将小表加载到内存中，减少Shuffle。
动态记录分区。
启用 hive.exec.dynamic.partition=true 以根据数据内容自动创建分区。
避免笛卡尔积。
确保 JOIN 语句有 ON 条件，以防止数据爆炸。
COUNT(DISTINCT)优化：使用GROUPBY+COUNT代替或者使用近似算法来减少。
减少压力。
子查询优化。
使用CTE（WITHAS）替换嵌套子查询，避免重复计算。
SortBy 取代 OrderBy：SortBy 按每个剪切进行排序，比全局排序的 OrderBy 更高效。
优化配置和资源。
启用并行执行。
设置 hive.exec.parallel=true 以允许多个独立的 MapReduce 任务同时运行。
处理数据不规则性。
对于组倾斜，您可以设置 hive.groupby.skewindata=true;对于 skew JOIN，您可以设置 hive.optimize.skewjoin=true 并设置阈值。
优化抽样限制。
启用 hive.limit.optimize.enable=true 并在 LIMIT 查询大表时获取并返回结果，以加快测试速度。

SQL优化不会？推荐4 款工具

用于SQL优化；下面推荐4 个工具，可以帮助您检查和优化MySQL数据库的性能： 1 、mysqltuner.pl简介： mysqltuner.pl是MySQL常用的数据库性能诊断工具。
它是日志文件、存储引擎；主要考察参数设置的合理性，包括安全建议和性能分析。
它根据潜在问题提供改进建议，这对MySQL优化有很大帮助。
在之前的版本中，MySQLTuner已经为MySQL/MariaDB/PerconaServer提供了大约3 00个指针。
下载：您可以使用 wget 命令从 GitHub 下载，如 [root@localhost~]#wgethttps://raw.githubusercontent.com/major/MySQLTuner-perl/master/mysqltuner.pl 使用：运行脚本并指定 MySQL 套接字文件路径，如 [root@localhost~]#./mysqltuner.pl--socket/var/lib/mysql/mysql.sock。
报告分析：注意带有感叹号（[!!]）的项目和最后的建议部分（推荐）。
这些部分确定了潜在问题和相关优化建议。
2 . Tuning-primer.sh 简介：tuning-primer.sh可以对MySQL的整体性能进行物理检查，并针对潜在问题提供优化建议。
一款付费的MySQL优化工具。
下载：您可以使用 wget 命令从 Launchpad 下载，例如 [root@localhost~]#wgethttps://launchpad.net/mysql-tuning-primer/trunk/1 .6 -r1 /+download/tuning-primer.sh。
使用：[root@localhost~]#./tuning-primer.sh直接运行脚本。
分析报告：重点关注红色预警的选项，并根据建议和自身系统的实际情况进行调整。
3 . pt-variable-advisor 简介：pt-variable-advisor是PerconaToolkit中的一个工具，用于分析MySQL变量并对可能出现的问题提出建议。
安装：从Percona官网下载并安装PerconaToolkit，搜索pt-variable-advisor工具。
使用方法：打开pt-variable-advisor并设置MySQL连接信息，如[root@localhost~]#pt-variable-advisorlocalhost--socket/var/lib/mysql/mysql.sock。
分析报告：重点关注包含警告信息的条目。
这些输入将指示参数设置不合理或可能导致问题的地方。
4 . pt-query-digest 简介： pt-query-digest 是 PerconaToolkit 中的另一个工具。
它的主要功能是记录，从进程日志和tcpdump中分析MySQL查询。
相比mysqldumpslow工具，pt-query-digest的分析结果更加准确、全面。
安装：与pt-variable-advisor相同；从Percona官网下载PerconaToolkit可以安装。
用法：pt-query-digest主要用于分析MySQL的慢查询日志。
例如，可以查看慢查询文件 [root@localhost~]#pt-query-digest/var/lib/mysql/slowtest-slow.log，或者可以分析指定时间段内的查询等。
报表分析： 统计结果总数： 查询总数；时间段内唯一查询的数量；总时间/平均/时间 9 %；总时间/最短时间/最大统计结果分组：按照查询时间和响应时间降序排列所有语句；处理时间；平均响应时间；等等。
给出每个查询的响应时间。
详细统计结果：查询ID；数据库名称；用户处理时间；调查时间分布；每个查询都提供了详细的统计信息，包括涉及的表和SQL语句等。
通过以上四个工具，您可以对MySQL数据库进行全面的性能测试和优化。
这些工具不仅有助于诊断潜在问题，还可以提供具体的优化建议，以提高数据库性能和稳定性。

sql优化常用的几种方法

sql优化的常用方法：适当的索引、仅对相关数据建立索引、根据需要使用或避免临时表等。
1 .适当的索引索引基本上是一种数据结构，有助于加快整个数据检索过程。
唯一索引是创建非重叠数据列的索引。
正确的索引可以更快地访问数据库，但是太多或没有索引可能会导致不正确的结果。
IT培训认为，如果没有索引，处理速度会很慢。
2 . 仅对相关数据建立索引，以指定检索数据所需的准确性。
使用 COMMAND* 和 LIMIT 而不是 SELECT*。
调整数据库时，使用所需的数据集而不是整个数据集。
特别是当数据源非常大时，通过指定所需的数据集可以节省大部分时间。
3 . 根据需要使用或避免临时表。
如果代码可以用简单的方式编写，那么永远不要让临时表变得复杂。
当然，如果数据有特定的应用，需要多次查询。
SQL功能介绍 1 . SQL数据定义功能：可以定义数据库中三个层次的模式结构，即外部模式、全局模式和内部模式结构。
在SQL中，外部模式也称为视图，全局模式称为模式。
内部模式是系统根据数据库模式自动实现的，通常不需要用户干预。
2 、SQL数据操作功能：包括基本表和视图的数据插入、删除和修改，尤其是强大的数据查询功能。
3 、SQL数据控制功能：主要控制用户访问权限，保证系统安全。