您的当前位置:首页正文

知方可补不足~SQL中的count命令的一些优化措施(百万以上数据明显)

2023-11-16 来源:健身之家
导读这个语句并没有用到索引,属于全表遍历,所以和语句关系不大,和机器系统性能关系较大,虽然你的机器配置不低,但你在建立数据库方面可能还有优化的余地,可以参照系统管理文档尝试对数据库配置进行优化另外,如果使用count(1)可以减小对资源的开销追问非常感谢,你能对这个表的数据表建立方面的优化再说的详细些吗?这个表的结果:自增id,商家名称,其他四个int型分别是浏览量,认证状态,推荐状态,信用度再次谢谢追答优化是数据库系统层面的问题,需要找您的系统管理员来做,如果自己做,可以参考系统手册,根据自己的情

SQL中对于求表记录总数的有count这个聚合命令,这个命令给我们感觉就是快,比一般的查询要快,但是,当你的数据表记录比较多时,如百万条,千万条时,对于count来说,就不是那么快了,我们需要掌握一些技巧,来优化这个count。 有人说: select count(1)

SQL中对于求表记录总数的有count这个聚合命令,这个命令给我们感觉就是快,比一般的查询要快,但是,当你的数据表记录比较多时,如百万条,千万条时,对于count来说,就不是那么快了,我们需要掌握一些技巧,来优化这个count。

有人说:

select count(1) from table

select count(primarykey) from table

比较快,一定不要用

select count(*) from table

可我要说的是,count(*)更快一些,为什么呢,count(*)是什么意思?事实上,它真正的含义是找一个占用空间最小的索引字段,然后对它进行记数,不要一看到*就认为“大”,在count命令中,它指的是“任意一个“。

对于一个大表来说,如果你的字段有bit类型,,如性别字段,表示真假关系的字段,我们需要为它加上索引,加上之后,我们的count速度就提交几十倍,真的,呵呵 

首先为我们的bit类型字段加索引IsSync添加聚集索引

如果数据表太大,我们需要在命令行中去运行

小编还为您整理了以下内容,可能对您也有帮助:

千万数据 mssql2005 select count(*) 很慢,求高人指点

这个语句并没有用到索引,属于全表遍历,所以和语句关系不大,和机器系统性能关系较大,虽然你的机器配置不低,但你在建立数据库方面可能还有优化的余地,可以参照系统管理文档尝试对数据库配置进行优化

另外,如果使用count(1)可以减小对资源的开销追问非常感谢,你能对这个表的数据表建立方面的优化再说的详细些吗?

这个表的结果:自增id,商家名称,其他四个int型分别是浏览量,认证状态,推荐状态,信用度

再次谢谢

追答优化是数据库系统层面的问题,需要找您的系统管理员来做,如果自己做,可以参考系统手册,根据自己的情况来做,一句两句是说不清的

表本身除了主键、索引,存储类型之外没什么可做的了

oracle多表百万条数据查询count(1)性能优化

你可以用inner join,并且把数据量小的表放在前面,如果可以修改表索引也可以根据需要创建相关索引

select count(第一张表主键字段) from A inner join B ON A.ID=B.maiID

inner join C ON A.billID=C.billID inner join D ON A.allbillID=D.allbillID

inner join E ON A.billNo=E.billNo

追问不行,比以前更慢了!

追答你哪个表的数据量最小?

影响数据库性能的主要因素有哪些?

以MySQL为例:

影响数据库性能的主要因素总结如下:

1、sql查询速度

2、网卡流量

3、服务器硬件

4、磁盘IO

以上因素并不是时时刻刻都会影响数据库性能,而就像木桶效应一样。如果其中一个因素严重影响性能,那么整个数据库性能就会严重受阻。另外,这些影响因素都是相对的。

例如:当数据量并没有达到百万千万这样的级别,那么sql查询速度也许就不是个重要因素,换句话说,你的sql语句效率适当低下可能并不影响整个效率多少,反之,这种情况,无论如何怎么优化sql语句,可能都没有太明显的效果。 

相关内容拓展:

1、SQL查询速度

风险:效率低下的SQL

2、网卡流量

风险:网卡IO被占满(100Mb/8=100MB)

方案:

①减少从服务器的数量。从服务器都要从主服务器上复制日志,所以,从服务器越多,网络流量越大。

②进行分级缓存。前方大量缓存突然失效会对数据库造成严重的冲击。

③避免使用“select * ”进行查询

④分离业务网络和服务器网络

3、磁盘IO

风险:磁盘IO性能突然下降。

方案:使用更好的磁盘设备解决。

Mysql分页优化(100000条数据以上的查询),求指点~方法~ 有例子更好,网 ...

10W数据基本不用优化的。走索引就可以了。上百万了再说吧。楼主会不会是少加了一个0.追问在网上看了几个 基本上都是为了方便走索引还有利用in的,那我可以说百万以上数据的优化就是索引的优化吗?

Mysql分页优化(100000条数据以上的查询),求指点~方法~ 有例子更好,网 ...

10W数据基本不用优化的。走索引就可以了。上百万了再说吧。楼主会不会是少加了一个0.追问在网上看了几个 基本上都是为了方便走索引还有利用in的,那我可以说百万以上数据的优化就是索引的优化吗?

sql语句中count(0)和count(1)的区别

一、意思不同

count(1)会统计包括null值的所有符合条件的字段的条数。count(0)将返回表格中所有存在的行的总数包括值为null的行,然而count(列名)将返回表格中除去null以外的所有行的总数(有默认值的列也会被计入),distinct 列名,得到的结果将是除去值为null和重复数据后的结果 。

二、作用不同

主要还是要count(1)所相对应的数据字段。  

如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。  因为count(*),自动会优化指定到那一个字段。所以没必要去count(?),用count(*),sql会帮你完成优化的 。

三、使用结果不同

当abc为空的时候,第二种不算入count中,而第一种是无条件的都算入count中,比例一列数据

字段名叫abc

A

B

NULL

这样的话,第一种查询是3条,而第二种查询的结果是2条。

sql语句中count(0)和count(1)的区别

一、意思不同

count(1)会统计包括null值的所有符合条件的字段的条数。count(0)将返回表格中所有存在的行的总数包括值为null的行,然而count(列名)将返回表格中除去null以外的所有行的总数(有默认值的列也会被计入),distinct 列名,得到的结果将是除去值为null和重复数据后的结果 。

二、作用不同

主要还是要count(1)所相对应的数据字段。  

如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。  因为count(*),自动会优化指定到那一个字段。所以没必要去count(?),用count(*),sql会帮你完成优化的 。

三、使用结果不同

当abc为空的时候,第二种不算入count中,而第一种是无条件的都算入count中,比例一列数据

字段名叫abc

A

B

NULL

这样的话,第一种查询是3条,而第二种查询的结果是2条。

oracle百万条数据如何将新插入数据显示在最前面(用sql语句 必须有优化,不损耗太多时间)

如果数据有时间标签的话,利用时间标签。如果没有时间标签的话,最后加一句 order by rowid desc 。因为一般来说越在后面插入的数据rowid越大

当数据库变慢时的解决方法有哪些

  我们使用电脑和手机时候最不能忍受就是设备又卡又慢了,严重影响我们工作或者游戏体验。当数据库变慢时,我们应如何入手,下面的解决方法。

  方法步骤

  第一章 检查系统的状态

  1.1 使用sar来检查操作系统是否存在IO问题

  1.2 关注内存vmstat

  1.3 找到使用资源特别大的Oracle的session及其执行的语句

  1.4 查找前十条性能差的sql语句

  当数据库变慢时,我们应如何入手

  当应用管理员通告现在应用很慢、数据库很慢时,当Oracle DBA在数据库上做几个示例的Select也发现同样的问题时,有些时侯就会无从下手,因为DBA认为数据库的各种命种率都是满足Oracle文档的建议。实际上如今的优化己经向优化等待(waits)转型了,实际中性能优化最根本的出现点也都集中在I/O,这是影响性能最主要的方面,由系统中的等待去发现Oracle库中的不足、操作系统某些资源利用的不合理是一个比较好的办法。下面把一些实践经验与大家分享,本文测重于Unix环境。

  第一章 检查系统的状态

  通过操作系统的一些工具检查系统的状态,比如CPU、内存、交换、磁盘的利用率,根据经验或与系统正常时的状态相比对,有时系统表面上看起来看空闲,这也可能不是一个正常的状态,因为cpu可能正等待IO的完成。除此之外,还应观注那些占用系统资源(cpu、内存)的进程。

  1.1 使用sar来检查操作系统是否存在IO问题

  #sar -u 2 10 -- 即每隔2秒检察一次,共执行20次。

  结果示例:

  注:在redhat下,%system就是所谓的%wio。

  Linux 2.4.21-20.ELsmp (YY075) 05/19/2005

  10:36:07 AM CPU %user %nice %system %idle

  10:36:09 AM all 0.00 0.00 0.13 99.87

  10:36:11 AM all 0.00 0.00 0.00 100.00

  10:36:13 AM all 0.25 0.00 0.25 99.49

  10:36:15 AM all 0.13 0.00 0.13 99.75

  10:36:17 AM all 0.00 0.00 0.00 100.00

  其中:

  Ø %usr指的是用户进程使用的cpu资源的百分比;

  Ø %sys指的是系统资源使用cpu资源的百分比;

  Ø %wio指的是等待io完成的百分比,这是值得观注的一项;

  Ø %idle即空闲的百分比。

  如果wio列的值很大,如在35%以上,说明系统的IO存在瓶颈,CPU花费了很大的时间去等待I/O的完成。Idle很小说明系统CPU很忙。像以上的示例,可以看到wio平均值为11,说明I/O没什么特别的问题,而idle值为零,说明cpu已经满负荷运行了。

  当系统存在IO问题时,可以从以下几个方面解决:

  Ø 联系相应的操作系统的技术支持对这方面进行优化,比如hp-ux在划定卷组时的条带化等方面。

  Ø 查找Oracle中不合理的sql语句,对其进行优化;

  Ø 对Oracle中访问量频繁的表除合理建索引外,再就是把这些表分表空间存放以免访问上产生热点,再有就是对表合理分区。

  1.2 关注内存

  常用的工具便是vmstat,对于hp-unix来说,可以用glance。Aix来说可以用topas。当发现vmstat中pi列非零,memory中的free列的值很小,glance、topas中内存的利用率多于80%时,这时说明内存方面应该调节一下。方法大体有以下几项:

  Ø 划给Oracle使用的内存不要超过系统内存的1/2,一般保在系统内存的40%为益。

  Ø 为系统增加内存;

  Ø 如果你的连接特别多,可以使用MTS的方式;

  Ø 打全补丁,防止内存漏洞。

  1.3 找到使用资源特别大的Oracle的session及其执行的语句

  Hp-unix可以用glance或top。IBM AIX可以用topas。此外可以使用ps的命令。

  通过这些程序可以找到点用系统资源特别大的这些进程的进程号,就可以通过以下的sql语句发现这个pid正在执行哪个sql,这个sql最好在pl/sql developer、toad等软件中执行:

  SELECT a.username, a.machine, a.program, a.sid, a.serial#, a.status,

  c.piece, c.sql_text

  FROM v$session a, v$process b, v$sqltext c

  WHERE b.spid = 'ORCL'

  AND b.addr = a.paddr

  AND a.sql_address = c.address(+)

  ORDER BY c.piece;

  可以把得到的这个sql分析一下,看一下它的执行计划是否走索引。对其优化避免全表扫描,以减少IO等待,从而加快语句的执行速度。

  提示:在做优化sql时,经常碰到使用in的语句,这时一定要用exists把它给换掉,因为Oracle在处理In时是按Or的方式做的,即使使用了索引也会很慢。比如:

  SELECT col1, col2, col3 FROM table1 a

  WHERE a.col1 NOT IN (SELECT col1 FROM table2)

  可以换成:

  SELECT col1, col2, col3 FROM table1 a

  WHERE NOT EXISTS

  (SELECT 'x' FROM table2 b WHERE a.col1=b.col1)

  1.4 查找前十条性能差的sql语句

  SELECT * FROM (SELECT parsing_user_id, executions, sorts, command_type,

  disk_reads, sql_text FROM v$sqlarea

  ORDER BY disk_reads DESC)

  WHERE ROWNUM<10;

  第二章 检查会话状态

  要快速发现Oracle Server的性能问题的原因,可以求助于v$session_wait视图,看系统的这些session在等什么,使用了多少的IO。以下是参考脚本:

  -- 脚本说明:查看占I/O较大的正在运行的session:

  SELECT se.sid, se.serial#, pr.spid, se.username, se.status, se.terminal,

  se.program, se.mole, se.sql_address, st.event, st.p1text,

  si.physical_reads, si.block_changes

  FROM v$session se, v$session_wait st, v$sess_io si, v$process pr

  WHERE st.sid=se.sid AND st.sid=si.sid

  AND se.PADDR=pr.ADDR

  AND se.sid>6

  AND st.wait_time=0

  AND st.event NOT LIKE '%SQL%'

  ORDER BY physical_reads DESC;

  对检索出的结果的几点说明:

  1. 以上是按每个正在等待的session已经发生的物理读排的序,因为它与实际的I/O相关。

  2. 可以看一下这些等待的进程都在忙什么,语句是否合理?

  SELECT sql_address FROM v$session WHERE sid=;

  SELECT * FROM v$sqltext WHERE address=;

  执行以上两个语句便可以得到这个session的语句。

  也以用alter system kill session 'sid, serial#';把这个session杀掉。

  3. 应观注一下event列,这是调优的关键一列,下面对常出现的event做以简要的说明:

  1) buffer busy waits,free buffer waits这两个参数所标识是dbwr是否够用的问题,与IO很大相关的,当v$session_wait中的free buffer wait的条目很小或没有时,说明系统的dbwr进程决对够用,不用调整;free buffer wait的条目很多,系统感觉起来一定很慢,这时说明dbwr已经不够用了,它产生的wio已经成为数据库性能的瓶颈,这时的解决办法如下:

  Ø 增加写进程,同时要调整db_block_lru_latches参数:

  示例:修改或添加如下两个参数

  db_writer_processes=4

  db_block_lru_latches=8

  Ø 开异步IO。IBM这方面简单得多,hp则麻烦一些,可以与Hp工程师联系。

  2) db file sequential read,指的是顺序读,即全表扫描,这也是应尽量减少的部分,解决方法就是使用索引、sql调优,同时可以增大db_file_multiblock_read_count这个参数。

  3) db file scattered read参数指的是通过索引来读取,同样可以通过增加db_file_multiblock_read_count这个参数来提高性能。

  4) latch free与栓相关,需要专门调节。

  5) 其他参数可以不特别观注

  补充:解决系统变慢的常用技巧方法

  1、在我的电脑窗口,右击要清理的盘符―“属性”―“清理磁盘”--勾选要删除的文件--确定--是。

  2、右键浏览器e――属性――点2个删除1个清除(都要逐一确定)――确定 。

  3、把C:WINDOWSPrefetch(预读文件)把里面的文件全部删除

  4、用优化大师或超级兔子清理注册表和垃圾文件。

  5、“开始”――运行中输入msconfig――确定――启动――除了输入法ctfmon以外的勾全去掉。

  6、右键我的电脑”――属性――点高级――点启动和故障恢复中的设置――去掉所有的勾――写入调试信息选择“无”――确定――点高级下面错误报告――点禁用――2次确定。

  7、“开始”..打开控制面板中的文件夹选项..点查看..点去末项自动搜索文件夹前面的勾..确定。

  8、右键我的电脑――属性――硬件――设备管理器――双击IDE控制器――次要通道――高级设置――传送模式都选DMA――设备类型选无――确定――主要通道也同样设置――确定。

  9、右键C盘进行磁盘清理和其它选项中的系统还原清理。

本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。

精彩推荐

更多阅读

Top