SQL中对于求表记录总数的有count这个聚合命令,这个命令给我们感觉就是快,比一般的查询要快,但是,当你的数据表记录比较多时,如百万条,千万条时,对于count来说,就不是那么快了,我们需要掌握一些技巧,来优化这个count。 有人说: select count(1)
SQL中对于求表记录总数的有count这个聚合命令,这个命令给我们感觉就是快,比一般的查询要快,但是,当你的数据表记录比较多时,如百万条,千万条时,对于count来说,就不是那么快了,我们需要掌握一些技巧,来优化这个count。
有人说:
select count(1) from table
select count(primarykey) from table
比较快,一定不要用
select count(*) from table
可我要说的是,count(*)更快一些,为什么呢,count(*)是什么意思?事实上,它真正的含义是找一个占用空间最小的索引字段,然后对它进行记数,不要一看到*就认为“大”,在count命令中,它指的是“任意一个“。
对于一个大表来说,如果你的字段有bit类型,,如性别字段,表示真假关系的字段,我们需要为它加上索引,加上之后,我们的count速度就提交几十倍,真的,呵呵
首先为我们的bit类型字段加索引IsSync添加聚集索引
如果数据表太大,我们需要在命令行中去运行
小编还为您整理了以下内容,可能对您也有帮助:
千万数据 mssql2005 select count(*) 很慢,求高人指点
这个语句并没有用到索引,属于全表遍历,所以和语句关系不大,和机器系统性能关系较大,虽然你的机器配置不低,但你在建立数据库方面可能还有优化的余地,可以参照系统管理文档尝试对数据库配置进行优化
另外,如果使用count(1)可以减小对资源的开销追问非常感谢,你能对这个表的数据表建立方面的优化再说的详细些吗?
这个表的结果:自增id,商家名称,其他四个int型分别是浏览量,认证状态,推荐状态,信用度
再次谢谢
追答优化是数据库系统层面的问题,需要找您的系统管理员来做,如果自己做,可以参考系统手册,根据自己的情况来做,一句两句是说不清的
表本身除了主键、索引,存储类型之外没什么可做的了
oracle多表百万条数据查询count(1)性能优化
你可以用inner join,并且把数据量小的表放在前面,如果可以修改表索引也可以根据需要创建相关索引
select count(第一张表主键字段) from A inner join B ON A.ID=B.maiIDinner join C ON A.billID=C.billID inner join D ON A.allbillID=D.allbillID
inner join E ON A.billNo=E.billNo
追问不行,比以前更慢了!
追答你哪个表的数据量最小?
影响数据库性能的主要因素有哪些?
以MySQL为例:
1、sql查询速度
2、网卡流量
3、服务器硬件
4、磁盘IO
以上因素并不是时时刻刻都会影响数据库性能,而就像木桶效应一样。如果其中一个因素严重影响性能,那么整个数据库性能就会严重受阻。另外,这些影响因素都是相对的。
例如:当数据量并没有达到百万千万这样的级别,那么sql查询速度也许就不是个重要因素,换句话说,你的sql语句效率适当低下可能并不影响整个效率多少,反之,这种情况,无论如何怎么优化sql语句,可能都没有太明显的效果。
1、SQL查询速度
风险:效率低下的SQL
2、网卡流量
风险:网卡IO被占满(100Mb/8=100MB)
方案:
①减少从服务器的数量。从服务器都要从主服务器上复制日志,所以,从服务器越多,网络流量越大。
②进行分级缓存。前方大量缓存突然失效会对数据库造成严重的冲击。
③避免使用“select * ”进行查询
④分离业务网络和服务器网络
3、磁盘IO
风险:磁盘IO性能突然下降。
方案:使用更好的磁盘设备解决。
Mysql分页优化(100000条数据以上的查询),求指点~方法~ 有例子更好,网 ...
10W数据基本不用优化的。走索引就可以了。上百万了再说吧。楼主会不会是少加了一个0.追问在网上看了几个 基本上都是为了方便走索引还有利用in的,那我可以说百万以上数据的优化就是索引的优化吗?
Mysql分页优化(100000条数据以上的查询),求指点~方法~ 有例子更好,网 ...
10W数据基本不用优化的。走索引就可以了。上百万了再说吧。楼主会不会是少加了一个0.追问在网上看了几个 基本上都是为了方便走索引还有利用in的,那我可以说百万以上数据的优化就是索引的优化吗?
sql语句中count(0)和count(1)的区别
一、意思不同
count(1)会统计包括null值的所有符合条件的字段的条数。count(0)将返回表格中所有存在的行的总数包括值为null的行,然而count(列名)将返回表格中除去null以外的所有行的总数(有默认值的列也会被计入),distinct 列名,得到的结果将是除去值为null和重复数据后的结果 。
二、作用不同
主要还是要count(1)所相对应的数据字段。
如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。 因为count(*),自动会优化指定到那一个字段。所以没必要去count(?),用count(*),sql会帮你完成优化的 。
三、使用结果不同
当abc为空的时候,第二种不算入count中,而第一种是无条件的都算入count中,比例一列数据
字段名叫abc
A
B
NULL
这样的话,第一种查询是3条,而第二种查询的结果是2条。
sql语句中count(0)和count(1)的区别
一、意思不同
count(1)会统计包括null值的所有符合条件的字段的条数。count(0)将返回表格中所有存在的行的总数包括值为null的行,然而count(列名)将返回表格中除去null以外的所有行的总数(有默认值的列也会被计入),distinct 列名,得到的结果将是除去值为null和重复数据后的结果 。
二、作用不同
主要还是要count(1)所相对应的数据字段。
如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。 因为count(*),自动会优化指定到那一个字段。所以没必要去count(?),用count(*),sql会帮你完成优化的 。
三、使用结果不同
当abc为空的时候,第二种不算入count中,而第一种是无条件的都算入count中,比例一列数据
字段名叫abc
A
B
NULL
这样的话,第一种查询是3条,而第二种查询的结果是2条。
oracle百万条数据如何将新插入数据显示在最前面(用sql语句 必须有优化,不损耗太多时间)
如果数据有时间标签的话,利用时间标签。如果没有时间标签的话,最后加一句 order by rowid desc 。因为一般来说越在后面插入的数据rowid越大
当数据库变慢时的解决方法有哪些
我们使用电脑和手机时候最不能忍受就是设备又卡又慢了,严重影响我们工作或者游戏体验。当数据库变慢时,我们应如何入手,下面的解决方法。
方法步骤
第一章 检查系统的状态
1.1 使用sar来检查操作系统是否存在IO问题
1.2 关注内存vmstat
1.3 找到使用资源特别大的Oracle的session及其执行的语句
1.4 查找前十条性能差的sql语句
当数据库变慢时,我们应如何入手
当应用管理员通告现在应用很慢、数据库很慢时,当Oracle DBA在数据库上做几个示例的Select也发现同样的问题时,有些时侯就会无从下手,因为DBA认为数据库的各种命种率都是满足Oracle文档的建议。实际上如今的优化己经向优化等待(waits)转型了,实际中性能优化最根本的出现点也都集中在I/O,这是影响性能最主要的方面,由系统中的等待去发现Oracle库中的不足、操作系统某些资源利用的不合理是一个比较好的办法。下面把一些实践经验与大家分享,本文测重于Unix环境。
第一章 检查系统的状态
通过操作系统的一些工具检查系统的状态,比如CPU、内存、交换、磁盘的利用率,根据经验或与系统正常时的状态相比对,有时系统表面上看起来看空闲,这也可能不是一个正常的状态,因为cpu可能正等待IO的完成。除此之外,还应观注那些占用系统资源(cpu、内存)的进程。
1.1 使用sar来检查操作系统是否存在IO问题
#sar -u 2 10 -- 即每隔2秒检察一次,共执行20次。
结果示例:
注:在redhat下,%system就是所谓的%wio。
Linux 2.4.21-20.ELsmp (YY075) 05/19/2005
10:36:07 AM CPU %user %nice %system %idle
10:36:09 AM all 0.00 0.00 0.13 99.87
10:36:11 AM all 0.00 0.00 0.00 100.00
10:36:13 AM all 0.25 0.00 0.25 99.49
10:36:15 AM all 0.13 0.00 0.13 99.75
10:36:17 AM all 0.00 0.00 0.00 100.00
其中:
Ø %usr指的是用户进程使用的cpu资源的百分比;
Ø %sys指的是系统资源使用cpu资源的百分比;
Ø %wio指的是等待io完成的百分比,这是值得观注的一项;
Ø %idle即空闲的百分比。
如果wio列的值很大,如在35%以上,说明系统的IO存在瓶颈,CPU花费了很大的时间去等待I/O的完成。Idle很小说明系统CPU很忙。像以上的示例,可以看到wio平均值为11,说明I/O没什么特别的问题,而idle值为零,说明cpu已经满负荷运行了。
当系统存在IO问题时,可以从以下几个方面解决:
Ø 联系相应的操作系统的技术支持对这方面进行优化,比如hp-ux在划定卷组时的条带化等方面。
Ø 查找Oracle中不合理的sql语句,对其进行优化;
Ø 对Oracle中访问量频繁的表除合理建索引外,再就是把这些表分表空间存放以免访问上产生热点,再有就是对表合理分区。
1.2 关注内存
常用的工具便是vmstat,对于hp-unix来说,可以用glance。Aix来说可以用topas。当发现vmstat中pi列非零,memory中的free列的值很小,glance、topas中内存的利用率多于80%时,这时说明内存方面应该调节一下。方法大体有以下几项:
Ø 划给Oracle使用的内存不要超过系统内存的1/2,一般保在系统内存的40%为益。
Ø 为系统增加内存;
Ø 如果你的连接特别多,可以使用MTS的方式;
Ø 打全补丁,防止内存漏洞。
1.3 找到使用资源特别大的Oracle的session及其执行的语句
Hp-unix可以用glance或top。IBM AIX可以用topas。此外可以使用ps的命令。
通过这些程序可以找到点用系统资源特别大的这些进程的进程号,就可以通过以下的sql语句发现这个pid正在执行哪个sql,这个sql最好在pl/sql developer、toad等软件中执行:
SELECT a.username, a.machine, a.program, a.sid, a.serial#, a.status,
c.piece, c.sql_text
FROM v$session a, v$process b, v$sqltext c
WHERE b.spid = 'ORCL'
AND b.addr = a.paddr
AND a.sql_address = c.address(+)
ORDER BY c.piece;
可以把得到的这个sql分析一下,看一下它的执行计划是否走索引。对其优化避免全表扫描,以减少IO等待,从而加快语句的执行速度。
提示:在做优化sql时,经常碰到使用in的语句,这时一定要用exists把它给换掉,因为Oracle在处理In时是按Or的方式做的,即使使用了索引也会很慢。比如:
SELECT col1, col2, col3 FROM table1 a
WHERE a.col1 NOT IN (SELECT col1 FROM table2)
可以换成:
SELECT col1, col2, col3 FROM table1 a
WHERE NOT EXISTS
(SELECT 'x' FROM table2 b WHERE a.col1=b.col1)
1.4 查找前十条性能差的sql语句
SELECT * FROM (SELECT parsing_user_id, executions, sorts, command_type,
disk_reads, sql_text FROM v$sqlarea
ORDER BY disk_reads DESC)
WHERE ROWNUM<10;
第二章 检查会话状态
要快速发现Oracle Server的性能问题的原因,可以求助于v$session_wait视图,看系统的这些session在等什么,使用了多少的IO。以下是参考脚本:
-- 脚本说明:查看占I/O较大的正在运行的session:
SELECT se.sid, se.serial#, pr.spid, se.username, se.status, se.terminal,
se.program, se.mole, se.sql_address, st.event, st.p1text,
si.physical_reads, si.block_changes
FROM v$session se, v$session_wait st, v$sess_io si, v$process pr
WHERE st.sid=se.sid AND st.sid=si.sid
AND se.PADDR=pr.ADDR
AND se.sid>6
AND st.wait_time=0
AND st.event NOT LIKE '%SQL%'
ORDER BY physical_reads DESC;
对检索出的结果的几点说明:
1. 以上是按每个正在等待的session已经发生的物理读排的序,因为它与实际的I/O相关。
2. 可以看一下这些等待的进程都在忙什么,语句是否合理?
SELECT sql_address FROM v$session WHERE sid=;
SELECT * FROM v$sqltext WHERE address=;
执行以上两个语句便可以得到这个session的语句。
也以用alter system kill session 'sid, serial#';把这个session杀掉。
3. 应观注一下event列,这是调优的关键一列,下面对常出现的event做以简要的说明:
1) buffer busy waits,free buffer waits这两个参数所标识是dbwr是否够用的问题,与IO很大相关的,当v$session_wait中的free buffer wait的条目很小或没有时,说明系统的dbwr进程决对够用,不用调整;free buffer wait的条目很多,系统感觉起来一定很慢,这时说明dbwr已经不够用了,它产生的wio已经成为数据库性能的瓶颈,这时的解决办法如下:
Ø 增加写进程,同时要调整db_block_lru_latches参数:
示例:修改或添加如下两个参数
db_writer_processes=4
db_block_lru_latches=8
Ø 开异步IO。IBM这方面简单得多,hp则麻烦一些,可以与Hp工程师联系。
2) db file sequential read,指的是顺序读,即全表扫描,这也是应尽量减少的部分,解决方法就是使用索引、sql调优,同时可以增大db_file_multiblock_read_count这个参数。
3) db file scattered read参数指的是通过索引来读取,同样可以通过增加db_file_multiblock_read_count这个参数来提高性能。
4) latch free与栓相关,需要专门调节。
5) 其他参数可以不特别观注
补充:解决系统变慢的常用技巧方法
1、在我的电脑窗口,右击要清理的盘符―“属性”―“清理磁盘”--勾选要删除的文件--确定--是。
2、右键浏览器e――属性――点2个删除1个清除(都要逐一确定)――确定 。
3、把C:WINDOWSPrefetch(预读文件)把里面的文件全部删除
4、用优化大师或超级兔子清理注册表和垃圾文件。
5、“开始”――运行中输入msconfig――确定――启动――除了输入法ctfmon以外的勾全去掉。
6、右键我的电脑”――属性――点高级――点启动和故障恢复中的设置――去掉所有的勾――写入调试信息选择“无”――确定――点高级下面错误报告――点禁用――2次确定。
7、“开始”..打开控制面板中的文件夹选项..点查看..点去末项自动搜索文件夹前面的勾..确定。
8、右键我的电脑――属性――硬件――设备管理器――双击IDE控制器――次要通道――高级设置――传送模式都选DMA――设备类型选无――确定――主要通道也同样设置――确定。
9、右键C盘进行磁盘清理和其它选项中的系统还原清理。
本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。