-
當(dāng)前位置:首頁 > 創(chuàng)意學(xué)院 > 技術(shù) > 專題列表 > 正文
數(shù)據(jù)量多導(dǎo)致總行數(shù)慢,因?yàn)閿?shù)據(jù)在不歸檔、遷移、轉(zhuǎn)總賬的情況下會(huì)不斷積壓。權(quán)限越高看見的數(shù)據(jù)量就越大,數(shù)據(jù)量越大總行數(shù)就越高。一般框架是以分頁的SQL為基礎(chǔ)計(jì)算總行數(shù)的。這樣就會(huì)導(dǎo)致掃描行數(shù)高物理讀高查詢速度慢。優(yōu)化方案就是總行數(shù)進(jìn)行狀態(tài)歸檔,以歸檔+實(shí)時(shí)的方式展現(xiàn)出來
連表超過多,部分?jǐn)?shù)據(jù)表是單獨(dú)的,但是不同部門的數(shù)據(jù)又有關(guān)聯(lián)性,領(lǐng)導(dǎo)要看全生命周期或者流程數(shù)據(jù)的情況下必須多表相連。這樣由于N個(gè)明細(xì)表導(dǎo)致笛卡兒積先不說,邏輯復(fù)雜連表多會(huì)消耗CPU,哪怕你查詢能500毫秒內(nèi)顯示但是如果多人同時(shí)查就讓CPU超100%甚至做成鎖等待等堵塞。這個(gè)情況就是要用類似“云計(jì)算”的分布式計(jì)算。通過觸發(fā)器、存儲(chǔ)過程等規(guī)定時(shí)間內(nèi)吧業(yè)務(wù)表數(shù)據(jù)計(jì)算好并寫到展示表中,直接通過展示表進(jìn)行關(guān)聯(lián),這樣鎖表也于業(yè)務(wù)表無關(guān),關(guān)聯(lián)表也能變少達(dá)到減少CPU消耗的目的。
iops與cpu占比高導(dǎo)致數(shù)據(jù)庫癱瘓。第2點(diǎn)看出如果CPU高數(shù)據(jù)庫全SQL都會(huì)慢,IOPS也一樣。SQL慢會(huì)導(dǎo)致事務(wù)中的查詢慢,解放事務(wù)變慢了其他查詢就會(huì)鎖等待狀態(tài)變成堵塞。所以遇到大規(guī)模的查詢是否先查主鍵然后通過游標(biāo)一個(gè)一個(gè)計(jì)算再進(jìn)臨時(shí)表。這個(gè)是消耗時(shí)間和內(nèi)存換CPU和IOPS的一個(gè)例子。反正服務(wù)器資源最高怎樣開發(fā)應(yīng)該是了解的,如何管制資源之間的平衡這個(gè)很重要。
sql查詢優(yōu)化方法(sql查詢優(yōu)化方法是什么)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于sql查詢優(yōu)化方法的問題,以下是小編對(duì)此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個(gè)非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng):https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、如何進(jìn)行SQL性能優(yōu)化
SQL Server數(shù)據(jù)庫查詢速度慢的原因有很多,常見的有以下幾種:
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是數(shù)據(jù)庫設(shè)計(jì)的缺陷)
2、I/O吞吐量小,形成了瓶頸效應(yīng)。
3、沒有創(chuàng)建計(jì)算列導(dǎo)致查詢不優(yōu)化。
4、內(nèi)存不足
5、網(wǎng)絡(luò)速度慢
6、查詢出的數(shù)據(jù)量過大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)
7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設(shè)計(jì)的缺陷)
8、sp_lock,sp_who,活動(dòng)的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好,沒有優(yōu)化
●可以通過以下方法來優(yōu)化查詢 :
1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要。
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級(jí)硬件
4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(最好是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對(duì)有限的幾個(gè)值的字段建單一索引如性別字段。
5、提高網(wǎng)速。
6、擴(kuò)大服務(wù)器的內(nèi)存,Windows 2000和SQL server 2000能支持4-8G的內(nèi)存。
配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計(jì)算機(jī)上并發(fā)運(yùn)行的服務(wù)進(jìn)行配置。運(yùn)行 Microsoft SQL Server? 2000時(shí),可考慮將虛擬內(nèi)存大小設(shè)置為計(jì)算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能,并打算運(yùn)行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計(jì)算機(jī)中安裝的物理內(nèi)存的3倍。將SQL Server max server memory服務(wù)器配置選項(xiàng)配置為物理內(nèi)存的1.5倍(虛擬內(nèi)存大小設(shè)置的一半)。
7、增加服務(wù)器CPU個(gè)數(shù);但是必須 明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MSSQL自動(dòng)評(píng)估選擇的。單個(gè)任務(wù)分解成多個(gè)任務(wù),就可以在處理器上運(yùn)行。例如耽擱查詢 的排序、連接、掃描和GROUP BY字句同時(shí)執(zhí)行,SQL SERVER根據(jù)系統(tǒng)的負(fù)載情況決定最優(yōu)的并行等級(jí),復(fù)雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATE,INSERT, DELETE還不能并行處理。
8、如果是使用like進(jìn)行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查詢時(shí),查詢耗時(shí)和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對(duì)于字段的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
10、分布式分區(qū)視圖可用于實(shí)現(xiàn)數(shù)據(jù)庫服務(wù)器聯(lián)合體。
聯(lián)合體是一組分開管理的服務(wù)器,但它們相互協(xié)作分擔(dān)系統(tǒng)的處理負(fù)荷。這種通過分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫服務(wù)器聯(lián)合體的機(jī)制能夠擴(kuò)大一組服務(wù)器,以支持大型的多層 Web 站點(diǎn)的處理需要。有關(guān)更多信息,參見設(shè)計(jì)聯(lián)合數(shù)據(jù)庫服務(wù)器。(參照SQL幫助文件''分區(qū)視圖'')
a、在實(shí)現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表
b、 在創(chuàng)建成員表后,在每個(gè)成員服務(wù)器上定義一個(gè)分布式分區(qū)視圖,并且每個(gè)視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個(gè)成員服務(wù)器上 運(yùn)行。系統(tǒng)操作如同每個(gè)成員服務(wù)器上都有一個(gè)原始表的復(fù)本一樣,但其實(shí)每個(gè)服務(wù)器上只有一個(gè)成員表和一個(gè)分布式分區(qū)視圖。數(shù)據(jù)的位置對(duì)應(yīng)用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數(shù)據(jù)和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 設(shè)置自動(dòng)收縮日志.對(duì)于大的數(shù)據(jù)庫不要設(shè)置數(shù)據(jù)庫自動(dòng)增長,它會(huì)降低服務(wù)器的性能。
在T-sql的寫法上有很大的講究,下面列出常見的要點(diǎn):首先,DBMS處理查詢計(jì)劃的過程是這樣的:
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優(yōu)化器
3、 優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
4、 由預(yù)編譯模塊生成查詢規(guī)劃
5、 然后在合適的時(shí)間提交給系統(tǒng)處理執(zhí)行
6、 最后將執(zhí)行結(jié)果返回給用戶。
其次,看一下SQL SERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個(gè)頁面的大小為8K(8060)字節(jié),8個(gè)頁面為一個(gè)盤區(qū),按照B樹存放。
二、sql優(yōu)化及原理詳解,五分鐘讀懂sql優(yōu)化
在我而言這算是一個(gè)復(fù)習(xí),然后總結(jié)出來給大家當(dāng)個(gè)教材吧。
我也是看視頻總結(jié)出來的筆記,所以說的都很簡單和淺薄。有不全面或者偏頗的地方歡迎指出,共同交流進(jìn)步哈。(因?yàn)槲耶?dāng)時(shí)是看視頻總結(jié)的筆記,所以可能說的比較雜亂,我盡量寫的分明一點(diǎn),在最后會(huì)附上筆記,忽略我字丑)
索引是什么呢?它相當(dāng)于字典的目錄。
索引:index是幫助mysql高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),索引是數(shù)據(jù)結(jié)構(gòu)(樹,默認(rèn)是B樹),hash等。
索引的弊端: 事物都是兩面的,有利必然有弊。
索引的優(yōu)勢: 索引有這么多弊端我們還使用的原因是因?yàn)閮?yōu)大于劣。
索引的分類:
舉個(gè)小例子讓大家更理解復(fù)合索引:如果我把一個(gè)表中name,age這兩個(gè)列做成復(fù)合索引(注意順序很重要)。那么我們形成的目錄一級(jí)目錄是name,二級(jí)目錄是age。在name相同時(shí)才會(huì)age再形成目錄。因?yàn)樗旧淼呐判虿皇窍衲夸浺粯右恍幸恍辛谐鰜淼?,所以我們盡量用目錄來想像它比較好理解。下面是圖解:
有幾點(diǎn)注意的事項(xiàng):
這里說一下,上面說的方法都是原生的sql,比如我現(xiàn)在習(xí)慣使用navicat,所以可以直接操作。。爽的不行。
然后刪除查詢也都是直接可視的,方便的不得了。就不多說了。
mysql做例子,還有個(gè)引擎是可以優(yōu)化的。mysql中引擎分兩種:
sql優(yōu)化等級(jí):
上面說的這些等級(jí)在explain中可以看到。
單表優(yōu)化常用方法:
多表優(yōu)化常用方法:
因?yàn)樯厦嬉蔡岬搅薭樹,所以還是單獨(dú)聊聊吧。其實(shí)我也不是很理解。只能說一個(gè)淺顯的認(rèn)識(shí)而已。這里也就是簡單的說一下。
首先,B樹不僅可以二叉,還可以三叉,多叉。而只要大于二叉的都叫做BTree。
據(jù)說三層BTree可以存放上百萬數(shù)據(jù)。
BTree一般都指B+樹,數(shù)據(jù)全部存放在葉節(jié)點(diǎn)中。(這里簡單的一個(gè)三叉樹圖)
好了,就寫到這里吧,希望日后算法的知識(shí)會(huì)的更多以后能把B樹這個(gè)坑填完~~~然后有不同意見或者自己理解的可以留言或者私聊。
全文手打,如果你覺得對(duì)你有幫助麻煩點(diǎn)個(gè)贊點(diǎn)個(gè)關(guān)注啥的~~
三、開發(fā)中,SQL語句優(yōu)化有哪些方法?
看你數(shù)據(jù)庫類型和框架是否支持。
一般開發(fā)中遇到慢SQL存在3個(gè)問題(索引健全的情況下)。
舉個(gè)例子,部分MYSQL框架喜歡一次性把數(shù)據(jù)庫都導(dǎo)出來,然后減少子查詢,這個(gè)算法針對(duì)有效的基礎(chǔ)數(shù)據(jù)這樣是可行的。針對(duì)業(yè)務(wù)數(shù)據(jù)應(yīng)該沒人會(huì)用,但是基礎(chǔ)數(shù)據(jù)中也可能會(huì)存在海量的情況,比如坐標(biāo)軌跡、省市區(qū)、電話號(hào)碼歸屬等。如果無腦應(yīng)用這個(gè)框架會(huì)導(dǎo)致查詢起來很慢。
四、如何提高SQL語句的查詢效率
1.對(duì)查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行 null 值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num is null
可以在num上設(shè)置默認(rèn)值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num=0
3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num=10 or num=20
可以這樣查詢:
select id from t where num=10
union all
select id from t where num=20
5.in 和 not in 也要慎用,否則會(huì)導(dǎo)致全表掃描,如:
select id from t where num in(1,2,3)
對(duì)于連續(xù)的數(shù)值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
6.下面的查詢也將導(dǎo)致全表掃描:
select id from t where name like '%abc%'
若要提高效率,可以考慮全文檢索。
7.如果在 where 子句中使用參數(shù),也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量,但優(yōu)化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然而,如果在編譯時(shí)建立訪問計(jì)劃,變量的值還是未知的,因而無法作為索引選擇的輸入項(xiàng)。如下面語句將進(jìn)行全表掃描:
select id from t where num=@num
可以改為強(qiáng)制查詢使用索引:
select id from t with(index(索引名)) where num=@num
8.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where num/2=100
應(yīng)改為:
select id from t where num=100*2
9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where substring(name,1,3)='abc' // oracle總有的是substr函數(shù)。
select id from t where datediff(day,createdate,'2005-11-30')=0 //查過了確實(shí)沒有datediff函數(shù)。
應(yīng)改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1' //
oracle 中時(shí)間應(yīng)該把char 轉(zhuǎn)換成 date 如: createdate >= to_date('2005-11-30','yyyy-mm-dd')
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時(shí),如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引,否則該索引將不會(huì)被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢,如需要生成一個(gè)空表結(jié)構(gòu):
select col1,col2 into #t from t where 1=0
這類代碼不會(huì)返回任何結(jié)果集,但是會(huì)消耗系統(tǒng)資源的,應(yīng)改成這樣:
create table #t(...)
13.很多時(shí)候用 exists 代替 in 是一個(gè)好的選擇:
select num from a where num in(select num from b)
用下面的語句替換:
select num from a where exists(select 1 from b where num=a.num)
14.并不是所有索引對(duì)查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí),SQL查詢可能不會(huì)去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對(duì)查詢效率起不了作用。
15.索引并不是越多越好,索引固然可以提高相應(yīng)的 select 的效率,但同時(shí)也降低了 insert 及 update 的效率,因?yàn)?insert 或 update 時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過6個(gè),若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。
16.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列,因?yàn)?clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序,一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整,會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符,而對(duì)于數(shù)字型而言只需要比較一次就夠了。
18.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因?yàn)槭紫茸冮L字段存儲(chǔ)空間小,可以節(jié)省存儲(chǔ)空間,其次對(duì)于查詢來說,在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
20.盡量使用表變量來代替臨時(shí)表。如果表變量包含大量數(shù)據(jù),請(qǐng)注意索引非常有限(只有主鍵索引)。
21.避免頻繁創(chuàng)建和刪除臨時(shí)表,以減少系統(tǒng)表資源的消耗。
22.臨時(shí)表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行?,例如,?dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是,對(duì)于一次性事件,最好使用導(dǎo)出表。
23.在新建臨時(shí)表時(shí),如果一次性插入數(shù)據(jù)量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先create table,然后insert。
24.如果使用到了臨時(shí)表,在存儲(chǔ)過程的最后務(wù)必將所有的臨時(shí)表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長時(shí)間鎖定。
25.盡量避免使用游標(biāo),因?yàn)橛螛?biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過1萬行,那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時(shí)表方法之前,應(yīng)先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。
27.與臨時(shí)表一樣,游標(biāo)并不是不可使用。對(duì)小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí)間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。
28.在所有的存儲(chǔ)過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲(chǔ)過程和觸發(fā)器的每個(gè)語句后向客戶端發(fā)送 DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過大,應(yīng)該考慮相應(yīng)需求是否合理。
以上就是關(guān)于sql查詢優(yōu)化方法相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。
推薦閱讀:
MySQL數(shù)據(jù)庫恢復(fù)(mysql數(shù)據(jù)庫恢復(fù)到某個(gè)時(shí)間)
mysql可重復(fù)讀如何解決幻讀(mysql 可重復(fù)讀怎么出現(xiàn)幻讀)
mysql存儲(chǔ)圖片路徑還是數(shù)據(jù)(mysql 儲(chǔ)存圖片 還是地址)