Data Collector, Management Data Warehouse, Perfmon


Data Collector SQL Server 2008 ile gelen bir özelliktir. SQL Server sistemlerinin performans’larını izlemek ve raporlamak için güzel bir teknoloji. Data Collector’ları birkaç farklı şekilde kullanabiliriz.

 

Perfmon kullanarak anlık olarak izleyebilir ya da Data Collector set kullanarak bir baseline oluşturabilirsiniz. Baseline oluşturmamız genelde sistemde anlık bir problem olduğunda problemi tespit etmek için faydalı olabilir. Örneğin sistemdeki Buffer Cache Hit Ratio counter’u(sorguların yaptıkları isteklerin ne kadarının buffer cache’den (memory) alındığını gösterir. Counter’ların detaylarını makalenin sonundaki tablodan bulabilirsiniz) için bir data collector set oluşturdunuz. Ve “t” anında veritabanında bir problem oluştu. Data Collector Set’ten “t” anındaki Buffer Cache Hit Ratio oranını kontrol ettiniz. Ve bu oran sürekli %99 iken sorun anında %70’lere düştüğünü gördünüz. Bu sorun anında memory’de bir yetersizlik olduğu anlamına gelir. Bu şekilde data collector’lar ile oluşturduğunuz baseline’lar sorun anında size yardımcı olabilir.

Perfmon üzerinden counter’ları anlık olarak izlemek ve data collector set’ler ile baseline’lar oluşturmak için “Veritabanı Sunucunuzun Yaptığı IOPS ve Throughput’u Data Collector Kullanarak Bulmak” isimli makaleyi okumalısınız.

 

 

Data Collector’ların bir başka kullanımı da Management Data Warehouse ile mümkündür. Management Data Warehouse ile data collector’ları kullanarak SSMS üzerinden bir baseline oluşturabiliyoruz. Ama  default konfigürasyonunda CPU, Disk, Memory ve Network için bu baseline’lar oluşuyor. Custom baseline’lar oluşturmak da mümkün ama yapılmasının bir hayli zor olduğunu söyleyebilirim. Microsoft’tan bir arkadaşım bir zamanlar böyle custom bir management data warehouse uygulaması yapmıştı fakat o da stabil çalışmadı. Bu yüzden custom ihtiyaçlar için ben genelde permon üzerinden data collector set oluşturuyorum. Yukarda belirttiğim makalede detayları bulabilirsiniz. Default konfigürasyonla sadece Disk ve Cpu incelemesi size yeterli ise bu sefer size tavsiyem Utility Control Point olacaktır. Utility Control Point ile ilgili makaleleri aşağıda bulabilirsiniz.

 

Utility Control Point ile SQL Server’ı Monitor Edin“,

Utility Control Point’i Yönetin“,

Utility Control Point’e Başka Bir Instance Eklemek

Management Data Warehouse kurulumunu da bir örnekle inceleyelim.

 

SSMS üzerinde Management sekmesinden aşağıdaki gibi Data Collection’a sağ tıklayarak Tasks ve Configure Management Data Warehouse diyoruz.

 

 

Karşımıza gelen ekranda Do not show this page again diyerek ilerliyoruz.

 

Management Data Warehouse’un topladığı bilgileri saklaması için bir veritabanına ihtiyacı vardır. Bir sonraki ekranda bizden bilgileri kaydedeceği veritabanını belirlememizi istiyor. Mevcut bir veritabanını da seçebiliriz. New diyerek bu işlem için yeni bir veritabanı da oluşturabiliriz.

 

 

Bir sonraki ekranda Management Data Warehouse için yetkilendirmek istediğimiz kullanıcıyı soruyor. Ben kendi test ortamımdaki TestLogin kullanıcısına admin hakkı vererek ilerliyorum. Siz isterseniz New Login buton’una tıklayarak yeni bir login oluşturabilirsiniz. mdw_reader yetkisi raporlama için, mdw_writer yetkisi veri yüklemek için, mdw_admin yetkisi de her ikisini yapmak için gerekli yetkiler.

 

Bir sonraki adım olarak Data Collection Set’lerimizi oluşturmak için aşağıdaki gibi Configure Data Collection diyoruz.

 

 

Karşımıza gelen ekranda,

 

Server name kısmında bir önceki adımda oluşan MDW veritabanımıza ait instance’ı,

 

Database name kısmında ise MDW veritabanımızı seçiyoruz.

 

Cache directory’de veriler toplanıp MDW veritabanına aktarılmadan önce tutulacağı dosyayı seçmemiz gerekiyor. Ben C’nin altında Temp isminde bir klasör oluşturarak bu klasörü seçtim.

 

Alt tarafta ise aktif etmek istediğimiz data collector set’lerini soruyor. System Data Collection Sets’i de Transaction Performance Collection Sets’i de seçerek ilerliyoruz ve son ekranda finish diyerek işlemimizi tamamlıyoruz.

 

 

Aşağıdaki gibi Management > Data Collection > Reports > Management Data Warehouse sekmelerinden raporlara ulaşabilirsiniz.

 

 

 

Management Data Warehouse’un yanı sıra “Veritabanı Sunucunuzun Yaptığı IOPS ve Throughput’u Data Collector Kullanarak Bulmak” isimli makalede anlattığım şekilde istediğiniz counter’ı kullanarak data collector set’ler oluşturup baseline oluşturup raporlayabilirsiniz.

 

Aşağıda bazı önemli counter’ları ve best practice’lerini bulabilirsiniz.

 

 

Object

Counter

Counter Açıklama

Alert Üretilebilecek Değer Aralığı

Memory

Available MBytes

Sistemdeki boş bellek miktarı

< 3 GB

Memory

Pages Input/Sec

Bellekte bulunmadığı için, saniyede diskten erişilen page sayısı(hard page fault)

> 20(Ortalama)

Paging File

%Usage

Paging File’ın kullanım oranı

> 70%

Processor

Privileged Time

Windows Kernel işlemlerin CPU üzerinde harcadığı zaman. Yüksek miktarda I/O veya kesintiler olduğunu gösterir. DPC Time ve Interrupt Time’a ve Context Switches’e bakılmalıdır.

> 30%(İki dakika süreyle bu seviyede kaldığında alert üretilebilir)

Processor

Processor Time

Kullanılan CPU yüzdesi

> 90%(İki dakika süreyle bu seviyede kaldığında alert üretilebilir)

System

Context Switches/sec

İşlemcinin işlediği thread’i değiştirmesi. Cpu başına 6000’i geçmemeli.

> 384000

System

Processor Queue Length

İşlemci kuyruğundaki çalışmayı bekleyen process sayısı

> 640

PhysicalDisk

Avg. Disk sec/Read

Saniyede, ortalama okuma yapılan zaman

> 0.30

PhysicalDisk

Avg. Disk sec/Write

Saniyede, ortalama yazma yapılan zaman

> 0.30

PhysicalDisk

% Idle Time

Diskin kullanılmayan kısmının yüzdesi

< 50%(İki dakika süreyle bu seviyede kaldığında alert üretilebilir)

SQLServer:Access Methods

Forwarded Records/sec

Update sırasında page’e sığmaması ve pointerle başka bir page’e işaret edilmesi.

Sadece heap tablolarda olur. Cluster index create-drop yapılabilir.

>(SQLServer:SQL Statistics:Batch Requests/sec)/10

SQLServer:Access Methods

FreeSpace Scans/sec

Insert yapılan heap tablolarda insert edilecek row için boş page taraması yapılması.

>(SQLServer:SQL Statistics:Batch Requests/sec)/10

SQLServer:Access Methods

Index Searches/sec,Full Scans/sec

Saniyedeki index search ve table scan sayıları. Index ihtiyacı var demektir.

(Index Searches/sec) /  (Full Scans/sec) < 100

SQLServer:Access Methods

Page Splits/sec

Saniyedeki bölünen page sayısı. Fillfactor sorunu çözecektir.

>(SQLServer:SQL Statistics:Batch Requests/sec)/5

SQLServer:Access Methods

Scan Point Revalidations/sec

Scan işlemi sırasında, işlemin devam edebilmesi için scan pointin saniyede yeniden doğrulanma sayısı

>10

SQLServer:Access Methods

Worktables Created/sec

Saniyede, tempdb ‘de oluşturulan tablo sayısı(Table spool,Index spool vb..)

> 400

SQLServer:Buffer Manager

Buffer cache hit ratio

SQL Server’ın bellekten istediği veriyi bulma oranı

< 97%

SQLServer:Buffer Manager

Lazy writes/sec

Buffer cache’i boşaltmak için dirty page’lerin saniyedeki diske yazılma sayısı

>20

SQLServer:Buffer Manager

Page life expectancy

Data page’lerin saniye cinsinden buffer ‘da kalma süresi

< 300

SQLServer:Buffer Manager

Page lookups/sec

Saniyede, page’i buffer pool’da bulmak için gönderilen istek sayısı. Saniyedeki Batch Requests sayısından 100 kat daha fazla olursa query planlar verimsiz demektir. Yüksek I/O yapan sorgular tune edilmeli.

(Page lookups/sec) / (Batch Requests/sec) > 100

SQLServer:Latches

Latch Waits/sec

Saniyede oluşan latch request bekleme sayısı

(Total Latch Wait Time) / (Latch Waits/Sec) > 10

SQLServer:Locks

Lock Requests/sec

Saniyede, lock isteği olan request sayısı

(Lock Request/sec) / (Batch Requests/sec) > 500

SQLServer:Locks

Lock Timeouts (timeout > 0)/sec

Lock nedeniyle timeout’a düşülmesi

<>0

SQLServer:Locks

Number of Deadlocks/sec

Deadlock oluşması

>0

SQLServer:Memory Manager

Memory Grants Pending

Memory için bekleyen connection sayısı

<>0

SQLServer:SQL Statistics

SQL Compilations/sec

Saniyede, derlenen sorgu sayısı

>(Batch Requests/Sec)/5

SQLServer:SQL Statistics

SQL Re-Compilations/sec

Saniyede, derlenen ve daha önce en az bir kere derlenmiş olan(query plan’ı çıkartılmış) sorgu sayısı

>(SQL Compilations/sec)/10

SQLServer:Database

Log Flush Waits/sec

Veritabanının log’una yazarken SQL Server’ın ortalama bekleme süresini gösterir. Yükselen değerler log’a yazarken uzun zaman geçtiğini gösterir.

 

Bu da sistemde concurrency sorunlarına ve performans kaybına neden olur.

Artan değerler kötüdür.

Network Interface

Bytes Received/sec

 

Bytes Sent/sec

Saniyede network’ten alınan ve gönderilen veri miktarını byte olarak gösterir.

 

Ani artışlar, performans sorunları ile aynı zamanda meydana geliyorsa sorunun kaynağı olabilirler.

Artan değerler kötüdür.

SQLServer:Buffer Manager

Checkpoint pages/sec

SQL Server’ın checkpoint işleminin saniye kaç kez gerçekleştiğini gösterir.

 

Checkpoint işlemi sık gerçekleşiyorsa çok fazla değişiklik yapılıyor demektir. Bu da daha fazla IO demektir. IO anlamında darboğaza sebep olabilir.

 

Ani artışlar, performans sorunları ile aynı zamanda meydana geliyorsa sorunun kaynağı olabilirler.

Artan değerler kötüdür.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Lütfen captcha kodunu giriniz *

Lütfen Resimdeki Kodu Boşluğa Giriniz.