Rollback hakkında dikkat etmeniz gerekenler

Selam!

"sys.fn_dblog" Table Valued Function (TVF)'ını önceden duymuş muydunuz? Duymadıysanız da hayıflanmayın, çünkü zaten Microsoft tarafından dokümante edilmemiş bir TVF; bununla birlikte en azından benim bugüne kadar öyle veya böyle, orada veya burada sık sık karşılaştığım bir TVF.

Peki ne yapıyor bu adam? O anda bağlı bulunduğunuz veritabanının Transaction Log'undaki aktif kayıtları okuyor. Peki nedir bu aktif kayıtlar? Bunlar, henüz veritabanının veri dosyasına yazılmamış olan (en son yapılan Checkpoint'ten önceki), ama Transaction Log dosyasının içinde bulunan kayıtlardır.

Peki ben neden bu TVF'ten bahsetmek istedim? Size veritabanınızda bir işlem yaptığınızda bunun Transaction Log dosyasına temel olarak nasıl işlendiğini anlatmak istedim. Bununla birlikte en çok dikkat çekmek istediğim konu ise, bir Explicit Transaction başlatıp sonra bunu Rollback yaptığınızda (veya aynı şeyin bir Implicit Transaction'ın başına geldiğinde) neler olduğunu anlatmak istedim.

Örneğin bir tabloya yeni bir kayıt INSERT etmek istediğinizde bu işlemin Transaction Log dosyasına nasıl kaydedildiğini anlatayım. Bunun için test veritabanımda aşağıdaki gibi bir tablo oluşturuyorum:

CREATE TABLE [dbo].[tablom1](
[alan1] [tinyint] NULL
) ON [PRIMARY]
GO

Daha sonra aşağıdaki komut ile bu tabloya bir kayıt giriyorum

INSERT INTO tablom1 VALUES(6)

Daha sonra sys.fn_dblog TVF'ı ile Transaction Log dosyasını sorguluyorum. sys.fn_dblog TVF'ı iki tane parametre alır. Birincisi StartLSN, diğeri de EndLSN. Yani Log Sequence Number (LSN) başlangıcı ve bitişini tanımlayıp sorgulayabiliyorsunuz. LSN, her bir işlem için verilmiş eşsiz bir değerdir, 3 bölümden oluşur, ilgi VLF (Vitual Log File) numarası, ikincisi VLF içerisindeki blok numarası (bir VLF içerisinde birden fazla Transaction bulunabilir), üçüncüsü de işlem sıra numarasıdır.

Not: Transaction Log dosyası kendi içinde de mimari olarak Virtual Log File'lardan oluşur, bunlar da aralarında Active ve Passive olarak ayrılır.

Bu iki parametreyi NULL olarak belirterek de çalıştırabilirsiniz, ki genelde de böyle kullanılır:

SELECT * FROM sys.fn_dblog(NULL, NULL)

Commit Transaction

Eğer yukarıdaki INSERT komutunu çalıştırırsanız (ve sonrasında başka bir işlem yapmazsanız) sys.fn_dblog'u sorguladığınızda hemen yukarıdaki gibi bir sonuçla karşılaşacaksınız. Operation alanındaki değerleri tek tek açıklamak bu yazımın konusunun dışında, ama kırmızı dikdörtgen ile işaretlediğim alan içerisinde (Transaction ID'ye dikkat) işaretlediğim Implicit Transaction işlemini (INSERT işlemi için BEGIN TRAN ile Explicit Transaction oluşturmadık, fakat biz bunu yapmasak da her işlem bir Transaction'dır bu nedenle eğer biz tanımlamazsak bile işlemler Implicit Transaction ile çalıştırılır) açıklamaya çalışayım. LOP_BEGIN_ XACT ile Transaction'ımız başlatılmış olur, bununla LOP_COMMIT_XACT (veya işlem Rollback edildiyse de LOP_ABORT_XACT) arasında kalan işlemler gerçekleştirilmiş olur. Yukarıdaki örnekte LOP_BEGIN_XACT ile Transaction'ımızın başladığını, LOP_INSERT_ROWS ile INSERT işlemimizin gerçekleştiğini ve LOP_COMMIT_XACT ile de işlemimizin Commit edildiğini görebilirsiniz. Yani INSERT işlemimiz için Transaction Log dosyasında 3 adet kayıt oluşturulmuş oldu.

Peki Rollback'te ne oluyor? Hemen bunu da test edelim. Aşağıdaki komutu çalıştırıyorum ve bu şekilde Ornek adında bir Transaction'ı Explicitly oluşturmuş oluyorum. Ardından INSERT işlemimi gerçekleştiriyorum ve sonrasında da Transaction'ımı Rollback etmek için de ROLLBACK TRAN komutunu çalıştırıyorum. Sizce Transaction Log dosyasında kaç tane kayıt oluşmuş olacak?

BEGIN TRAN Ornek
INSERT INTO tablom1 VALUES(6)
INSERT INTO tablom1 VALUES(7)
INSERT INTO tablom1 VALUES(8)
ROLLBACK TRAN Oren

Sonuç aşağıdaki gibi:

SELECT * FROM sys.fn_dblog(NULL, NULL)

Rollback Transaction

Lütfen yine kırmızı dikdörtgen ile işaretlediğim Transaction'a bakın. Yine dikkatinizi Transaction ID'ye çekmek istiyorum öncelikle, 0000:0000075d. Gördüğünüz gibi tüm INSERT ve DELETE işlemleri tek bir Transaction içerisinde gerçekleşiyor ve EVET, doğru görüyorsunuz, her bir INSERT işleminizin Rollback edilmesi için işlem başına bir LOG_DELETE_ROWS işlemi yapılıyor. En son işlem de LOP_ABORT_XACT işlemi.

Belki UPDATE için durumun ne olacağını merak ediyor olabilirsiniz, örneğin 100 kayıtlık bir UPDATE işleminiz Rollback olduğunda ne mi oluyor? Tablomuzda 100 adet kayıt varken aşağıdaki komutu çalıştırdığımızda:

UPDATE tablom1 SET alan1 = 0

ve sys.fn_dblog ile sorguladığımızda Transaction için yapılan kayıt haricinde 100 adet LOP_MODIFY_ROW işlemi görüyoruz. Rollback işleminde de tüm bu kayıtlara yine 100 adet kayıt ekleniyor!

Bu nedenlerle, özellikle uzun süren DML işlemleriniz sonucu siz elle veya kendiliğinden (bir hata sonrası) Rollback işlemi gerçekleştiğinde Transaction Log dosyanızın bulunduğu diskte yeterli derecede boş alan olduğundan emin olmanızda fayda var. Örneğin çok büyük bir işlem gerçekleştirdiniz diyelim ve bu işlem herhangi bir nedenden dolayı Rollback oldu diyelim ve tüm bunların neticesinde de Transaction Log dosyanız doldu ve hatta bulunduğu diski de doldurdu diyelim, ne mi olur? Veritabanınız Suspect duruma düşer! Ve bunun olmasını kesinlikle istemezsiniz. Bu nedenle Rollback işlemlerini özellikle kontrollü bir şekilde yapacağınız zaman bu paylaştığım bilgileri aklınızda tutun, gerekli önlemleri alın, özellikle Transaction Log dosyanızın doluluk oranını, disk doluluk oranlarını iyi ve güvenli bir şekilde takip ettiğinizden emin olun.

Sevgiler,
Ekrem Önsoy

Transaction Log dosyası hakkında 2 ilginç ve komik gerçek

Merhabalar!

Sağolsun Paul Randal sayesinde SQL Server'ın derinlikleri hakkında ilginç bilgiler edinebiliyoruz.

Paul'ün verdiği bilgilere göre, Transaction Log dosyalarının mimari yapısında bulunan VLF (Virtual Log File)'lerdeki log blokları en fazla 60K'lık veri barındırabilirmiş. Bir gün merak etmiş ve Transaction Log'un mimarisinden sorumlu bölümdeki adamla konuşmuş bu konuyu. Demiş ki, örneğin neden 64K değil de 60K'dır bunun üst sınırı? Adam da "bunun nedenini kimse bilmiyor" demiş, bunun dokümantasyonu yokmuş, ilginç ve hatta komik değil mi? =)

Yine Paul'den öğrendiğime göre bir Transaction Log dosyasının içeriğini DBCC LOGINFO komutuyla incelediğimizde raporlanan değerlerden "Status" değeri "0" olursa, bu o VLF'in "inactive" olduğunu, değer "2" olursa VLF'in "active" olduğunu gösteriyor; fakat "1"in ne anlama geldiğini kimse bilmiyor, eskiden her ne için ayrıldıysa, artık hatırlanmıyor ve dokümante edilmemiş =)

SQL Server'ın karanlık ve derin dehlizlerinde gezinmeye devam!

Sevgiler,
Ekrem Önsoy

Transaction Log dosyanızın boyutunun önemi

Merhaba,

Özellikle bir veritabanı yöneticisinin henüz ayak basmadığı ortamlarda, veritabanlarının Recovery Model'larının Full olduğunu defalarca gördüm. Tabii ki bunu tek başına bir "hata" olarak değerlendiremeyiz, fakat maalesef bahsini ettiğim bu tür ortamlarda veritabanlarının nasıl yönetildiği pek bilinmediği için Transaction Log dosyalarının boyutları veritabanının veri dosyalarının defalarca katı şeklinde büyük olabiliyor. Tabii ki sorun sadece Full Recovery Model'ın yönetilememesinden de kaynaklanmıyor, aynı zamanda tek seferde yapılan uzun süreli DELETE ve UPDATE işlemleri de Transaction Log dosyasının aşırı büyümesine neden olabiliyor.

Peki Transaction Log dosyasının aşırı büyümesinden neden bahsetmek istedim? Çünkü Transaction Log dosyasının boyutu, sizin özellikle bir sorun anında dönüşünüzü geciktirecektir. Bu da, özellikle sıkıntılı anlarda sıkıntının daha uzun süre devam etmesine neden olur. Zamanımızda Down Time'ın uzun sürmesi, malum müşteri ve para kaybı anlamına gelmektedir. Hatta bu sürecin doğru şekilde yönetilememesi bazılarının işine ve kariyerine de mal olabilmektedir.

Transaction Log dosyasının aşırı büyümesine sayılarla örnek vereyim. Örneğin Veritabanı veri dosyalarının 60GB boyutunda olduğu, Transaction Log dosyasının ise 180GB olduğu bir ortamı düşünün. Bazılarınız çok şaşırıyor ve bu değerleri abartılı buluyor ve kabul etmiyor olabilir; fakat bunlar bizim piyasada kendi gözlerimizle görebildiğimiz değerlerdir.

"Instant File Initialization" diye bir şeyi bazılarınız önceden duymuş, bazılarınız duymamış olabilir; kısaca bahsedeyim, bu özelliğin etkin olması örneğin bir yedekten dönme işlemi yaparken (Restore Database), yine örneğin 60GB'lık dosyanızın anında oluşturulmasını sağlayacaktır. Aksi takdirde, yani varsayılan ayarlarla 60GB'lık dosyanın oluşması için (tabii ki dosya içerisindeki boş alanlardan bahsediyorum) sıfırlama işleminin yapılması gerekiyor. Mesela 60GB'lık veri dosyanızın 25GB'ı ayrılmış ve boş alan (Rezerved) diyelim, o zaman siz veritabanınızı Restore ederken bu 25GB'lık alanda sıfırlama işlemi gerçekleşecek ve bu işlem bitinceye kadar da Restore işleminiz devam edecek. Instant File Initialization özelliğini kullandığınız zaman ise 25GB'lık alanın sıfırlama işlemini beklemeyeceksiniz. Bununla birlikte, Instant File Initialization özelliği sadece veri dosyaları için kullanılabiliyor. Transaction Log dosyamızın boyutu eğer 180GB ise, Instance File Initialization etkin bile olsa 180GB'lık alanın sıfırlanması işleminin bitmesini beklememiz gerekiyor. Bu da haliyle bir felaket senaryosunda hiç istemeyeceğimiz bir şey.

Bu nedenle özellikle herhangi bir nedenden dolayı veritabanı yöneticisiz çalışmak zorunda kalan arkadaşlarım, aman siz siz olun Recovery Model'ların ve Transaction Log dosyalarının nasıl yönetildiğini iyice öğrenin. Aksi takdirde zor durumlarla karşı karşıya kalabilirsiniz.

Kolay gelsin,
Ekrem Önsoy

Olmayan Core ile sahte paralelizm

Merhaba!

Bugün yine Itzik'in bir yazısını okurken yeni bir şey öğrendim, sizlerle de paylaşmak istedim.

Örneğin SQL Server veritabanı uygulamalarınız için bir test ortamı oluşturdunuz; fakat test sunucunuzun donanımı üretim sunucunuz kadar güçlü değil, ki genelde de böyledir. Haklı olarak test ortamında çalıştırdığınız sorgular için üretilen Execution Plan'lar ile üretim ortamındakiler aynı olsun istiyorsunuz. 

Bunun için test ortamındaki SQL Server Instance'ını -P parametresiyle başlatabiliyoruz, bunu zaten SQL Server ile haşır neşir olan çoğumuz bilir. Bilmeyenler için de şöyle izah edeyim, SQL Server Configuration Manager'ı açın, ilgili SQL Server Database Engine servisinizin özelliklerine gidin ve Startup Parameters'a -Pn parametresini ekleyin, n burada CPU Core sayısı olarak duruyor. Yani örneğin -P8 eklemiş olursanız, fiziksel makineniz 4 Core'lu da olsa SQL Server 8 Core varmış gibi üretecek Execution Plan'ları. Tabii ki bu değişikliğin etkinleşebilmesi için SQL Server Database Engine servisinizi yeniden başlatmanız gerekecek.

Bilmediğim ve çoğu kişinin de bilmediği yöntem ise aşağıdaki yöntem. Bu yöntem Undocumented bir yöntem, yani Microsoft tarafından dokümantasyona eklenmemiş, yani resmen desteklenmiyor. Bir şekilde, ya bir Microsoft çalışanı tarafından resmi olmayan bir şekilde bir yerde yazıldı çizildi de biliniyor ya da bir yerdeki CSS'ten biri veya bir PFE bir müşteride kullandı da öğrenildi.

Peki nedir bu yöntem? Nasıl kullanılır? İnternette bu yöntem hakkında çok bilgi yok şu anda. Komut ise aşağıdaki gibi:

DBCC OPTIMIZER_WHATIF(1,8);

Eğer bu komutu çalıştırırsanız, hiç yukarıdaki -P parametresinde olduğu gibi SQL Server servisini yeniden başlatmanız falan gerekmeyecek. Bu komutnu etkisi, sadece içinde bulunduğunuz oturum için geçerli olacak.

Oturumunuzu yine normal seyrine çevirmek isterseniz de bu komutu aşağıdaki parametrelerle çalıştırabilirsiniz:

DBCC OPTIMIZER_WHATIF(1,0);

Ekrem Önsoy

Sequence ve Identity kullanımında atlamalara dikkat!

Merhaba,

Bu sabah aşağıdaki makaleyi okurken Identity'lerdeki atlamaların mantığını anladım. Kendi makinemdeki test amaçlı kurulu bir VM'de de test ettim.

Öncelikle bu sorunu bir projede fark etmiştim, bir kişinin makinesine (dizüstü bilgisayar) bir veritabanıyla birlikte çalışan bir uygulama kurmuştuk, SQL Server Express Edition'ı da yükledik tabii makineye. Sonra zaman zaman tablolardaki Identity değerlerinde zıplamalar olduğunu görmüş, ama buna anlam verememiştik.

Aşağıdaki Itzik'in makalesinde nedeni anlaşılıyor. Yaptığım testlerde de doğruladım. Örneğin aşağıdaki gibi bir tablo oluşturun:

-- Tablo oluştur
CREATE TABLE t1_identityCacheTest(i INT IDENTITY(1,1))
-- İçine kayıt koy
INSERT INTO t1_identityCacheTest DEFAULT VALUES
INSERT INTO t1_identityCacheTest DEFAULT VALUES
-- Kayıtları göster
SELECT * FROM t1_identityCacheTest
-- Sonuç:
2

-- SQL Server Instance'ı bir Failover Clustering senaryosunda Failover oluyormuş gibi veya bir Availability Groups senaryosunda Node değiştiriyormuş gibi birden servis kapansın (Task Manager -> End process).

-- SQL Server servisini tekrar başlat

-- İçine kayıt koy
INSERT INTO t1_identityCacheTest DEFAULT VALUES

-- Kayıtları göster
SELECT * FROM t1_identityCacheTest

-- Sonuç:
1002

Bunun nedeni ise SQL Server 2012 ile birlikte artık varsayılan olarak Identity (ve tabii Sequence için) Cache kullanılması. Cache kullanılması Identity ve Sequence performansı için çok iyi oluyor, performans testini de yapmış Itzik.

Arkadaşın makineye kurduğumuz uygulamanın Identity'li tablolarındaki atlamanın nedeni ise, adamın dizüstü makinesini çat diye kapıyor oluşuydu.

Bunların yanında şunu da tekrar hatırlatmakta fayda var, Cache kullanılmasa bile Identity'lerde atlama / boşluk olasılığı her zaman var, örneğin hata alan bir işleminizdeki Identity numarasının boş kalması gibi...

Itzik'in makalesi:

http://sqlmag.com/sql-server/sequence-and-identity-performance

Kolay gelsin,

Ekrem Önsoy