560_KONU DENETİMİ REHBERİ.pdf

T.C. SAYIŞTAY BAŞKANLIĞI KONU DENETİMİ REHBERİ MART - 2021

MART - 2021 KONU DENETİMİ REHBERİ T.C. SAYIŞTAY BAŞKANLIĞI

6085 sayılı Sayıştay Kanunu 6 ncı maddesinde yer alan ‘Sayıştay kamu idarelerinin hesap, işlem ve faaliyetleri ile mallarını … konu bazında da denetleyebilir’ hükmüne istinaden doğan denetim metodolojisi ihtiyacı üzerine, kurulan komisyon marifetiyle uluslararası denetim standartları dikkate alınarak hazırlanan bu rehber, Denetim Planlama ve Koordinasyon Kurulunun 10/03/2021 tarih ve 2021/2 sayılı toplantısında görüşülerek kabul edilmiş ve 20.04.2021 tarihinde Sayıştay Başkanı tarafından onaylanarak yürürlüğe girmiştir. BELGE ADI : SDR.9, Konu Denetimi Rehberi VERSİYON NO : 2021/1 VERSİYON TARİHİ : Mart 2021

SUNUŞ Tarihsel süreçte kamu yönetimi ve denetimi, gerek yapısı ve işleyişi, gerekse amaç ve işlevleri bakımından sürekli bir değişim içerisinde olmuştur. Özellikle 20. yüzyılın ikinci yarısından itibaren hız kazanan kamu yönetimindeki gelişmeler, bütçe ve mali yapılardaki dönüşüm, demokratik ve saydam yönetim anlayışının yaygınlaşması gibi etkenler, yüksek denetimde yeni açılımları ve yeni yöntem ve teknikleri kaçınılmaz kılmıştır. Bu kapsamda Sayıştayda konu denetimleri 6085 sayılı Sayıştay Kanunu’nun Sayıştayın yetkileri başlıklı 6’ncı maddesinin 4’üncü fıkrasında yer alan; “Sayıştay, kamu idarelerinin hesap, işlem ve faaliyetleri ile mallarını, hesap veya faaliyet dönemine bağlı olmaksızın yılı içinde veya yıllar itibariyle denetleyebileceği gibi sektör, program, proje ve konu bazında da denetleyebilir.” hükmü gereğince yürütülmeye başlanmış olup, denetim sonuçları aynı Kanun’un 42’nci maddesi kapsamında raporlanacaktır. Bu rehber, yasal düzenlemeler, yürürlükteki uluslararası denetim standartları, kurumsal politikalar ve sürdürülebilir kalkınma hedefleri çerçevesinde Sayıştayın yapacağı konu denetimleri için sistematik bir süreç geliştirmektedir. Bu rehberin hazırlanmasındaki amaç; • Denetçilere, denetimin yürütülmesinde ve değerlendirilmesinde görev alacak diğer yönetici ve değerlendiricilere temel bir kaynak oluşturmak, • Denetimlerin mümkün olan en yüksek kalitede yürütülmesine destek vermek, suretiyle Sayıştayın konu denetimi uygulamalarında birlik sağlamak, etkin ve kapsamlı denetim yaklaşımı geliştirmektir. Bu rehberin uygulanmasında denetçiler, denetimlerin kapsamını ve metodolojisini belirlerken, gerçekleştirilecek testleri ve izlenecek prosedürleri kararlaştırırken, denetimi yürütürken ve sonuçlarını raporlarken mesleki yargılarını da kullanmak durumundadırlar. Rehberin hazırlanmasında emeği geçen tüm mensuplarımıza teşekkür eder, kullanıcılar için fayda sağlamasını dilerim. Seyit Ahmet BAŞ Sayıştay Başkanı

İÇİNDEKİLER 1.BÖLÜM: DENETİMİN GENEL ESASLARI ..............................................................................................................................................................1 1.1. Konu Denetimi Yetkisi .......................................................................................................................................................................................................1 1.2. Konu Denetiminin Amacı ve Konu Denetiminde Temel Kavramlar ........................................................................................................................1 1.2.1. Denetimin Amacı ............................................................................................................................................................................................................1 1.2.2. Konu Denetiminde Kullanılan Temel Kavramlar ......................................................................................................................................................2 1.2.2.1. İyi Yönetim ....................................................................................................................................................................................................................2 1.2.2.2. Ekonomiklik ..................................................................................................................................................................................................................2 1.2.2.3. Verimlilik ........................................................................................................................................................................................................................3 1.2.2.4. Etkinlik............................................................................................................................................................................................................................3 1.2.2.5. Ekonomiklik, Verimlilik ve Etkinlik Arasındaki İlişki ...............................................................................................................................................4 1.2.2.6. Konu Denetiminde Diğer Kavramlar .......................................................................................................................................................................5 1.3. Denetim Yaklaşımları .......................................................................................................................................................................................................6 1.4. Konu Denetimi Süreci .......................................................................................................................................................................................................8 2.BÖLÜM: DENETİM KONULARININ SEÇİMİ ......................................................................................................................................................13 2.1. Konu Tekliflerinin Hazırlanması ....................................................................................................................................................................................13 2.1.1. Genel Araştırma ...........................................................................................................................................................................................................13 2.1.2. Konu Teklifinin Hazırlanması ......................................................................................................................................................................................13 2.1.2.1. Denetimin Amacı/ Muhtemel Temel Soru ............................................................................................................................................................14 2.1.2.2. Konu Hakkında Bilgi ..................................................................................................................................................................................................14 2.1.2.3. Önemlilik .....................................................................................................................................................................................................................15 2.1.2.4. Sorunlu ve Riskli Alanların Belirlenmesi ................................................................................................................................................................16 2.1.2.5. Denetim Riski/Denetlenebilirlik ..............................................................................................................................................................................16 2.2. Konu Tekliflerinin Önceliklendirilmesi .........................................................................................................................................................................17 2.3. Konu Tekliflerinin Yıllık Denetim Programına Dahil Edilmesi ..................................................................................................................................17 3.BÖLÜM: PLANLAMA ...........................................................................................................................................................................................21 3.1. Denetim Ekibinin Görevlendirilmesi ............................................................................................................................................................................23 3.2. Konu Hakkında Detaylı Araştırma Yapılması, Taslak Denetim Temel ve Alt Sorularının Belirlenmesi ............................................................23 3.3. Ön Değerlendirme Toplantısı .......................................................................................................................................................................................23 3.4. Denetim Planının Hazırlanması ....................................................................................................................................................................................23 3.4.1. Denetim Planının Kapsamı .........................................................................................................................................................................................24 3.4.1.1. Denetlenecek Konu Hakkında Bilgi ........................................................................................................................................................................24 3.4.1.2. Denetimin Dayanağı, Amacı ve Kapsamı ..............................................................................................................................................................25 3.4.1.3. Önemlilik ve Denetlenebilirlik ................................................................................................................................................................................27 3.4.1.4. Sorunlu ve Riskli Alanlar ...........................................................................................................................................................................................28 3.4.1.5. Denetimin Muhtemel Etkisi .....................................................................................................................................................................................29 3.4.1.6. Denetim Soruları .......................................................................................................................................................................................................29 3.4.1.7. Denetim Kriterleri ......................................................................................................................................................................................................31 3.4.1.8. Denetim Metodolojisi ..............................................................................................................................................................................................32 3.4.1.9. Muhtemel Bulgu ve Öneriler ..................................................................................................................................................................................33 3.4.1.10. Denetim Zaman Çizelgesinin ve Kaynakların Belirlenmesi .............................................................................................................................33 3.4.1.11. Taslak İletişim Planı .................................................................................................................................................................................................33 3.4.2. Denetim Matrisinin Hazırlanması ..............................................................................................................................................................................33 3.4.3. Denetlenen Kurumlar ve İlgililerle Görüşülmesi ve Denetim Planının Başkanlık Tarafından Onaylanması ..............................................35

İÇİNDEKİLER 4.BÖLÜM: UYGULAMA ..........................................................................................................................................................................................39 4.1. İş Planının Hazırlanması..................................................................................................................................................................................................39 4.2. Denetim Kanıtlarının Elde Edilmesi .............................................................................................................................................................................39 4.2.1. Kanıtın Miktarı ve Kalitesi ............................................................................................................................................................................................40 4.2.2. Kanıt Türleri ...................................................................................................................................................................................................................41 4.2.3. Kanıt Kaynakları ............................................................................................................................................................................................................41 4.2.4. Kanıt Toplama Teknikleri .............................................................................................................................................................................................42 4.3. Verilerin Analizi .................................................................................................................................................................................................................43 4.4. Denetim Bulguları, Sonuçları ve Öneriler ....................................................................................................................................................................43 4.5. Denetimin Belgelendirilmesi .........................................................................................................................................................................................45 4.6. Bulguların Denetlenen Kurumla Görüşülmesi ...........................................................................................................................................................46 4.7. Sonuç Raporunun Hazırlanması ve Bulguların Değerlendirilmesi Toplantısı ......................................................................................................46 5.BÖLÜM: RAPORLAMA ........................................................................................................................................................................................49 5.1. Denetim Raporunun Nitelikleri .....................................................................................................................................................................................49 5.2. Raporun Çerçevesinin Geliştirilmesi ............................................................................................................................................................................50 5.3. Raporun İçeriği .................................................................................................................................................................................................................50 5.4. Raporun Yazımı İle İlgili Diğer Hususlar .......................................................................................................................................................................52 5.5. Raporun Gözden Geçirilmesi .........................................................................................................................................................................................52 5.6. Denetlenen Kurum Görüşünün Alınması ...................................................................................................................................................................53 5.7. Taslak Raporun İlgili Daire ve Kurulda Görüşülmesi .................................................................................................................................................53 5.8. Raporun TBMM ve/veya İlgili Kurumlara Gönderilmesi ve Kamuoyuna Duyurulması ......................................................................................53 6.BÖLÜM: KALİTE KONTROLÜ ve KALİTE GÜVENCESİ .....................................................................................................................................57 6.1. Kalite Kontrolü ve Unsurları ...........................................................................................................................................................................................58 6.1.1. Birinci Aşama Gözden Geçirme .................................................................................................................................................................................58 6.1.2. İkinci Aşama Gözden Geçirme ...................................................................................................................................................................................58 6.1.3. Denetim Ekibi Dışından Gözden Geçirme ..............................................................................................................................................................59 6.2. Kalite Güvence Süreçleri .................................................................................................................................................................................................59 7.BÖLÜM: DENETİM SONUÇLARININ İZLENMESİ .............................................................................................................................................63 7.1. İzlemenin Amaçları ..........................................................................................................................................................................................................63 7.2. İzlemenin Planlanması ....................................................................................................................................................................................................63 7.3. Önerilerin Uygulanmasının Değerlendirilmesi...........................................................................................................................................................64 7.4. İzlemenin Raporlanması .................................................................................................................................................................................................64 8.BÖLÜM: EKLER .....................................................................................................................................................................................................67 Ek 1: Konu Seçimi Puanlama Formu ....................................................................................................................................................................................67 Ek 2: Ön Değerlendirme Toplantısı ......................................................................................................................................................................................68 Ek 3: Risk Analizi Tablosu .......................................................................................................................................................................................................69 Ek 4: Kanıt Toplama Teknikleri ..............................................................................................................................................................................................70 Ek 5: Veri Analiz Teknikleri .....................................................................................................................................................................................................76 Ek 6: İş Planı Formatı ...............................................................................................................................................................................................................80 Ek 7: Denetimin Belgelendirilmesi ve Çalışma Kağıtları ...................................................................................................................................................81 Ek 8: Çalışma Kağıdı Formatı .................................................................................................................................................................................................82 Ek 9: Bulguların Değerlendirmesi Toplantısı ......................................................................................................................................................................83 Ek 10: Rapor Formatı ..............................................................................................................................................................................................................84 Ek 11: Gözden Geçirme Kriterleri .........................................................................................................................................................................................85

ŞEKİLLER LİSTESİ Şekil 1: Girdi, Çıktı ve Sonuç Kavramları ............................................................................................................. 2 Şekil 2: Ekonomiklik, Verimlilik ve Etkinlik Arasındaki İlişki .............................................................................. 5 Şekil 3: Konu Denetiminin Temel Aşamaları ...................................................................................................... 8 Şekil 4: Örnek Konu Teklifi ................................................................................................................................. 17 Şekil 5: Denetim Planlama Süreci ..................................................................................................................... 22 Şekil 6: Denetim Sorularının Belirlenmesi........................................................................................................ 31 Şekil 7: Veri-Bilgi-Denetim Kanıtı İlişkisi............................................................................................................ 40 Şekil 8: Denetim Önerileri Geliştirme Süreci ................................................................................................... 43

DENETİMİN GENEL ESASLARI BÖLÜM 1

1 KONU DENETİMİ REHBERİ Konu denetimi, 6085 sayılı Sayıştay Kanunu ve uluslararası denetim standartlarında yer alan denetim esaslarına göre yürütülen bir denetim faaliyetidir. Bu bölümde denetim yetkisi, denetimin amacı ve konu denetiminde kullanılan temel kavramlara detaylı şekilde yer verilmiştir. 1.1. Konu Denetimi Yetkisi Konu denetiminin amaç ve çerçevesi, 6085 sayılı Sayıştay Kanunu’nun 1 inci ve 6 ncı maddelerinde düzenlenmiştir. h Madde 1; ‘Bu Kanunun amacı; kamuda hesap verme sorumluluğu ve mali saydamlık esasları çerçevesinde, kamu idarelerinin etkili, ekonomik, verimli ve hukuka uygun olarak çalışması ve kamu kaynaklarının öngörülen amaç, hedef, kanunlar ve diğer hukuki düzenlemelere uygun olarak elde edilmesi, muhafaza edilmesi ve kullanılması için Türkiye Büyük Millet Meclisi adına yapılacak denetimleri, (…) düzenlemektir.’ h Madde 6/4; “Sayıştay, kamu idarelerinin hesap, işlem ve faaliyetleri ile mallarını, hesap veya faaliyet dönemine bağlı olmaksızın yılı içinde veya yıllar itibariyle denetleyebileceği gibi sektör, program, proje ve konu bazında da denetleyebilir.” Bu yasal düzenlemeler çerçevesinde yürütülen konu denetimleri, Sayıştay Kanunu’nun 42’nci maddesi kapsamında raporlanır. 1.2. Konu Denetiminin Amacı ve Konu Denetiminde Temel Kavramlar Konu denetimi; iyi yönetimin, şeffaflığın ve hesap verebilirliğin sağlanması amacıyla kamu idarelerinin sistem, program, faaliyet, taahhüt, işlem ve projelerinin tarafsız ve sistematik bir incelemesidir. Konu denetimi etkinlik, verimlilik ve/veya ekonomiklik hedeflerini içerebilen, konusuna göre birden fazla kurumu ve sektörü kapsayabilen ve seçilen alanın derinlemesine incelenmesini sağlayan bir denetim yaklaşımıdır. Denetimler, kurumların faaliyetlerinin iyi yönetim ilkelerine uygunluk açısından denetlenmesini veya yasal çerçevenin denetlenen kurumun performansına etkisini de içerebilir. 1.2.1. Denetimin Amacı Konu denetiminin temel amacı, kamu kaynaklarının elde edilmesi ve kullanımında yasal ve idari düzenlemelere ve iyi yönetim ilkelerine uygunluğun, ekonomiklik ve verimliliğin sağlanıp sağlanmadığı ve idarelerin amaçlarına ulaşma düzeyi hakkında TBMM’ye, kamuoyuna ve kamu idarelerine bağımsız ve tarafsız bilgi sunmak ve kamu idarelerinin iyi yönetim ilke ve uygulamaları çerçevesinde geliştirilmesine katkıda bulunmaktır. Ayrıca konu denetimleri aracılığıyla Sürdürülebilir Kalkınma Amaçlarıyla ilişkili faaliyetler de doğrudan veya dolaylı olarak değerlendirilerek küresel boyutta sürdürülebilir kalkınmanın gerçekleştirilmesine katkı sağlanması hedeflenir. Yukarıda açıklananlar çerçevesinde konu denetiminin hizmet edeceği başlıca amaçlar; h Kamudaki kaynak yönetiminin kalitesini artırmak, h İyi yönetim konusunda kamu yöneticilerini desteklemek, h Kamuda hesap verme sorumluluğunun gelişmesine katkıda bulunmak, h Çevreye duyarlı, sürdürülebilir kalkınmayı teşvik etmek, h Kamu yönetiminde gelişmeyi teşvik etmek, h Maliyetlerin azaltılmasını sağlamak,

2 T.C. SAYIŞTAY BAŞKANLIĞI h Sunulan hizmetlerin kalitesini artırmak, h Yönetim ve organizasyon süreçlerini geliştirmek, h Kurumsal amaçlara maliyet-etkin yöntemlerle ulaşılmasına destek sağlamaktır. 1.2.2. Konu Denetiminde Kullanılan Temel Kavramlar Konu denetimlerinde konuların belirlenmesi, denetimin planlanması, yürütülmesi ve raporlanması aşamalarında dikkate alınacak temel kavramlar aşağıda açıklanmaktadır. Konu denetimlerinde denetimin amacı ve temel denetim sorusu belirlenirken bu kavramlardan biri ya da birkaçı üzerine odaklanılmalıdır. 1.2.2.1. İyi Yönetim İyi yönetim, kamu kurumlarının görevlerini yerine getirirken ve kamu kaynaklarını kullanırken sağlıklı yönetim ilkelerine uygun hareket etmesini gerektirir. Şeffaflık, hesap verebilirlik ve kamu kaynaklarının kullanımında adil ve tarafsız olmak iyi yönetimin temel ilkelerindendir. Şeffaflık, her türlü kamu kaynağının elde edilmesi ve kullanılmasında kamuoyunun zamanında bilgilendirilmesini ifade eder. Hesap verebilirlik ise her türlü kamu kaynağının elde edilmesi ve kullanılmasında görevli ve yetkili olanların; kaynakların etkili, ekonomik, verimli ve hukuka uygun olarak elde edilmesinden, kullanılmasından, muhasebeleştirilmesinden, raporlanmasından ve kötüye kullanılmaması için gerekli önlemlerin alınmasından sorumlu olması ve yetkili kılınmış mercilere hesap vermesi anlamına gelmektedir. Kamu kaynaklarının kullanımında adil ve tarafsız olunması çerçevesinde ise hakkaniyete uygun olarak, ayrım gözetmeksizin hedef grupların çıktılardan/hizmetlerden yararlanması ya da bu çıktılardan/ hizmetlerden dolayı üretilen faydaya herkesin ulaşmasının sağlanması gerekmektedir. Konu denetimlerinde iyi yönetim kavramı faaliyetlerin, projelerin, iş ve işlemlerin iyi yönetim ilkelerine uygun şekilde yerine getirilip getirilmediğinin değerlendirilmesi şeklinde ele alınır. 1.2.2.2. Ekonomiklik Ekonomiklik, maliyetlerin en aza indirilmesidir. Ekonomiklik, fiziksel ve mali kaynaklar kadar insan kaynakları ve bilgiyi de kapsar. Bu açıdan faaliyetler incelenirken, kaynakların uygun zamanda, uygun miktarda, uygun kalitede ve en iyi fiyatla elde edilip edilmediği saptanmaya çalışılır. Şekil 1: Girdi, Çıktı ve Sonuç Kavramları Girdi; bir politika, ürün ya da hizmetin üretimi veya sunulması için gerekli olan beşeri, mali ve fiziki kaynaklardır. Sonuç; kamusal faaliyet, program ya da projelerin doğrudan ürettikleri çıktılar değil, bu çıktıların yol açtığı nihai ve uzun dönemli etkilerdir. Çıktı; kamu idarelerince üretilen mal ve hizmetler veya yapılan tüm işleri ifade etmektedir. Çıktılar genellikle sayılabilen veya ölçülebilen somut şeylerdir. Ameliyat edilen hasta sayısı, verilen pasaport sayısı, yükseköğrenime kabul edilen öğrenci sayısı gibi.

3 KONU DENETİMİ REHBERİ Ekonomiklik kavramı kapsamında, “En uygun girdi en iyi fiyata temin edilebiliyor mu?” sorusuna cevap aranır. Bu kapsamda aşağıdaki hususlar incelenebilir: h Projenin gerçekleştirilmesinde girdiler en uygun fiyata temin ediliyor mu? h Mevcut çıktı daha az maliyetle üretilebilir miydi? h Mal ve hizmet alımında maliyetlerin düşürülmesi için gerekli tedbirler alınmış mıdır? Denetim Amacı Ekonomikliğe İlişkin Denetim Sorusu Sıfır Atık Projesi’nin etkin, ekonomik ve verimli şekilde yönetilip yönetilmediğinin değerlendirilmesi Atık geri dönüşüm tesisleri en uygun fiyata yapılmakta mıdır? Atık geri dönüşümü için yapılan hizmet alımları daha az maliyetle temin edilebilir miydi? Belediyelerde taşınmaz yönetiminin ekonomikliğinin değerlendirilmesi Belediyelerin taşınmaz satın alımına ilişkin tabi olduğu mevzuat en uygun fiyata satın alımı sağlamakta mıdır? 1.2.2.3. Verimlilik Verimlilik, belli bir girdi ile maksimum çıktı elde etmek anlamına gelir. Verimlilik, kullanılan girdilerin sabit kalması koşuluyla belirli bir kalitede en fazla mal veya hizmetin üretilmesi ya da belirli bir miktar ve kalitedeki mal ve hizmeti üretmek için en az miktarda girdi kullanılmasıdır. Verimlilik kavramı kapsamında, “Faaliyetlerimizden nitel ve nicel olarak en fazla çıktıyı alabiliyor muyuz?” sorusunun cevabı aranır. Bu soru sunulan hizmetler ve gerçekleşen faaliyetlerin kalitesi ve miktarı (çıktı) ile bunları üretmekte kullanılan kaynakların maliyeti (girdi) arasındaki ilişkiyi yansıtır. Bu kapsamda aşağıdaki hususlar incelenebilir; h İnsan kaynaklarının, mali ve diğer kaynakların verimli kullanılıp kullanılmadığı, h Kamusal programların ve kurumsal faaliyetlerin verimli yönetilip yönetilmediği, h Kamusal programların hedeflerinin maliyet etkin bir şekilde gerçekleşip gerçekleşmediği, Denetim Amacı Verimliliğe İlişkin Denetim Sorusu Üniversite hastanelerinin acil serviste sunduğu sağlık hizmetlerinin verimliliğinin ve etkinliğinin değerlendirilmesi Sunulan hizmetlerin kalitesi daha az sayıda ekipman ve personel ile sağlanabilir mi? Belediye gelirlerinin tahsilat oranlarının artırılmasına yönelik tedbirlerin incelenmesi Halihazırda kullanılan kaynaklarla daha fazla gelir tahsilatı yapılması mümkün müdür? 1.2.2.4. Etkinlik Etkinlik, hedeflere ulaşma derecesini ve istenilen etki ile gerçekleşen etki arasındaki ilişkiyi ifade eder. Aynı zamanda etkinlik amaçlar ve çıktılar ile sonuçlar arasındaki ilişkiyi de ifade eder. Etkinlik incelenirken girdi, çıktı ve sonuçları göz önünde bulundurmak gerekir. Etkinlik incelenirken; h “Öngörülen amaç ve hedeflere ulaşılmış mıdır?” h “Ortaya çıkan etkiler diğer koşullardan ziyade incelenen ve uygulanan politikaların sonuçları mıdır?” sorularına cevap aranır.

4 T.C. SAYIŞTAY BAŞKANLIĞI Denetimin Amacı Etkinliğe İlişkin Denetim Sorusu Okul öncesi eğitim faaliyetlerinin değerlendirilmesi Okul öncesi eğitim faaliyetlerine ilişkin belirlenmiş olan ulusal ve kurumsal hedefler gerçekleştirilmiş midir? Üniversiteler aracılığıyla yürütülen araştırma projelerinin verimlilik ve etkinliğinin değerlendirilmesi Araştırma projeleri ile istenilen sonuçlar elde edilebilmekte midir? Politika hedeflerine ulaşılıp ulaşılmadığı ve hedeflere ulaşılmış ise başarının izlenen politika sonucunda gerçekleşip gerçekleşmediği sorgulanır. Etkinlik konusu politikaya çok yakın olup, denetçiler politikalarla değil, politika araçlarının seçimi ve bunların uygulanması ile ilgilidirler. Geniş kapsamlı bir yargıya varmak için faaliyet ya da programın uygulama öncesiyle sonrasının kıyaslanması gerekir. Denetçiler etkinlik değerlendirmesi için çıktılar veya etkiler ile politika amaçlarını da kıyaslayabilirler. Bu yaklaşım genelde “amaç - başarı analizi“ olarak adlandırılır. Bu kapsamda aşağıdaki değerlendirmeler yoluyla da yargıya ulaşılabilir: h Stratejik yönetim dokümanlarının açık ve tutarlı hazırlanıp hazırlanmadığı, h Kamu kurumlarının faaliyetlerinin öngörülen amaç ve hedeflerle uyumlu olup olmadığı, h Programın/projenin uygulanmasındaki kurumsal yapının, karar alma süreçlerinin ve yönetim sistemlerinin etkin olup olmadığı, h Programın/projenin diğer ilgili programlarla örtüşüp örtüşmediği, bu programları tamamlayıp tamamlamadığı ya da bu programları engelleyip engellemediği, h Uygulanan program ve projeler sonucunda amaç ve hedeflere ulaşılıp ulaşılmadığı, h Amaç ve hedeflere ulaşılmasını engelleyen faktörlerin neler olduğu, h Programın, projenin ve faaliyetin etkinliğini ölçen, izleyen ve raporlayan sistemin yeterliliği. h Kısa vadede tüm vatandaşların kanser taramasından geçirilmesi suretiyle kanserli hasta sayısının tespit edilmesi ve nedenlerinin ortaya konulması, uzun vadede erken teşhis ve tedavi ile kanserli hasta sayısının kabul edilebilir oranlara indirilmesi. Tüm hastaların uygun kalite ve sürede tedavi görmelerinin sağlanması. h Yeni destek sisteminin tarımsal üretimi ve çiftçilerin gelir seviyesini öngörülen düzeyde artırması. h Kameralı hız denetimlerinin uygulanması neticesinde hızdan kaynaklı trafik kazalarının azalması. ÖRNEK 1.2.2.5. Ekonomiklik, Verimlilik ve Etkinlik Arasındaki İlişki Verimlilik, ekonomiklik ve etkinlik, birbirleriyle sıkı ilişki içinde olan kavramlardır. Ekonomik davranılması verimlilik artışına yol açar; verimlilik ise etkinliğin sağlanmasında önemli bir göstergedir. Ancak bu ilişkilerde verimlilik, ekonomiklikten; etkinlik de ekonomiklikten ve verimlilikten daha geniş kavramlardır. Uygulamada bunların her zaman birbirini pozitif yönde etkilemeyebileceği, zaman zaman bunlar arasında çatışma meydana gelebileceği unutulmamalıdır.

5 KONU DENETİMİ REHBERİ Uygulamada bu üç kavramın aralarındaki sınırların net bir şekilde ayrılması mümkün olmayabilir. Bu nedenle denetçilerin bu üç kavramı birbirinden kesin olarak ayırmaya çalışmak yerine denetim konusunu oluşturan süreçlere ve bu alandaki eksiklere ya da yetrsizliklere odaklanması gerekir. Denetim alanındaki sorunların tespitinde ve denetim yaklaşımının oluşturulmasında öncelikle kamusal hizmetlerde kullanılan girdi ve çıktılar; ulaşılan sonuçlar ve oluşan etkiler tespit edilmelidir. Şekil 1’de ekonomiklik, verimlilik ve etkinlik arasındaki ilişki gösterilmektedir. Şekil 2: Ekonomiklik, Verimlilik ve Etkinlik Arasındaki İlişki KURUMSAL HEDEFLER GİRDİLER EKONOMİKLİK VERİMLİLİK ETKİNLİK KURUMSAL FAALİYET VEYA SÜREÇLER ÇIKTILAR ETKİ 1.2.2.6. Konu Denetiminde Diğer Kavramlar Konu denetimi kapsamında çevre, adalet (eşitlik) ve etik konuları da incelenebilir. Önemli bir kamu kaynağı olarak algılanan ve küresel kamu malları arasında ilk sırayı alan çevrenin
belirli kurallar çerçevesinde ve sürdürülebilir bir şekilde kullanılmasının gereği olarak çevre meselesi konu denetimi kapsamında incelenebilir. Özellikle vatandaş ilgisi ve faydası anlamında oldukça önemli olan çevre konusunun konu denetimleri aracılığıyla ele alınması, çevreyle ilgili yürütülen faaliyet ve projelerin bu kapsamda denetlenmesi Sayıştayın kamu yönetimine ve topluma katkısnın artmasını sağlayacaktır. Adalet, diğer bir ifadeyle eşitlik de konu denetimindeki denetim alanlarından birisi olabilir. Adalet kavramı herkese adil davranılması, kamu politikalarının uygulanmasında eşitliğin gözetilmesi ve dezavatajlı grupların korunması gibi hususları içerir. Kamu politikalarının uygulanması konu denetimleri aracılığıyla bu bakış açısıyla değerlendirilebilir. Uluslararası düzeyde kabul gören iç kontrol sisteminin önemli yapı taşları arasında etik değerler de yer almaktadır. Kişisel davranışlarda doğruluk ve dürüstlük ilkelerine riayet edilmesi ve kamu yöneticilerinin görev bilinci ile hareket etmeleri etik değerler kapsamında ele alınır. Konu denetiminin bir unsuru olarak etik; yönetimin, kamu görevlerinin kaynakları dürüst biçimde kullanmalarını güvence altına alacak prosedürler oluşturup oluşturmadığının değerlendirilmesini içerir.

6 T.C. SAYIŞTAY BAŞKANLIĞI 1.3. Denetim Yaklaşımları Genel denetim yaklaşımı, yapılacak incelemenin mahiyetini belirleyen temel unsurdur. Konu denetimi, genellikle aşağıdaki üç yaklaşımdan birini veya bunların bir bileşimini izler: h Yönetim sistemlerinin düzgün işleyip işlemediğini inceleyen sistem odaklı yaklaşım, h Hedeflerin planlandığı gibi gerçekleştirilip gerçekleştirilmediği veya program ve hizmetlerin planlandığı gibi yürütülüp yürütülmediğini değerlendiren sonuç odaklı yaklaşım, h Belirli sorunların nedenlerini veya kriterlerde görülen sapmaları inceleyen, doğrulayan ve analiz eden sorun odaklı yaklaşım. Sistem odaklı yaklaşım, politika veya hedeflerden ziyade etkili, verimli ve iyi işleyen bir yönetim sisteminin var olup olmamasına odaklanan bir yaklaşımdır. Bu sistemlere örnek olarak mali yönetim sistemleri, kontrol sistemleri veya bilişim sistemleri verilebilir. Bu yaklaşımda aşağıdaki sorular kullanabilir: a) Sistemin amacı nedir? b) Sistemdeki sorumlular kimlerdir? c) Her sorumluya atfedilen sorumluluklar nelerdir? d) Sistemle ilgili hangi yasa, düzenleme ve prosedürler vardır? e) Bilgi akışı nasıl sağlanmaktadır? f) İyi bir kalite kontrol sistemi var mı? g) Planlama ve izleme üst yönetime hesap verebilirliği sağlayacak şekilde sistematik bir şekilde yapılmakta mıdır? Sonuç odaklı yaklaşım, daha çok gerçekleşmenin ne olduğu, hangi sonuçlara ulaşıldığı, gereklilikler veya hedeflere ulaşılıp ulaşılamadığı sorularını ele alır. Bu yaklaşımda denetçi, gerçekleşme, çıktı ve sonuçları inceler ve bunları politika, amaç ve hedeflere dayanan kriterler ile ilişkilendirir. Bu nedenle sonuç odaklı yaklaşımın izlendiği konu denetiminde bulgular çoğunlukla kriterlerden sapma şeklinde olacaktır. Varsa öneriler, bu tür sapmaların giderilmesine yönelik geliştirilecektir. Bu yaklaşımda aşağıdaki sorular kullanılabilir: a) Hangi sonuçlara ulaşılmıştır? b) Amaçlara ulaşılmış mıdır? c) Proje kapsamında yapılacak faaliyetler hedeflere ulaşılmasını sağlayacak nitelikte ve uygulanabilir özellikte midir? d) Proje kapsamında yürütülen faaliyetler izlenip değerlendiriliyor mu? Sorun odaklı yaklaşım öncelikle var olan bir sorunun doğrulanması ve sorunun analizi ile ilgilidir. Bir başka deyişle başlangıç noktası olarak bir sorun bulunmaktadır veya olması gerekenden ya da olması muhtemel olandan “bilinen” bir sapma söz konusudur. Daha çok, sorunların ne olduğu, nedenleri, sorumluların sorunları ne ölçüde çözebileceği, eğer varsa sorunun çözülmesine ilişkin geliştirilen politikalar ile ilgilenir. Denetim kriterleri, sonuç odaklı yaklaşımda olduğundan daha az öneme sahip olmakla birlikte genelde sorunlar, denetim için başlangıç noktası olarak kullanılır. Denetimin temel amacı, belirtilen sorunların varlığını doğrulamak ve nedenlerini farklı açılardan analiz etmektir (örneğin politika veya programların yasal düzenlemelere uygun yürütülmesi, verimlilik, etkinlik ve ekonomikliğine ilişkin sorunlar).

7 KONU DENETİMİ REHBERİ Bu yaklaşımda denetim sorularına cevap verme tekniği uygulanabileceği gibi belirtilen hipotezleri test etmeye de odaklanılabilir ve önemli olabilecek muhtemel tüm sebepler göz önünde bulundurulur. Dolayısıyla, ciddi ve doğrulanmış sorunlara yol açtığı kanıtlanabiliyorsa, mevcut idari ve yasal düzenlemelerin ve izlenen politikaların yapısında değişikliğe gidilmesine ilişkin öneriler de bu yaklaşım sonucunda ortaya konulabilmektedir. Bu yaklaşımda aşağıdaki sorular kullanılabilir: a) Sorunlar gerçekleşmiş midir? b) Sorunların nedenleri nelerdir? c) Muhtemel sebep ve sonuçlar nelerdir? Denetçiler, doğru bir denetim tasarımı oluşturmak için sonuç, sorun veya sistem odaklı bir yaklaşım veya bunların bileşiminden oluşan bir yaklaşım kullanabilir. Muhtemel denetim konularına göre seçilebilecek denetim yaklaşımı örnekleri aşağıdaki tabloda gösterilmektedir. DENETİM KONULARI VE YAKLAŞIM Denetim Konusu Temel Soru Denetim Yaklaşımı Sürdürülebilir Kalkınma Amaçları (SKA)’nın gerçekleştirilmesine yönelik hazırlık süreçlerinin değerlendirilmesi SKA’ların gerçekleştirilmesine yönelik hazırlık süreçleri sürecin etkin şekilde yönetilmesine imkan tanımakta mıdır? SİSTEM ODAKLI YAKLAŞIM SKA’ların gerçekleştirilmesini, gerçekleşmelerin takip edilerek raporlanmasını sağlayan bir sistemin varlığı ve sistemin etkinliği değerlendirileceği için Okul Öncesi Eğitim Faaliyetleri MEB tarafından yürütülen okul öncesi eğitim faaliyetleri uluslararası, ulusal ve kurumsal hedeflere ulaşılmasını sağlamakta mıdır? SONUÇ ODAKLI YAKLAŞIM Denetim okul öncesi faaliyetlerinin önceden belirlenmiş amaç ve hedeflere ulaşmasındaki başarıyı değerlendireceği için Belediyelerde Borç Yönetimi Büyükşehir belediyeleri borçlarını yasal düzenlemelere uygun ve etkin şekilde yönetebilmekte midir? SORUN ODAKLI YAKLAŞIM Belediyelerin borç yönetimi konusunda gerek hukuki düzenlemelere uygunluk gerekse sürdürülebilirlik konularında sorun yaşadığı bilindiğinden ve denetim bu sorunlara ve çözümlerine odaklanacağından

8 T.C. SAYIŞTAY BAŞKANLIĞI 1.4. Konu Denetimi Süreci Şekil 3: Konu Denetiminin Temel Aşamaları Denetim Konusu Seçimi Taslak Raporun Hazırlanması Raporun Rapor Değerlendirme Kurulunda Görüşülmesi TBMM ve/veya Denetlenen Kuruma Gönderilmesi KALİTE GÜVENCESİ VE KALİTE KONTROL Denetlenen Kurumla Mutabakat Raporun Dairede Görüşülmesi Denetim Sonuçlarının İzlenmesi Planlama Uygulama Denetimde ilk adım, hangi konuların denetleneceğinin belirlendiği konu seçimi aşamasıdır. Bu aşamada, muhtemel denetim konuları analiz edilerek önem sırasına göre sıralanır. Bu sıralama dikkate alınarak Başkanlık tarafından seçilen denetim konuları yıllık denetim programı aracılığıyla belirlenir. Konu seçiminde Sayıştay’ın önceki yıllara ait düzenlilik denetimi raporlarında yer alan ancak kamu idareleri tarafından düzeltilemeyen hususlar ve düzenlilik denetimi ekiplerinin önerileri de dikkate alınır. Konuların denetim programına alınmasının ardından denetim ekiplerinin görevlendirilmesiyle planlama süreci başlar. Planlama aşamasında denetimin kapsamı, muhtemel denetim riskleri, bu riskleri azaltacak tedbirler, denetim için gerekli kaynaklar, muhtemel denetim bulguları ve öneriler belirlenir. Planlama, konu hakkında daha fazla bilgi toplamayı gerektirir. Denetim planının hazırlanması öncesinde ön değerlendirme toplantısı yapılır (EK 2: Ön Değerlendirme Toplantısı). Ön değerlendirme toplantısında taslak denetim sorularının Başkanlık tarafından onaylanmasının ardından denetimin detaylarını içeren ve uygulama aşamasında yürütülecek çalışmaları belirleyen bir denetim planı hazırlanır. Konu denetiminde uygulama aşaması, denetim planının uygulanmasını; yeterli düzeyde, uygun ve güvenilir kanıtların, nitel ve nicel analiz yöntemleri de kullanılmak suretiyle elde edilmesi ve belgelendirilmesini; denetim bulgularının, ulaşılan sonuçların ve önerilerin formüle edilmesini içerir. Rapor taslağı hazırlanmadan önce denetim ekiplerince sonuç raporu hazırlanır ve bulguların değerlendirilmesi toplantısında görüşülür.

9 KONU DENETİMİ REHBERİ Sonuç raporunun Başkanlık tarafından onaylanmasının ardından, rapor taslağının oluşturulması gerekmektedir. Denetimin her aşamasında, tutarlı ve katma değer sağlayacak bir rapor üretmeye odaklanılması gerekmektedir. Rapor yazma süreci, denetim sonuçlarının test edilmesi ve gözden geçirilmesinin sürdürülmesi olarak görülmelidir. Kalite, denetlenen kurum ve faaliyetlere ilişkin sistemlerin, süreçlerin ve uygulamaların kalitesini geliştirmeyi amaçlayan konu denetimlerinin kendi iç süreçlerinde de dikkate alınmalıdır. Denetimin tüm süreçlerinde ve özellikle nihai çıktısı olan denetim raporunda belirli bir kaliteye ulaşmak amacıyla yürütülen faaliyetler özel bir öneme sahiptir. Kaliteyi sağlayan temel unsurlar, denetim ekibinin çalışmalarında ve çıktılarında kaliteyi artırmak üzere gerçekleştirdiği her türlü kontrol çalışması, denetim ekibinin hiyerarşik üstleri tarafından yapılan gözetimler ve bunlar dışında yer alan kurum içi kalite değerlendirme faaliyetleridir. Kalitenin sağlanması bakımından denetlenen kurumun görüşünün alınması ve kurum içinde gerçekleşen gözden geçirme aşamaları büyük önem taşır. Denetlenen kurumla mutabakat sağlanması ve raporun kurum içi kalite kontrol değerlendirmelerine tabi tutulmasında amaç, bulgu ve yargılara ilişkin hataları belirlemek ve sonuç ve önerileri tartışmaktır. Bu aşamalar yüksek kalite standartlarına sahip rapor üretmeyi sağlar. Denetim Raporu TBMM ve/veya ilgili kamu idaresine sunulur. Raporun sunulmasının ardından denetimin etkilerini ve denetim önerilerinin denetlenen kurumlarca uygulanması sonucunda gözlenen gelişmeleri raporlama amacıyla yürütülen izleme süreci başlatılır. İzleme süreci, gerçekleştirilen denetimin kamu yönetiminde yol açtığı gelişmeler hakkında geribildirim sağlar.

DENETİM KONULARININ SEÇİMİ BÖLÜM 2

13 KONU DENETİMİ REHBERİ Hangi konuların denetleneceğinin belirlenmesi, kurumsal planlama sürecinin bir parçasıdır. Bu süreçte, denetim konularının önemli, denetlenebilir ve Sayıştay’ın yetki alanına uygun olması gerektiği göz önünde bulundurulmalıdır. Konu seçim sürecinde, denetim kapasitesi (örneğin insan kaynakları ve mesleki beceriler) dikkate alınarak denetimden beklenen etkiyi en üst düzeye çıkarmak hedeflenmelidir. Denetim konularının seçiminde ve önceliklendirilmesinde uygulanacak temel aşamalar şunlardır: h Yıllık denetim programı hazırlanması çalışmaları sırasında, Başkanlık tarafından görevlendirilen veya gönüllü olan denetim grupları tarafından Denetim Stratejik Planı ve önceki yıl denetim sonuçları da dikkate alınarak belirlenen veya Başkanlık önerisiyle seçilen alanlarda genel araştırma yapılması ve denetim konu teklifleri oluşturulması (önceki yıllarda yapılan konu denetim raporlarından izlemeye alınacak olanlar için de konu teklifi oluşturulabilir), h İlgili destek grubu tarafından gruplardan gelen konu tekliflerinin derlenmesi, önceliklendirilmesi ve riskli alan/sektör raporuna konu tekliflerinin dahil edilmesi, h Riskli alan/sektör raporunda yer alan konu tekliflerinin sıralaması da dikkate alınarak Başkanlık tarafından seçilmesi ve bunların Denetim Stratejik Planı’na uygun şekilde yıllık denetim programına eklenmesi. 2.1. Konu Tekliflerinin Hazırlanması 2.1.1. Genel Araştırma Denetim konularının belirlenmesi için öncelikle denetim grupları tarafından genel araştırma yapılarak konu tekliflerinin hazırlanması gerekir. Genel araştırma Başkanlık tarafından görevlendirilen denetim grupları ve/veya denetim programına sunulmak üzere konu teklifi hazırlamak isteyen denetim veya destek grupları tarafından yapılır. Başkanlık yıllık denetim programının hazırlanmasından makul bir süre öncesinde gerek gördüğü sayıda denetim grubunu genel araştırma yapması amacıyla görevlendirebilir. Görevlendirme yapılırken denetim gruplarının çalışma ve uzmanlık alanları dikkate alınır. Kendi isteğiyle konu teklifi hazırlamak isteyen grupların da denetim programının hazırlanmasından makul bir süre önce tamamlaması gerekir. Genel araştırma yaparken denetim alanlarının ve konularının incelenmesinde, denetime tabi kurumların temel fonksiyonlarının, sahip olduğu kaynakların, başlıca faaliyetleri ile yürüttükleri program ve projelerin araştırılması ve kurumlara ilişkin bir veri havuzunun oluşturulması büyük önem taşır. 2.1.2. Konu Teklifinin Hazırlanması Genel araştırma sürecinin ardından hazırlanan konu teklifleri, aşağıdaki temel bilgileri içerecek şekilde düzenlenmelidir: h Denetimin amacı/ muhtemel temel soru h Konu hakkında bilgi (ilgili kamu idareleri, süreçler ve kaynaklar, konuyla ilgili amaç ve hedefler vb.), h Önemlilik, h Sorunlu ve riskli alanlar, h Denetlenebilirlik. Konu teklifleri grup başkanlarınca gözden geçirildikten sonra denetim programının hazırlanmasından sorumlu Destek Grubuna sunulur. Destek Grubu iletilen konu tekliflerini derleyerek ve Ek 1’de yer alan form aracılığıyla önceliklendirerek Riskli Alan/Sektör Raporuna ekler ve Başkanlığa sunar. Başkanlık; sunulan konu teklifleri arasında değerlendirme yapar ve mevcut kaynakları dikkate alarak hangi konuların denetleneceğini kararlaştırır ve bunlara yıllık denetim programında yer verir.

14 T.C. SAYIŞTAY BAŞKANLIĞI 2.1.2.1. Denetimin Amacı/ Muhtemel Temel Soru Konu teklifi hazırlanırken öncelikle denetimin amacının belirlenmesi gerekir. Konu teklifini hazırlayanlar söz konusu alanda denetim yapılması ile ne amaçlandığını veya denetim kapsamında cevaplanması öngörülen soruyu (temel soru) belirlemelidir. Bu aşama, denetimin amacının detaylı şekilde belirlenmesi için erken olduğundan teklif edilen denetim konusu için genel nitelikte bir amaç ya da soru belirlenmesi daha uygun olacaktır. Konu denetimlerinde genellikle denetimin amacı temel soru ile örtüşmektedir. Bu nedenle konu tekliflerinde ikisinden birisine yer verilmesi yeterlidir. Önemli olan teklif edilen konuyla ilgili yapılacak denetim ile amaçlanan hususun açıkça belirtilmesidir. 2.1.2.2. Konu Hakkında Bilgi Bu aşamada konu önerisi hakkında genel bilgi edinilir. Konu hakkında bilgi edinilmesi sürecinde konunun tanınması ve anlaşılması için araştırma yapılır, denetim kapsamında olması muhtemel kurum, kuruluş, proje, faaliyet, sistem ve işlemler belirlenir ve bunlar hakkında ilgili olduğu düşünülen bilgiler bir araya getirilir. Denetim alanındaki her bir kurum, sistem, program, taahhüt, faaliyet, işlem ve projeyi anlamak için bunların gerçekleştirildiği ortamın önemli yönlerinin belirlenmesi, ayrıca birden fazla kurumu ilgilendiren hususların da karşılaştırmalı olarak incelenmesi gerekir. Denetim alanı olarak bir projenin seçilmesi durumunda projelerin tamamlandıktan sonra denetlenebileceği gibi projenin uygulanması aşamasında da konu denetimine tabi tutulabileceği unutulmamalıdır. Bu çerçevede temel olarak, Kurumların; h Amaç, hedef ve faaliyetleri, h Gelirleri, harcamaları, varlık ve kaynakları, h Yasal çerçevesi ve faaliyette bulunduğu ortam, h Organizasyon yapısı incelenmelidir. Taahhütlerin; h Amaç ve hedefleri ile yasal düzenlemelerin bu amaç ve hedeflerle örtüşüp örtüşmediği kontrol edilmelidir, h Taahhüt kapsamında yapılan faaliyetlerin taahhüdün amaç ve hedeflerine uygun olup olmadığı değerlendirilmelidir, h Taahhüt kapsamındaki kurumların görevleri hakkında bilgi sağlanmalıdır. Sistemlerin; h Sistemi oluşturan öğelerin sistem içindeki rolleri ve faaliyetleri hakkında bilgi edinilmelidir. h Sistemin iç kontrol süreçleri, kullandığı kaynakların kalitesi ve yeterliliği hakkında değerlendirme yapılmalıdır. h Sisteme ilişkin iyi uygulama örnekleri araştırılmalıdır.

15 KONU DENETİMİ REHBERİ İşlemlerin; h İşlemin gerçekleştirilme amaç ve hedefleri belirlenmelidir. h İşlemi gerçekleştirenin yetkisi ve bu yetkinin alternatif makamlarca gerçekleştirilmesi üzerinde değerlendirmelerde bulunulmalıdır. h İşlemin gerçekleştirilmesinde yasal düzenlemelerin aradığı şekil şartları gözetilmelidir. h İşlemin yapılmasından öncesi ve sonrası hakkındaki değişimler üzerinde bilgi sağlanarak, maddi düzendeki değişikliklerin işlemin amaç ve hedeflerine uygun olup olmadığı kontrol edilmelidir. Program, Faaliyet ve Projelerin; h Amaç ve hedefleri ile yasal düzenlemelerin öngördüğü amaç ve hedeflerle örtüşüp örtüşmediği kontrol edilmelidir. h Program, faaliyet ve projeye ilişkin aktarılan kaynaklar ve yapılan harcamalar araştırılmalıdır. h Program, faaliyet ve projelerin iyi uygulama örnekleri araştırılmalıdır. Bu aşamada kurumların stratejik yönetim kapsamında hazırlanan belgelerine (stratejik plan-eki eylem planı, performans programı, faaliyet raporları vb.), iç ve dış denetim raporlarına, ilgili alandaki araştırmalara ve akademik çalışmalara bilgi kaynağı olarak başvurulabilir. 2.1.2.3. Önemlilik Bir konu hakkındaki bilgilerin hedef kullanıcıların kararlarını etkilemesi muhtemelse bu konu önemli olarak değerlendirilebilir. Önemliliğe karar verilmesi, mesleki yargı meselesidir ve denetçinin kullanıcıların ihtiyaçlarını yorumlamasına dayalıdır. Önemliliğe ilişkin kararlar; denetim prosedürlerinin niteliği, zamanlaması ve kapsamına ilişkin kararları ve denetim sonuçlarının değerlendirilmesini etkiler. (ISSAI 100:41) Konu denetimlerinde mümkün olan en yüksek katma değerin sağlanabilmesi için denetim konusunun hem mali hem de sosyal ve politik yönlerinin dikkate alınması gerekir. Bir denetim konusunun önemi, etkilerinin büyüklüğü çerçevesinde değerlendirilmelidir. Konu denetimlerinde konu, parasal değer açısından önemlilik değerlendirmesine tabi tutulabilir ancak önemlilik sadece parasal büyüklük olarak düşünülmemelidir. Kamu sektörünün stratejik ve sosyal önemi olan birçok alanla ilgili sorumluluğu da bulunmaktadır. Bunun yanında belli alandaki kamu harcamalarının ve gelirlerin büyüklüğü az olsa bile, o alan ülke ekonomisi ya da vatandaş ilgisi açısından büyük öneme sahip olabilir. Örneğin; doğal kaynaklar, çevre ve toplum açısından yaşamsal bir öneme sahiptir. Bu nedenle mali boyutuyla ele alındığında önemsiz olarak değerlendirilebilecek bir konu çevresel boyutuyla kamuoyu ve vatandaş için oldukça önemli olabilir.

16 T.C. SAYIŞTAY BAŞKANLIĞI Muhtemel konuların önemliliğinin değerlendirilmesinde Yüksek Denetim Kurumları için büyük öneme sahip olan “ISSAI 12 Yüksek Denetim Kurumlarının Değer ve Faydaları” adlı denetim standardı da dikkate alınmalıdır. ISSAI 12, denetimler aracılığıyla sosyal önemi yüksek konulara odaklanılmasını ve vatandaşın ihtiyacına cevap verilmesini vurgulamaktadır.Bu bağlamda Sayıştay’ın denetimleri aracılığıyla değişen çevrelere ve ortaya çıkan risklere duyarlı olmasını, paydaşlarıyla etkin iletişim kurmasını ve sürdürmesini, kamu sektöründeki faydalı değişimi destekleyecek şekilde yol gösterici olmasını sağlayacak konuların nitelik olarak önemli olduğu değerlendirilmelidir (ISSAI 12: İlke 5, İlke 6, İlke 7). Ayrıca önemlilik değerlendirmesi yapılırken dikkate alınması gereken bir diğer husus konunun sürdürülebilir kalkınma amaçlarıyla bağlantısıdır. Sürdürülebilir kalkınma amaçlarıyla doğrudan ilişkili olan konuların önemli olarak değerlendirilmesi gerekir. Önemlilik konusunda bir diğer faktör konunun güncelliğidir. TBMM gündemini meşgul eden tartışmalar ve kamu kurumları hakkında basında çıkmış olan haber ve araştırmalar sorunlu ve öncelikli denetim alanlarının tespitinde önemli mesajlar içerir. 2.1.2.4. Sorunlu ve Riskli Alanların Belirlenmesi Bir kurum, program, faaliyet, taahhüt, işlem ya da projeyle ilgili risklerin ve sorunlu alanların ortaya konulması, denetim kararlarının alınmasına dayanak oluşturacak ve öncelikli denetim konularının belirlenmesinde yardımcı olacaktır. Risklerin belirlenmesi doğal olarak konudan konuya farklılık gösterir. Yüksek riskli alanların ortaya çıkarılmasında kullanılabilecek her durum için geçerli bir formül yoktur. Ancak, bazı faktörler riskin varlığına işaret edebilir. Örneğin; h Bir faaliyetle ilgili mali kaynakların (bütçe ve diğer) büyüklüğü ya da bu kaynak veya ödenek miktarlarındaki önemli değişiklikler, h Genel olarak yapıları gereği riskli kabul edilen alanlar (satın alma, teknoloji, çevre, sağlık sorunları vb.), h Bir program ya da faaliyetle ilgili güvenilir ve güncel bilgilere ulaşılamama, h Daha önce incelenmemiş alanlar, h Projelerin yürütülmesinde ortaya çıkan önemli maliyet artışları ve hedeften sapmalar, h Muhasebe veya iç kontrol sistemlerinin yetersizliği. 2.1.2.5. Denetim Riski/Denetlenebilirlik Denetim riskinin değerlendirilmesi için denetimin yapılabilir olup olmadığının dikkate alınması gerekir. Bu bağlamda konuyla ilgili olarak ihtiyaç duyulan bilgi ve kanıtların elde edilebilirliği ve bu bilgilerin güvenilirliği irdelenir. Ayrıca denetim için gerekli mesleki bilgi ve becerilere sahip personel temini ve zamanlama gibi faktörler de değerlendirmede dikkate alınır. Bu aşamada aşağıdaki soruların yanıtları aranmalıdır: h Denetimi yapmak için doğru zaman mı? Bu soru çerçevesinde denetçiler, denetlenen faaliyet alanındaki son düzenlemeleri ve Sayıştay’ın saygınlığını etkileyebilecek hususları irdeler. Bunun yanı sıra denetim sonuçlarının açıklanmasının zamanlama açısından uygun olup olmadığını ve faydalı bir etki doğurup doğurmayacağını değerlendirmelidir. h Denetimi gerçekleştirmek mümkün mü? Denetçiler, çalışma konusuna ilişkin ilgili ve kayda değer bilgi ve kanıtların elde edilmesi, toplanması ve analiz edilmesinin zamanında ve makul bir şekilde gerçekleştirilmesinin mümkün olup olmaması gibi faktörleri dikkate almalıdır. Konu teklifi formatına ve içeriğine ilişkin varsayımsal olarak hazırlanmış bir örnek Şekil 4’de gösterilmektedir.

17 KONU DENETİMİ REHBERİ Şekil 4: Örnek Konu Teklifi KONU DENETİMİ TEKLİFİ Denetimin amacı: Sıfır atık projesinin SKA 11’in gerekliliklerinin yerine getirilmesine sağladığı katkının değerlendirilmesi. Konu hakkında bilgi: Sıfır atık projesi ulusal olarak uygulamaya konulmuş, 11. Kalkınma Planında da ilgili hedef ve tedbirleri bulunan bir projedir. Proje 2017 yılının Ekim ayında başlatılmıştır ve 2023’e kadar aşamalı olarak tüm Türkiye’de hayata geçirilmesi hedeflenmektedir. Projenin hayata geçirileceği alanlar: kamu kurum/ kuruluşları, alışveriş merkezleri, hastaneler, eğitim kurumları, eğlenme ve dinlenme tesisleri ile büyük iş yerleridir. Çevre ve Şehircilik Bakanlığı projenin ana yürütücüsüdür. SKA’lar ise BM tarafından belirlenen ve 2015-2030 yılları arasında uygulanması öngörülen küresel hedeflerdir. Dünya genelinde YDK’lar SKA’ların gerçekleştirilmesine katkı sağlamak amacıyla bu alanda denetimler yürütmektedir. Bu bağlamda söz konusu denetim, ulusal bir politika niteliğinde olan Sıfır Atık Projesinin SKA’larla ilişkisini ve ilgili olduğu SKA’nın gerçekleştirilmesine ne ölçüde katkı sağladığını değerlendirecektir. Önemlilik: Çevresel etkisi bakımında sıfır atık projesi önemlilik arz etmektedir. Aynı zamanda ulusal ölçekte bir proje olması ve vatandaşlardan, özel sektöre, kamu kurumlarına kadar birçok kişiyi ve kuruluşu etkilemesi açısından önemli olduğu düşünülmektedir. Bunun yanısıra uygulanması için önemli miktarda mali kaynağa ihtiyaç duyulduğundan mali önemliliği de bulunmaktadır. SKA’larla doğrudan ilişkili olması, aynı zamanda Kalkınma Planı ile de bağlantılı olması konunun önemini artırmaktadır. Sorunlu ve riskli alanlar: Sıfır atık projesinin oldukça kapsamlı bir proje olması ve proje hedeflerinin iddialı olması projenin gerçekleştirilebilirliğini etkileyen bir risk olarak değerlendirilmektedir. Projenin gerçekleşmelerinin izlenmesini sağlayacak doğru ve uygun veri üretimi ve veri toplama çalışmalarının yeterli olmadığı ve bu alanlarda da riskler bulunduğu anlaşılmaktadır. Aynı zamanda mali anlamda yeterli kaynak ayrılamaması riski de projenin başarısını olumsuz yönde etkileyebileceğinden dikkate alınmalıdır. Türkiye’de atık yönetimi konusunda farkındalık seviyesinin düşük olması da projenin riskli alanlarından birisidir. Denetlenebilirlik: Projenin uygulamaya geçirilmesinin üzerinden makul bir süre geçmiş olması denetim için zamanlamanın uygun olduğunu göstermektedir. Diğer yandan projenin çok geniş ölçekli bir proje olması denetimin kapsamının daraltılmaması ve uygun şekilde belirlenmemesi halinde denetimin amaçlanan sonuçlara ulaşamamasına sebep olacaktır. Bu nedenle denetimin kapsamı belirlenirken denetim kaynakları ve denetim amacı dikkatlice değerlendirilmelidir. Zamanlama ve denetimin yaratacağı muhtemel etki açısından düşünüldüğünde denetim riskinin düşük olduğu ancak kapsamın belirlenmesi konusunda detaylıca çalışılması gerektiği değerlendirilmektedir. 2.2. Konu Tekliflerinin Önceliklendirilmesi Hazırlanan konu teklifleri ilgili destek grubuna gönderilir. Destek grubu iletilen tüm konu tekliflerini yıllık denetim programına esas olmak üzere hazırlanan Riskli Alan/Sektör Raporunda eklenecek şekilde değerlendirir ve önceliklendirir. Önceliklendirme yapılırken EK 1’de yer verilen Konu Seçimi Puanlama Formu kullanılır. Bu aşamada Riskli Alan/Sektör Raporunda yer verilen konu tekliflerinin sayısı, gerçekleştirilebilecek denetim sayısından çok daha fazla olabilir. Önemli olan Rehber’de belirlenen esaslara uygun şekilde hazırlanmış olan tüm konu tekliflerinin sıralandırılarak Başkanlığa sunulmasıdır. 2.3. Konu Tekliflerinin Yıllık Denetim Programına Dahil Edilmesi Konu denetimlerinin gerçekleştirilmesine yönelik plan, yıllık denetim programları aracılığıyla yapılır. Böylelikle her denetim yılında konu denetimleri için ne kadar kaynak ayrılacağı ve hangi alanlarda konu denetimleri yürütüleceği belirlenmiş olur. Yıllık denetim programında hangi alanlarda konu denetimlerinin yürütüleceğine karar verilirken Riskli Alan/Sektör Raporunda yer verilen konu teklifleri dikkate alınır. Başkanlık bu konu teklifleri arasından kendi belirleyeceği uygun sayıda konu teklifine denetim programında yer verir. Ön çalışma aşamasından sonra denetim programında yer verilen konulardan biri veya birkaçının yapılamayacağına karar verilmesi halinde Başkanlık, Riskli Alan/Sektör Raporunda yer alan diğer konulardan bir veya birkaçının denetim programına alınmasına karar verebilir.

PLANLAMA BÖLÜM 3

21 KONU DENETİMİ REHBERİ Denetçiler, çalışmalarını denetimin etkili ve verimli olarak yürütülmesini sağlayacak şekilde planlamalıdır. (ISSAI 100: 48) Planlama, denetimin faydalı ve uygulanabilir olup olmadığını belirlemeye, açık ve makul hedefler koymaya, gerçekçi ve sağlam bir denetim yaklaşımı tanımlamaya ve gerekli kaynakları oluşturmaya yardımcı olur. Denetim iyi planlanmamışsa, denetim çalışmasının verimli veya etkili olmaması riski bulunmaktadır. Denetimin planlanması aşamasında denetçilerin denetlenecek kuruluş/programın niteliğine ilişkin bilgi edinmesi, risk değerlendirmesi ve program analizi yapması ve bunları denetim bulgularına göre gerektiğinde revize etmesi, çalışmalarını denetimin etkili ve verimli şekilde yürütülmesini sağlayacak şekilde planlaması gerekmektedir. (ISSAI 100: 44-46). Denetim planlaması, sağlam mali yönetime yönelik önemli risklere, potansiyel denetim hedefleri, yaklaşımlar ve metodolojilere ve denetimin gerçekçi, gerçekleştirilebilir ve faydalı olma olasılığına ilişkin değerlendirmeleri içerir. Denetim konusu belirlendikten sonra, denetimi yürütecek ekibin görevlendirilmesi ve ekip tarafından bir denetim planının geliştirilmesi gerekir. İyi tasarlanmış bir denetim planı, konu denetimi için büyük öneme sahiptir. Denetim ekibi, Başkanlık tarafından onaylanmış konu teklifini gözden geçirmekle ve ihtiyaç duydukları bilgi ya da değerlendirmeleri tespit etmekle işe başlar ve konuyu derinlemesine araştırır. Planlama aşamasında, denetlenen konu detaylı olarak incelenir, sorunlu alanlara ulaşılmasını sağlayan temel sorular - alt sorular belirlenerek mevcut durum ile olması gereken durum (denetim kriteri) karşılaştırılarak denetlenen konunun kapsam ve amacını net olarak ortaya koyan bir denetim planı hazırlanır. Planlama aşamasında yapılan tüm çalışmalar çalışma kağıtları aracılığıyla dokümante edilir ve Rehber’de öngörülen usul ve esaslara uygun şekilde arşivlenir. Çalışma kağıtları EK 8’de yer alan formata uygun şekilde hazırlanır.

22 T.C. SAYIŞTAY BAŞKANLIĞI Şekil 5: Denetim Planlama Süreci Denetim Ekibinin Görevlendirilmesi Ön Değerlendirme Toplantısı Düzenlenmesi EVET Denetim Planının Başkanlıkça Onaylanması Konu Hakkında Detaylı Araştırma Yapılması, Taslak Denetim Temel ve Alt Sorularının Belirlenmesi Denetim Planının Hazırlanması Denetim Sorularının Belirlenmesi Denetim Yaklaşımı ve Metodolojinin Belirlenmesi Denetim Kapsamının ve Gerekli Kanıtların Belirlenmesi Zaman Çizelgesinin ve Kaynakların Belirlenmesi Uygulama Safhasına Geçiş HAYIR DENETİMİN YENİDEN TANIMLANMASI YA DA İPTALİ

23 KONU DENETİMİ REHBERİ 3.1. Denetim Ekibinin Görevlendirilmesi Denetim konusu belirlendikten sonra, denetimi yürütecek ekibin görevlendirilmesi ve ekip tarafından bir denetim planının geliştirilmesi gerekir. İyi tasarlanmış bir denetim planı, konu denetimi için büyük öneme sahiptir. Denetim ekibi, Başkanlık tarafından onaylanmış konu teklifini gözden geçirmekle ve ihtiyaç duydukları bilgi ya da değerlendirmeleri tespit etmekle işe başlar ve konuyu derinlemesine araştırır. 3.2. Konu Hakkında Detaylı Araştırma Yapılması, Taslak Denetim Temel ve Alt Sorularının Belirlenmesi Denetim ekibinin belirlenmesinin ardından seçilen konu detaylıca incelenir ve konu hakkında daha geniş bilgi edinilir. Konuyu bir bütün olarak kavrayabilmek için kurum ya da kurumlar hakkında genel bir bakışa sahip olmak, denetim ekibi için önemlidir. Araştırma sonucunda taslak denetim temel soru ve alt soruları belirlenir. Denetim temel sorusu konu teklifinde yer aldığı şekilde alınabileceği gibi gerekçeleri belirtilmek suretiyle güncellenebilir.
3.3. Ön Değerlendirme Toplantısı Ön değerlendirme toplantısı, konu hakkında detaylı araştırma yapılarak taslak denetim temel ve alt soruları belirlendikten sonra, ancak denetim planı hazırlanmadan önce yapılır. Toplantının esas amacı denetim konusunun gerçekleştirilebilirliğinin ve denetimin temelini oluşturan denetim sorularının geçerliliğinin, açık ve uygulanabilir olup olmadığının denetim planı hazırlanmadan değerlendirilerek denetimin kalitesine katkı sağlamaktır. Bir konu denetimi planlanırken, doğru denetim sorularının belirlenmesi çok önemlidir. Soruları yanlış yöneltmek veya yanlış soruları sormak kaçınılmaz olarak denetimlerin yanlış yöne gitmesine neden olurken, kesin olmayan sorular sormak hiçbir yön vermeyebilir. Doğru soruların sorulması, nihayetinde kullanılamaz olduğu anlaşılan büyük miktarda veri toplamak ve analiz etmek için harcanacak sürelerden tasarruf sağlayacaktır. Bu toplantıya denetim ekibi, ilgili grup başkanı, ilgili bölüm başkanı, kalite güvencesinden sorumlu bir denetçi1 başkan ya da başkan yardımcısının katılması uygun olur. İhtiyaç duyulması halinde katkı sağlayacağı düşünülen grup başkan(lar)ı da toplantıya davet edilebilir. Ön değerlendirme toplantısında özellikle değerlendirilmesi gereken hususlar EK 2’de yer almaktadır. Toplantıda denetimin gerçekçi, gerçekleştirilebilir ve faydalı olup olmayacağı da değerlendirilir. Denetim soruları onaylandıktan sonra denetim ekibi denetim planını hazırlar. 3.4. Denetim Planının Hazırlanması Planın amacı, bu aşamaya kadar elde edilen tüm bilgileri sistematik bir biçimde değerlendirerek, Başkanlığa denetimin yürütülmesi aşamasında kullanılacak denetim prosedürlerine yönelik detayları sunmaktır. 1 İlgili destek grubu veya kalite kontrolden sorumlu komisyondan bir görevli

24 T.C. SAYIŞTAY BAŞKANLIĞI 3.4.1. Denetim Planının Kapsamı Denetim Planında aşağıdaki bilgiler yer alır:

1. Konu Hakkında Bilgi
2. Denetimin Dayanağı, Amacı ve Kapsamı
3. Önemlilik ve Denetlenebilirlik
4. Sorunlu ve Riskli Alanlar
5. Denetimin Muhtemel Etkisi
6. Denetim Soruları
7. Denetim Kriterleri
8. Denetim Metodolojisi/Yöntemi
9. Muhtemel Bulgu ve Öneriler
10. Ekip Üyeleri, Uzmanlar ve Gerekli Diğer Kaynaklar
11. Denetim Takvimi
12. Taslak İletişim Planı 3.4.1.1. Denetlenecek Konu Hakkında Bilgi Denetlenen konu hakkında gerekli olan bilgilerin elde edilmesi, denetimin her aşamasında yürütülen bilgi toplama ve değerlendirme sürecinin süreklilik arz eden bir unsurudur. Denetçiler, mevcut kaynakları dikkate alarak toplayacakları bilginin maliyetini, denetime katacağı değer ile karşılaştırmalıdır. Denetim ekibi, yürütülecek çalışma ile ilgili gerekli bilgiyi aşağıdaki kaynaklardan elde edebilir: h Yasal düzenlemeler ve TBMM’de yapılan konuşmalar, h Kalkınma planları, yıllık programlar, bütçe dokümanları ve bütçe tahminleri, h İç denetim raporları da dahil olmak üzere önceki denetim raporları, incelemeler, değerlendirmeler ve sorgular, h Bilimsel çalışmalar ve araştırmalar, h Stratejik planlar ve yıllık raporlar, h Organizasyon şemaları, iç düzenlemeler ve uygulama rehberleri, h İlgili alandaki uzmanların ve ilgili tarafların görüşleri, h Kurum personeli ile yapılan görüşmeler, h Yönetim bilgi sistemi ve performans verileri, h Resmi istatistikler ve diğer bilgi sistemleri, h Uluslararası kuruluşların raporları, h Diğer ülke uygulamaları. Denetim ekibi, çeşitli bilgi kaynaklarından değişik yöntemlerle elde ettiği bilgileri, denetim çalışmasının sürdürülüp sürdürülemeyeceğine karar vermek amacıyla aşağıdaki hususları dikkate alarak detaylı bir şekilde değerlendirmelidir.

25 KONU DENETİMİ REHBERİ İlgili konuya ilişkin kullanılan kaynakların belirlenmesi Konunun öneminin anlaşılması açısından denetim konusuna ilişkin ayrılan/kullanılan insan kaynakları, yönetsel ve mali kaynakların belirlenmesi gerekmektedir. Diğer bir deyişle denetlenecek konu için gereken kaynakların araştırılması ve bunların mali öneminin değerlendirilmesi önem arz etmektedir. Bu husus denetlenen alana tahsis edilen bütçe ödenekleri ile taahhüt edilen ve ödenen tutarların analizini içermektedir. Çeşitli aktörlerin sorumluluklarının belirlenmesi Denetim temel olarak, denetlenen taraf yönetimini yalnızca üzerinde kontrol sahibi oldukları hususlar için sorumlu tutmaya dayanmaktadır. Bu nedenle denetlenen tarafı veya tarafları doğru şekilde tanımlamak esastır; çünkü bu denetimin nasıl ve nerede gerçekleştirileceğini etkileyecektir. BT sistemleri de dahil olmak üzere, temel yönetim ve kontrol süreçlerinin belirlenmesi Denetim ekibi, potansiyel denetim konusunu ilgilendiren faaliyet / faaliyetler için temel yönetim ve kontrol süreçlerini belirlemelidir. Bu, yasal düzenlemeler ve kurumların kendi iç düzenlemeleri/prosedürleri gözden geçirilerek ve ilgililerle görüşme yoluyla yapılabilir. Bu bağlamda önemli bir husus, denetlenen kurum tarafından kullanılan BT sistemleri ve BT iç kontrol düzeylerinin incelenmesidir. Önceki dönemlere ait denetim sonuçlarının incelenmesi Denetim ekibi, hem işin tekrarlanmasından kaçınmak hem de denetim sorularıyla ilgili önemli bulgu ve önerileri takip etmek için konu hakkında yapılan önceki denetimleri ve değerlendirmeleri göz önünde bulundurmalıdır. 3.4.1.2. Denetimin Dayanağı, Amacı ve Kapsamı Denetimin Dayanağı Bu başlık altında öncelikle denetimin dayanağına yer verilir. Bu kapsamda Sayıştay Kanunu’nun 1, 6 ve 42 nci maddelerine atıf yapılır ve konu denetimi yapılması hakkındaki yasal dayanak açıklanır. Denetimin Amacı Denetim planına, seçilen denetim konusunun önemi, gerçekleştirilecek denetim ile nelerin amaçlandığı ve denetim konusunun seçilme nedenleri açıkça belirtilerek başlanır. Denetimin amacı, denetim temel sorusu ile doğrudan ilişkili olup, bu iki unsurun birlikte düşünülmesi gerekir. Denetim Konusu Denetimin Amacı Sıfır Atık Projesi Sıfır atık projesinin etkin atık yönetimini sağlayacak şekilde yürütülüp yürütülmediğinin değerlendirilmesi MEB tarafından yürütülen okul öncesi eğitim faaliyetleri MEB tarafından yürütülen okul öncesi eğitim faaliyetlerinin öğrencilerin okula hazırlanmasını sağlamada yarattığı etkinin değerlendirilmesi Belediyelerde taşınmaz yönetimi Belediyelerin mülkiyetlerinde bulunan taşınmazların kullanım, kiralama ve satış uygulamalarının değerlendirilmesi Belediyelerin sosyal denge ödemeleri Belediyelerin yaptığı sosyal denge ödemelerinin etkinliğinin değerlendirilmesi Denetimin amacının belirlenmesi için ilk adım, denetlenecek başlıca önemli hususların kesin bir şekilde tanımlanmasıdır. Bu aşamada denetimin amaçlarının ve nedenlerinin detaylı bir şekilde ortaya konulması gerekir. Bu çalışma; literatür taraması, doküman incelemesi, istatistiklerin değerlendirilmesi, ilgili taraflar ve uzmanlarla görüşülmesi, muhtemel problemler ve etkilerinin analiz edilmesi gibi yollarla konunun derinlemesine incelenmesini gerektiren önemli bir görevdir.

26 T.C. SAYIŞTAY BAŞKANLIĞI Denetlenecek konulara ve denetim amacına ilişkin yapılan tanımlamaların açık ve belirgin olması büyük önem taşır. Denetim sorusu ya da denetlenecek problem üzerinde yapılacak çok az bir değişiklik dahi denetimin kapsamı üzerinde önemli etkiler doğurabilir. Kısaca bu adım, aşağıdaki iki sorunun yanıtlarının geliştirilmesini içermektedir: Ne? Denetim sorusu ya da denetlenecek problem nedir? Niçin? Denetimin amaçları nelerdir? Denetimin yürütülmesi sürecinde ve denetimin amacına ulaşılmasında belirleyici bir faktör olan denetim sorusunun (temel sorunun) tespiti, büyük öneme sahiptir. Denetim sorusu, denetim sırasında cevabı aranan temel araştırma sorusudur. Denetimin amacı, denetimin gerçekleştirilme nedeni ile ilgili olup, denetlenecek konu ve hususların belirlenmesinde yardımcı olması amacıyla denetim sürecinin başlangıç aşamalarında belirlenmesi gerekir. Denetim amacının açık ve net bir şekilde ifade edilmesi önemlidir. Denetimin amacı, denetim soruları ile doğrudan ilişkili olup, bu iki unsurun birlikte düşünülmesi gerekir. Ön değerlendirme toplantısında denetimin amacı da değerlendirilir ve gerekli görülürse amaç değiştirilebilir. Böyle bir değişiklik olması halinde amaca bağlı olarak belirlenen kapsam, denetim soruları gibi unsurların da değiştirilmesi gerektiği unutulmamalıdır. Denetimin Kapsamı Denetimin kapsamı, denetimin sınırlarını belirler ve denetim sorularıyla doğrudan bağlıdır. Denetimin kapsamı ile ilgili karar, denetim saha çalışması için mevcut olan süre ve kaynaklar gözetilerek denetimden en fazla faydanın elde edilebileceği alanlar dikkate alınarak verilmelidir. Denetim Konusu Denetimin Amacı Denetimin Kapsamı Sıfır Atık Projesi Sıfır atık projesinin etkin atık yönetimini sağlayacak şekilde yürütülüp yürütülmediğinin değerlendirilmesi Çevre ve Şehircilik Bakanlığı koordinasyonunda uygulanan katı atık yönetimi faaliyetleri Okul öncesi eğitim faaliyetleri Okul öncesi eğitim faaliyetlerinin öğrencilerin okula hazırlanmasını sağlamada yarattığı etkinin değerlendirilmesi Ülke genelinde MEB’e bağlı faaliyet gösteren okul öncesi eğitim kurumlarının tamamının faaliyetleri Belediyelerde taşınmaz yönetimi Belediyelerin mülkiyetlerinde bulunan taşınmazların kullanım, kiralama ve satış uygulamalarının değerlendirilmesi Büyükşehir belediyelerinin tamamının taşınmaz yönetimi ile ilgili iş ve işlemleri Belediyelerin sosyal denge ödemeleri Belediyelerin yaptığı sosyal denge ödemelerinin etkinliğinin değerlendirilmesi Nüfusu 150.000 üzerindeki ilçe belediyelerinin yaptığı sosyal denge ödemeleri Denetim kapsamı, denetimin sınırlarını belirler. Kapsam, sorulacak soruları, yürütülecek çalışmaları ve yapılacak araştırmaların nitelikleri gibi hususları içerir. Denetim kapsamı aşağıdaki soruların cevaplandırılmasıyla belirlenir: Ne? Hangi spesifik sorular veya önermeler incelenecek? Ne tür çalışmaların yapılması uygundur? Kim? Denetlenecek kurumlar ve diğer temel aktörler kimlerdir? Nerede? Denetim kapsamına alınacak mahal, alan vb. açısından sınırlamalar var mı? Ne zaman? Denetimin yürütüleceği zaman periyodu itibarıyla sınırlamalar var mı?

27 KONU DENETİMİ REHBERİ Denetçi kapsam belirleme kararının gerekçesini ayrıntılı olarak açıklamalıdır. Bir denetimde tüm hususları kapsamak ne pratik ne de verimli olduğundan, denetim prosedürlerinin niteliği, kapsamı ve zamanlaması sınırlı sayıda önemli hususla sınırlandırılmalıdır. Bunlar, denetim soruları ile ilgili olan, mevcut kaynaklar ve uzmanlık ile gerçekleştirilebilir ve denetim konusunun amaçlanan sonuçlarının elde edilmesi için kritik öneme sahip olan konular olmalıdır. Kapsam, bir etkinliğin yaygın olarak dağıtıldığı konular için bazı fiziksel alanların hariç tutulması şeklinde coğrafi olabileceği gibi belli bir zaman dilimi ile de sınırlandırılabilir. Kapsam örneğin, denetimin yalnızca etkinlik konusunu dikkate alacağını belirterek denetimin odağını da sınırlandırabilir. Bu aşamada denetçinin, denetlenecek faaliyet hakkında saha çalışmasını tamamladığında sahip olacağı kadar çok bilgiye sahip olması beklenemez. Bu nedenle denetimin bir noktasında, ekip başkanı, orijinal denetim planında yer almayan alanları içerecek şekilde kapsamı değiştirmenin veya genişletmenin faydalı olabileceğini fark edebilir. Bu durumda Başkanlık bilgilendirilmelidir. Başkanlık, bu ekstra çalışmanın, mevcut çalışmanın genişletilmesi yerine gelecekteki bir denetimin parçası olarak belirlenmesi gerektiğine karar verebilir. Denetlenen kuruma, denetimin kapsamının genişletilmesi gerektiği yazılı olarak bildirilmelidir. Denetim amacı ve kapsamı birbiriyle yakından ilişkili olduğu ve birindeki değişiklikler genellikle diğerini etkilediğinden bu değişikliğin birlikte ele alınması gerekir. 3.4.1.3. Önemlilik ve Denetlenebilirlik Denetim planında yer alacak önemlilik ve denetlenebilirlik bölümleri, belirlenen denetim amacı, kapsamı ve denetim soruları çerçevesinde konu teklifinde yer alan versiyonu üzerinden güncellenir. Denetim Konusu Önemlilik Denetlenebilirlik Sıfır Atık Projesi Ulusal ölçekte uygulamaya geçirilmiş, ulusal öncelikler arasına alınmış bir proje Mali önemliliği yüksek SKA’larla doğrudan ilişkili Kamu kurumları, özel sektör kuruluşları, sivil toplum ve vatandaş gibi çok sayıda paydaş üzerinde doğrudan etkileri var Ulusal ölçekte olması kapsamın daraltılmadan denetlenmesini olanaksız hale getiriyor Çok sayıda paydaş ve kurum bulunması denetim takviminin uzun tutulmasını gerektiriyor MEB tarafından yürütülen okul öncesi eğitim faaliyetleri Mali önemliliği yüksek Parlamento gündeminde olan bir konu değil SKA’larla doğrudan ilgili Vatandaş ilgisi yüksek düzeyde Veri akışının yetersiz olması denetimi güçleştiren bir faktör Süre ve denetçi sayısı denetim yapmak için uygun Belediyelerde taşınmaz yönetimi Parlamento ve vatandaş ilgisi yüksek Mali önemliliği yüksek Kapsamın geniş olması sürenin uzatılmasını gerektiriyor Veri akışında yaşanacak sıkıntılar denetimi güçleştirebilir Belediyelerin sosyal denge ödemeleri Parlamento ve vatandaş ilgili düşük Mali önemliliği düşük Sosyal adaletsizliğe sebep olması önemli Kapsamının geniş olması denetlenebilirliği azaltıyor

28 T.C. SAYIŞTAY BAŞKANLIĞI 3.4.1.4. Sorunlu ve Riskli Alanlar Denetçiler risk değerlendirmesi veya problem analizi yapmalı ve denetim bulgularına göre gerektiğinde bunları revize etmelidir. Denetçi, tespit edilen risklere karşı idarenin tepkisini ve bunları ele almak üzere iç kontrollerin uygulanması ve tasarımını değerlendirmelidir. (ISSAI 100:46) Risk, gelecekte ortaya çıkma ihtimali olan ve kurumun başarılarını etkileme ihtimali olan unsurlardır. Temel riskler kurumun karşı karşıya bulunduğu yapısal riskler (kurumun kendi yapısından, kültüründen, mevzuatından, vb kaynaklanan ve değiştirilemeyecek faktörler) ile kontrol riskleri (kurumun işleyişindeki eksikliklerden kaynaklanabilecek faktörler) olabilir. Denetçi; h Neler yanlış gidebilir? h Yanlış gitme olasılığı nedir? h Yanlış gitmesinin sonuçları ne olur? h Denetlenen kurumun riski en aza indirme veya kontrol etme stratejisi nedir? sorularını sormalıdır. Risk faktörleri şunları içerecektir: h Politika, Program ve Operasyonların Niteliği ve Karmaşıklığı, h Kurumun Amaç ve Hedeflerinin Çeşitliliği, Tutarlılığı ve Açıklığı, h Uygun Performans Önlemlerinin Varlığı ve Kullanımı, h Kaynakların Mevcudiyeti, h Organizasyon Yapısının Karmaşıklığı ve Sorumlulukların Netliği, h Kontrol Sistemlerinin Varlığı ve Kalitesi, h Yönetim Bilgilerinin Karmaşıklığı ve Kalitesi. Denetçi gerçekleştirdiği risk değerlendirmesini; h İlgili kurumun potansiyel zayıf alanlarını ortaya çıkarmak, h Riskleri belirlemek ve iyi performansa ulaşmak için en önemli ve kritik olanları analiz etmek, h Risklerin kurum tarafından nasıl yönetildiğini incelemek, h Denetimi yüksek riskli alanlara odaklamak ve potansiyel denetim sorularını geliştirmek, amacıyla gerçekleştirmektedir. Denetim ekibi, risk değerlendirmesi sonucu belirlediği risklerin gerçekleşme olasılığını ve potansiyel etkisini analiz ettiği, risk matrisini kullanarak risk seviyesini belirlediği ve riskleri denetim sorularıyla ilişkilendirdiği EK 3’te yer alan risk analizi tablosunu denetim planına eklemelidir.

29 KONU DENETİMİ REHBERİ Denetim Konusu Riskler Sıfır Atık Projesi Projenin il bazında sahiplenilmemesi projenin tamamlanmasını geciktirebilir. MEB tarafından yürütülen okul öncesi eğitim faaliyetleri Okul öncesi eğitime ilişkin bilgi sistemi eksikliği eğitim faaliyetlerinin değerlendirilmesine engel olabilir. Veri toplama güçlükleri değerlendirme yapmak için doğru bilgiye ulaşılmasına engel olabilir. Okul öncesi eğitime ilişkin hedeflerin gerçekleşmelerinin izlenmemesi hedeflerin gerçekleştirilememesine sebep olabilir. Belediyelerde taşınmaz yönetimi Taşınmaz yönetimine ilişkin yasal düzenlemelerde yapılacak değişiklikler taşınmaz yönetiminde verimsizliğe sebep olabilir. Belediyelerin sosyal denge ödemeleri Sosyal denge ödemeleri konusunda mevzuatın yeterli detay içermemesi sosyal denge ödemelerinde farklılıklar olulşmasına neden olabilir. Sosyal denge ödemelerinin uygunluğunun kontrol edilmesinde kontrol mekanizmalarnın etkin çalışmaması ödemelerin mevzuata aykırı yapılmasına neden olabilir. 3.4.1.5. Denetimin Muhtemel Etkisi Planlama aşamasında önemli olan diğer bir husus, denetimin sağlayacağı muhtemel katkının ne olacağının belirlenmesidir. Yapılacak çalışma denetlenen alanda kayda değer iyileştirmeler yapılmasına katkı sağlamalıdır. Denetim sonucunda ulaşılacak sonuçlar ve geliştirilecek öneriler denetlenen alanda ilgili değişikliklerin yapılmasına ve sorunların çözülmesine katkıda bulunmalıdır. Seçilen konunun denetlenmesinin önemli bir etki doğurması beklenmiyorsa, denetim önerilerinin uygun eylemi yaratması olası değildir. Bu faktörü göz önünde bulundurarak denetim ekibinin cevaplaması gereken soru ‘denetimin bir fark yaratması muhtemel mi?’ olacaktır. Denetim ekibi bu kapsamda denetimi hangi alanlara yoğunlaştıracağını belirler. Denetimin sağlayacağı katkının belirlenmesi ekonomiklik, verimlilik, etkinlik, kaliteli hizmet, planlama, kontrol ve yönetim ve hesap verebilirlik gibi farklı açılardan değerlendirilir. Bu değerlendirme, denetim planının onaylanma sürecinde de önemli rol oynar. 3.4.1.6. Denetim Soruları Yukarıda belirtilen risk analizi, hem potansiyel denetim sorularına hem de denetim kapsamına odaklanmaya yardımcı olacaktır. Denetim planını hazırlarken, farklı potansiyel denetim sorularını dikkate almak mümkündür. Denetçi bu süreçte temel dokümanları ve diğer literatürü araştırmanın yanı sıra denetim konusuyla ilgili bilgi sahibi kişilerle görüşebilir. Denetim ekibi daha sonra bu denetim sorularından hangilerinin cevaplanabileceğini tanımlamalıdır. Bu, tespit edilen soruların denetlenebilir olup olmadığı, yani örneğin denetim kriterlerinin mevcut olup olmadığı veya geliştirilip geliştirilemeyeceği, denetim kanıtının mevcut olup olmadığı veya denetçi tarafından geliştirilip geliştirilemeyeceği ve erişilebilir olup olmadığı ve denetim metodolojilerinin bu kanıtların toplanması ve analiz edilmesi için başarıyla uygulanıp uygulanamayacağı dikkate alınarak yapılır.

30 T.C. SAYIŞTAY BAŞKANLIĞI Denetim Konusu Temel Soru Alt Sorular Sıfır Atık Projesi Sıfır atık projesi etkin atık yönetimini sağlayacak şekilde yürütülmekte midir? • Sıfır atık projesinin hedefleri kapsamlı, açık ve gerçekçi şekilde belirlenmiş midir? • Atık yönetiminde sorumluluk dağılımı uygun şekilde yapılmış mıdır? • Atık yönetimine ilişkin gerçekleşmeler sağlıklı bir şekilde izlenmekte midir? Belediyelerin sosyal denge ödemeleri Belediyelerin yaptığı sosyal denge ödemeleri ilgili mevzuata ve iyi yönetim ilkelerine uygun mudur? • Sosyal denge ödemeleri mevuzata uygun şekilde yapılmakta mıdır? • Sosyal denge ödemeleri iyi yönetim ilkelerine uygun mudur? Konu denetimi, yanıtları aranacak bir temel soru ve alt sorular şeklinde formüle edilir. Bu soruların belirlenmesi, denetimin planlanması aşamasının en önemli görevlerinden biridir. Denetim sorularının ifadeleri denetim için büyük önem taşımaktadır ve rasyonel ve nesnel hususlara dayandırılmalıdır. Bu alanda özen gösterilmediği sürece soruları cevaplamak için yeterli, ilgili ve güvenilir denetim kanıtı toplamak zor olabilir. Denetim sorusu/soruları, denetim kapsamı ve amacı da dikkate alınarak, kısa ve öz şekilde ifade edilir. Bu sorular, denetlenen faaliyet, proje ya da programın yasal düzenlemelere uygun, ekonomik, verimli veya etkin yönetilip yönetilmediğini değerlendirerek denetim alanının geliştirilmesine katkı sağlayacak ve cevap verilebilir nitelikte olmalıdır. Her soru bir konu üzerine odaklanmalı, ilgili ve denetlenebilir olmalıdır. Denetim soruları “evet” veya “hayır” şeklinde cevaplanabilir nitelikte olmalıdır. Temel denetim sorusu bir soru piramidi oluşturacak şekilde alt sorulara bölünür. Bu, denetçilerin düşüncelerini mantıksal disiplinli bir model haline getirmesine ve bir sorunun veya alt sorunun tüm yönlerinin dikkate alınmasına yardımcı olur. Bu şekilde temel soru 1. Düzey olmak üzere, belirli denetim prosedürleri uygulanarak cevaplanacak (denetim kanıtlarına kaynak olmak üzere) olan 4. Düzeye kadar inilebilir. Temel denetim sorusu denetim alanına ilişkin değerlendirilen tercihen bir ya da birkaç önemli riske dayanmalı ve öngörülen zaman ve kaynaklarla cevaplandırılabilir olmalıdır. Konu denetimlerinde kullanılan temel sorulara aşağıdaki örnekler verilebilir: h Seçilen araçlar kamu kaynaklarının ekonomik kullanımını sağlıyor mu? h Sunulan hizmetler kaliteli ve kullanıcı odaklı mıdır? h Hizmetler zamanında sunulabiliyor mu? h Program ya da proje yasal düzenlemelere uygun şekilde ve verimli yürütülüyor mu? h Uygulanmakta olan program amaçlarını karşılamakta mıdır? Denetimlerde temel soruyla bağlantılı olarak, 2 ila 5 sayıda alt soru belirlenmelidir. Gerektiğinde alt sorular da daha alt sorularla detaylandırılabilir. Bu sınırlandırma, denetim ekibinin temel sorunlara odaklanmasına, denetimin mevcut kaynaklarla ve zamanında tamamlanmasına imkan sağlayacaktır. Alt sorular, gittikçe daha ayrıntılı ve spesifik hale gelmeli, temel soruyla bağlantılı olmalı ve mantıksal bir sıra izlemelidir. Her bir seviyedeki alt sorular birbirinden farklı (herhangi bir çakışma olmadan) ancak birlikte bir üst sorunun ana hususlarını kapsayacak şekilde belirlenmelidir. Bu sorular, kriterlerin formüle edilmesine ve ihtiyaç duyulan kanıtların tanımlanması, elde edilmesi ve analiz edilmesine olanak verecek şekilde kurgulanmalıdır (Şekil 6).

31 KONU DENETİMİ REHBERİ En alt düzeydeki sorular bir veya daha fazla kanıt kaynağına karşı test edilebilecek nitelikte olmalı ve denetim prosedürleri oluşturulmasına imkan vermelidir. Yeterli ayrıntı elde etmek amacıyla soruların en az 3 veya 4 düzeyde olması önerilir. Ancak, çok fazla seviyenin netliği azaltabileceği ihtimali göz önünde bulundurulmalıdır. Şekil 6: Denetim Sorularının Belirlenmesi Düzey 1: Temel Denetim Sorusu Düzey 2: Alt Soru Düzey 3: Alt - Alt Soru Denetim Prosedürleri Formüle edilen sorular planlama süreci boyunca gözden geçirilmelidir. Özellikle de denetim ekibi bu soruların denetlenebilir olduğundan (örneğin, bu soruların uygun maliyetle, yeterli, ilgili ve güvenilir denetim kanıtları ile cevaplanmasının mümkün olacağından) emin olmalıdır. 3.4.1.7. Denetim Kriterleri Denetim kriterleri; sistemlerin/süreçlerin yeterliliğinin, mevzuata uygunluğunun, yürütülen faaliyetlerin ekonomiklik, verimlilik ve etkinliklerinin değerlendirilmesine imkan tanıyan ulaşılabilir performansa ve iyi yönetime ilişkin standartlardır. Kriter, kısaca “olması gereken” olarak tarif edilebilir ve değerlendirme yapmada denetçiye yol göstermeyi amaçlar. Kriterler ilgili, güvenilir, tarafsız, karşılaştırma yapmaya olanak sağlayan, anlaşılabilir, makul ve tam olmalıdır. Kriterler karşısında elde edilen bulgular, mesleki kanaatleri ile birlikte, denetim ekibinin her bir denetim sorusu için bir sonuca ulaşmasını mümkün kılar. Kriterler; kanıtların değerlendirilmesi, denetim bulgularının geliştirilmesi ve denetim hedeflerine ilişkin sonuçlara ulaşılmasına temel teşkil eder. Kriterlerin belirlenmesinde denetlenen kurumların katkı ve görüşlerinin de alınması önemlidir. Ancak nihai karar verici denetim ekibidir. Konu denetiminde iyi yönetim, ekonomiklik, verimlilik ve etkinlik şeklindeki genel kavramların konu ile bağlantılı olarak yorumlanması gerekir. Bu nedenle kriterler bir denetimden diğerine farklılık gösterebilir. Ancak denetim kriterleri tanınmış genel kabul görmüş kaynaklara dayanmalı ve öznel yorumları en aza indirmek amacıyla olabildiğince objektif olmalıdır. Denetim kriterlerinin oluşturulmasında yararlanılabilecek başlıca kaynaklar şunlardır: h Denetlenen kurumun ya da işlemlerinin tabi olduğu kanun ve diğer düzenlemeler, h Mesleki standartlar h Yasama ve yürütme tarafından alınan kararlar, h Literatür,

32 T.C. SAYIŞTAY BAŞKANLIĞI h Denetlenen kurum ya da hükümet tarafından geliştirilen performans göstergeleri, h Bilimsel araştırma sonuçları, h Bağımsız uzman görüş ve tavsiyeleri, h İyi uygulama örnekleri ile yapılan karşılaştırmalar, h Daha önceki benzer denetimlerde ya da diğer Sayıştaylar tarafından kullanılmış olan kriterler. Denetim ekibi yukarıda belirtilen kaynaklara dayanarak denetim kriterleri geliştirir. Kriterler incelenen konuyla ilgili “olması gereken” ile “mevcut durumun” karşılaştırılmasına yardımcı olur. Bu karşılaştırma sonucunda denetim bulguları ortaya çıkar. 3.4.1.8. Denetim Metodolojisi Denetimin amacı, soruları ve kriterleri belirlendikten sonra, rapora temel teşkil edecek makul sonuçlara ulaşabilmek amacıyla yeterli, uygun ve güvenilir denetim kanıtları elde edebilmek için açık, sağlam ve uygulanabilir bir denetim metodolojisi/yöntemi belirlenmelidir. Denetim metodolojisinin/yönteminin tasarlanmasında kanıtların nereden-nasıl toplanacağı (kanıt toplama tekniklerinin belirlenmesi) ve analiz edileceği en temel husustur. Ayrıca, kullanılacak yöntemlerin mevcut denetim kaynakları (zaman, bütçe, insan kaynağı vb.) ile yapılabilir olup olmadığı değerlendirilmelidir. Geneli (popülasyonu) temsil eden sonuçlar üretilmesini mümkün kılacak yeterlilikte, kaç kurum, kuruluş ya da birimin denetime tabi tutulacağı ortaya konularak denetim metodolojisi belirlenmelidir. Bunun için kullanılabilecek bazı yöntemler aşağıda verilmektedir: 1 2 3 4 h Popülasyonun %100 Denetimi: Denetim popülasyonunun çok büyük olmadığı durumlarda uygulanabilir. Bu yöntemin tercih edilmesi durumunda, denetim tüm popülasyonda benzer şekillerde yürütülür. h Temsili Örnekleme: Denetim popülasyonunun tamamının denetlenemeyecek kadar büyük olduğu durumlarda, geneli temsil edecek uygun sayıda örnekleme yapılır. Örneklemeden elde edilen sonucun bütün popülasyon için geçerli olması gerekir. h Kıyaslama: Denetlenen popülasyon/seçilen örnekler, başka bir popülasyon/seçilen örnekler ile karşılaştırılır. Kıyaslama, genellikle popülasyon dışından seçilen iyi uygulama örnekleri ya da yüksek performans gösteren örnekler temelinde gerçekleştirilir. h Örnek Olay İncelemesi: Örnek olay incelemeleri, varsayılan problemlerin mevcudiyetini ve bunların sistematik olduğunu göstermek, derinlemesine analizler ve karşılaştırma yapmak için kullanılabilir. İlave araştırma ihtiyacı bulunan hususlar hakkında daha spesifik bilgiler elde edilmesinde bazen tekil uygulama örneklerinin incelenmesi, daha güçlü denetim bulgu ve sonuçlarına ulaşma fırsatı sağlayabilir. Ancak tek bir olayın incelenmesi suretiyle elde edilen bilgilerin güvenilirliği zayıf olacağından, birkaç örnek olayın incelemeye tabi tutulması daha sağlıklı sonuçlara ulaşılmasını sağlayacaktır. Sonuçların güvenilirliğini artırmanın bir başka yolu da örnek olay incelemesinin birkaç kez tekrarlanarak gerçekleştirilmesidir. Hangi kurumlardan ya da kaynaklardan kanıtların toplanacağına karar verildikten sonra, bu kanıtların nasıl toplanacağının ve analiz edileceğinin belirlenmesi gerekir. Seçilecek kanıt toplama ve analiz teknikleri, denetimin değerini ve sonuçlarının güvenilirliğini etkileyecektir. Genel olarak konu denetimlerinde kullanılan başlıca kanıt toplama teknikleri görüşme, anket, belge incelemesi, gözlem, literatür taraması, kıyaslama, örnek olay incelemeleri, odak gruplar vb. tekniklerdir (EK 4: Kanıt Toplama Teknikleri). Başlıca analiz teknikleri ise basit veri analizi, program mantığı modeli, regresyon analizi, fayda-maliyet analizi, oran analizler, simülasyon, karar ağacı vb. tekniklerdir (EK 5: Veri Analiz Teknikleri).

33 KONU DENETİMİ REHBERİ 3.4.1.9. Muhtemel Bulgu ve Öneriler Planlama aşamasında oluşturulan temel soru/alt sorular ile denetim kriterlerinin yardımıyla uygulama aşamasına geçmeden önce sorulara hangi cevapların alınabileceği tahmin edilebilmektedir. Çalışma sorularına alınacak cevapların kriterlerle karşılaştırılması sonucu muhtemel bulgulara ulaşılmaktadır. Bu bulgular, mevcut durumu gözler önüne sererek incelenen alanda kriterlerin yerine getirilmesindeki engelleri ve nedenleri gösterirler. Denetim ekibi, denetim sonuçlarını değerlendirerek incelenen alandaki sorunların çözümü noktasında kamu idarelerine ne tür tavsiyelerde bulunulabileceğini bu aşamada öngörebilmektedir. Öneriler mantıksal, bilgi temelli ve rasyonel biçimde ele alınmalıdır. Önerilerin uygulanabilir olması, artı değer yaratması ve denetim amaçlarımıza uygun olması gereklidir. Bu aşamada oluşturulan öneriler denetim süresince daha çok şekillenecek, olgunlaşacak ve denetimin sonlanmasına kadar sürekli bir gelişim yaşayacaktır. 3.4.1.10. Denetim Zaman Çizelgesinin ve Kaynakların Belirlenmesi Denetçiler, planlama aşamasında denetimin gerektireceği insan kaynağının ve mali kaynakların gerçekçi bir değerlendirmesini yapmak, denetim ekibinde gerekli bilgi ve deneyimin mevcut olmasını sağlamak ve gerektiğinde dış uzmanlıktan faydalanma ihtiyacını öngörmek zorundadır. Zaman çizelgesi denetimin her bir aşamasını ayrı ayrı içerecek şekilde geçmiş deneyimler de dikkate alınarak mümkün olduğunca gerçekçi olarak hazırlanmalıdır. Zaman çizelgesi hazırlanırken süreçte gecikmelere yol açacak ya da kaliteyi riske atacak olası yüksek risklerin tanımlanması faydalı olacaktır. Konu denetim raporları için, Denetim Planının kabulünden Denetim Raporunun Başkanlığa sunulmasına kadar olan süre 15 ayı aşmamalıdır. Ekip Başkanı raporun zamanında tamamlanmasını sağlamak amacıyla kapsam sınırlamasına gitme, denetçi sayısını artırma gibi gerekli önlemleri almalıdır. Ayrıca raporun mevzuatta yapılacak değişiklikler üzerindeki olası etkileri de dikkate alınmalıdır. Mümkün olduğunda, raporların bu tür değişikliklere katkıda bulunacak şekilde zamanlanması faydalı olacaktır. İlgili denetimi gerçekleştirecek uygun nitelikli ve deneyimli denetçilerin mevcudiyeti de değerlendirilmelidir. İkinci aşama kalite kontrolden sorumlu yönetici, tasarlanan denetim yaklaşımının gerektireceği beşeri ve mali kaynaklar hakkında bir değerlendirme yapmalı, gerekli bilgi ve deneyimin ekip içinde var olduğundan emin olmalıdır. 3.4.1.11. Taslak İletişim Planı Denetimin uygulanması aşamasında gerçekleştirilecek prosedürlere ilişkin denetlenen kurum yetkililerinden irtibat kurulacak kişilerin iletişim bilgileri denetim planına eklenmelidir. 3.4.2. Denetim Matrisinin Hazırlanması Denetim Planı hazırlanırken, yapılacak denetimin çerçevesini oluşturan ve çalışmaları sistematik şekilde sunan planın eki olan bir matris geliştirilir. Matriste; Denetim soruları, h Denetim kriterleri, h Denetim metodolojisi, h Muhtemel bulgu ve öneriler detaylandırılarak tablo biçiminde düzenlenir. Matris, denetim ekibine görevlerin nasıl yapılacağına dair detaylı bilgi sağladığı gibi kalite kontrol sürecinin bir parçasını oluşturur.

34 T.C. SAYIŞTAY BAŞKANLIĞI Tablo 1: Denetim Matrisinde Bulunması Gerekenler TEMEL SORU: Kamu ihale usullerinin seçimi belediyeler tarafından etkin yönetilmekte midir? Alt Sorular Alt - Alt sorular Denetim Kriterleri Veri Toplama ve Analiz Muhtemel Bulgular Muhtemel ÖnerilerKanıt Kaynakları Kanıt Toplama Yöntemleri Kanıt Analiz Yöntemleri

1. Kamu İhaleleri için etkin bir karar verme süreci mevcut mudur? 1.1. Karar verme için, uygun ve açık bir iş akışı var mıdır? 1.2. Etkin karar verme için kalite açısından yeterli personel kapasitesi mevcut mudur? Karar verme süreci ve iş tanımları açıkça belirlenmiş olmalı. İş akışları üzerine etkin bir iç kontrol mekanizması olmalı. Personel usuller konusunda iyi eğitilmiş olmalıdır. Kamu ihaleleri ile ilgili stratejik dokümanlar Mevzuat, Kamu İhale Kanunu, Bakanlıkların ve Diğer Kamu İdarelerinin Mevzuatı (Kanunlar, rehberler, talimatlar, kararlar) Eğitim stratejisi ve eğitim materyalleri • Kamu İhale Kurumun web sitesinde online araştırma ve KİK personeliyle mülakat, • Literatür taraması, • Kanun ve yönetmeliklerin gözden geçirilmesi, • Kamu ihale karar verme sürecindeki rapor ve bilgiler • Seçilen belediyelerde dosya incelenmesi Belgelerin analizi ve toplanan verilerin özetlenmesi Farklı kurumların deneyimlerinin karşılaştırılması.
2. Belediyeler alım yöntemine uygun bir şekilde karar verebilmekte midir? 2.1. Seçilen yöntem verimliliği ve ekonomikliği sağlamakta mıdır? 2.2. Alternatif alım yöntemleri verimlilik ve ekonomikliği sağlamakta mıdır? 2.2.1. Belediyeler alternatif alım yöntemleri üzerine uygun analizleri yapmakta ve daha uygulanabilir yöntemi seçmekte midir? 2.2.2. İhalelerde güvenilir alım yöntemi ve kriterleri kullanılmış mıdır? Alım yöntemi en verimli ve ekonomik sonuçları sağlamalı. Alternatif alım yöntemleri, en uygulanabilir olanını seçmek için denetlenen idare tarafından dikkatle analiz edilmelidir. Seçilen alım yönetimi kamu kaynaklarının verimli ve ekonomik kullanımı ile sonuçlanmalıdır. Uygun Alım Yöntemine Karar Vermeye geliştirmek için yapılan faaliyetler İhale yöntemlerinin analizi Verimli ve ekonomik ihale yöntemlerine ilişkin kriterler. Uluslararası kuruluşların (OECD, Dünya Bankası…) belediyeler veya yerel idarelerin kamu ihalelerine yönelik kriterleri Kurum içi faaliyetler (talimatlar, kural kitabı yönergeleri), Alım yöntemlerini seçmeye yönelik mekanizma ve süreçler Kamu ihale işlemlerinin bir örneğinin sonuçları • Seçilen belediyelerde dosya incelemesi • Kamu İhale Kurumunda ve seçilen belediyelerde personelle mülakat yapılması • İlgili alanlarda iyi uygulamayı tespit etmek için anket. • İyi uygulamalarla kıyaslama yapmak. Veri analizi ve verilerin özetlenmesi, Analiz ve toplanan verilerin kıyaslanması Analiz, toplanan verilerin sistematize edilmesi ve kıyaslanması 3.Seçilen ihale yöntemi şeffaflığın sağlanması konusunda yeterli güvenceyi sağlıyor mu? 3.1. İhaleye katılanlar ihale ilgili belgelere ve ihale kararlarına kolaylıkla ulaşabiliyor mu? 3.2. İhale katılımcılarının şikayetlerini iletecekleri etkili bir mekanizma var mı? 3.3. Seçilen satın alma yöntemi yeterli rekabetin sağlanmasına uygun mu? İhaleye katılanlar ihale dokümanlarına ve ihale kararlarına kolaylıkla ulaşabilmelidir. Buna ilişkin süreçler iyi tanımlanmalıdır. İhale katılımcıları için etkili bir şikayet sistemi kurulmuş olmalıdır. Tüm ihale prosedürleri uygun rekabeti sağlayıcı şekilde olmalıdır. Mevzuat, Kamu İhale Kanunu, Bakanlıkların ve Diğer Kamu İdarelerinin Mevzuatı (Kanunlar, rehberler, talimatlar, kararlar) İş süreçlerinin ve şikayet sisteminin analizi • Kamu İhale Kurumunda ve seçilen belediyelerde personelle mülakat yapılması • Veri toplamak üzere anket yapılması • Kanun ve diğer yasal düzenlemelerin incelenmesi • İhale dökuman ve karar süreçlerinin analizi Analiz ve verilerin karşılaştırılması Verilerin özetlenerek analizi

35 KONU DENETİMİ REHBERİ 3.4.3. Denetlenen Kurumlar ve İlgililerle Görüşülmesi ve Denetim Planının Başkanlık Tarafından Onaylanması Denetçiler, denetim süreci boyunca etkin iletişim kurmalıdır. Denetlenen kuruluşun denetime ilişkin tüm konular hakkında bilgilendirilmesi önemlidir. Bu husus, yapıcı çalışma ilişkisinin geliştirilmesinin anahtarıdır. İletişim, görev süresince denetime ilişkin bilgi elde edilmesi ve idareye ve yönetimden sorumlu olanlara tespit ve bulguların zamanında bildirilmesini içermelidir. (ISSAI 100:43) Denetim süresince denetlenen kurum/kurumlar ile irtibatı sağlayacak üst düzey yetkili/yetkililerin tespiti planlama aşamasının başlangıcında yapılır. Bu yetkilinin, denetim ekibinin çalışmalarını kolaylaştırmak için gerekli tedbirleri alması ve denetim sürecinde ihtiyaç duyulan bilgi alışverişini ekip başkanı ile birlikte, denetlenen kurum adına organize etmesi beklenir. Denetim ekibi, denetim planı üzerinde kurumla gerçekleştirdiği görüşmeler sonucunda, denetlenen kurum yetkililerinin yorumları ışığında gerekiyorsa denetim metodolojisini revize eder. Kurumun düşüncelerinin metodolojiye yansıtılması, denetimin yürütülmesinde ve amaçlandığı şekilde sonuçlandırılmasında yarar sağlayacaktır. Denetimin planlanması sürecinde denetim ekibi, görüşlerini almak ve farklı kaynaklara ulaşmak amacıyla konunun uzmanlarını ve ilgili kişileri belirlemeye çalışır. Bunlar akademisyenler, kamu hizmetlerinden faydalananlar veya diğer ilgililer olabilir. Denetim ekibi, denetim kriterlerini ve metodolojisini belirlerken, bu kişilerin de görüşlerine ve çalışmalarına başvurabilir. Denetim planı ikinci aşama kalite kontrol yöneticisi tarafından değerlendirilip varsa gerekli değişiklikler yapıldıktan sonra Başkanlığa sunulur. Başkanlık tarafından yapılacak incelemede denetim konusunun görevlendirme alanı içinde olup olmadığı; yapılacak çalışmanın zamanlamasının isabetli, maliyetinin makul düzeyde ve yapılmaya değer olup olmadığı ve raporlamaya ilişkin zamanlamanın uygun olup olmadığına karar verilir. Aynı zamanda metodolojinin uygulanabilirliği, ekibin gerekli becerilere sahip olması ile kanıt kaynaklarının sorulara ikna edici cevap vermedeki yeterlilikleri sorgulanır; ekibin başarıyı etkileyen temel riskleri belirleyip belirlemediği ve bu risklerin üstesinden gelinip gelinemeyeceği araştırılır. Denetim planı Başkanlıkça onaylandıktan sonra iş planı ekip tarafından detaylandırılarak denetimin yürütülmesi aşamasına geçilir.

UYGULAMA BÖLÜM 4

39 KONU DENETİMİ REHBERİ Uygulama aşaması, Denetim Planının onaylanmasıyla başlar ve nihai rapor taslağının hazırlanması başlayana kadar devam eder. Bu süreç, verilerin toplanması ve analiz edilmesi, önceden belirlenmiş kriterlere göre edinilen bilgilerin değerlendirilmesi ve denetim bulgularının taslağının hazırlanması aşamalarını içerir. Uygulama aşamasının amacı, denetim planına uygun olarak denetim sorularına yanıt aramak, raporda yer alacak bulgu, sonuç ve önerileri desteklemeye yönelik yeterli miktarda, uygun ve güvenilir kanıtlar elde etmektir. Uygulama aşamasında yürütülen tüm çalışmalar Rehber’de belirtilen usul ve esaslara göre belgelendirilir ve arşivlenir. 4.1. İş Planının Hazırlanması Denetim ekibi, denetim planı Başkanlık tarafından onaylandıktan sonra, denetim süresince her bir ana görev için gerekli kaynakları gösteren bir iş planı oluşturmalıdır. İş planı, ekip üyelerinin görev dağılımını göstererek, yöneticilerin denetimi izlemesi ve kontrol etmesini kolaylaştırır. İş planı; h Kullanılacak denetim prosedürlerini, h Kanıtların nereden ve ne zaman toplanacağı ve nasıl analiz edileceğini, h Denetçilerin görev dağılımını ve süresini detaylı olarak göstermelidir. İş planı gerektiğinde revize edilir ve varsa eksiklikleri giderilir. İş planı, matriste gösterilen görevler bazında temel önceliklere uygun olmalıdır. İş planı hazırlanmasında esas alınacak format EK 6’da sunulmaktadır. Bazı işlere başlayabilmek için bir diğerinin bitmesi ve bundan elde edilecek verilerin diğerlerinde kullanılması gerekebilecektir. Bu nedenle denetimin yürütülmesi aşamasının başlangıcında, işin tüm detaylarıyla konu bütünlüğünü sağlayacak şekilde ele alınması önemlidir. 4.2. Denetim Kanıtlarının Elde Edilmesi Veri, bilgi ve denetim kanıtı Şekil 7’de de görüleceği üzere birbiriyle ilişkilidir. Denetim sırasında elde edilen her bilgi (kurucu yasalar, kalkınma planlarının ilgili bölümleri, kurum stratejik planları, görüşme notları, anket sonuçları, meslek kuruluşlarının raporları, kurumsal iç ve dış yazışmalar, akademik raporlar, mali veriler vb.) denetçi için veridir. Bu veriler denetim soruları temelinde toplanır ve analiz edilerek çalışma kâğıtlarına aktarılır. Veri analizinin amacı, verileri süzgeçten geçirerek bilgiye dönüştürmektir. Bu bilgiler, raporun genel bilgi kısmında kullanılabileceği gibi, bulgu ve önerileri destekleyen denetim kanıtları olarak raporun ana kısmında da yer alır.

40 T.C. SAYIŞTAY BAŞKANLIĞI Şekil 7: Veri-Bilgi-Denetim Kanıtı İlişkisi Denetim kanıtı, denetim bulgularını desteklemek için toplanan ve kullanılan bilgidir. Denetim raporundaki sonuç ve öneriler bu tür kanıtlara dayanmalıdır. Bu nedenle denetim ekibi, topladığı kanıtların yapısı, kalitesi ve miktarı konusunda dikkatli karar vermelidir. Elde edilen bilgilerin yetersiz kalması durumunda yeniden veri kaynaklarına dönülür. 4.2.1. Kanıtın Miktarı ve Kalitesi Denetçiler, denetim raporunu desteklemek için yeterli ve uygun denetim kanıtı sağlayacak denetim prosedürleri uygulamalıdır. (ISSAI 100: 49) Bulguları destekleyen kanıtlar; anlamlı, güvenilir, geçerli ve yeterli miktarda olmalıdır. Anlamlılık, kanıtın denetim sorusu ve kriterleriyle açık ve mantıksal bir bağı olmasını ifade eder. Kanıtlar, denetimin amacına hizmet ediyor ve denetim bulgularını destekliyorsa anlamlıdır. Güvenilirlik, testin tekrarlanması veya bilginin başka kaynaktan elde edilmesi durumunda aynı sonuçlara ulaşılabilmesi ile ilgilidir. Elde edilen kanıtların tümüyle objektif olması ve haklarında hiçbir şüphe bulunmaması gerekir. Geçerlilik, elde edilen bilginin içeriği, kaynağı ve zamanı ile ilişkilidir. Denetçi, denetim kanıtı olarak kullanılacak bilginin (örneğin fotokopi, faks, elektronik ortamda üretilmiş dokümanlar vb.) geçerli olup olmadığını dikkate almalıdır. Denetlenen kurumca üretilen bilginin kalitesi, o kurumun iç kontrollerinin güçlü olması ile doğrudan ilişkilidir. Denetçinin doğrudan gözlemi, incelemesi ve hesaplamasıyla elde edilen kanıtlar, dolaylı yöntemlerle elde edilen kanıtlardan genellikle daha güvenilirdir. Keza başka kanıt kaynakları ile desteklenen kanıtların daha güvenilir olduğu açıktır.

41 KONU DENETİMİ REHBERİ Yeterlilik; bulguları destekleyen kanıtların denetçiyi ve ilgili tarafları ikna edici ölçüde yeterli olmasıdır. Yeterli (miktar) ve uygun (kalite) kanıt kavramları birbiriyle ilişkilidir. Kanıtın miktarı, denetim raporunun içeriğine ikna edici düzeyde destek sağlayabildiği ölçüde yeterlidir. Denetçiler, elde edilen kanıtların miktarının, makul bir insanın bulgu ve sonuçların geçerli ve önerilerin uygun olduğu konusunda ikna edilmesini sağlayacak düzeyde olup olmadığını sorgulamalıdır. Bunu yaparken mesleki yargısını kullanmalıdır. 4.2.2. Kanıt Türleri Fiziki kanıtlar; denetim sürecinde insanların, olayların, varlıkların ya da süreçlerin gözlenmesi yoluyla elde edilen kanıtlardır. Bir fiziki durumun gözlenmesini denetim kanıtı olarak tek başına kullanmak risklidir. Bu nedenle ulaşılan gözlem sonuçlarının diğer kanıtlarla desteklenmesi gerekir. Ayrıca gözlemin denetlenen kurum temsilcilerinin katılımıyla gerçekleştirilmesinde yarar vardır. Belgeye dayalı kanıtlar; sözleşmeler, muhasebe kayıtları, faturalar, yönetim raporları, yazışmalar, mevzuat, denetlenen kurumun iş tanımları, planları, bütçesi, iç prosedürleri gibi kaynaklardan elde edilen bilgileri kapsar. Bu tür kanıtların güvenilirliği ve anlamlılığı denetim amaçlarıyla ilgili olmasına bağlıdır. Sözel kanıtlar; görüşme yoluyla elde edilen kanıtlardır. Sözel kanıtların da tek başına kullanılması riskli olup, başka kanıtlarla desteklenmesi ve doğrulanması gerekir. Analitik kanıtlar; diğer kaynaklardan elde edilen bilgilerin analizi yoluyla ulaşılan kanıtlardır. Bu kanıtlar hesaplamalar, karşılaştırmalar, trend ve rasyo analizleri, bir bütünün bileşenleri içindeki bilgilerin ya da bağımsız değişkenlerin ayrıştırılması gibi yöntemlerle elde edilir. Bu yöntemlerin birkaçının beraber kullanılması denetim kanıtlarının kalitesini önemli ölçüde güçlendirir. Denetim soruları ve konuyla tutarlı olması kaydıyla, maliyet ve zaman hususlarını da göz önünde bulundurarak, bu yöntemlerin birçoğunun kullanılması önerilmektedir. Denetim çalışması sırasında denetçi hassas bilgiler elde edebilir veya bunlarla karşılaşabilir. Bu tür bilgiler gizli bir şekilde ele alınmalı ve veri koruma gerekliliklerine uyulmalıdır. 4.2.3. Kanıt Kaynakları Kanıtlar, elde edildikleri kaynaklara göre şu şekilde sınıflandırılabilir: Değerlendirme/analiz yoluyla elde edilen kanıtlar: Denetçiler, bizzat görüşme, anket ve doğrudan denetim veya gözlem yoluyla kanıt toplayabilirler. Bu gibi durumlarda, denetçilerin uygulanan metotlar ve toplanan kanıtların kalitesi üzerinde tam bir kontrolü söz konusudur. Ancak denetçilerin ilgili metotları etkin şekilde uygulamaları için, yeterli niteliklere ve deneyime sahip olmaları gerekir. Denetlenen kurumca sağlanan kanıtlar: Denetçiler, denetlenen kurumun dosyaları, veri tabanları, raporları ve diğer dokümanlardan elde edilecek bilgilerin yanı sıra, denetlenen kurumca üretilen iç denetim raporlarından, vb. elde edilmiş bilgileri de kullanabilirler. Denetçiler, bilginin kalitesini değerlendirme ve doğrulama yoluyla belirlemelidir. Ayrıca kurumun ürettiği bu tür bilgilerin kalitesi üzerinde gerçekleştirdiği kontrollerin etkinliği de test edilmelidir. Üçüncü kişilerden elde edilen kanıtlar: Denetim kanıtı üçüncü kişilerden elde edilen bilgileri de içerebilir. Bazı durumlarda üçüncü kişilerde denetlenen kurumlara ya da denetim alanına ilişkin bilgiler olabilir ve bazen denetçiler bu bilgileri de denetlemek isteyebilirler. Üçüncü kişilerden elde edilen bilgilerin kanıt olarak kullanılabilirliği, bunların kalitesine duyulan güvene bağlıdır. Denetim kanıtlarını desteklemek, böylece ilgili denetim bulgularını daha güvenilir hale getirmek ve farklı bakış açılarının dikkate alınmasını sağlamak amacıyla kanıt toplamada farklı kaynaklar kullanılmalıdır.

42 T.C. SAYIŞTAY BAŞKANLIĞI 4.2.4. Kanıt Toplama Teknikleri Bulgulara dayanak olacak kanıtlar, farklı kaynaklardan ve çeşitli teknikler kullanılarak elde edilir. Bu tekniklerden yaygın olarak kullanılanlar şunlardır (Ayrıntılı bilgi için bakınız: EK 4 Kanıt Toplama Teknikleri): GÖRÜŞME Denetlenen kurum personeli, ilgili diğer kurum ve kuruluşların temsilcileri ve üçüncü taraflarla görüşme, sözlü kanıt toplamanın en yaygın yöntemidir. Görüşmelere en az iki denetçinin katılması, görüşmede konuşulan tüm hususların görüşme notu aracılığıyla belgelendirilmesi ve denetim dosyasında saklanması esastır. Görüşmelerden önce görüşülecek kişilere sorulacak hususların belirlenmesi, bunların denetim sorularıyla ilişkilendirilerek yazılı hale getirilmesi ve görüşmenin bu sorular temelinde yürütülmesi görüşmelerin etkinliğini artıracaktır. ANKET Anketler, göreceli olarak kısa bir zaman süresi içerisinde geniş kitlelere ulaşabilme özelliğine sahip oldukları ve bu kitlelerden standartlaştırılmış nitelikte hem kalitatif (sayısal olmayan) ve hem de kantitatif (sayısal) bilgiler elde edilmesine olanak tanıdıkları için, yaygın olarak kullanılan kanıt toplama tekniklerinden birisini oluşturur. BELGE İNCELEMESİ Belge incelemesinden elde edilen veriler denetim bulgularını ve önerilerini destekleme bakımından güçlü kanıtlar sağlar. Fiziki olarak veya elektronik ortamda belge incelemesi kanıt toplamanın en yaygın şeklidir. ÖRNEK OLAY İNCELEMELERİ Örnek olay, bir program veya faaliyetin bütün olarak anlaşılması ve ölçülmesi için olayların, belgelerin veya işlemlerin tamamını temsil edebilecek düzeyde seçimini ve incelenmesini ifade eder. GÖZLEM Olayları anlamanın ve takip edebilmenin en etkili yollarından biri de gözlemdir. Gözlem yapmak suretiyle denetçiler, incelenen faaliyet ya da süreçler hakkında ilk elden fikir sahibi olurlar. KIYASLAMA Kıyaslama, bir kurumun metotlarının, süreçlerinin ve çıktılarının benzer performans kategorisinde, istikrarlı olarak bilinen kurumlarla karşılaştırılması sürecidir. Kıyaslamanın amacı, diğer kurumlarla veya başka yerlerdeki iyi uygulama örnekleri ile karşılaştırarak daha iyi bir performansa ulaşmanın mümkün olup olmadığının belirlenmesidir. ODAK GRUPLAR Odak gruplar, spesifik bir konuyu tartışmak üzere bir araya getirilmiş benzer bilgi ya da deneyime sahip kişilerden oluşan tartışma gruplarıdır. Odak gruplar iki nedenle “odak”tırlar. İlk olarak tartışmaya katılan kişiler kimi yönleriyle benzerdirler ya da genel özellikleri aynıdır. İkinci olarak tartışmanın amacı tek bir konu ya da dar bir alan hakkında bilgi elde etmektir.

43 KONU DENETİMİ REHBERİ 4.3. Verilerin Analizi Nitel ve nicel verilerin analizi, denetimin en önemli aşamalarından birisidir. Denetçi, çeşitli kaynaklardan toplanan verileri analiz ederken, denetim amacını ve sorusunu göz önünde bulundurarak değerlendirmeye başlamalıdır. Bu yaklaşım denetçiye, verilerin düzenlenmesinde ve analize odaklanmada kolaylık sağlayacaktır. Verilerin analiz edilmesinin amacı; denetim kriterlerini dikkate alarak denetim sorularına yanıt bulmak, verileri anlamlı ve kavranabilir bulgulara ve sonuçlara dönüştürmektir. Denetçi, elde ettiği bilgilerin sonuçlarının, denetim kriterleriyle veya genel olarak olması gereken ile karşılaştırmasını yapmalıdır. Bilginin derinlemesine ve kapsamlı olarak değerlendirilmesi son derece önemlidir. Denetçi, dokümanları inceleyerek, hem açıklayıcı bilgi toplayabilir, hem de belgeleri ve konuyla ilgili her şeyi sistematik olarak analiz edebilir. Bilgi analizi akılcı, yaratıcı ve tekrarlanan bir süreçtir. Bu süreç tartışmaları, beyin fırtınalarını ve çoğunlukla nicel olmayan, içerik analizi, karşılaştırmalı analiz gibi teknikleri kapsar (Ayrıntılı bilgi için bkz. EK 5: Veri Analiz Teknikleri). 4.4. Denetim Bulguları, Sonuçları ve Öneriler Kanıtları analiz etme, bulguları geliştirme ve belirlenen düşük performans alanlarına yönelik öneriler üretme süreci Şekil 8’de gösterilmiştir. Şekil 8: Denetim Önerileri Geliştirme Süreci Denetim Kriteri (Ne Olmalı?) Denetim Bulgusu (Olması Gereken ve Olan Arasındaki Fark) Denetim Bulgusunun Sebep ve Etkisinin Belirlenmesi Denetim Sonucu ve Önerilerin Geliştirilmesi Denetim Kanıtı (Gerçekte Ne?)

44 T.C. SAYIŞTAY BAŞKANLIĞI Denetim bulguları, denetim süresince, denetim sonuçlarına ulaşmak için kanıt kaynaklarından toplanan verilerin yorumlanması ve analiz edilmesi sonucu, denetçi tarafından tespit edilen gerçek durumlardır. Diğer bir ifadeyle bulgu, olan ile olması gereken arasındaki farktır. Denetim bulguları belirlenirken, bulguların önem derecesinin ve performans düşüklüğünün nedenlerinin de dikkate alınması gerekir. Denetim sonuçları, denetim sırasında elde edilen bulgularla bağlantılı olarak, denetlenen kurum ya da faaliyetin eksiklik ve yetersizliklerine yol açan nedenlerdir. Diğer bir ifadeyle, denetçilerin bulgulardan hareketle ulaştıkları çıkarımlardır. Denetçinin yargısını yansıtır. Ancak bu sonuçların kanıta dayalı, tarafsız, mantıklı ve tutarlı olması gerekir. Denetim önerileri, denetim sırasında tespit edilen sorun ve risklerin ortadan kaldırılmasına yönelik olarak önerilen, uygulanabilir, yapıcı ve düzeltici önlemlerdir. Bir başka ifadeyle, denetim amacı ile bağlantılı olarak, denetlenen kuruma performansını artırma konusunda denetçi tarafından önerilen uygulama ve yaklaşımlardır. Öneriler, sağlam temellere dayandırılmalı ve değer katmalıdır. Sorun ve/veya zayıflıkların nedenlerini ele almalıdır. Öneriler ancak denetimde tespit edilen zayıflıklar için pratik çözümler belirlendiğinde yapılmalıdır. Öneriler ilgili sonuçla bağlantılı olmalı ve önerilerin hangi kurum tarafından yerine getirilmesi gerektiği netleştirmelidirler. Önerilerde aslen yönetimin görevi olan ayrıntılı uygulama planlarına yer verilmez. Önerilerin yapıcı olabilmesi için, gerekli değişikliklerin ana bileşenlerini belirtmelidir. Denetçiler bir sistemin nasıl geliştirilmesi gerektiği hakkında değil sistemin geliştirilmesine ihtiyaç duyulan yönleri ve gerçekleştirilmesi gereken değişimin amaçları hakkında spesifik önerilerde bulunmaya çalışır. Önerilerin spesifik olması kurum için faydalı olduğu gibi, uygulanıp uygulanmadıklarını izlemek açısından denetçilere de yarar sağlar. Öneriler, düzeltme ya da iyileştirme yapılmasını engelleyen her bir mali, yasal ya da uygulama kaynaklı faktörü dikkate almalıdır. Bu problemlerin daha önce neden çözülemediği ve problemlerin çözümünün kurumun diğer birimlerinin çalışmaları üzerindeki etkisi değerlendirilmelidir. Keza problemlerin çözüme kavuşturulmasının maliyeti ve ne kadar zaman alacağı hesaba katılmalıdır. Öneriler; h Denetim konusu ve amacı ile ilgili olmalı, h Denetim bulgu ve sonuçlarıyla uyumlu olmalı, h Tespit edilen noksanlık veya yetersizliğin altında yatan nedenlerle bağlantılı olmalı, h Kendi içerisinde bir mantık bütünlüğü oluşturacak şekilde, birbiriyle uyumlu, tutarlı, açık, kısa ve anlaşılır olmalı, h Ayrıntılarına girilmeden ifade edilmiş olmalı (örneğin nelerin yapılmasına ihtiyaç bulunduğu belirlenmeli, ancak bunların kurum yönetimince nasıl yapılacağı hususuna girilmemeli), h Önerinin muhatabı belirli olmalı, h İçerik olarak yapıcı olmalı, h Uygulanabilir olmalı, h Maliyet etkin olmalı (getireceği faydalar uygulama maliyetinden yüksek olmalı), h Sonuç almaya yönelik olmalı (sonuç alınamayacak, makul olmayan önerilerden kaçınılmalı), h Sonuçları izlenebilir olmalıdır.

45 KONU DENETİMİ REHBERİ Denetim Bulgusu İyi Öneri Örneği Kötü Öneri Örneği Ulusal hedeflere ulaşılmasını ölçmek için kullanılan izleme sisteminin geliştirilmesine ihtiyaç duyulmaktadır. Hedeflerin izlenmesi ve gerçekleşmelerin ölçümünü sağlayan sistemin izlemeyi yapan kurum tarafından güncel teknolojilerin kullanımı ile geliştirilmesi ve bu sürece paydaşların katılımının sağlanması önem arz etmektedir. Ulusal hedeflerin izlenmesini sağlamak üzere özel sektör desteği alınarak yeni bir yazılım yapılmalıdır. İlgili yasal düzenlemelerdeki karmaşıklık nedeniyle belediye taşınmazlarının kayıt altına alınması konusunda eksiklikler bulunduğu görülmektedir. Taşınmazların tam ve doğru şekilde kayıt altına alınmasını sağlayacak yasal düzenlemelerin neler olabileceği konusunda araştırmalar yapılarak yasama organına öneriler sunulmalıdır. Belediye taşınmazlarına ilişkin yasal mevzuat değiştirilmelidir. Üniversite hastanelerinin acil servis sağlık hizmetlerinde tıbbi cihazların verimli şekilde kullanılmadığı anlaşılmaktadır. Acil servis hizmetleri için ihtiyaç duyulan ve mevcut tıbbi cihaz envanterinin çıkarılmasının cihazların verimli kullanımı için fayda sağlayacağı düşünülmektedir. Acil servis hizmetlerinde tıbbi cihazların verimli şekilde kullanılması gerekir. 4.5. Denetimin Belgelendirilmesi Denetçiler; yapılan çalışma, elde edilen kanıtlar ve ulaşılan sonuçlara ilişkin açık ve yeterli detaya sahip denetim belgeleri hazırlamalıdır.(ISSAI 100: 42) Denetim kanıtlarının belgelendirilmesinde temel ilke, denetim belgelerinin denetim ile daha önce bağlantısı olmayan deneyimli bir denetçinin, denetçilerin önemli yargı ve sonuçlarını destekleyen kanıtları anlamasına imkân tanıyacak şekilde yeterli ölçüde detaylandırılmasıdır (ISSAI 100:42). Kanıtların belgelendirilmesi, denetim çalışmasında ortaya konulan bulgu ve sonuçlar ile hazırlanan raporun Sayıştay mevzuatına ve uluslararası standartlara uygunluğunu belgelemek için elde edilen kanıtların sistematik olarak bir araya getirilmesidir (EK 7: Denetimin Belgelendirilmesi ve Çalışma Kağıtları). Denetçiler denetim sonuçlarını desteklemek ve yürütülen denetimin süreçlerini açıkça sergilemek için kanıtları belge haline getirmelidir. Denetçi bu amaçla uygulanan denetim süreçlerinin planlamasını, kapsamını ve zamanlamasını; denetim kanıtlarına dayalı denetim sonuçlarını ve yeterince ayrıntılı ve sağlam denetim kanıtlarından ulaşmış olduğu sonuçları kayıt altına alan çalışma kağıtları hazırlamalıdır. Çalışma kâğıtları, kanıta dayanan belgelendirmeye erişimi kolaylaştıracak ve düzen altına alacak araçlardır. Çalışma kâğıtları, konu seçimi aşamasından başlamak üzere denetimin planlanması, uygulama aşaması ile denetim raporu arasındaki bağı kurar. Bu nedenle, raporda yer verilen bulgu ve sonuçların, analiz ve önerilerin desteklenmesi amacıyla toplanan tüm kanıtlar çalışma kâğıtlarına bağlanmalıdır (EK 8: Çalışma Kağıdı Formatı). Ayrıca, tüm destekleyici belgeler ilgili çalışma kağıtlarında referans olarak gösterilmelidir. Bu, denetimle ilgili tüm bilgilere kolay erişim sağlar.

46 T.C. SAYIŞTAY BAŞKANLIĞI Denetim kanıtlarının iyi belgelenmesinin faydaları şöyle sıralanabilir: h Denetim bulguları ve taslak nihai rapor içerikleri için savunulabilir bir temel oluşturur (bu, özellikle çekişmeli prosedürler bulunması halinde önemlidir); h Denetim bulguları, sonuçları ve önerileri açıklanabilir; h Hem denetim sırasında hem de müteakip incelemeler (Kalite Güvencesi, meslektaş değerlendirmesi gibi) kapsamında kalite kontrol için uygun bir temel oluşturur. Çoğu denetim kağıt üzerinde çok sayıda kanıt ürettiğinden, yapılan çalışmayı sonuçtaki bulgularla ilişkilendiren bir belgelendirme, referans ve indeksleme sisteminin olması önemlidir. Bu sistem özellikle gözden geçirme ve onay süreçlerinde önem kazanmaktadır. Denetim ekipleri çalışma kağıtlarını ekiplerine özel ortak bir klasörde, bir numaralandırma sistematiğine göre dosyalamalıdır. Denetimin her aşaması ayrı ayrı dosyalanmalı (planlama, uygulama, raporlama, izleme gibi), her bir dosya kendi içinde mantıksal bir düzen takip edecek şekilde ekip başkanınca numaralandırılmalıdır. Ayrıca denetçi, denetim kanıtı olarak kullanmayı düşündüğü denetlenen kurumdan görevlilerin katıldığı bütün toplantılara ilişkin tutanak hazırlamalıdır. Belli bir toplantının, denetçi tarafından kanıt olarak kalitesini artırmak için tutanak imzalanmasının gerekip gerekmediği ve kaydedilecek detayın kapsamı denetçi yargısına bağlıdır. Denetçinin, denetimin başında denetlenen kuruma belirli toplantıların kaydının denetim kanıtı olarak kullanılabileceğini ve bu gibi durumlarda ilgili tutanakların onaylanması gerektiğini bildirmesi önerilir. 4.6. Bulguların Denetlenen Kurumla Görüşülmesi Önceki bölümlerde belirtildiği üzere denetçi ile denetlenen kurum arasındaki iletişim süreci, denetimin planlama aşamasında başlar ve farklı bulgular, argümanlar ve perspektifler değerlendirilirken yapıcı bir etkileşim süreci içerisinde denetim boyunca devam eder. Uygulama aşamasının sonunda elde edilen bulgular henüz netleşmediği için bunların ön denetim bulguları olarak adlandırılması uygun olacaktır. Denetçilerin, düzeltici önlemlerin alınıp alınmadığını, eğer alındıysa bunu raporlama amacıyla belirlemek ve doğrulamak için denetlenen kurumu ön denetim bulgularından haberdar etmesi gerekir. Ön bulguların (standartlar, olgular ve analizler) iletilmesi de olguların ve bulguların doğru olduğunu teyit eder. Bu tür bir iletişim , denetim sırasında mevcut olmayan veya anlaşılmayan ek denetim kanıtları veya bilgileri sağlayabilir. Ön denetim bulgularının, denetlenen kurumun yanıtları ışığında değerlendirilmesi gerekir. Bu iletişim ve onaylamanın sonuçları, denetim sürecinin bir parçası olarak belgelenmelidir. 4.7. Sonuç Raporunun Hazırlanması ve Bulguların Değerlendirilmesi Toplantısı Denetim ekibi saha çalışmasının tamamlanmasının ardından denetimin genel sonucu ve bulgu özetlerini içeren, raporlanmasını planladıkları muhtemel rapor formatında bir sonuç raporu hazırlar. Bulguların değerlendirilmesi toplantısı, saha çalışması tamamlandıktan sonra ancak rapor taslağı hazırlanmadan önce gerçekleşir. Bu toplantı denetim raporuna dahil edilecek bulgu ve sonuçların değerlendirilmesi ve bunların hangi formatta raporlanacağının karara bağlanması amacıyla yapılır. Bu toplantıya denetim ekibi, ilgili grup başkanı, ilgili bölüm başkanı, kalite güvencesinden sorumlu bir denetçi, başkan ya da başkan yardımcısının katılması uygun olur. İhtiyaç duyulması halinde katkı sağlayacağı düşünülen grup başkan(lar)ı da toplantıya davet edilebilir. Bulguların değerlendirmesi toplantısında özellikle değerlendirilmesi gereken hususlar EK 9’da yer almaktadır.

RAPORLAMA BÖLÜM 5

49 KONU DENETİMİ REHBERİ Raporlar, anlaşılması kolay ve tam olmalı ve muğlaklık veya anlam belirsizliği içermemelidir. Tarafsız ve adil olmalı, yalnızca yeterli ve uygun denetim kanıtıyla desteklenen bilgileri içermeli ve bulguların perspektife ve bağlama oturtulmasını sağlamalıdır.(ISSAI: 100:51) Denetim raporu tüm denetim sürecinin nihai çıktısıdır. Uygun şekilde tasarlanmış ve yürütülmüş bir denetim iyi bir rapor için temel sağlar. Başlangıçtan itibaren denetim, güncel ve yüksek kalitede bir rapor üretmek üzere planlanır ve her denetim çalışması, denetimin amacı ile uyumlu bir denetim raporu ile sonlandırılır. Raporların kalitesi, Sayıştay’ın saygınlığının ve güvenilirliğinin de bir ölçütüdür. Bu nedenle raporların hazırlanmasında, mümkün olan en yüksek standarda ulaşılması hedeflenmelidir. Bunun sağlanması amacıyla hem raporun nihai kullanıcılarının ihtiyaçları, hem de Sayıştay’ın misyonu dikkate alınmalıdır. 5.1. Denetim Raporunun Nitelikleri Temelde denetlenen alana değer katmayı ve olumlu yönde bir değişimi gerçekleştirmeyi amaçlayan konu denetimi raporlarının okuyucusuna net mesajlar vermesi ve amacına ulaşabilmesi için uluslararası denetim standartlarında da belirlenmiş olan çeşitli nitelikleri haiz olması gerekir. Bu nitelikler aşağıda başlıklar halinde açıklanmaktadır. Tarafsız: Denetim raporlarının bağımsız ve önyargıdan uzak bir bakış açısıyla ve mevcut durumun objektif kriterlerle kıyaslanmasına dayanan tespitlerden oluşacak şekilde yazılması gerekir. Rapor yansız bir dille, adil ve yanlış yönlendirmeyecek bir şekilde oluşturulmalıdır. Tarafsız raporlar uygulamanın olumlu yanlarına da yer verir ve yalnızca olumsuz yönleri vurgulamaz. Tam: Raporun belirlenen denetim sorularının cevaplanması ve sonuçların yeterli ve doğru anlaşılmasını sağlayacak tüm bilgileri içermesi gerekir. Denetim soruları, kriterler, bulgular ve öneriler arasındaki bağlantı anlaşılır şekilde kurulmalıdır. Açık: Raporun kolay okunur ve anlaşılır olması, mümkün olduğunca doğrudan ve teknik olmayan bir dil kullanması, kısaltmaları açıklaması ve anlam belirsizliğine sebebiyet vermemesi gerekir. Raporda yer verilen mesajlar açık, yanlış anlaşılmaya yol açmayan ve ilgili mesajlar olmalıdır. Açıklık ve anlaşılırlık için sonuçların ve tespitlerin mantıksal çerçevede açıklanması önemlidir. Başlıkların etkin kullanımı da raporun anlaşılırlığını artırarak kolay okunmasını sağlayan bir unsurdur. İkna edici: Raporda yer verilen bilgi okuyucuyu bulguların geçerliliği, varılan sonuçların makullüğü ve önerilerin uygulanmasının faydası konusunda ikna edecek nitelikte olmalıdır. Sonuçlara ve önerilere ulaşılmasında alt soruları ve bunlara ilişkin tespitleri kullanarak tümevarım yönteminin kullanılması, mantıksal ve ikna edici bir değerlendirme yapılabilmesi için önemlidir. İlgili: Raporun içeriği, belirlenmiş denetim sorularına bağlı kalmalı, önemli ve rapor kullanıcılarının ilgisini çekecek konulara odaklanmalı ve değer katıcı olmalıdır. Raporun ilgili olabilmesi için zamanlı olması gerekir. Diğer bir deyişle kullanıcıların ihtiyacına cevap verecek şekilde güncel bilgiler sunmalıdır.

50 T.C. SAYIŞTAY BAŞKANLIĞI Doğru: Raporda sunulan kanıtlar gerçek olmalıdır ve tüm bulgulara doğru olarak yer verilmelidir. Raporun doğru olması raporlanan hususların güvenilir ve inandırıcı olmasını sağlar. Ayrıca denetim raporlarında yanlış bir bilgiye yer verilmesinin Sayıştay’ın itibarını da olumsuz etkileyeceği unutulmamalıdır. Yapıcı: Rapor, zayıf yönleri açıkça belirleyip bunların geliştirilmesi için uygulanabilir öneriler sunarak denetlenen kurumların gelecekte ortaya çıkacak problemlerin üstesinden gelmesini sağlamaya yardımcı olacak nitelikte olmalıdır. Özlü: Rapor mesajın iletilmesi ve desteklenmesi için gerekenden daha uzun olmamalıdır. Gereksiz detaylar ve önemli olmayan tespitler raporun ana mesajının görünürlüğünü azaltır ve okuyucunun dikkatini dağıtır. 5.2. Raporun Çerçevesinin Geliştirilmesi Raporun yazımına başlarken, öncelikle raporda yer verilmek istenen hususların kısa bir özetini ortaya koyacak şekilde raporun ana hatlarının oluşturulması gerekir. Raporun ana hatlarının denetimin başlangıç aşamasında ve denetim sorularını temel alan bir yaklaşımla belirlenmesi esastır. Uygulama aşamasının sonunda yapılan sonuç raporu değerlendirme toplantısında raporun ana hatları da değerlendirmeye tabi tutulur ve bu toplantıda onaylanan ana hatlar üzerinden rapor taslağı yazılmaya başlanır. Denetim raporu, kararlaştırılan bu çatı esas alınarak yazılacak ve değerlendirilecektir. Raporun yapısına karar verirken, raporun okuyucularının da dikkate alınması önemlidir. Raporların muhattapları TBMM, denetlenen kuruluşlar ve/veya kamuoyu olabilir. Bu nedenle raporun çatısı ya da ana hatları oluşturulurken tüm muhataplarının göz önünde bulundurulması gerekir. Denetim ekip başkanı ve ikinci aşama kalite kontrolden sorumlu yönetici raporun ana hatlarını ayrıntılı bir şekilde gözden geçirir. Bu değerlendirmenin her türlü ön yargıdan uzak, adil ve etik kurallara uygun bir şekilde yapılması önemlidir. Gözden geçirmede denetim soruları, denetim kriterleri ve denetimin amacı ile uyumluluk gözetilir ve gerekli görülürse değişikliğe gidilir. 5.3. Raporun İçeriği Raporlar standart bir formatta aşağıda açıklanan üç bölümden oluşacak şekilde yazılır. Raporun içeriğinin denetim amacı, tespitleri ve sonuçları arasında mantıksal bir bağ kurulabilmesi için denetim soruları çerçevesinde yapılandırılması gereklidir. Rapor formatı EK 10’da yer almaktadır. Yönetici Özeti: Konu denetimi raporları yönetici özeti ile başlar. Yönetici özetinin raporda yer alan hususları doğru ve kapsamlı bir şekilde yansıtması gerekir. Denetim soruları çerçevesinde oluşturulan çatıya uygun olarak raporun içeriği bölümler halinde kaleme alınır. Yönetici özeti, raporun tümünü okuma fırsatı bulamayacak olanlara, raporun tamamı hakkında özet bilgi sunmayı amaçlar. Yönetici özetinin uzun olmaması esastır. Özette raporun ilgili bölümlerine atıf yapılarak ayrıntılı bilgi için okuyucuya yol gösterilir. Yönetici özetinde aşağıda yer alan üç başlığa yer verilir:

51 KONU DENETİMİ REHBERİ h Konu Hakkında Bilgi Bu başlık altında denetimin amacı, denetimin kapsadığı dönem, denetim kapsamında denetlenen kurumlar hakkında bilgi verilir. Yönetici özetinde yer verilecek konu hakkında bilginin denetimin amacının, kapsamının ve denetim sonuçlarının anlaşılmasını sağlayacak nitelikte kısa ve öz şekilde ifade edilmesi gerekir. h Bulgular Bu başlık altında bulgulara raporun içindeki paragraf numaralarına atıf yapılarak yer verilir. Raporda yer alan tüm bulgular bu bölüme alınır. Ancak öneriden bulgunun mahiyeti açıkça anlaşılıyorsa bulguya ayrıca yer verilmeyebilir. h Öneriler Bu başlık altında raporun farklı bölümlerindeki öneriler birleştirilerek yazılır. Raporda yer alan tüm öneriler bu bölüme alınır. Giriş: Yönetici Özeti’nden sonra giriş bölümü yer alır. Bu bölümde aşağıdaki alt başlıklara sırasıyla yer verilir. h Denetimin Amacı, Kapsamı ve Metodolojisi Bu başlık altında denetim planında oluşturulan denetimin amacı ve kapsamına yer verilir. Denetimin uygulama aşamasında kapsamda herhangi bir değişiklik yapıldıysa buna ilişkin de bilgi verilmesi gerekir. Bunlara ek olarak denetimde kullanılan metodolojiler, kanıt toplama teknikleri hakkında bilgi verilir. h Denetim Soruları Bu başlık altında denetim matrisinde yer alan ve denetim raporunun oluşturulmasına esas teşkil eden denetim sorularına yer verilir. Temel soru, alt sorular ve alt-alt sorular bu başlık altında sıralanır. h Konu Hakkında Bilgi Denetim planında yer alan konu hakkında bilgiye varsa gerekli güncellemeler yapılarak bu başlık altında yer verilir. h Denetim Sonuçlarına Toplu Bakış Bu başlık altında alt sorulara verilen yanıtlara ve bu yanıtlardan elde edilen sonuçlar doğrultusunda temel sorunun cevabına yer verilir. Bu başlıkta yer alan bilginin denetim ile ulaşılan tespitleri, diğer bir deyişle denetimin sonuçlarını göstermesi amaçlanmaktadır. Rapor bölümleri her başlıkta alt ve alt- alt sorulara verilen yanıtları içeriyor olsa da denetimin sonucunu içermemektedir. Bu başlık altında genel olarak denetimin sonucu açıklanarak okuyucunun detaylara geçmeden önce genel hakkında fikir sahibi olması sağlanacaktır. Bölümler: Raporun diğer bölümleri planlama aşamasında belirlenen alt sorular çerçevesinde oluşturulur. Her alt sorunun alt-alt sorular temelinde ele alınması, başlıklandırılması ve belirlenen soruların tamamına ilişkin yapılan değerlendirmelere ilgili başlıklarda yer verilmesi esastır. Böylelikle denetim soruları ve kriterler çerçevesinde elde edilen kanıtlar, bunların yorumlanması sonucu ulaşılan bulgular ve geliştirilen öneriler sistematik halde sunulur. Yürütülen denetimle ilgili detaylara ve raporun anlaşılmasını kolaylaştırabilecek ek bilgilere raporun sonunda “Ekler” bölümünde yer verilebilir.

52 T.C. SAYIŞTAY BAŞKANLIĞI 5.4. Raporun Yazımı İle İlgili Diğer Hususlar Raporun kalitesini artırmak ve denetim standartlarında belirlenen nitelikleri haiz raporlar hazırlanmasını sağlamak üzere Denetim Raporlama Rehberi esas alınır. Bunun dışında dikkat edilmesi gereken diğer hususlar aşağıda sıralanmıştır: h Raporun bölümlerinde yer alan tüm paragraflar uygun şekilde numaralandırılır. Yönetici özetinde yer verilen hususlar için bölüm içindeki paragraf numaralarına atıf yapılır. h Teknik ve teorik bulguların açıklanması ve anlaşılır hale getirilmesi için örnekler kullanılabilir. Ancak örneklerin kullanımında kanıtlarla desteklenmesine dikkat edilmelidir. Ayrıca örnekler açık şekilde yazılmalı, ilgili soruyla/konuyla bağlantılı olmalı ve çok fazla detaylı olmamalıdır. h Raporda yalnızca denetimin bağlamının veya sonuçlarının anlaşılmasını sağlayacak verilerin sunulması gerekir. Verilerin raporda kullanılması durumunda bunların açıklamalarına metin içinde yer verilir. Detaylı veriler için yalnızca bağlantıların veya atıfların verilmesi daha uygun olacaktır. h Rapor birden fazla denetçi tarafından kaleme alınıyorsa bir kişinin tüm raporu gözden geçirip rapor bölümlerindeki yazım ve ifade tarzlarının uyumlu olmasını sağlamakla görevlendirilmesi raporun tutarlı ve anlaşılır olmasını sağlayacaktır. h Paragrafların ve cümlelerin kısa tutulması raporun okuyucu dostu olması için önemlidir. h Raporda kullanılan ifadeler kesin sonuçlar içermeli, belirsizlik veya şüpheye mahal vermemelidir. Raporda yer alan tespit ve sonuçlar Sayıştayın nihai görüşüdür ve bunu yansıtacak kelimelerle ifade edilmelidir. h Raporda mümkün olduğunca veri grafiği, grafik, tablo ve resim gibi görsel unsurlar kullanılması tercih edilmelidir. Bu, rapora ilgiyi ve mesajların anlaşılırlığını artırır. Okuyucular genellikle dikkatlerini daha çok bölüm başlıkları ile alt başlıklara, resim ve grafik gibi görsel sunumlara ve yönetici özetine verirler. Bu bölümler oluşturulurken bunların temel mesajları net bir şekilde iletebildiğinden ve denetimin nihai amacına ulaşmasını sağladığından emin olmak için çaba sarf edilmelidir. 5.5. Raporun Gözden Geçirilmesi Raporun gözden geçirilmesinden birinci aşama kalite kontrol mekanizması olarak ekip başkanı sorumludur. Ekip başkanının ardından raporun kalitesini güvence altına almak üzere ikinci aşama kalite kontrol mekanizmasında görevli yönetici gerekli önlemleri alır. Bu amaçla raporun yeterli kanıtla desteklendiği, dürüst ve adil bir şekilde ulaşılan sonuçları sunduğundan emin olur. Ayrıca kalite kontrolün bir başka aşaması olarak rapor taslağı, ekip dışından denetçiler tarafından gözden geçirilir. Ekip dışından bir veya daha fazla denetçi tarafından yapılacak gözden geçirmenin amacı raporun denetim süreçlerine dahil olmamış kişiler tarafından okunarak anlaşılırlığının test edilmesi ve kalitesinden emin olunmasıdır. Bu aşamada yapılacak gözden geçirmede dikkate alınacak değerlendirme kriterleri Ek 11’de yer almaktadır.

53 KONU DENETİMİ REHBERİ 5.6. Denetlenen Kurum Görüşünün Alınması Hazırlanan taslak rapor Başkanlığa sunulur. Başkanlıkça incelenen taslak rapor görüşleri alınmak üzere denetlenen kurumlara gönderilir. Denetlenen kurumun taslak rapora ilişkin görüşünü oluşturabilmesi için makul bir süre tanınır. Bu süreçte denetim ekibi ile kurum temsilcilerinin bir araya geldiği toplantı yapılabilir. İlgili kurumun üst yöneticisi kurumun görüşünü süresi içinde yazılı olarak Sayıştay Başkanlığına sunar. Denetim ekibi, yeni bilgi ve belgeler sunulması halinde veya kurum görüşünün yerinde bulunması durumunda taslak raporda değişiklik yapar ve bunları belgelendirir. Kurum görüşüne doğrudan raporun içinde ya da ekinde yer verilmez ancak kurum görüşüne istinaden denetim ekibi tarafından yapılan değerlendirmeler, değişiklik yapılmasının ve yapılmamasının gerekçeleri mutlaka belgelendirilir ve denetim dosyasına eklenerek kayıt altına alınır. 5.7. Taslak Raporun İlgili Daire ve Kurulda Görüşülmesi Taslak Rapor, Başkanlıkça önce görüşünü almak üzere bir Daireye gönderilir. Dairedeki görüşmelerde denetim ekibi de hazır bulunur ve gerekli açıklamaları yapar. Daire, rapor hakkındaki görüşünü yazılı olarak Başkanlığa sunar. Rapor, Başkanlık tarafından Daire görüşü ile birlikte Rapor Değerlendirme Kuruluna gönderilir. Raporun Kurulda görüşülmesi sırasında, denetim ekibi de sunum ve bilgilendirme yapmak amacıyla hazır bulunur. Kurul, rapora yönelik kendi görüşünü yazılı olarak Başkanlığa sunar. Başkanlık gerekli gördüğü takdirde, Daire ve Kurulun görüşlerini de göz önünde bulundurarak, raporda son düzeltmelerin yapılması amacıyla denetim ekibini görevlendirir. Rapor, denetim ekibi tarafından gerekli düzenlemeler yapıldıktan sonra Başkanlığa sunulur. 5.8. Raporun TBMM ve/veya İlgili Kurumlara Gönderilmesi ve Kamuoyuna Duyurulması Nihai rapor Sayıştay Başkanı tarafından imzalandıktan sonra “Sayıştay Raporu” niteliğine dönüşür ve TBMM Başkanlığı ve/veya denetlenen kurumlara gönderilir. Rapor, 6085 sayılı Kanun’un ilgili hükümleri çerçevesinde kamuoyuna duyurulur.

KALİTE KONTROLÜ ve KALİTE GÜVENCESİ BÖLÜM 6

57 KONU DENETİMİ REHBERİ Sayıştaylar için kalite kontrolü, tüm denetimleri kapsayacak şekilde teşkilat düzeyinde oluşturulan kalite kontrol sistemine yönelik genel rehberlik sunar. (ISSAI 40) Denetim süreçlerinde kalite temel unsurdur. Denetimde kalite, ekip çalışmaları ve çıktılar üzerinde yapılan her türlü kontrol çalışmasını, üst yönetim tarafından yapılan her türlü gözetimi ve bunlar dışında yer alan kurum içi değerlendirmeleri içeren bir faaliyettir. Denetimlerde kalitenin sağlanması, denetim ekibinin uygun nitelik ve mesleki deneyimi içerecek şekilde oluşturulmasından başlar. Denetçilerin görevlerini yerine getirirken göstermeleri gereken mesleki özen ve çalışmalarında dikkate alacakları usul ve esaslar da kalite politikasının bir parçasıdır. Konu denetimi alanında rol, yetki, görev ve sorumlulukları belirleyen temel dokümanlar; uluslararası denetim standartları, Sayıştay Kanunu ve bu Kanun’a göre yayımlanmış yönetmelikler, rehberler ve diğer tamamlayıcı düzenlemelerdir. Denetçiler, rehberde belirtilen ilke ve esaslara uygun davranmakla görevlidirler. Denetim ekibi, yürütülen her bir çalışmaya ilişkin sonuçları da sürekli gözden geçirmek, üretilen her türlü bilgi ve belgenin kalitesini kontrole tabi tutmak zorundadır. Bu çerçevede denetim ekibi aşağıdaki ilkelere uygun hareket etmelidir: h Çalışmalarını uygun bir şekilde planlamalı, kontrol etmeli ve yaptıkları işleri çalışma kağıtlarına kaydetmelidir. h Denetlenen kuruluştan bağımsız olmalı, çalışmalarını tarafsız ve objektif bir biçimde sürdürmelidir. h Mesleki yeterlik ve becerisini sürdürmeli ve geliştirmelidir. h İş ilişkilerinde yapıcı bir yaklaşıma sahip olmalı, işbirliği ve uyum içerisinde çalışmalıdır. h İnceleme sonucunda makul sonuçlara ulaşabilmek için konuyla ilgili, yeterli ve güvenilir kanıtlar elde etmeli ve çalışmalarını uygun şekilde belgelendirmelidir. h Denetim çalışmaları sırasında elde ettiği bazı gizli bilgilerin mahremiyetini muhafaza etmelidir. h Denetim çalışmasının her aşamasında gerekli özeni göstermelidir. Denetçiler; planlama ve karar süreçlerine katılmak, ekip kararları doğrultusunda hareket etmek, üzerlerine düşen görevleri eksiksiz yapmak, yapıcı ve uyumlu ilişkiler sergilemekle görevlidir. Denetçiler çalışma planına uygun olarak kendilerine verilen görevin tamamlanmasını takiben düzenleyecekleri çalışma kağıtlarını ekip başkanına vererek, yapılan işlerin gözden geçirilip değerlendirilmesine gecikmeye meydan vermeden olanak sağlamalıdır. Çalışma kağıtları düzenlenirken elde edilen bilgiler, toplanan kanıtlar ve ulaşılan sonuçlar özetlenmelidir. Bilgiler ve kanıtlar arasında mantıklı ilişkiler kurulmalı, analiz yapılmalı, kanaat ve düşünceler açık bir şekilde belirtilmelidir. Denetçiler düzenledikleri çalışma kağıtlarında, kendilerinden beklenen görevin ne olduğunu, buna karşılık neler yapıldığını açıkça göstermeli, çözümlenemeyen konular nedenleri ile birlikte açıklanmalıdır.

58 T.C. SAYIŞTAY BAŞKANLIĞI 6.1. Kalite Kontrolü ve Unsurları Kalite kontrolü, denetim ekibinin ve gözetim sorumluluğu bulunan yöneticilerin, denetimin uygun kalitede olmasını sağlamaya yönelik faaliyetleridir. Denetim süreçlerinde yer alan denetçi ve yöneticiler, çalışmalarını denetim standartlarına uygun olarak gerçekleştirmekten sorumludur. Çalışma kağıtlarını gözden geçiren ve değerlendirme yapanlar, görevlerin tam olarak yerine getirildiğinden, yeterli, ilgili ve güvenilir kanıtlar toplandığından emin olmadıkları takdirde ek çalışma yapılmasını istemeli, değerlendirme yapmaya uygun olmayan özetleme ve analiz yapılmadan düzenlenen çalışma kağıtlarını kabul etmemelidir. 6.1.1. Birinci Aşama Gözden Geçirme Ekip başkanı, birinci aşama kalite kontrol faaliyetlerinden sorumludur ve ekip çalışmalarını idare etmek, çalışma kağıtlarının düzgün bir şekilde tutulmasını izlemekle görevlidir. Bu kapsamda; h Uygulama aşamasında yürütülen çalışmaların denetim planı ile uyumunu gözetmek, h Elde edilen kantların yeterliliğini ve uygunluğunu değerlendirmek, h Denetim sonuçlarının kanıtlara dayandırıldığından ve tutarlılığından emin olmak, h Tüm çalışmaların belgelendirilmesini sağlamak ekip başkanının sorumluluğundadır. Ekip başkanı, yeni ve farklı görüşlerin ortaya çıkmasına, verimli bir tartışma ortamının yaratılmasına zemin hazırlamalı ancak ortaya çıkan ekip kararları doğrultusunda hareket edilmesine, tartışmaların uzamamasına özen göstermelidir. Birinci aşama kalite kontrole yönelik düzenlemeler hakkında daha detaylı bilgi için “Sayıştay Başkanlığı Denetimde Kalite Yönetimi Rehberi”ne bakılabilir. 6.1.2. İkinci Aşama Gözden Geçirme İkinci aşama kalite kontrol faaliyetlerinden denetim ekibinin görev yaptığı grubun başkanı ya da uygun olması halinde ilgili bölüm başkanı sorumludur. Grup veya bölüm başkanı; çalışmaları yönetmek, izlemek, kontrol etmek ve gelişmeleri üst yönetime bildirmekle görevlidir. Çalışmalar grup veya bölüm başkanının sorumluluğu altında ekip çalışması temelinde yürütülür. Denetim ekibinin oluşumu ve kimin ekip başkanı olarak görev yapacağı grup veya bölüm başkanı tarafından belirlenir. Grup veya bölüm başkanı çalışmaların standartlara, rehbere ve denetim planlarına uygun bir şekilde yürütülmesini sağlamakla görevlidir. Bu kapsamda; h Denetim kanıtlarının yeterliliğini ve uygunluğunu, h Denetim sonuçlarının uygunluğu ile tutarlılığını, h Denetim belgelendirmesinin standartlara uygunluğunu, kontrol eder ve gerekli gördüğü düzeltmelerin yapılması yönündeki önerilerini denetim ekip başkanına yazılı şekilde iletir. İkinci aşama kalite kontrole yönelik düzenlemeler hakkında daha detaylı bilgi için ‘Sayıştay Başkanlığı Denetimde Kalite Yönetimi Rehberi’ne bakılmalıdır.

59 KONU DENETİMİ REHBERİ 6.1.3. Denetim Ekibi Dışından Gözden Geçirme Denetimin tamamlanması ve taslak raporun denetlenen kuruma görüşlerinin alınması amacıyla gönderilmesinden önce taslak rapor kurum içinden ancak denetime katılmamış denetçilerin gözden geçirmesine tabi tutulur. Söz konusu gözden geçirmeyi yapmak üzere konu denetimi alanında tecrübesi olan denetçiler ile denetimin konusu hakkında bilgi sahibi olan denetçiler görevlendirilir. Taslak raporları gözden geçirecek denetçiler ilgili bölüm başkanı tarafından belirlenir. Taslak raporun gözden geçirilmesinde temel alınacak kriterler için Ek 11’de yer alan ‘Gözden Geçirme Kriterleri’ esas alınır. Taslak raporun denetlenen kurum görüşüne gönderilmesinden sonra ve Sayıştay Denetim Raporu olarak yayımlanmasından önce uygulanacak diğer kalite kontrol aşamaları da şunlardır: h İlgili daire ve rapor değerlendirme kurulundan görüş alınması, h Başkanlıkça yapılan gözden geçirmeler. Söz konusu kalite kontrol aşamaları hakkında detaylı bilgi için ‘Sayıştay Başkanlığı Denetimde Kalite Yönetimi Rehberi’ne bakılmalıdır. 6.2. Kalite Güvence Süreçleri Kalite güvencesi, kalite kontrol süreçlerinin etkinliğini de kapsayacak şekilde kalite yönetim sisteminin ve tamamlanmış denetimlerden seçilen örnekler üzerinden denetimlerin bağımsız bir şekilde denetim sonrası gözden geçirilmesidir. Başkanlık tarafından görevlendirilen kalite güvencesi ekibi konu denetimi raporları tamamlandıktan ve yayımlandıktan sonra bu raporlara ilişkin denetim süreçlerinin ilgili standartlara ve rehberlere uygunluğunu ve kalite kontrol mekanizmalarının etkinliğini değerlendirir. Kalite güvence çalışmalarında temel esaslar şunlardır: Kalite güvence çalışmaları denetimler tamamlandıktan sonra tüm denetim süreçlerini ve kalite kontrol faaliyetlerini değerlendirecek kapsamda yapılır. Kalite güvencesi ekibi konu denetimi alanında yeterli tecrübeye sahip ancak denetimde görev almamış denetçilerden oluşur. Kalite güvencesi denetimlerin ve kalite kontrol faaliyetlerinin uygunluğunun önceden belirlenmiş bir çerçeveyle kıyaslanması yoluyla gerçekleştirilir. Söz konusu çerçeveye ilişkin daha detaylı bilgi için ‘Sayıştay Başkanlığı Denetimde Kalite Yönetimi Rehberi’ne bakılmalıdır. Kalite güvencesine tabi olacak konu denetimleri geneli temsil edecek nitelik ve sayıda olmak koşulu ve örnekleme yöntemiyle Başkanlık tarafından belirlenir.

DENETİM SONUÇLARININ İZLENMESİ BÖLÜM 7

63 KONU DENETİMİ REHBERİ YDK’ların denetim raporunda ortaya konan hususlara cevaben sorumlu taraflarca atılan adımları izleme rolü vardır. İzleme, denetlenen kuruluşun daha kapsamlı sonuçları dâhil ortaya konulan hususları yeterli ölçüde ele alıp almadığı üzerinde durur.(ISSAI 100: 51) Konu denetiminin temel amacı kamu yönetiminin gelişmesine katkı sağlamaktır. Bunu başarmak için, denetlenen kurumların, kabul ettikleri denetim önerilerini uygulamaları; aynı fikirde olmadıkları önerilere ilişkin ise denetim bulgularında belirtilen sorunları çözmek amacıyla harekete geçmeleri için motive edilmesi gerekmektedir. Denetim sonuçlarının izlenmesi de bunu yapmanın bir yoludur. 7.1. İzlemenin Amaçları Sayıştay konu denetimleriyle, temel olarak, kamu kesiminde performansın ve hesap verme sorumluluğunun geliştirilmesine katkı sağlamayı hedefler. Bu hedefe ulaşılması, denetlenen kurumların denetim raporu doğrultusunda gerekli adımları atması ile sağlanabilir. Bu nedenle hazırlanan denetim raporunun Türkiye Büyük Millet Meclisine ve/veya ilgili kurumlara sunulması ve kamuoyuna açıklanmasından sonra, raporun muhatapları ve farklı kesimler nezdindeki etkilerini değerlendirmek için izleme sürecinin başlatılması gerekir. İzleme, yasama organına geri bildirim sunmak amacıyla, mümkün olduğu takdirde ilgili bütün düzeltici eylemlerin sonuç ve etkileriyle birlikte uygun şekilde raporlanması olup denetimin etkisini güçlendirerek ve gelecekteki denetimlerin geliştirilmesi için temel oluşturarak denetim sürecinin değerini artıran bağımsız bir faaliyettir. İzleme, önerilerin uygulanmasıyla sınırlı değildir; sorunların denetlenen kuruluş tarafından gerektiği gibi ele alınıp alınmadığı ve makul bir süre geçtikten sonra sorunların ve temelinde yatan durumun düzeltilip düzeltilmediğine odaklanır. İzleme faaliyeti, denetim önerilerinin uygulamaya geçirilmesini teşvik eder. Rapordaki önerilerin izleneceğinin ilgili kurum tarafından bilinmesi, ilgili kurumu önerileri uygulamaya geçirme konusunda daha duyarlı davranmaya sevk edecektir. İzleme, Sayıştayın kendi etkinliğini değerlendirmesinin de önemli bir aracıdır. Sayıştay raporunun Meclis, medya ve kamuoyundaki yansımaları ile denetlenen kurumlarda oluşturduğu etkinin ve uygulama sonuçlarının değerlendirilmesi, Sayıştayın kendi çalışmalarını geliştirmesinde önemli göstergeler sağlayacaktır. Dolayısıyla izleme, Sayıştayın kendi eksikliklerini görmesi ve kendini geliştirmesi için de büyük yararlar sağlar. 7.2. İzlemenin Planlanması Hangi raporlarda izleme yapılacağı konu denetimi ekiplerinin hazırlayacağı ve grup başkanlıklarının Başkanlığa ileteceği izleme teklifleri veya doğrudan Başkanlığın talebi ile belirlenir. İzleme yapılması planlanan raporlar yıllık denetim programına eklenir. İzleme, konunun özelliğine göre, yeni bir denetim çalışması olarak yürütülebileceği gibi denetlenen kurumlardan, rapordaki önerilerin yerine getirilip getirilmediğini tespit etmek amacıyla bilgi alma biçiminde de olabilir. Öncelikle izlemeyi yürütecek denetim ekibi belirlenir. Denetim ekibi izlemesi yapılan denetim raporunu hazırlayan ekip olabileceği gibi farklı denetçilerden oluşan bir ekip de olabilir. Denetimde olduğu gibi, izleme çalışmalarında da planlama önem taşır. Planlama aşamasında öncelikle izlemeye ne zaman başlanacağına karar verilir. Denetlenen kurumlardaki izlemeye, önerilerin ilgili kurum tarafından hayata geçirilmesine imkan tanıyacak makul bir süreyi (ortalama 2-3 yıl) takiben başlanması gerekir. Planlama kapsamında, önerilerin (varsa TBMM direktiflerinin) nasıl izleneceğine ilişkin bir iş planı geliştirilir.

64 T.C. SAYIŞTAY BAŞKANLIĞI İzlemenin kapsamı, izlemeden beklenen etkiye göre belirlenmeli, önemli bir yarar sağlamayacağı düşünülen alanlar izleme kapsamına alınmamalı, kaynaklar sadece önemli öneriler ve beklenen etkiler üzerinde yoğunlaştırılmalıdır. Belirli bir kurumda farklı konularda ya da aynı konuda farklı kurumlarda birden fazla denetim çalışması yürütülmüş ise bu çalışmaların tümü için kapsamlı bir izleme çalışması yapılabilir. 7.3. Önerilerin Uygulanmasının Değerlendirilmesi İzlemeye başlarken denetlenen kurumlardan her bir denetim önerisi ile ilgili olarak alınan önlemlerin ve gerçekleştirilen faaliyetlerin bildirilmesi yazılı olarak istenir. Bu şekilde alınacak bilgi, sürecin diğer adımlarının somutlaştırılmasında yarar sağlayacaktır. «Uygulandı» veya «devam etmekte» olarak bildirilen öneriler için denetçi, bunun ne ölçüde doğru olduğunu değerlendirir. Reddedilen veya herhangi bir işlem başlatılmayan öneriler için denetçi, orijinal denetimin önerilere yol açan bulguları raporlamasına neden olan faktörleri gözden geçirir. Diğer bir deyişle denetçi, önerilerin hala geçerli olup olmadığını görmek amacıyla ilk olarak önerilere yol açan koşulların hala mevcut olup olmadığını değerlendirmelidir. Ayrıca denetlenen kurumların plan ve programları, iç denetim sonuçları, faaliyet raporları, Sayıştayca gerçekleştirilen mali denetim sonuçları vb. dokümanlar da, önerilerin izlenmesinde yararlı birer kaynak niteliğindedir. İzleme çalışmaları, belge incelemesinin veya denetlenen kurumlardan yazılı olarak istenecek bilgilerin değerlendirilmesinin ya da görüşme ile bilgi edinmenin yeterli olmaması durumunda alan çalışması yoluyla yapılır. Konunun önemi ya da başka etkenlerle izlemenin yeni bir denetim çalışması aracılığıyla yürütülmesine karar verilmesi durumunda, tümüyle normal bir denetim çalışmasındaki süreç izlenir. Denetim önerilerinin izlenmesinden elde edilen sonuçlar, alınan önlemleri en iyi açıklayan “gerçekleşme durumu” kategorisine göre kaydedilmelidir. Bunlar önerilerin uygulanma derecesine göre sırasıyla: tamamen uygulandı, büyük oranda uygulandı; kısmen uygulandı; uygulanmadı; artık ilgili değil; bilgi alınamadı olarak sınıflandırılır. Herhangi bir öneriye ilişkin uygulama eksikliğinin veya uygulamanın tamamlanmamasının nedenleri belgelenmeli ve özellikle raporda yer alan önemli önerilerin uygulanmaması durumu ayrıca değerlendirilmelidir. 7.4. İzlemenin Raporlanması İzleme sonucunda tespit edilen ilerlemeler ve ilerleme sağlanamayan ya da yetersiz kalınan alanlar hazırlanacak izleme raporunda değerlendirilir. İzleme raporlarının hazırlanması ve Sayıştay raporu haline gelmesi süreci konu denetimi raporlarınınkiyle aynıdır. Denetim raporunda yer alan önerilerin uygulanması ile sağlanan gelişmelerin raporlanması, hem denetlenen kurumların hem de Sayıştayın itibarını artıracaktır. İzleme raporunun şu hususları içermesi beklenir: h Denetim sonucunda beklenen ve gerçekleşen etkinin karşılaştırılması, h Sayıştay önerilerinin uygulanma derecesi ve denetlenen kurumların bu alanda gösterdiği gelişmeler, h Denetlenen kurumun önerileri uygulamada özellikle zayıf olduğu noktalar ve nedenleri, h Denetlenen kurumun önlemlerinin yetersiz olduğu konularda Sayıştayın yeni önerileri.

EKLER BÖLÜM 8

67 KONU DENETİMİ REHBERİ Ek 1: Konu Seçimi Puanlama Formu No Etkenler Açıklama Konu Teklifi 1 Konu Teklifi 2 Konu Teklifi 3 1 Önemlilik Denetim konusu, mali, sosyal veya politik açıdan TBMM ve kamuoyu veya denetlenen kurum için önemli midir? (evet ise 3) 2 Olası etki ve iyileştirme Denetimin, kamu kurumlarının ekonomiklik, verimlilik ve etkinlik yönlerinden iyileştirilmesi anlamında güçlü bir etkisi olacak mı? (evet ise 3) 3 Denetlenebilirlik Konu, denetlenebilir bir konu mudur? Konu, denetleme yapmaya elverişli midir? Denetlenen konu ile ilgili Sayıştayın yasal yetkisi bulunmakta mıdır? Konuyu denetlemek için doğru ya da uygun zaman mı? (evet ise 3) 4 Daha önceki denetimler Konu ile ilgili yapılan ya da yapılmakta olan başka çalışma var mıdır? (hayır ise 3) TOPLAM PUAN 1 (düşük), 2 (orta) ve 3 (yüksek) şeklinde puanlama yapılacaktır.

68 T.C. SAYIŞTAY BAŞKANLIĞI Ek 2: Ön Değerlendirme Toplantısı Ön değerlendirme toplantısı, konu hakkında detaylı araştırma yapılarak taslak denetim temel ve alt soruları belirlendikten sonra, ancak denetim planı hazırlanmadan önce yapılır Toplantının esas amacı denetimin temelini oluşturan denetim sorularının geçerliliğinin, açık ve uygulanabilir olup olmadığının Denetim Planı hazırlanmadan değerlendirilerek denetimin kalitesine katkı sağlamaktır. Ön Değerlendirme Toplantısının Çerçevesi h Denetim konusu önemli ve denetlenebilir olmalı, h Denetimin amacı, kapsamı ve temel soru uygun şekilde belirlenmiş olmalı, h Denetim soruları mevcut kaynaklar ile ve öngörülen zaman içinde tamamlanabilir olmalı, h Temel sorudan alt düzey sorulara denetim sorularının mantıklı bir yapısı olmalı, h Soru hiyerarşisini düzenleyen kurallara uyulmalı: herhangi bir alt soru grubu 2 ile 5 arasında numaralandırmalı, her bir seviyedeki alt sorular birbirinden farklı (herhangi bir çakışma olmadan) ancak birlikte bir üst sorunun ana hususlarını kapsayacak şekilde belirlenmeli. Ön değerlendirme toplantısında, nihai ifadelerin şekillendirilmesi hususunda çok fazla zaman kaybedilmemesi önerilir. Toplantının belirli bir sorunun veya sonucun nasıl ifade edileceğine dair değerlendirme veya tartışmalar nedeniyle uzaması durumunda, toplantı sonrası edinilecek güncel bilgi ya da verilerle yeni bir toplantı gündeminin oluşturulması faydalı olacaktır. Belirli bir sorun alanı ya da sonucun dile getirilmesinde en uygun ifade biçiminin ne olduğu hususunda tam bir mutabakat sağlanamasa da, önemli olan husus, katılımcıların anlam veya prensipler konusunda ortak bir anlayışa ulaşmalarıdır. Ön değerlendirme toplantısına; denetim ekibi, ilgili grup başkanı, ilgili bölüm başkanı, kalite güvencesinden sorumlu bir denetçi ve başkan ya da başkan yardımcısı katılır. İhtiyaç duyulması halinde katkı sağlayacağı düşünülen grup başkan(lar)ı da toplantıya davet edilebilir. Denetim ekibi, ilgili raporları ve toplantı gündemini katılımcılara en az 2 gün önce göndermelidir.

69 KONU DENETİMİ REHBERİ Ek 3: Risk Analizi Tablosu Risk Matrisi   Etki Düşük Orta Yüksek Olasılık Düşük       Orta       Yüksek       Düşük Orta Yüksek Toplam risk değerlendirmesi Risk dikkate alınmayabilir Tanımlanan riskin özelliğine göre karar verilir Risk dikkate alınmalıdır Alan Amaç Faaliyet Süreci Risk Olasılık Y-O-D Etki Y-O-D Risk seviyesi Y-O-D Denetim Sorusu İlişki & İlgi Y-O-D Yapılabilirlik
Normal Zor Yapılamaz Kapsama Dahil Etme Evet-Hayır

70 T.C. SAYIŞTAY BAŞKANLIĞI Ek 4: Kanıt Toplama Teknikleri Denetimde kanıt toplamak amacıyla çok çeşitli tekniklerden yararlanılmaktadır. Sosyal bilimlerde veri toplama teknikleri ile büyük ölçüde örtüşen bu tekniklerden bazıları aşağıda açıklanmaktadır (Bu tekniklerden özellikle en yaygın olarak kullanılanlar üzerinde durulmaya çalışılmıştır). a) Görüşme Denetlenen kurum personeli ile görüşme yapılması, konu denetiminde kanıt toplamanın en yaygın yöntemidir. Bütün konu denetim çalışmalarında, veri toplamak amacıyla görüşmenin belli türleri kullanılır. Başarılı olmak için görüşmeler önceden yapılandırılmalı ve geliştirilmelidir. Bireysel (yapılandırılmamış) görüşmeler, ucu açık soruların sorulması ya da detaylı açıklamaların, izlenimlerin veya kişisel görüşlerin elde edilmesine ihtiyaç duyulan hallerde kullanılır. Yapılandırılmış görüşmeler ise bireysel görüşmelerden farklı olup, bunlardan elde edilen veriler birlikte değerlendirilebilir veya ölçümlenebilir. Fakat ulaşılmak istenen bilgiyi sağlayacak doğru kişilerin belirlenmesi görüşmelerde edinilen sözlü bilgilerin doğrulanması gerekmektedir. Görüşmelerde aşağıdaki hususlara dikkat edilecektir: h Önceden planlama yapmak ve görüşme yapılan kişi ya da kişileri, görüşmenin amacı ve yapısı hakkında bilgilendirmek, h Görüşme yapılan kişi ya da kişilere, daima profesyonelliği ön planda tutarak, müspet ve yapıcı bir tarzda yaklaşmak, h Genelden özele giden bir soru listesi hazırlamak ya da alınan cevapları açıklığa kavuşturmak amacıyla yeni sorular sormaya da hazırlıklı olmak, h Görüşme yapılan kişi ya da kişileri iyi dinlemek, gerekli notları almak ve dinlenilen hususları özetlemek, teyit ya da açıklığa kavuşturmak için tekrar sormak, h Görüşme notlarını en kısa zamanda çalışma kâğıdına geçirmek. Görüşme Sorusu Türleri Görüşmede kullanılabilecek soru türleri ve bu soruların kullanılabileceği durumlar şu şekilde özetlenebilir: Açık uçlu ve tanımlayıcı sorular: Bunlar nasıl, neden, nerede, ne zaman ve ne sorularıyla başlar. Bu tür sorular özellikle geniş arka plan bilgilerini ortaya çıkarması ve görüşme ilgili kişilerin konuyla ilgili fikirlerine ulaşılması açısından faydalıdır. h Sağlıkta Dönüşüm Projesinin ne kadar etkili ve başarılı olduğunu düşünüyorsunuz? h Projenin yönetimi ile ilgili olarak sizin sorumluluklarınız nelerdir? Bu tür sorular, görüşmelerde sınırlı olarak kullanılmalıdır, çünkü analizi ve karşılaştırması zor olan niteliksel cevaplar sağlarlar. Kapalı sorular: Bu tür sorular belirli gerçekleri veya bilgileri ortaya çıkarmak için kullanılırlar. Eldeki bilgileri teyit etmeye yönelik (Evet / Hayır şeklinde) cevaplar gerektirir veya kişi, zaman, yer, sayı gibi bilgileri elde etme amaçlıdır. Örneğin: h Engellilere İş Edindirme Projesinin katılımcı sayısı nedir? h Proje ne kadar süredir uygulanmaktadır? Projenin toplam bütçesi ne kadardır?

71 KONU DENETİMİ REHBERİ Belirli bir veriye ulaşmayı hedefleyen kapalı sorular, tasarlanma aşamasında daha fazla bilgi ve daha fazla dikkat gerektirse de, görüşme yapılanların kolaylıkla cevap verebilmesinden ötürü ve analiz safhasında karşılaştırma yapılabilmesine imkan tanıması bakımından çok yararlıdırlar. Sondaj veya değerlendirici sorular: Bu tür sorular daha spesifik verilerin toplanmasını ve derin bilgi ve deneyimlerin ortaya çıkarılmasını mümkün kılarlar. Ayrıca görüşmeyi yapan, alan ve konu hakkındaki bilgilerindeki eksiklikleri tamamlamak amacıyla bu tür soruları kullanabilir ve denetim çalışması hakkında ayrıntılı bilgiler sağlar. Denetçiler, daha detaylı bilgiler elde etmek amacıyla bu sorulara başvururlar. Örneğin: h Engellilere İş Edindirme Projesinin amaçlarına ulaşması için ne tür önlemler alınmalıdır? h Proje hangi şartlar altında devam ettirilmelidir? h Proje şimdiye kadar ne tür sonuçlar doğurmuştur? Denetçilerin görüşme sırasında şu tür sorulardan kaçınmaları gerekir: Belirsiz sorular: Bu tür sorular görüşmeyi yapanın gerçekten neyi sormak ya da neyi öğrenmek istediğini bilmediği sorulardır. Görüşmeyi yapan ne tür bilgiler aradığı ya da neyi bulmak istediği konusunda net olmalıdır. Bu tür sorulardan kaçınmak için görüşme uygun bir şekilde planlanmalı ve sorulacak sorular üzerinde düşünülmelidir. Yönlendirici veya imalı sorular: Bu tür sorular görüşme yapılanı belirli tarzda cevaplar verme yönünde baskı altında tutar. Görüşmeyi yapanın duymak istediği tarzda cevaplar verilmesini sağlayan bu tür sorulardan elde edilen bilgiler, güvenilir kanıtlar olarak kullanılamazlar. Varsayımsal sorular: Bu tür sorular sadece varsayımsal cevaplara yol açar ki bu tür cevaplar uygun kanıtlar olarak kullanılamazlar. b) Anket Anketler, kısa bir zaman süresi içerisinde geniş kitlelere ulaşabilme özelliğine sahiptir ve bu kitlelerden standartlaştırılmış nitelikte hem sayısal, hem de sayısal olmayan bilgiler elde edilmesine olanak tanır. Başlıca anket türleri, posta anketleri (doğrudan kişilerce doldurulur), kişisel görüşme aracılığıyla doldurulan anketler, internet üzerinden yapılan anketler ve telefon görüşmesi suretiyle gerçekleştirilen anketlerdir. Elde edilen bilginin yararlı ve güvenilir olması için anketlerin iyi planlanması, düzenlenmesi, uygulanması ve sonuçlarının sağlıklı bir şekilde analiz edilmesi gerekir. Anket kullanıldığında planlama, yürütülme ve sonuçlarının analizi aşamalarında uzmanlardan destek alınabilir. İyi bir anket için aşağıdaki hususlara riayet edilmesi önemlidir: h İyi örnekleme yapılmalı; h Örneklem popülasyonunun tamamına anket gönderilmeli; h Sorular, açık ve net olmalı; h Soru sayısı iyi belirlenmeli; sorular amaçlanan verinin elde edilmesini engelleyecek kadar az olmayacağı gibi cevaplama oranını düşürecek kadar fazla da olmamalı; h Anket sonunda cevaplayanın yorumlarını ya da anket sorularının kapsamadığı ilgili bilgilerini aktarmasını sağlayacak açık uçlu bir soruya yer verilmelidir. Anket yapmanın en yaygın yolu, anketi cevaplayacak olanlara doldurup geri göndermeleri için posta yolu ile anket gönderilmesidir. Anketler, belirli bir alanda ihtiyaç duyulan verileri elde edecek şekilde yapılandırılmalı ve genel olarak şu durumlarda uygulanmalıdır:

72 T.C. SAYIŞTAY BAŞKANLIĞI h Veri toplamak için katlanılan maliyetleri ve zamanı azaltması halinde, h Verinin başka bir şekilde elde edilememesi durumunda, h Hizmetin kalitesi, müşteri memnuniyeti temel alınarak değerlendirilmek isteniyorsa, h Çalışmada ulaşılan belirli sonuçları desteklemek için denetim kanıtı gerekiyorsa. Anket uygulamasında en önemli hususlardan birisi istatistiksel temsili sağlayan bir kitle örneğinin belirlenmesidir. Bu kitlenin coğrafi dağılımının da göz önünde bulundurulması gerekmektedir. Anketler sade ve anlaşılır biçimde kaleme alınmalıdır. Teknik terim, kısaltma ve jargonları kullanmaktan kaçınılmalıdır. Sorular için üç temel yapı vardır: açık, kapalı ve sondaj soruları (soru türleri için Görüşme bölümüne bakınız). Soruları oluşturmanın pek çok değişik yolu bulunmaktadır. Kısa ve net sorular, kısıtlı sayıdaki grubun cevaplarının ortak bir analizine imkan tanır. Anketin tasarımında, soruların konu ya da içeriğine göre ya da benzer formatta yanıtları olan soruların bir araya getirilerek gruplandırılması, hassas sorulara anketin en başında ya da sonunda değil, başka bir safhasında yer verilmesi gibi hususlara dikkat edilmesi gerekir. Anket baskıya verilmeden önce, şekil şartlarına ilişkin diğer bazı hususlara dikkat edilmelidir. Anketin soruları ve her bir sayfası numaralandırılmalıdır. Bu, anketin hem cevaplandırılmasında, hem de cevaplarının analiz edilmesinde kolaylık sağlar. Anketin son hali şekil ve dilbilgisi hatalarından arındırılmış olmalıdır. Her anket araştırmanın amacını anlatan bir açıklama mektubu ve yanıtlayanların daha fazla bilgi edinebilmeleri için temasa geçilecek kişinin ismi, telefon numarası veya adresini içermelidir. Buna ilave olarak, anketin geri gönderilmesine ilişkin açıklamalar da –son gönderilme tarihi ve geri gönderilme adresini de içerecek şekilde- açıklama mektubunda yer almalıdır. Soruların nasıl yanıtlanacağına ilişkin açıklamalar anketin üzerinde ya da açıklama mektubunda belirtilmelidir. Açıklama mektubunun kaybolması ya da sonradan unutulması ihtimaline karşılık, geri gönderilme adresi ve son gönderme tarihi anketin üzerinde de yazılmalıdır. Ayrıca anketin gizliliğinin garanti edildiğine ilişkin bir not ya anketin üzerinde ya da mektubun içinde yer almalıdır. Anketin taslağı hazırlandıktan sonra, anketi geliştirmek ve muhtemel hataları belirlemek için hedef kitle içerisinden küçük bir grup üzerinde önceden test edilebilir. Test, anket geniş kitlelere dağıtılmadan önce, güvenilirlik ve geçerliliğinden emin olmak için yapılır. Anket test amacıyla uygulandıktan sonra, etkin olmayan yönlerini, belirsizlikleri ve uygulama açısından içerdiği güçlükleri ortaya çıkarmak için ön test katılımcılarından görüşlerini almak büyük yararlar sağlayabilir. Sorular ve cevap formatlarının şu özelliklere uyup uymadıkları incelenmelidir: h Anketin amacına uygun mu (Ankette yer alan her soru anketin amacına ulaşmaya yönelik bilgi sağlamalıdır)? h Anket, yanıtlayanlar bakımından uygun mu (Ankete insanların bilmedikleri, cevap veremeyecekleri sorular eklenmemelidir)? h Uygun sonuçlar sağlayabilecek yeterlilikte mi (Elde edilen veriler, ihtiyaç duyduğumuz nitelikteki bilgiyi sağlamalıdır)? Anket uygulandıktan sonra sonuçları özetlenmeli, analiz edilmeli ve yorumlanmalıdır. Analiz için frekans dağılımları, sınıflandırma, yüzdeler gibi basit analiz yöntemleri kullanılabileceği gibi korelasyon, regresyon vb. diğer istatistiksel yöntemlerden de yararlanılabilir. Anketlerden elde edilen sonuçlar ve bu sonuçlara ilişkin değerlendirmeler, bir çalışma kâğıdına aktarılmalıdır. Denetim raporunda anket sonuçları müstakil bir bölümde değerlendirilebileceği gibi, ilgili bölümlerde atıflar yapılması suretiyle de kullanılabilir.

73 KONU DENETİMİ REHBERİ c) Gözlem Gerçek durumu anlamanın ve olayları takip edebilmenin en etkili yollarından biri doğrudan gözlemdir. Bu teknik, denetçinin fiziksel varlıklar ve çalışanların uygun prosedürler izleyip izlemedikleri hakkında kanıt toplamasına yardımcı olur. Dikkatli gözlem yapmakla denetçiler, incelenen faaliyet ya da süreç hakkında ilk elden fikir sahibi olurlar. Süreçlerin işlerliğinin tetkik edilmesi, sorunların denetlenen kurumla tartışılması sırasında denetçiye yeterli kavrama gücü ve güvenilirlik sağlar. Bununla birlikte, tek bir gözlemin belirli bir zaman dilimi dışında meydana gelen olaylar hakkında hükme varmak için yeterli olmadığı unutulmamalıdır. Doğrudan gözlem yaparken aşağıdaki hususlara dikkat edilmesi gerekir: h Denetçi, sürece dahil olan kurum personeline gözlemin amacını açıklamalıdır. h Denetçi, işin normal akışını bozmamaya ve çalışanların davranışlarını etkilememeye özen göstermelidir. Gözlemci, kurum çalışanı gibi fakat objektifliğe riayet edecek şekilde sürece dahil personelin rolleri ve faaliyet hakkında bilgi toplamaya çalışmalıdır. h Gözlemlenen her şey, önemli bir kanıt teşkil edebileceğinden, kaydedilmelidir. h Denetçi, çalışanların açıklamalarını not almalıdır. h Gözlemlenecek faaliyet ya da süreçlerin seçiminde dikkatli davranılması gerekir. Popülasyonu temsil edecek işlem ve faaliyetler incelenmelidir. h Denetçi, gözlemlenen kişilerin gözlem sırasında farklı davranabileceklerini göz önünde bulundurmalıdır. h Fotoğraf ve video kaydı, doğrudan gözlemin değerini arttırır. Gözlem sonuçlarının detaylı bir şekilde yazılı hale getirilmesi de gerekir. h Kamu hizmetlerinin sunumuna ilişkin programların ya da bu programların uygulama ve kontrollerinin değerlendirilebilmesi için doğrudan gözlem metodundan yararlanılması gerekir. h Gözlemin en az iki kişi ile yapılması sübjektif değerlendirmeler yapılmasının önlenmesi açısından önemlidir. d) Belge İncelemesi Yazılı (fiziki) ya da elektronik dokümanlara dayalı kanıtlar, en yaygın denetim kanıtı türünü oluşturur. Dolayısıyla belge incelemesi de, denetimde kullanılan kanıt toplama tekniklerinin başında gelmektedir. Kamu kurumlarının bütçeleri, stratejik planları, yönetim ve izleme raporları, sözleşme (kira, hizmet, alım- satım, yapım vb.) dosyaları, şartnameleri, hakedişler, muhasebe kayıtları, şikayet dilekçeleri, faaliyet raporları, denetim ve değerlendirme raporları, kurum içindeki diğer kayıt ve belgeler incelenecek dokümanları oluşturur. Ayrıca denetlenen kurum ya da faaliyetin içinde yer aldığı sektöre ilişkin raporlar, değerlendirmeler, istatistikler vb. ile bu kurum ya da faaliyete ilişkin ulusal plan ya da programlar (Ulusal Program, kalkınma planları vb.), bilimsel araştırmalar gibi denetçilerce incelenebilecek çok sayıda belge türü mevcuttur. Denetlenebilecek belgeler sayı ve nitelik itibariyle fazla olabileceğinden denetçinin odaklanması gereken belgeleri, mesleki deneyim ve yargısından yararlanarak belirlemesi gerekir. İncelenecek belgelerin belirlenmesinde, güvenilir sonuçlara ulaşmak için örnekleme tekniklerinden de yararlanılır. e) Kıyaslama Kıyaslama, denetlenen kurum uygulamalarının aynı alanda daha iyi performans gösteren örnekler ile karşılaştırılmasıdır. Karşılaştırma, kurum içerisindeki diğer birimler veya ülke içinde/dışında ilgili diğer kurumlar arasında olabilir. Kıyaslama tekniğinin uygulanmasında, performans karşılaştırması için birtakım ölçü ve göstergeler kullanılır. Karşılaştırma alanları, verimlilik, birim maliyetler ve hizmet kalitesi gibi alanları kapsar. Kıyaslama yaparken “ Yapılmakta olanlar en iyi uygulamalarla uyumlu mu?” sorusuna cevap aranır.

74 T.C. SAYIŞTAY BAŞKANLIĞI Kıyaslama: h Süreçlerin, uygulamaların ve sistemlerin tarafsız biçimde gözden geçirilmesini teşvik etme, h Kriter geliştirme ve potansiyel olarak daha başarılı faaliyet biçimlerini tanımlama, h Denetim tavsiyelerine daha fazla güvenilirlik sağlama amaçlarıyla kullanılabilir. f) Literatür Taraması Literatür, genel olarak kitap, makale, araştırma, bildiri vb. kaynakları kapsar ve basılı yayın ya da internet ortamında yayınlanan elektronik bir doküman şeklinde olabilir. Literatür taraması, denetlenen konu ile ilgili olarak yayımlanmış çalışmaların ortaya çıkarılmasını ve bu çalışmalardan en iyi şekilde yararlanılmasını sağlar. Bu çalışma, denetçilerin denetlenecek kurum ya da konu hakkında daha kapsamlı ve güncel bilgilerle donanması için büyük yararlar sağlar. Literatür taraması, diğer kanıt toplama tekniklerini de destekler. Örneğin anket ya da görüşmede kullanılacak soruların belirlenmesinde literatür yol gösterici olabilir. g) Örnek Olay İncelemeleri Örnek olay incelemesi, bir program veya faaliyetin bütün olarak anlaşılması ve değerlendirilebilmesi için, bütünü temsil edecek şekilde seçilen olayların, işlemlerin ya da diğer unsurların detaylı bir incelemeye tabi tutulmasıdır. Bu yöntem, denetlenen faaliyet kapsamında gerçekleştirilen belirli bir işteki anlayışın kavranması amacıyla bir örnek olayın analiz edilmesi aracılığıyla çeşitli hizmetlerin verimlilik ya da etkinliğinin değerlendirilmesine odaklanır. Örnek olay incelemesi, bir program veya faaliyeti gözden geçirdikten sonra elde edilen sonuçları benzer türden olan başka olaylara ya da faaliyetlere genellemek için kullanılır. İnceleme konusunu oluşturan karmaşık bir sorunun bütün yön ve boyutları ile yoğun bir gözlem ve çözümleme altında tutulması ve sorunlara ilişkin bir takım sonuçlara varılmasıdır. Örnek olayın yararlı olabileceği alanlar: h Değişik kurumlarda aynı alanda (örneğin hastanelerdeki yemek servisleri) birbirleri ile uyumlu olmayan uygulamalar, h En iyi fiyatı bulmak amacıyla devlete ait menkul, gayrimenkul vb. satışlarının incelenmesi, h Optimum kullanıma ulaşmak amacıyla hastane, okul vb. kurumlarda boş kalan yerlerin yönetimi, h Proje yönetim uygulamaları, h Hizmet kalitesinin artırılmasına yönelik uygulamalar, h) Akış Şeması Akış şeması oluşturmak, denetlenen bir kurum içerisindeki spesifik süreç ya da faaliyetler hakkında veri toplanmasını kolaylaştırabilir. Bu yöntem, organizasyon veya süreçte yer alan işlemlerin akışının görsel olarak sıralanmasını içerir. Bir faaliyetin akış şeması üzerinde bileşenlerine ayrılması, ana özelliklerine odaklanmayı kolaylaştırır. i) Odak Gruplar Odak gruplar, spesifik bir konuyu tartışmak üzere bir araya getirilmiş benzer bilgi ya da deneyime sahip kişilerden oluşan tartışma gruplarıdır. Odak gruplar iki nedenle “odak”tırlar. İlk olarak tartışmaya katılan kişiler kimi yönleriyle benzerdirler ya da genel özellikleri aynıdır. İkinci olarak tartışmanın amacı tek bir konu ya da dar bir alan hakkında bilgi elde etmektir. Odak gruplarda amaç, sayısal verilerden ziyade ilgili konu hakkında ayrıntılı ve kapsamlı bir bilgiye ulaşmaktır. Temel amaç, kişilerin algı, tepki ve fikirleri hakkında bilgi sahibi olmaktır. Odak grup toplantıları neticesinde tartışılan konunun daha derinlemesine anlaşılması hedeflenir.

75 KONU DENETİMİ REHBERİ Genellikle farklı katılımcılarla birden fazla oturum düzenlemek gerekir. Her bir oturum ideal olarak 5-12 arası kişiden oluşur. Katılımcılar, daha büyük bir kitleyi temsil edecek şekilde rasgele ya da belirli kriterlere göre seçilir. Benzerliklerine rağmen odak grup, mülakatı yapanın soruları gruba yönelttiği ve katılımcıların bireysel cevaplar verdiği bir “grup mülakatı” değildir. Odak grup, grup tartışmasına dayanır ve özellikle katılımcıların konu üzerinde birbirleri ile tartışmaları durumunda başarıya ulaşır. Bu nedenle odak grupların temel ayırt edici özelliği, bu anlayışın öne çıkarılması ve katılımcılar arasındaki etkileşim aracılığıyla veri üretilmesidir. Odak Grupların Kullanılması Konu denetiminde odak gruplar farklı aşamalarda farklı amaçlarla kullanılabilir: h Konu seçimi aşamasında, denetim alanına ilişkin temel sorunların ortaya konulmasında, uygun konuların belirlenmesinde ya da bu konuların önceliklendirilmesi ve sıralanmasında, h Denetimin planlanması aşamasında, sorunların daha ileri bir düzeyde tanımlanmasında, h Denetimin yürütülmesi aşamasında, sayısal olmayan verilerin elde edilmesi ya da tespit edilen problemlerin nedenleri ve muhtemel çözüm önerileri için daha kapsamlı bilgi düzeyine ulaşmada, h Denetimin yürütülmesi aşamasının sonunda, önerilerin geliştirilmesi ya da kanıtların yorumlanmasında. Odak Grup Toplantılarının Gerçekleştirilmesi Odak grup toplantısı düzenlenirken ayrıntılı planlama yapılması gerekir. Planlamanın ilk adımı, odak grupların amacını tanımlamaktır. Doğru soruların geliştirilmesi ve en iyi bilginin elde edilebilmesi için, amacın açık bir şekilde ortaya konulması gerekmektedir. İkinci adım, sürecin takvimlendirilmesidir. Katılımcı özelliklerinin belirlenmesi, soruların geliştirilmesi ve test edilmesi, oturumların gerçekleştirileceği yerin belirlenmesi, katılımcıların davet edilmesi, izlenmesi ve gerekli materyalin temin edilmesi bir programa bağlanmalıdır. Elde edilen bilginin geçerli ve güvenilir olmasını sağlamak için, hedef kitleyi (popülasyonu) sayı ve nitelik olarak tümüyle temsil edecek kişilerin seçilmesi önemlidir. Sonraki adım, soruların oluşturulmasıdır. Zaman sınırlaması nedeniyle sadece dört ya da beş soru sorulabilecektir. Bu soruların yapısı da çok önemlidir. Etkinliği sağlamak için, odak grup soruları açık uçlu olmalı ve genelden özele doğru sıralanmalıdır. Oturumların gerçekleştirileceği yer de önemlidir. Katılımcıların fikirlerini açıklamada kendilerini rahat hissedebilecekleri uygun bir yer seçilmelidir. Katılımcıların konuya odaklanmalarının ve kendilerini rahat hissetmelerinin sağlanması amacıyla, toplantıların mümkün olduğunca çalışma yeri dışında, özel ortamlarda gerçekleştirilmesi gerekir. Bir diğer önemli husus, oturumları yönetecek rehberin, yardımcısının ve gözlemcinin seçimidir. İyi bir rehber, yeterli bilgisi, dinleme hüneri, liderlik yeteneği, sabır ve esnekliği, gözlem vb. yetenekleri olan kişidir. Rehber, oturuma enerji katmalı, grubun beklentilerini yönetmeli, elverişsiz koşulları ortadan kaldırmalı ve ortamı fiziksel ve psikolojik anlamda güvenli kılmalı, resmi olmayan ve rahat bir üslup kullanmalı, farklı düşünceleri teşvik etmeli, katılımcıların bir grup olmasını sağlamalı ve interaktif (etkileşimli) bir ortam oluşmasını teşvik etmelidir. Rehber yardımcısının temel görevi, rehbere yardımcı olmak ve oturumun kaydedilmesini sağlamaktır. Gözlemci ise, oturumu gözlemler ve not alır. Oturum tamamlandıktan sonra elde edilen kapsamlı bilginin analiz edilmesi safhası başlar. Ulaşılan sonuçlar yorumlanmalı, analiz edilmeli ve sonuçta bir rapor hazırlanmalıdır. Nihai rapor, odak grubun amacı ve arka planı, oturumlara ilişkin ayrıntılar, ulaşılan sonuçlar ve bulgular hakkında tüm bilgileri içermelidir.

76 T.C. SAYIŞTAY BAŞKANLIĞI Ek 5: Veri Analiz Teknikleri Veriler analiz edilirken; hangi analiz türünün uygun olacağı incelenen konunun yapısına bağlı olarak değişiklik gösterir. Seçilecek analiz türünün çalışma hedeflerine ulaşılmasını sağlayacak nitelikte olup olmadığı, işlenmemiş (ham) verilerin analize uygunluğu ve uygun değilse verinin farklı bir biçime dönüştürülmesinin gerekli olup olmadığı değerlendirilerek en uygun analiz yöntemi seçilmelidir. Analiz tekniklerinin seçiminde, bu analizlerin kurum içinde veya kurum dışında yapılması halinde doğacak uzman yardımı ihtiyacı dikkate alınmalıdır. Bu seçimde analiz edilecek veriler ve veri analizinin denetim hedeflerine ulaşılmasına nasıl katkıda bulunacağı da göz önünde bulundurulmalıdır. Her analiz nelerin ileri sürülebileceği, nelerin ileri sürülmesinin mümkün olduğu, nelerin ileri sürülmesinin ise şart olduğu arasındaki ortak düşünce ve mantık üzerine inşa edilmelidir. Denetçi görüşmeler, anketler ve incelemeler yürütmek suretiyle birincil veriyi (kendi ilk kaynak materyalini) üretir. Bununla birlikte, büyük oranda ikincil veriyi (başkalarınca üretilen materyali) de kullanmaktadır. Kanıtların geçerliliğini ölçmede ve analizinde kullanılan birçok teknik bulunmaktadır. Aşağıda denetçiler tarafından kullanılan birkaç analiz tekniğine yer verilmiştir. Basit Veri Analiz Teknikleri Toplanan verilerin analize uygun hale getirilmeleri için ilk olarak düzenlenmeleri gereklidir. Bu düzenleme işlemleri basit veri analiz teknikleri olarak da adlandırılabilir. Bunlardan bazılarını şöyle sıralayabiliriz: h Verilerin sistematik bir şekilde gruplara ayrılarak basit seriye dönüştürülmesi: Verilerin küçükten büyüğe doğru sıralanmasıdır. Bu yöntemle en düşük ve en yüksek değerlerin ilk bakışta görülmesi mümkün olur. h Verilerin yayılma alanının belirlenmesi. Azami ve asgari değerler arasındaki fark ve verilerin dağılımı (değişim aralığı). h Verilerin tekrarlanma sıklığının belirlenmesi (frekans serisi). h Aritmetik ortalama, medyanlar (sıralanmış veri listesinin ortasındaki değer), modlar (bir veri kümesinde en çok bulunan değer), standart sapma (aritmetik ortalamadan sapmaların derecesi) vb. basit ortalamaların hesaplanması. h Örnek verinin popülâsyonun tamamını temsil edip etmediğini değerlendirmek, h Doğru olduğu varsayılan bir ilişkiyi test etmek. Bu teknikler kullanılırken, seri içindeki aykırı değerlerin doğru değerler mi, hatalı değerler mi olduğu her zaman kontrol edilmelidir. Çünkü bu değerler, ortalama, standart sapma gibi değişkenleri güçlü bir şekilde etkilemektedir. Ayrıca elde edilen sonuçların yorumlanmasında uç değerlerden etkilenmeler göz önüne alınmalıdır. Program Mantığı Modelleri Kuruluşu tanımak amacıyla ve kilit program sonuçları ile sistemlerini ve bunların üretildiği faaliyetleri belirlemek amacıyla planlama aşamasında kullanılır. Program mantığı modeli, denetim konularında bir anlayışa varabilmek açısından programın hedefleri, alt hedefleri, programın ürünleri olan çıktı ile sonuçlar (vurgu ve etkiler) arasındaki ilişkiye dikkati yoğunlaştırmak suretiyle denetçiye yardımcı olacaktır.

77 KONU DENETİMİ REHBERİ Oran ve rasyolar kullanmak suretiyle karşılaştırmalar yapmak h Beklenilen değerlerle gerçekleşenleri karşılaştırmak, h Bir değişimi bir zaman parçası dâhilinde gözlemlemek, h Bir kriterin karşılanma derecesini ölçmek. Çapraz Tablolar Analizi Değişkenler arasında bir ilişkinin varlığını veya yokluğunu ortaya koyan yöntemdir. Tablonun yapısı ve kategorilerin düzenlenmesi hangi ölçünün kullanılacağını belirler. h Çapraz tablolar istatistikleri ve ölçüleri sadece iki yönlü tablolar için hesaplanmaktadır. Her tablo değişkeninin kategorisini tanımlarken sayısal veya sözel değerler kullanılabilir. Örneğin, cinsiyet için veriler 1 ve 2 veya erkek ve kadın şeklinde kodlanabilir. Örneğin işten memnuniyete göre işe devamsızlık olması konusundaki oransal (yüzde) ilişki bu yöntemi kullanılarak saptanabilir. Korelasyon Korelasyon analizi; iki değişken arasındaki ilişkinin düzeyini(derecesini-şiddetini-gücünü) ve yönünü belirlemek amacı ile yapılır. Her iki değişkene ilişkin verilerin normal dağılım göstermesi durumunda değişkenler arasındaki ilişki Pearson korelasyon katsayısı ile belirlenir. Korelasyon katsayısı ile belirlenen ya da ölçülen husus, söz konusu değişkenler arasındaki doğrusal ilişkidir. Eğer değişkenler arasındaki ilişki doğrusal değil ise korelasyon yapılması ilişkiyi ölçmek için uygun bir yöntem değildir. Korelasyon katsayısı “r” harfiyle ifade edilir ve -1 ile +1 arasında ( -1≤ r ≤+1 ) bir değer alır. Burada, değişkenler arsındaki ilişkinin düzeyini, rakamların mutlak büyüklüğü, yönünü ise rakamların işareti (pozitif ya da negatif olması) belirler. Korelasyon katsayısının pozitif olması, bir değişkene ilişkin verilerin artması durumunda diğerinin de artması veya bir değişkene ilişkin verilerin azalması durumunda diğerinin de azalması anlamına gelir ve değişkenler arasında doğru yönlü bir ilişki vardır şeklinde yorumlanır. Korelasyon katsayısının negatif olması ise; bir değişkene ilişkin verilerin artması durumunda diğerinin azalması veya bir değişkene ilişkin verilerin azalması durumunda diğerinin artması anlamına gelir ve değişkenler arasında ters yönlü bir ilişki vardır şeklinde yorumlanır. Değişkenler arasındaki ilişkinin düzeyi, korelasyon katsayısının 0-0,25 arasında olması durumunda zayıf, 0,50-0,69 arasında olması durumunda orta, 0,70-0,89 arasında olması durumunda kuvvetli ve 0,90-1 arasında olması durumunda ise çok kuvvetli şeklinde yorumlanır. Regresyon Analizi İki ya da daha fazla değişkenin arasındaki ilişkiyi açıklamak ve güçlü bir bağlantının bulunması halinde olası sonuçları tahmin etmek için kullanılır. Regresyon, çeşitli girdilerin değişik çıktılar üzerindeki etkisini araştırmada da kullanılır. Regresyon analizinin temelinde; gözlenen bir olay değerlendirilirken, hangi olayların etkisi içinde olduğunun araştırılması yatmaktadır. Bu olaylar bir veya birden çok olacağı gibi dolaylı veya direkt etkileniyor da olabilirler. Regresyon analizi yapılırken, gözlem değerlerinin ve etkilenilen olayların bir matemetiksel gösterimle yani bir fonksiyon yardımıyla ifadesi gerekmektedir. Kurulan bu modele regresyon modeli denilmektedir. Bu teknik;

78 T.C. SAYIŞTAY BAŞKANLIĞI h İki şey arasındaki düzenli bir ilişkiye uymayan ‘aykırı değerler’i veya sıradışı değerleri saptamak h Geçmişte gerçekleşen bir gözlemlenmiş ilişkiye dayanarak gelecek için tahminlerde veya çıkarımlarda bulunmak h Kurumsal faaliyet modelleri inşa etmek amaçlarına hizmet eder. Faktör Analizi Faktör Analizi, birbirleriyle ilişkili veri yapılarını birbirinden bağımsız ve daha az sayıda yeni veri yapılarına dönüştürmek, bir oluşumu etkileyen değişkenleri gruplamak, majör ve minör faktörleri tanımlamak amacıyla başvurulan bir yöntemdir. Faktör analizinin amacı; veri setini küçülterek daha kolay açıklanabilir hale getirmektir. Bazen, denetçinin elinde birbirleri ile ilişkili birçok değişken olabilir. Söz konusu değişkenler, faktör veya genel bir değişkenin değişik biçimlerdeki ölçümleri olan bir değişkenler seti olabilir. Faktör analizinde amaç; çok değişkenli bir olayda birbiriyle ilişkili değişkenlerden, faktör adı verilen az sayıda yeni ilişkisiz değişken bulmaktır. Bu analiz boyut indirgemeye ve bağımlılık yapısını gidermeye çalışır. İndirgenmiş Nakit Akışı Belirli bir dönem dâhilindeki parasal maliyet ve fayda akışının projenin başlangıç yıllarındaki değerler yönünden ifadesidir. Fayda-maliyet analizleri h Denetleyici kurumun analizleri mesleki standartları karşılamak suretiyle yaptığının güvencesini sağlamak, h Maliyetleri ve faydaları karşılaştırmak, h Faydalar sabit kabul edildiğinde alternatif maliyetleri karşılaştırmak amaçlarıyla kullanılır. Nitel verinin içerik analizleri h Program hedeflerini saptamak (Bunu yapmak için denetçi programın yasal geçmişine ait bilgileri toplayacaktır), h Program faaliyetlerini tanımlamak (İçerik analizleri bir bölüme ait belgelemeyi tahlil etmek suretiyle program faaliyetlerinin nesnel bir tanımını yapma amacıyla kullanılacaktır), h Olumlu ve olumsuz program sonuçlarını belirlemek (İçerik analizleri değerlendirme raporları, denetim raporları, politika belgeleri ve program performansı üzerine akademik veya bağımsız değerlendirmeleri sentezlemek amacıyla kullanılır. Bu gibi değişik çalışmalarda ulaşılan sonuçları özetlemek, üzerinde çalışılan programın etkilerini değerlendirmek açısından önemlidir). İş akış ve iletişim akış analizleri Bir organizasyon veya sistemin nasıl çalıştığı hakkında bilgi edinmek için kullanılır. Özellikle denetim konusu birçok bölümü, birimi veya karmaşık aşamaları kapsıyorsa bu analizler yararlı olabilir.

79 KONU DENETİMİ REHBERİ Denetimlerde kullanılan en yaygın tekniklerden bir tanesi, ikincil verilerin toplanması ile yapılan analizdir. Özellikle de iç denetçinin yaptığı işe güvenip güvenmemeye karar vermek amacıyla onun çalışma kâğıtlarının ve denetim süreçlerinin incelenmesi ikincil verilerin toplanması yoluyla yapılan analizin bir örneğidir. Diğer ikincil veri kaynakları, kalite kontrol raporları, danışmanların çalışmaları ve program değerlendirmeleridir. İkincil düzeydeki verilerin birçok tipi için çalışma kâğıtlarını edinmek ve iç denetim personeli ile onun iş çevresinin kalite değerlendirmesini yapmak mümkün değildir. Denetçi çalışma tasarımını, veri toplama ve analizi yöntemlerini görmek için ilk olarak çalışma metodolojisini gözden geçirmeli ve sonuçların mantıki açıdan incelemesini yapmalıdır. Denetçilerce yürütülen denetimlerde aşağıda yer alan veri analizleri de kullanılabilir: h Toplanan kanıtların muhtemel bulguyu destekleyip desteklemediğinin tespit edilmesi için kapsamlı bir inceleme yapılması. Örneğin; planlama safhasındaki incelemesi sırasında denetçi, yönetim raporlama sisteminin sorunları doğru bir şekilde ortaya koymadığını göstermek için bir takım kanıtlar toplamış olabilir. Analiz sırasında topladığı kanıtın bu muhtemel bulguyu doğrulamada etkili olup olmadığına dair bir yargıya ulaşmaya çalışır. h Standart ve normlardan sapmaların kabul edilebilir sınırlar içerisinde olup olmadığını veya raporlamaya değer zayıflıklar olup olmadığını öğrenmek amacıyla temel sistemler veya kontroller üzerinde yürütülen testlerin sonuçları hakkında yargılara ulaşılması. h Tek başına anlamlı bir sonuç doğurmayan verilerin ilgili başka verilerle birlikte değerlendirilmesi. Örneğin çocuk aşılama programının değerlendirilmesi sırasında ulaşılan aşılama rakamının, belirli bir bölgedeki toplam aşı tüketimi ile veya daha önce yürütülmüş olan bir çalışmadan çıkan çocuk ölüm oranları ile ilişkilendirilerek yorumlanması. h Bir denetim bulgusunun değerlendirilmesinde değişik bakış açılarının birbirleriyle ilişkilendirilmesi. Denetçi bir projenin tamamlanmasında gecikme gözlemleyebilir ve diğer faktörlerle birlikte gecikmenin maliyet ve fayda üzerindeki etkilerini inceleyebilir. Sonuçta tahminlerle karşılaştırarak projenin performansını değerlendirebilir. h Kayda değer eğilimlerin tanımlanması. Bir denetçi ayrıntılı gözlemleri sırasında kayda değer önemlilikte eğilimlere işaret ederek bir arada görülen veya birbirine bağlı birtakım örnek olaylar keşfedebilir. h Bulgu ve sonuçlara anlamlı bir perspektif sağlamak amacıyla karşılaştırmalar yapılması. Bu karşılaştırma değişik şekillerde olabilir: Planlanan veya tahmin edilenle gerçekleşen durumun karşılaştırılması, idari performansın veya maliyetlerin benzer veya karşılaştırılabilir olan bir başka projeyle karşılaştırılması, genel kabul görmüş standartlarla karşılaştırma yapılması, vb. h Olayların sonuçlarının değerlendirilmesi. Denetçi, durumu tatmin edici bulmazsa yalnızca bu duruma yol açan nedenleri ortaya çıkarmaya çalışmamalı, aynı zamanda eğer düzeltici önlem alınmazsa sonuçların ne olacağını da araştırmalıdır.

80 T.C. SAYIŞTAY BAŞKANLIĞI Ek 6: İş Planı Formatı Denetim Sorusu Denetim Prosedürü (Varsa) Görüşülecek Kişi veya Kurum Sorumlu Denetçi Tamamlanma Zamanı Denetim matirisindeki tüm alt sorular, alt- alt sorulara bu bölümde sırasıyla yer verilir. Her alt soru ve alt-alt sorunun cevaplanabilmesi için uygulanması öngörülen denetim prosedürleri (kanıt toplama teknikleri) bu bölümde yazılır. Denetim prosedürü görüşme yapmayı gerektiriyorsa bu bölümde görüşme yapılacak kurumlara ve kurumlarda görüşme yapılması planlanan isimlere yer verilir. Görüşmeler için randevu tarihi alındıkça bu tarihler iş planına eklenir. Denetim prosedürünü gerçekleştirmekle görevli denetçinin/ denetçilerin isimleri yazılır. Her denetim prosedürü için biri konunun ana sorumlusu olmak üzere, iki denetçinin isminin yazılması esastır. Denetim prosedürünün tamamlanacağı tarih bu bölüme yazılır. Atık yönetimine ilişkin kurumsal sorumluluklar belirlenmiş midir? Görüşme Belge inceleme XYZ Bakanlığı, SGB Başkanı … ABC Belediyesi XXX Şube Müdürü Atık yönetimi alanındaki kurumsal hedefler ulusal planlara uygun şekilde belirlenmiş midir? Görüşme Belge inceleme … … … Sıfır atık projesi hakkında yerel yönetimler düzeyinde farkındalık sağlanmış mıdır? Görüşme Anket … … …

81 KONU DENETİMİ REHBERİ Ek 7: Denetimin Belgelendirilmesi ve Çalışma Kağıtları Belgelendirme Denetimin belgelendirilmesi, denetimin planlanması, yürütülmesi ve raporlanmasına ilişkin denetçinin bulgu ve sonuçlarını destekleyen yeterli bilgilerin belgelenmesi ve sistematik olarak arşivlenmesi işlemidir. Denetim bulgu ve sonuçlarını desteklemek ve denetimin ilgili standartlara uygun olarak yürütülmüş olduğunu teyit etmek üzere denetim kanıtları belgelendirilmelidir. Bu kapsamda denetime ilişkin planlama ve uygulama dokümanları, görüşme notları, gözlem not ve kayıtları, çalışma kağıtları, cd ve fotoğraflar, kitaplar, raporlar, kurumsal yazışmalar, anket-medya-meclis dokümanları vs. elektronik ortamda ve/veya yazılı olarak dosyalanır. Belgelendirme bulgulara, sonuçlara ve önerilere dayanak oluşturur, denetimin verimliliğini ve etkinliğini artırır ve denetim kalitesinin değerlendirilmesine olanak tanır. Belgelendirme aynı zamanda denetimin planlamasını ve gözetimini kolaylaştırır. Denetim belgelendirmesi, kanıt kaynaklarının, raporda yer alan bulguların, sonuçların ve önerilerin dayanaklarına ulaşmasını sağlayacak şekilde hazırlanmalıdır. Çalışma Kâğıtları Çalışma kâğıtları, denetçinin uyguladığı denetim prosedürlerini, elde ettiği bilgileri ve yaptığı incelemelerle ilgili olarak ulaştığı sonuçları kaydettiği yazılı kâğıtlardır. Çalışma kâğıtları denetçi tarafından incelenen ve değerlendirilmeye tabi tutulması gereken görev alanıyla ilgili önemli konuları ve bu konularda denetçinin varmış olduğu sonuç ve değerlendirmeleri içermelidir. Bu kağıtlar, denetim sürecinin temel bir unsurudur ve sistematik bir şekilde tasnif edilmeli/ düzenlenmeli, gözden geçirilmeli ve muhafaza edilmelidirler. Çalışma kağıtları alan çalışması ile denetim raporu arasındaki bağı kurduğundan raporda yer alan önerilerin, analiz, bulgu ve sonuçların desteklenmesi amacıyla toplanan tüm kanıtlar çalışma kağıtlarına bağlanmalıdır. Çalışma kağıtları; kanıtlarla ilgili dokümanlara erişimi kolaylaştırır, denetimin planlanmasına ve uygulanmasına yardımcı olur, tek tek denetimlerin ve bütünüyle denetim görevinin etkin şekilde yönetimini kolaylaştırır. Çalışma kâğıtları; h Eksiksiz ve doğru olmalıdır. Bulgu, sonuç ve kanıtlara destek sağlamalı ve yürütülen çalışmanın yapısını ve kapsamını ortaya koymalıdır. h Açık ve öz olmalıdır. Çalışma kâğıtlarını kullanan herhangi biri sözlü açıklama desteği olmadan yapılan çalışmanın niteliğini ve kapsamını, ulaşılan sonuçları ve bu kâğıtların ne maksatla doldurulduğunu anlayabilmelidir. Anahtar konumundaki belgelere veya bunların fotokopilerine referans yapan bir indekse ve bir özete çalışma kâğıtlarında yer verilmelidir. h Denetim konusu ile ilgili olmalıdır. Çalışma kâğıtlarının içerdiği bilgiler görevlendirme yazısıyla belirlenen hedeflerle ilgili olarak kullanışlı, önemli ve yerinde konularla sınırlı tutulmalıdır. h Tutarlı bir yapıda organize edilmelidir. Bu ise mantıklı ve izlenmesi kolay bir indeks yardımıyla sağlanabilir. Her bir çalışma kâğıdı destekleyici dokümana ve denetim planına referansta bulunmalıdır. Bu, denetimle ilgili tüm bilgiye kolaylıkla ulaşmayı sağlayacaktır. Çalışma kâğıtları oluşturulurken yukarıdaki önceliklere uyulduğu takdirde bunların gözden geçirilmesi de kolay olacaktır. Çalışma kâğıtları hazırlanırken nihai kullanıcılar da göz önünde tutulmalıdır. Bunun yapılması, TBMM’den gelecek soruların yanıtlanmasını kolaylaştıracak ve denetim bulguları ile önerilerin temelinin sağlamlaştırılmasına katkı sağlayacaktır. Denetçi çalışma kâğıtlarının güvenliğini sağlayacak uygun önlemleri almalı ve mesleki kayıtların belirli bir süre saklanmasına ilişkin kural ve gerekleri yerine getirmelidir.

82 T.C. SAYIŞTAY BAŞKANLIĞI Ek 8: Çalışma Kağıdı Formatı ÇALIŞMA KAĞIDI 2.13 (ÇK numarası ilk rakam ÇK’yı hazırlayan denetçinin denetim ekibindeki kıdem sırasını, ikinci rakam da denetçinin hazırladığı ÇK sayısını ifade edecek şekilde ekip başkanı tarafından verilir) Denetimin Aşaması Planlama veya uygulama Çalışma Kağıdının Konusu 11. KP ile SK’ların uyumunun sağlanmasına yönelik çalışmaların değerlendirilmesi Çalışma Kağıdının İlgili Olduğu Alt Soru Düzenleyen Hazırlama Tarihi Referanslar (ÇK’da atıf yapılan dokümanların ismi, arşiv numarası, diğer ÇK’ların numaraları, vb) Ekip başkanı değerlendirmesi: Ekip başkanı ÇK’yı okuyarak varsa değişiklik önerilerini bu bölüme yazar, ÇK’yı hazırlayan ekip üyesi de bu önerilere göre yaptığı değişiklikleri farklı renkte işaretleyerek ÇK’ya kaydeder. (Ekip Başkanı tarafından hazırlanan ÇK’ların ikinci aşama kalite kontrolden sorumlu kişi tarafından da gözden geçirilmesi esastır. Bu durumda aynı usuller geçerli olacaktır)

83 KONU DENETİMİ REHBERİ Ek 9: Bulguların Değerlendirmesi Toplantısı Bulguların değerlendirilmesi toplantısı, saha çalışması tamamlandıktan sonra ancak rapor taslağı hazırlanmadan önce gerçekleşir. Bu toplantı denetim raporuna dahil edilecek bulgu ve sonuçların değerlendirilmesi ve bunların hangi formatta raporlanacağının karara bağlanması amacıyla yapılır. Bulguların Değerlendirilmesi Toplantısının Çerçevesi h Tespit edilen bulgular belgelendirilmiş kanıtlara dayanmalı, h Denetim sonuçları mantıklı ve ikna edici yapıda sunulmalı, h Öneriler yapıcı, uygulanabilir ve sağlam temellere dayanmalı, h Raporun formatı mantıksal bir sıra izlemeli ve bölümler denetim soruları dikkate alınarak oluşturulmalı. Ön değerlendirme toplantısında, nihai ifadelerin şekillendirilmesi hususunda çok fazla zaman kaybedilmemesi önerilir. Toplantının belirli bir sorunun veya sonucun nasıl ifade edileceğine dair değerlendirme veya tartışmalar nedeniyle uzaması durumunda, toplantı sonrası edinilecek güncel bilgi ya da verilerle yeni bir toplantı gündeminin oluşturulması faydalı olacaktır. Belirli bir sorun alanı ya da sonucun dile getirilmesinde en uygun ifade biçiminin ne olduğu hususunda tam bir mutabakat sağlanamasa da, önemli olan husus, katılımcıların anlam veya prensipler konusunda ortak bir anlayışa ulaşmalarıdır. Ön değerlendirme toplantısına; denetim ekibi, ilgili grup başkanı, ilgili bölüm başkanı, kalite güvencesinden sorumlu bir denetçi ve başkan ya da başkan yardımcısı katılır. İhtiyaç duyulması halinde katkı sağlayacağı düşünülen grup başkan(lar)ı da toplantıya davet edilebilir. Denetim ekibi, ilgili raporları ve toplantı gündemini katılımcılara en az 2 gün önce göndermelidir.

84 T.C. SAYIŞTAY BAŞKANLIĞI Ek 10: Rapor Formatı TABLOLAR LİSTESİ ŞEKİL LİSTESİ GRAFİK LİSTESİ KISALTMALAR YÖNETİCİ ÖZETİ

• KONU HAKKINDA BİLGİ
• BULGULAR
• ÖNERİLER GİRİŞ
• DENETİMİN DAYANAĞI, AMACI, KAPSAMI, UNSURLARI VE METODOLOJİSİ
• DENETİM SORULARI
• KONU HAKKINDA BİLGİ
• DENETİM SONUÇLARINA TOPLU BAKIŞ BÖLÜMLER

85 KONU DENETİMİ REHBERİ Ek 11: Gözden Geçirme Kriterleri Kalite Kontrol Sorusu Değerlendirme/ Öneri Referans Çalışma Kağıdı Rapor bölümleri konu denetimi rehberinde öngörüldüğü şekilde düzenlenmiş midir ve içerikler bu formata uygun mudur? Raporun bölüm başlıkları ve alt başlıklar denetim matrisine paralel olarak oluşturulmuş mudur? Bölümler temel mesajları net bir şekilde iletebilmekte midir? Yönetici özeti raporun içeriğini, kritik bulgu, sonuç ve önerileri içermekte midir? Yönetici özetinde denetimin amacı ve konusuna kısaca yer verilmiş midir? Giriş bölümünde konu hakkında verilen bilgi sistematik ve anlaşılır bir şekilde sunulmuş mudur? Giriş bölümünde denetimin amaç, kapsam ve metodolojisine yer verilmiş midir? Kullanılan grafik, tablo ve resim gibi görseller açık, anlaşılır, ilgili midir? Metin içinde bunlara uygun şekilde atıf yapılmış mıdır ve kaynakçası belirtilmiş midir? Rapor dili anlaşılır ve sade midir? Zorunlu olarak kullanılan teknik terimlere sözlükçede yer verilmiş midir? Rapor eki varsa bunlara raporun içinde uygun şekilde atıf yapılmış mıdır? Rapor içinde kullanılan kısaltmaların ilk geçtiği yerde tam ifadesi kullanılmış mıdır? Denetimin kapsadığı zaman aralığı net bir şekilde belirtilmiş midir? Rapor sunulduğu tarih itibarıyla güncel bilgileri içermekte midir? Alt başlıklar alt soruya cevap verecek şekilde başlatılıp, konuya ilişkin bulgu ve değerlendirmeleri, sonuçları içermekte ve varsa öneriler ile sonuçlandırılmakta mıdır? Alt sorulara karşılık gelen alt başlıkların içerisinde doğrudan soruyla ilişkili bulgu ve sonuçlara yer verilmiş midir? Alt başlıkların içeriğinde soru-bulgu- öneri ilişkisi anlamlı ve uygun bir şekilde kurulmuş mudur? Raporda yer verilen öneriler mevcut durum analizine dayanarak yapılmış mıdır, yeterli ve uygun kanıta dayanmakta mıdır? Raporda sübjektif, suçlayıcı, hedef gösteren ya da zan altında bırakan ifadeler kullanılmamasına özen gösterilmiş midir?