559_Performans Denetim Rehberi_v2.pdf

PERFORMANS DENETİMİ REHBERİ ARALIK 2014 ANKARA T.C. SAYIŞTAY BAŞKANLIĞI

PERFORMANS DENETİMİ REHBERİ T.C. SAYIŞTAY BAŞKANLIĞI ARALIK 2014 ANKARA

BELGE ADI : SDR.3, Performans Denetimi Rehberi VERSİYON NO : 2014/2 VERSİYON TARİHİ : Aralık 2014 Performans Bilgisi Denetimi Rehberinde değişiklik yapma ihtiyacı üzerine, kurulan komisyon marifetiyle hazırlanan bu rehber Denetim Planlama ve Koordinasyon Kurulunun 02.12.2014 tarih ve 2014/14 sayılı toplantısında görüşülerek kabul edilmiş ve 15.12.2014 tarihinde Sayıştay Başkanı tarafından onaylanarak yürürlüğe girmiştir.

İÇİNDEKİLER SUNUŞ ............................................................................................................................................1 TANIMLAR ....................................................................................................................................3 ÖZET ..............................................................................................................................................5

1. PLANLAMA .............................................................................................................................11 1.1 Denetim Ekibinin Oluşturulması .........................................................................................11 1.2 Denetlenecek İdareyle İletişim Kurulması ..........................................................................11 1.3 Denetlenecek İdarenin Tanınması .......................................................................................12 1.4 İdarenin Genel Performans Yönetimi Hakkında Bilgi Edinilmesi ......................................13 1.5 Denetim Planının Hazırlanması ..........................................................................................15
2. UYGULAMA ............................................................................................................................17 2.1 Stratejik Planın Değerlendirilmesi ......................................................................................17 2.1.1 Mevcudiyet .................................................................................................................18 2.1.2 Zamanlılık ...................................................................................................................18 2.1.3 Sunum .........................................................................................................................19 2.1.4 İlgililik ........................................................................................................................19 2.1.5 Ölçülebilirlik ...............................................................................................................20 2.1.6 İyi Tanımlanma ...........................................................................................................21 2.2 Performans Programının Değerlendirilmesi .......................................................................22 2.2.1 Mevcudiyet .................................................................................................................23 2.2.2 Zamanlılık ...................................................................................................................23 2.2.3 Sunum .........................................................................................................................23 2.2.4 İlgililik ........................................................................................................................24 2.2.5 Ölçülebilirlik ...............................................................................................................26 2.2.6 İyi Tanımlanma ...........................................................................................................27 2.3 Faaliyet Sonuçlarının Ölçülmesi ve Değerlendirilmesi ......................................................28 2.3.1 Performans Bilgisine İlişkin Veri Kayıt Sistemlerinin Mevcudiyeti ..........................29 2.3.2 Önemli Veri Kayıt Sistemlerinin Seçilmesi ................................................................30 2.3.3 Veri Kayıt Sistemlerinin Değerlendirilmesi ...............................................................31

2.3.3.1 Verilerin Güvenilirliğine Yönelik Risklerin Tespit Edilmesi ...............................31 2.3.3.2 Veri Kayıt Sistemlerindeki Kontrollerin Değerlendirilmesi ................................32 2.3.3.3 Güvenilirlik Değerlendirmesi ..............................................................................34 2.4 Faaliyet Raporunun Değerlendirilmesi ...............................................................................35 2.4.1 Mevcudiyet .................................................................................................................36 2.4.2 Zamanlılık ...................................................................................................................36 2.4.3 Sunum .........................................................................................................................36 2.4.4 Tutarlılık .....................................................................................................................37 2.4.5 Doğrulanabilirlik ........................................................................................................37 2.4.6 Geçerlilik / İkna Edicilik ............................................................................................38 3. RAPORLAMA .........................................................................................................................41 3.1 Raporlama Öncesi Mutabakat .............................................................................................41 3.2 Önerilerin Geliştirilmesi ......................................................................................................41 3.3 Denetim Raporunun Formatı ...............................................................................................42 3.4 Kamu İdaresi Görüşü ..........................................................................................................44 3.5 Sayıştay Denetim Raporu ....................................................................................................44 3.6 Diğer Hususlar ....................................................................................................................44 4. İZLEME....................................................................................................................................45 EKLER..........................................................................................................................................47 EK 1 - FORMLAR .......................................................................................................................48 EK 2 - DENETİM PLANI ...........................................................................................................60 EK 3 - VERİ KAYIT SİSTEMİ RİSKLERİ ..............................................................................61

1 SUNUŞ Yeni kamu mali yönetimi anlayışında hesap verme sorumluluğunun ve saydamlığın artırılabilmesi amacıyla kurumsal performansın ölçülmesi yaklaşımı ön plana çıkmaya başlamıştır. İdarelerin amaç ve hedeflerini faaliyetler yoluyla hayata geçirmelerinde kendilerine tahsis edilen kaynakların etkin, ekonomik ve verimli kullanımı bu yeni sürecin en önemli unsuru haline gelmiştir. Bu anlayış doğrultusunda Sayıştayın denetimdeki rolü değişmiştir. Yönetsel sorumluluk bağlamında idarelerin hazırladığı plan ve programların (amaç ve hedefler, faaliyetler ve performans hedefleri bağlamında) değerlendirilmesi görevi performans denetimi yetkisi ile Sayıştaya verilmiştir. Performans yönetimi ve denetimi yapısı gereği yeni yöntem ve tekniklerle sürekli gelişen bir süreçtir. Kurumsal amaç ve hedeflere ulaşma performansı ve kurum faaliyetlerinin yarattığı etkinin amaçlanan etkiyle karşılaştırılması bu kapsam içinde ele alınmıştır. Kurumsal düzeyde performans denetimi, idarenin plan ve program belgelerinin ışığında izleyeceği yolu ortaya koyan amaç ve hedefleri ile bütçe uygulaması sonucunda ortaya çıkan faaliyet sonuçlarının performans göstergeleri çerçevesinde ölçülmesi şeklinde yapılır. Bu çerçeve içinde performans denetimi sonucu hazırlanan denetim raporu idarenin dönem sonundaki performansını başlangıçtaki hedefleriyle karşılaştırarak ortaya koyar. Performans denetimi sonucu hazırlanan denetim raporu kurumsal performansın objektif bir çerçevede bağımsız bir bakış açısıyla değerlendirilmesi açısından önem taşımaktadır. Denetim raporları hesap verme sorumluluğunun etkin işlemesini sağlamanın yanı sıra idarelerin performans yönetimi süreçlerinin iyileştirilmesine de önemli katkıda bulunmaktadır. Bu rehber performans denetimine yönelik olarak mevcut kamu mali yönetim sistemi ve uluslararası iyi uygulama örnekleriyle tutarlı bir çerçeve ortaya koymaktadır. Bununla birlikte, bu süreç kurumsal kapasite artışı ve mali yönetim sistemindeki değişimlerle birlikte sürekli bir gelişim içinde olacaktır. Rehberde yer alan konuların birçoğu uygulamada elde edilecek deneyim ve birikimle birlikte sürekli gözden geçirilerek geliştirilecek ve çeşitli alt dokümanlarla derinleştirilecektir. Bu rehberin hazırlanmasında emeği geçen mensuplarımıza teşekkür eder, rehberin kullanıcılar için yol gösterici olmasını ve Türk Kamu Yönetimi için faydalı olmasını dilerim. Doç. Dr. Recai AKYEL Sayıştay Başkanı

3 TANIMLAR Amaç: Stratejik planda yer alan ve kamu idaresinin ulaşmayı hedeflediği sonuçların kavramsal ifadesidir. Bütçe: Kamu idarelerinin hedef veya faaliyetlere yönelik maliyetlerini hesaplarken dikkate alacakları, kamu idaresinin kendi bütçesine ek olarak bütçe dışı fonlar, döner sermaye, dış kaynaklar ve diğer kaynaklar gibi kalemleri de içerek şekilde geniş olarak anlaşılan kaynaklardır. Faaliyet: Belirli bir amaca ve hedefe yönelen, başlı başına bir bütünlük oluşturan, yönetilebilir ve maliyetlendirilebilir üretim veya hizmetlerdir. Faaliyet raporu: Kamu idaresinin yılsonu faaliyet sonuçlarını gösteren; mali bilgiler başlığı altında kullanılan kaynaklara, bütçe hedef ve gerçekleşmeleri ile meydana gelen sapmaların nedenlerine, varlık ve yükümlülüklerine, temel mali tablolara; performans bilgisi başlığı altında ise idarenin stratejik plan ve performans programı uyarınca yürütülen faaliyet ve projelerine, performans hedef ve göstergelerinin gerçekleşme durumuna ve bunlara ilişkin değerlendirmelere yer verilen raporlardır. Hedef: Stratejik planda yer alan amaçların gerçekleştirilebilmesine yönelik spesifik ve ölçülebilir alt amaçlardır. Performans esaslı bütçeleme: Kaynakların kamu idarelerinin amaç ve hedefleri doğrultusunda tahsisini ve kullanılmasını sağlayan, performans ölçümü ve değerlendirmesi yaparak ulaşılmak istenen hedeflere ulaşılıp ulaşılamadığını tespit eden ve sonuçları raporlayan bir bütçeleme sistemidir. Performans göstergesi: Kamu idarelerince performans hedeflerine ulaşılıp ulaşılmadığını ya da ne kadar ulaşıldığını ölçmek, izlemek ve değerlendirmek için kullanılan ve sayısal olarak ifade edilen araçlardır. Performans hedefi: Kamu idarelerinin stratejik planlarında yer alan amaç ve hedeflerine ulaşmak için program döneminde gerçekleştirmeyi planladıkları çıktı-sonuç odaklı hedeflerdir. Performans programı: Bir kamu idaresinin program dönemine ilişkin performans hedeflerini, bu hedeflere ulaşmak için yürütecekleri faaliyetleri ile bunların kaynak ihtiyacını ve performans göstergelerini içeren programdır. Performans yönetimi sistemi: Performans bilgisinin üretilmesi, yönetilmesi ve raporlanmasına ilişkin idareye ait iç politikalar, yapılar ve süreçlerdir.

4 Stratejik plan: Kamu idarelerinin orta ve uzun vadeli amaçlarını, temel ilke ve politikalarını, hedef ve önceliklerini, performans ölçütlerini, bunlara ulaşmak için izlenecek yöntemler ile kaynak dağılımlarını içeren plandır. Ulusal politika ve plan belgeleri: Kamu idarelerinin amaç ve hedeflerini oluştururken dikkate almaları gereken, kalkınma planı, orta vadeli program, sektörel ve bölgesel planlar, yıllık programlar ile yatırım programı gibi planlama belgelerinin bütünüdür. Veri kayıt sistemi: Bir göstergeye yönelik performans bilgisinin toplandığı, analiz edildiği ve üretildiği sürecin tamamını ifade eder. Veri kayıt sistemi, performans yönetimi sistemi uygulamasının sistematik olarak takip edilmesi ve raporlanmasını sağlar. Veri kaynağı: Veri kayıt sistemine bilgi sağlayan her bir unsuru ifade eder.

5 ÖZET Değişen Kamu Mali Yönetim Sistemi ve Performans Esaslı Bütçeleme 5018 sayılı Kamu Mali Yönetimi ve Kontrol Kanunu ile mali yönetim ve kontrol sistemi yeni bir anlayış çerçevesinde değiştirilmiş ve yeni sistem; etkinlik, verimlilik, ekonomiklik, saydamlık ve hesap verebilirlik kavramları üzerine inşa edilmiştir. 5018 sayılı Kanunun yürürlüğe girmesiyle birlikte performans esaslı bütçeleme sistemine geçilmiş ve bunun bir sonucu olarak kamu idarelerinin, orta ve uzun vadeli amaç ve hedefleri ile göstergelerini stratejik planlarında ortaya koymaları gerekliliği ortaya çıkmıştır. Buna ilaveten kamu idarelerinin, performans programları aracılığıyla bütçelerini yıllık performans hedefleri ile ilişkilendirerek hazırlaması öngörülmektedir. Yıl sonunda bütçenin uygulanması ile kamu idarelerinin faaliyet raporu aracılığıyla performanslarını yine ilgili hedef ve göstergelerle ilişkilendirerek raporlaması gerekmektedir. Bahsedilen üç doküman; stratejik plan, performans programı ve faaliyet raporu, performans esaslı bütçeleme sisteminin temelini oluşturmaktadır. İdareler bu belgeleri hazırlayarak hedeflerini, faaliyetlerini ve performanslarını kamuoyuna, mahalli idare meclislerine ve Türkiye Büyük Millet Meclisine sunmaktadır. Bu mekanizma ile saydam ve hesap verebilir bir mali yönetim sistemi oluşturulması hedeflenmektedir. 6085 Sayılı Sayıştay Kanunu ve Performans Denetimi 5018 sayılı Kanun ile performans esaslı bütçelemenin uygulamaya konulmasının ardından 2010 yılında 6085 sayılı Kanunun yürürlüğe girmesiyle Sayıştayın denetim görev ve yetkisi değiştirilmiştir. 6085 sayılı Kanunun 36 ncı maddesi uyarınca Sayıştayın denetim görevleri, “düzenlilik denetimi” ve “performans denetimi”ni kapsamaktadır. 6085 sayılı Kanunun 36 ncı maddesinde performans denetimi aşağıdaki gibi ifade edilmiştir: Hesap verme sorumluluğu çerçevesinde idarelerce belirlenen hedef ve göstergelerle ilgili olarak faaliyet sonuçlarının ölçülmesi suretiyle gerçekleştirilir. Tanımdan da anlaşılacağı üzere performans denetiminin temelini idarelerin üreteceği performans bilgisi oluşturmaktadır. İdarelerin performans bilgisinin incelenmesi sonucu kurumsal performans hakkında ortaya çıkan bulgular performans denetimi aracılığıyla raporlanır.

Performans Denetimi Rehberi 6 Ayrıca denetimin genel esaslarını belirleyen 6085 sayılı Kanunun 35 inci maddesi yerindelik denetimi yapılamayacağını, idarenin takdir yetkisini sınırlayacak ve ortadan kaldıracak karar alınamayacağını düzenlemektedir. Bu rehber, yukarıda bahsedilen 5018 sayılı Kanun ile 6085 sayılı Kanunun gerekliliklerini yerine getirmek üzere Sayıştayın uygulayacağı denetim metodolojisini ortaya koymaktadır. Performans Denetiminin Hedefleri 6085 sayılı Kanunun 34 üncü maddesinde denetimin amaçları arasında, bütçe hakkının gereği olarak kamu idarelerinin faaliyet sonuçları hakkında TBMM ve kamuoyuna güvenilir ve yeterli bilgi sunulması, kamu idarelerinin performansının değerlendirilmesi ile hesap verme sorumluluğu ve saydamlığın yerleştirilmesi ve yaygınlaştırılması sayılmıştır. Sayıştay, performans denetimi görevini kamu idarelerinin ilgili raporlarında yer alan performans bilgisinin kalitesini değerlendirerek yerine getirir. Performans bilgisi; devletin hizmet sunumunu konu alan, mali olmayan bilgidir. Performans bilgisini denetlerken Sayıştayın üç temel hedefi vardır: • Kamu mali yönetiminde hesap verebilirliğin ve saydamlığın sağlanmasını temin etmek üzere kamu idarelerinin, 5018 sayılı Kanuna uygun olarak performans bilgilerini faaliyet raporlarında göstermelerini sağlamak, • Raporlanan bilgilerin yararlılığına ve kalitesine katkıda bulunmak, • Kamu idarelerinin performans hedefleri ve göstergeleri açısından kaydettikleri ilerlemeyi izlemek ve raporlamak üzere hazırladıkları faaliyet raporlarında yer alan bilginin doğruluğu konusunda TBMM’ye ve kamuoyuna bilgi vermek. Performans Denetimi Kriterleri Aşağıdaki kaynaklar, performans bilgisinin denetlenmesi konusunda denetim kriterlerine temel oluşturur: • Diğer Yüksek Denetim Kurumlarının denetim uygulamaları, • 5018 Sayılı Kanun, Kamu İdareleri için Stratejik Planlama Kılavuzu, Kamu İdarelerinde Stratejik Planlamaya İlişkin Usul ve Esaslar Hakkında Yönetmelik, Kamu İdarelerince Hazırlanacak Performans Programları Hakkında Yönetmelik, Performans Programı Hazırlama Rehberi, Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmelik ve ilgili diğer mevzuatta yer alan kamu idarelerine yönelik yasal gereklilikler.

7 Tablo1, performans denetiminde kullanılacak olan kriterlere dair genel bilgi vermektedir. Tablo 1: Performans Denetimi Kriterleri Denetim kriteri Tanım Mevcudiyet Denetlenen idarenin, yasal düzenlemelere göre ilgili dokümanları hazırlaması Zamanlılık Performans bilgisinin yasal süre içinde raporlanması Sunum Performans bilgisinin düzenleyici esaslara uygun şekilde raporlanması İlgililik Amaç, hedef, gösterge ve faaliyetler arasında mantıksal bağlantı olması Ölçülebilirlik Hedeflerin veya göstergelerin ölçülebilir olması İyi tanımlanma Hedeflerin ve göstergelerin açık ve net bir tanımının olması Tutarlılık Hedeflerin (göstergeler dâhil), denetlenen idarenin planlama ve raporlama dokümanlarında tutarlı olarak kullanılması Doğrulanabilirlik Raporlanan performans bilgisinin kaynağına kadar izlenebiliyor olması Geçerlilik/ İkna edicilik Planlanan ve raporlanan performans arasındaki her tür sapmanın denetlenen idare tarafından ele alınıyor olması ve sapmayı açıklayan nedenlerin inandırıcı ve ikna edici olması Güvenilirlik Veri kayıt sistemlerinin gerçekleşmeleri tam ve doğru şekilde ölçerek faaliyet raporunda güvenilir veri sunuyor olması Performans Denetiminde Temel Aşamalar Kamu idaresi temelinde yapılmakta olan performans denetimi, esas olarak yıllık düzenlilik denetimi ile eş zamanlı yürütülür. Performans denetimi dört aşamada yürütülür: I. Planlama II. Uygulama III. Raporlama IV. İzleme I. Planlama
Planlama aşamasında denetim ekibi, denetimin uygulanması için hazırlık yapar. Bu aşamada aşağıdaki faaliyetler gerçekleştirilir: Özet

Performans Denetimi Rehberi 8 • Denetim ekibinin oluşturulması • Denetlenecek idare ile iletişim kurulması • Denetlenecek idarenin tanınması • Denetim planının hazırlanması II. Uygulama Uygulama aşaması aşağıdaki süreçlerden oluşmaktadır: • Stratejik planının değerlendirilmesi • Performans programının değerlendirilmesi • Faaliyet sonuçlarının ölçülmesi ve değerlendirilmesi • Faaliyet raporunun değerlendirilmesi Uygulama aşamasında gerçekleştirilen süreçlerden her biri, belirli denetim kriterleriyle ve denetim alanıyla bağlantılıdır. III. Raporlama Denetimin uygulama aşamasından sonra denetim ekibi denetim raporunu hazırlar. Performans denetimi sonucu hazırlanan denetim raporunda; • Performans denetiminin amaç, dayanak, kapsam ve yöntemine, • Genel değerlendirmeye, • Denetim bulgularına, • İzleme sonuçlarına, • Eklere, yer verilir. IV. İzleme Denetim sonuçlarının izlenmesi, Sayıştay raporlarının TBMM’de görüşülmesinden sonra; denetim raporlarında belirtilen bulgulara ilişkin önerilerin denetlenen idare tarafından ne ölçüde yerine getirildiğinin değerlendirilmesi amacıyla yapılır. İzleme aşamasının, denetimi yürüten denetim ekibince yerine getirilmesi esas olmakla birlikte, gerektiğinde farklı denetçilerin de bu faaliyeti yürütmesi mümkündür.

9 Performans Denetimi Zaman Planı Performans denetiminin yürütülmesine ilişkin önerilen takvim Tablo 2’de gösterilmektedir. Tablo 2: Performans denetimi süreçleri ve zaman planı Denetim aşaması Denetim kriteri Denetim kapsamı Zaman planı Planlama Haziran Uygulama (Stratejik Plan ve Performans Programı) • Mevcudiyet • Zamanlılık • Sunum • İlgililik • Ölçülebilirlik • İyi tanımlanma Stratejik plan Performans programı Temmuz – Eylül Uygulama (Faaliyet sonuçlarının ölçülmesi ve değerlendirilmesi) • Güvenilirlik Seçilen veri kayıt sistemleri Eylül – Şubat Uygulama (Faaliyet Raporu) • Mevcudiyet • Zamanlılık • Sunum • Tutarlılık • Doğrulanabilirlik • Geçerlilik/ İkna edicilik. Faaliyet raporu Şubat (İl özel idareleri için Mart, Belediyeler için Nisan) Raporlama Mart (İl özel idareleri için Nisan, Belediyeler için Mayıs) İzleme Denetimin yürütülmesine ilişkin sunulan zaman planı fikir verme amaçlı olup; denetim ekibinin kapasitesine ve iş planına göre değişiklik gösterebilir. Aynı denetim yılı içinde aynı denetim ekibi tarafından birden fazla idarenin denetim kapsamına alınması durumunda zaman planı buna uygun şekilde değiştirilebilir. Özet

11

1. PLANLAMA Planlama, denetim için açık ve makul hedefler belirlenmesini, gerçekçi bir denetim yaklaşımı oluşturulmasını ve kaynakların tespit edilmesini gerektirmektedir. Denetimin planlanması aşamasında takip edilmesi gereken adımlar şunlardır:
2. Denetim ekibinin oluşturulması,
3. Denetlenecek idareyle iletişim kurulması,
4. Denetlenecek idarenin tanınması,
5. İdarenin genel performans yönetimi hakkında bilgi edinilmesi,
6. Denetim planının hazırlanması. Düzenlilik denetimi ile performans denetiminin birlikte yapılması halinde 1, 2 ve 3 üncü adımlar düzenlilik denetimine paralel yürütülecektir. Performans denetimleri düzenlilik denetimleri ile paralel yürütüleceğinden planlama, düzenlilik denetiminin planlaması ile eş zamanlı yapılır. Performans denetiminin düzenlilik denetiminden bağımsız yürütülmesi halinde tüm aşamalar uygulanır. 1.1 Denetim Ekibinin Oluşturulması Performans denetiminin ekip temelinde yürütülmesi esastır. Ekip başkanı performans denetiminin tüm ekip tarafından rehberde belirtilen metodolojiye uygun şekilde yapılmasını ve performans denetimine yeterli zaman ayrılmasını sağlar. 1.2 Denetlenecek İdareyle İletişim Kurulması Denetlenen kamu idaresine denetimin kapsamı ve süresi hakkında bir görev yazısı ile bilgi verilir. İdareyle yapılan ilk toplantıda performans denetiminin amacı, metodolojisi ve süreçleri hakkında bilgi verilir. Bu aşamada, performans bilgisinin üretilmesi ve raporlanması ile görevli birim ve kişiler tespit edilir. Performans denetimi yürütülürken irtibata geçilmesi gerekli kişilerin isimleri ve iletişim bilgileri idareden temin edilerek denetim planına eklenir.

Performans Denetimi Rehberi 12 1.3 Denetlenecek İdarenin Tanınması İdarenin tanınması, denetimin ve iş programının yapılması için gerekli ve önemli bir aşamadır. Denetimin planlamasına idarenin tanınması ile başlanması denetimin yürütülmesi sürecinde kolaylık sağlayacaktır. İdarenin tanınması aşamasında, idareye ait belgelerin incelenmesine başlamadan önce performans esaslı bütçeleme sistemine ilişkin aşağıdaki dokümanların gözden geçirilmesi faydalı olur: • 5018 sayılı Kanun, • Kamu İdarelerinde Stratejik Planlamaya İlişkin Usul ve Esaslar Hakkında Yönetmelik, • Kamu İdarelerinde Hazırlanacak Performans Programları Hakkında Yönetmelik, • Kamu İdareleri için Stratejik Planlama Kılavuzu, • Performans Programı Hazırlama Rehberi, • Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmelik, • İlgili diğer düzenlemeler. Bir idarenin performans denetiminin yapılabilmesi için, o idarenin gerçekleştirdiği faaliyet ve projeler ile görev alanının tanınması gerekir. İdarenin tanınması aşamasında izlenmesi gereken adımlar şunlardır:

• İdarenin yasal çerçevesinin araştırılması,
• İdarenin örgüt şeması ve örgütsel yapısı hakkında bilgi edinilmesi,
• İdarenin görev yaptığı çevrenin ve faaliyetlerinin ilgilendirdiği kişilerin (idareden hizmet alanların ve diğer paydaşların) tanınması,
• İdarenin bütçesi, gelirleri, giderleri ve kaynaklarının incelenmesi,
• İdarenin (varsa) eylem planı,
• İdarenin kullandığı temel kontrol sistemlerinin incelenmesi,
• Kontrol riskleri de dahil olmak üzere idarenin karşı karşıya olduğu temel risklerin araştırılması,
• İdarenin eksik ve zayıf yönleri hakkında bilgi edinilmesi,
• Gerekli görülecek diğer hususlar.

13 Planlama Bu aşamada elde edilen bilgi ve veriler denetimin yürütülmesi aşamasında denetim ekibi tarafından kullanılır. Denetim ekibi, idarenin tanınması aşamasında ihtiyaç duyacağı bilgiyi genel politika ve plan belgelerinden başlayarak, ilgili mevzuat, resmi istatistikler ya da uzman görüşleri gibi dolaylı kaynaklardan elde edebileceği gibi, doğrudan kurumun kendi veri kaynaklarından (stratejik plan, faaliyet raporu, örgüt şemaları, kurum içi rehber ve el kitapları, yöneticilerle yapılan görüşmeler, vb.) da elde edebilir. Bunlara ek olarak, önceki denetim raporlarındaki önerilerin ve bu önerilere yönelik olarak idarenin attığı adımların gözden geçirilmesi de faydalı olabilir. Denetlenecek idarenin tanınması çalışmaları sonucunda elde edilen ve kurumun genel performans yönetimi sistemi ile performans esaslı bütçeleme sistemi uygulamasına ilişkin bilgiler raporun ‘Genel Değerlendirme’ bölümü başlığı altında özetlenir. Performans denetiminin düzenlilik denetimi ile birlikte yürütüldüğü durumlarda bu bilgilerin düzenlilik denetimi raporunda yer alan kuruma ilişkin bilgiler ile tekrar niteliği taşımamasına dikkat edilir. 1.4 İdarenin Genel Performans Yönetimi Hakkında Bilgi Edinilmesi Genel performans yönetimi sistemi; performans bilgisinin yönetimi ve raporlanmasına ilişkin idareye ait iç politikaları, yapıları ve süreçleri ifade eder. İdareler, 5018 sayılı Kanun gereğince hazırlayacakları faaliyet raporlarında sunulacak verilerin kalitesinden sorumludur. En genel anlamda kaydedilen verilerin güvenilir ve kullanılabilir olmasını ifade eden veri kalitesi, tam, doğru ve geçerli verilerin üretilmesi için kullanılan araç ve süreçlerin tamamı olarak da anlaşılabilir. Genel performans yönetimi sisteminin incelenmesi aşağıdaki nedenlerle gereklidir: • Performans bilgisinin kullanımı ve kontrolüne ilişkin idarenin genel tutum ve farkındalığı hakkında bilgi edinilmesini sağlar. • Genel performans yönetimi sistemindeki zafiyetlerin tespit edilmesi performans bilgisinin kalitesindeki eksiklikleri açıklayabilir. Örneğin, performans bilgisinin üretilmesine ilişkin kurum içi düzenlemelerin olmaması, performans programı veya faaliyet raporlarının zamanında hazırlanmamasına neden olabilir. Bu durumda performans yönetimi sistemindeki zafiyetler, zamanlılık kriterinin yerine getirilmemiş olmasının sebebi olarak gösterilebilir. Performans hedeflerinin hazırlanması ile ilgili idare politikasının yetersiz olması; performans bilgisinin izlenmesi açısından kamu idaresinin strateji birimi ile uygulayıcı birimleri arasında koordinasyon eksikliğine ve performans bilgisinin tutarlı olmamasına sebep olabilir.

Performans Denetimi Rehberi 14 Sonuç olarak; kamu idaresi, faaliyet raporunda gerçek performansı raporlayamayabilir. Bu durumda, denetim ekibi tutarlılık ve doğrulanabilirlik kriterlerinin sağlanamamasının sebebi olarak idarenin performans yönetimi sistemindeki zafiyetleri gösterebilir. • Genel performans yönetimi sisteminin incelenmesiyle veri kalitesine yönelik belli risklerin tespit edilmesi mümkün olabilir. Örneğin bazı riskler; personelin yer değiştirmesi, yeni bilgi teknolojileri (BT) sistemlerinin uygulamaya konulması veya performans göstergelerinde değişiklik yapılması gibi, daha genel nitelikli olabilir. Bu tür riskler genel performans yönetimi sisteminin incelenmesi ile ortaya çıkar. • Belli alanlardaki kontrollerin kurumsal düzeyde değerlendirilmesine olanak tanır. Örneğin; veri kalitesi yönetimine yönelik kurumsal düzenlemeler, çıktıların ve kalite kontrollerinin üst yönetimce izlenmesi ve faaliyet raporlarında raporlanan bilgilerin derlenmesi ve sunumunun kontrol edilmesi kurumsal düzeyde gerçekleştirilen bir performans yönetimi sisteminin incelenmesi ile ortaya çıkarılabilir. Genel performans yönetimine ilişkin inceleme çalışması, hem kilit personelle görüşme yapılmasını, hem de ilgili materyallerin (diğer denetimlerden elde edilen materyaller dahil) incelenmesini gerektirir. Bu çalışmayı yaparken denetlenen idare yönetiminin; • Veri kalitesinin önemini personele bildirdiğine, • Veri kalitesinin yönetimi için açık görev ve sorumluluklar tayin ettiğine, • Performans bilgisini üreten sistemlerden çıkan sonuçları gözden geçirdiğine, dair kanıt aranır. Bu çalışmanın sonunda denetim ekibi, performans yönetim sistemini etkileyebilecek genel riskleri ve bunlara ilişkin kontrol faaliyetlerini belirler. Bu riskler ve elde edilen diğer bulgular, Form 2 aracılığıyla kaydedilir. Ayrıca Form 2’deki sorular denetim süresince denetim ekibi tarafından değerlendirilir, gerekirse denetim sonunda bulgular güncellenir. Form 2’nin doldurulması denetimin uygulama aşamasında gerçekleştirilecek denetim prosedürlerinin derinliğinin ve kapsamının belirlenmesinde yol gösterici olacaktır. Kamu idaresinin uygulamakta olduğu genel performans yönetimi sisteminin anlaşılması denetim planının hazırlanması için ihtiyaç duyulacak bilgilerin elde edilmesini sağlayacaktır.

Planlama 15 1.5 Denetim Planının Hazırlanması Planlama aşamasında denetimin ne zaman başlayacağı, ne zaman tamamlanacağı, ilgili denetçilerin sorumluluk alanları gibi hususlarda detaylı bilgi içeren bir denetim planı hazırlanır (Ek-II). Denetimin yürütülmesi sürecinde denetçilere yol gösterici olması ve işlerin düzenli şekilde devam edebilmesi için bu süreç önem teşkil eder. Denetim planının hazırlanması ekip başkanının sorumluluğundadır. Planda belirlenmesi gereken en önemli husus denetimin süresidir. Denetim ekibi, denetime ne zaman başlanılacağını ve öngörülemeyen bir gecikme olmadığı takdirde denetimin ne zaman tamamlanacağını planlama aşamasında belirler ve denetlenen idareye de bildirir. Denetim süresi, denetlenen kamu idaresine, denetim konusuna ve denetim ekibine göre farklılık gösterebilir. Süreyi bu ölçütleri de dikkate alarak belirlemek ekip başkanının yetkisinde ve sorumluluğundadır. Ancak bu sürenin hesabında 6085 sayılı Kanun gereğince raporlamaya ilişkin olarak belirlenmiş süreler mutlaka göz önünde bulundurulmalıdır. Ayrıca denetim planının hazırlanması ve iş bölümünün yapılması sırasında denetimin bazı süreçlerinin daha detaylı çalışma gerektirebileceği de dikkate alınmalıdır. Denetim planında, denetim süresince izlenecek aşamalar ve bu aşamalarda gerçekleştirilecek faaliyetlerden sorumlu olacak denetçiler belirtilir. Ekip üyeleri arasında iş bölümünün yapılması ekip başkanının sorumluluğundadır. Ekip başkanı, denetim planını hazırladıktan sonra görüş ve önerilerini almak üzere grup başkanına sunar. Grup başkanı, gerekli gördüğü takdirde denetim ekibi ile toplantı düzenleyerek önerilerini denetim ekibi ve ekip başkanı ile müzakere edebilir. Grup başkanının görüşü alındıktan sonra performans denetimi planı onay için Başkanlığa sunulur. Sayıştay Denetim Yönetmeliği- Madde 21: Denetimin planlaması çalışmaları sonunda denetim rehberine göre hazırlanan denetim planı, görüş ve önerileri alınmak üzere grup başkanına sunulur. Başkanlık onayına sunulacak denetim planında, ilgili kamu idaresinde yapılacak denetimler de dahil olmak üzere denetimlere ilişkin çalışma takvimi, görevli denetçiler ve sorumluluk alanları gösterilir. Gerekli görülen hallerde performans denetimi planı, düzenlilik denetimi planından ayrı şekilde onaya sunulabilir. Bu durumda performans denetimi planının onaylanmasını müteakip denetime başlanır.

17 2. UYGULAMA Denetim planının Başkanlıkça onaylanmasının ardından denetimin uygulama aşaması başlar. Performans denetiminin uygulama aşaması dört temel süreçten oluşur:

• Stratejik planın değerlendirilmesi,
• Performans programının değerlendirilmesi,
• Faaliyet sonuçlarının ölçülmesi ve değerlendirilmesi,
• Faaliyet raporlarının değerlendirilmesi. Aşağıdaki bölümlerde her bir süreçte uygulanacak kriterlere detaylı olarak yer verilmiştir. Stratejik plan, performans programı ve faaliyet raporu ayrı ayrı değerlendirmeye tabi tutulacağından kriterler tekrar etmektedir. 2.1 Stratejik Planın Değerlendirilmesi Bu aşamada, stratejik plan aşağıda yer alan kriterlere göre değerlendirilir. Stratejik Plan Değerlendirme Kriterleri Mevcudiyet: Stratejik planın yayımlanmış olması. Zamanlılık: Stratejik planın yasal süreler içerisinde hazırlanması. Sunum: Stratejik planın şekil ve içeriğinin ilgili mevzuata uygun olarak hazırlanması. İlgililik: Amaçlar ve hedefler arasında mantıksal bağlantı olması. Ölçülebilirlik: Hedeflerin veya göstergelerin ölçülebilir olması. İyi tanımlanma: Hedeflerin açık ve net bir tanımının olması. Stratejik plana ilişkin değerlendirme aynı stratejik plan dönemi için sadece bir defa yapılır. Stratejik plan döneminin sonunda ise stratejik planın 5 yıllık gerçekleşmesine ilişkin genel bir değerlendirme yapılır. Bu kapsamda geçmiş yıllara ait denetim raporları da dikkate alınarak uygulama sonuçları raporlanır. Örneğin, stratejik planın uygulandığı beş yıllık dönemin sonunda ilgili planda belirlenen hedef ve göstergelerin gerçekleştirilip gerçekleştirilmediği, belirlenen faaliyetlerin uygulanıp uygulanmadığı ve beş yıllık dönem için planlanan bütçe hedefleri ve bütçe gerçekleşmeleri hakkında raporlama yapılır. Kamu İdarelerinde Stratejik Planlamaya İlişkin Usul ve Esaslar Hakkında Yönetmeliğin 7 nci maddesi gereğince stratejik planda değişiklik yapılması halinde değerlendirme yeni plan için tekrar yapılır.

Performans Denetimi Rehberi 18 2.1.1 Mevcudiyet 5018 sayılı Kanunun 9 uncu maddesine göre; “Kamu idareleri kalkınma planları, programlar, ilgili mevzuat ve benimsedikleri temel ilkeler çerçevesinde geleceğe ilişkin misyon ve vizyonlarını oluşturmak, stratejik amaçlar ve ölçülebilir hedefler saptamak, performanslarını önceden belirlenmiş olan göstergeler doğrultusunda ölçmek ve bu sürecin izleme ve değerlendirmesini yapmak amacıyla katılımcı yöntemlerle stratejik plan hazırlarlar.” 5018 sayılı Kanuna ilaveten 5393 sayılı Belediye Kanunu ve 5216 sayılı Büyükşehir Belediye Kanunu uyarınca 50.000’den fazla nüfusa sahip tüm belediyelerin stratejik plan hazırlaması gerekmektedir. 5302 sayılı İl Özel İdaresi Kanunu ile il özel idarelerine de stratejik plan hazırlama zorunluluğu getirilmiştir. Kamu İdarelerinde Stratejik Planlamaya İlişkin Usul ve Esaslar Hakkında Yönetmelik uyarınca aşağıdaki kamu kurumları, stratejik plan hazırlamaktan muaf tutulmuştur: • Milli Savunma Bakanlığı, • Dışişleri Bakanlığı, • Milli Güvenlik Kurulu Genel Sekreterliği, • Milli İstihbarat Teşkilatı Müsteşarlığı, • Jandarma Genel Komutanlığı, • Sahil Güvenlik Komutanlığı. Ayrıca düzenleyici ve denetleyici kurumlar 5018 sayılı Kanunun 9 uncu maddesine tabi olmadıklarından stratejik plan hazırlama yükümlülüğünden muaftır. Denetim ekibi, denetlenen idarenin stratejik plan hazırlayıp hazırlamadığını gözden geçirir ve Form 3’te yer alan sorulardan yararlanarak değerlendirmelerine ve bulgularına denetim raporunda yer verir. 2.1.2 Zamanlılık Kamu idarelerinin stratejik planlarını ilgili mevzuatta öngörülen sürelerde hazırlayıp hazırlamadıkları değerlendirilir ve Form 3’te yer alan ilgili sorulardan yararlanılarak değerlendirmelere ve bulgulara denetim raporunda yer verilir.

Uygulama 19 2.1.3 Sunum Kalkınma Bakanlığının hazırladığı “Kamu İdareleri İçin Stratejik Planlama Kılavuzu”, stratejik planlama süreci ve stratejik planların kapsamı ve içeriğine ilişkin genel bir çerçeve sunar. Kamu idarelerinin bu Kılavuzda belirtilen genel yapı ve temel ilkelere riayet etmesi beklenir. Stratejik Planlama Kılavuzunun 5D, 5E ve 5F bölümleri amaç, hedef ve göstergelerin oluşturulmasıyla ilgilidir. Denetim ekibi kamu idaresinin amaç, hedef ve göstergelerinin sunum açısından ilgili kılavuzda her biri için belirlenen kriterlere uygunluğunu değerlendirir ve bulgularına denetim raporunda yer verir. Stratejik planın sunum kriterine göre şekil ve içerik olarak değerlendirilmesinde Form 3’ten yararlanılır. Ayrıca stratejik planın sunum kriterine göre değerlendirilmesinde idare tarafından belirlenen misyonun kuruluş amacıyla ve stratejik amaç ve hedeflerin Tablo 3’te belirtilen ulusal politika ve plan belgeleriyle uyumlu olup olmadığı, idarenin amaç, hedef ve faaliyetlerini belirlerken kuruluş kanunlarını, yetki ve sorumluluklarını göz önünde bulundurup bulundurmadığı dikkate alınarak değerlendirmelere ve bulgulara raporda yer verilir. Tablo 3: Ulusal ve Kurumsal Plan Belgeleri Ulusal Politika ve Plan Belgeleri Kurumsal Planlar • Kalkınma Planı • Sektörel ve Tematik Planlar • Bölgesel Planlar • Kurum Stratejik Planı • Amaç ve Hedefler • Stratejiler • Kaynak ve Harcama Çerçevesi • Eylem Planı • Orta Vadeli Program • Orta Vadeli Mali Plan • Uluslararası Taahhütler (Ulusal Plan, vb.) 2.1.4 İlgililik Kamu İdareleri için Stratejik Planlama Kılavuzuna göre hedeflerin, amaçlar ile ilgili olması gerekmektedir. Denetlenen idarenin stratejik planında yer alan hedefler ilgililik kriterine göre değerlendirilir. İlgililik kriterine göre yapılan değerlendirme sonucu ilgili olmadığı tespit edilen hedefler, bir sonraki aşama olan ölçülebilirlik kriterine göre değerlendirmeye tabi tutulmaz. Stratejik planda yer alan hedeflerin amaçla ilgisiz olduğunun tespit edilmesi halinde, performans programlarında bu hedefe ilişkin performans hedefleri ve göstergeleri herhangi bir değerlendirmeye tabi tutulmaz. Bu durum yılı denetim raporlarında belirtilir. Hedefin amaçla ilgisiz olduğu tespiti, performans denetimi aşamalarını sona erdireceğinden bu tespitin yapılması sırasında kalite kontrol süreçleri titizlikle yerine getirilmelidir. Denetim ekibi stratejik planda yer alan hedefleri ilgililik kriterine göre değerlendirdikten sonra Form 4’ten yararlanarak değerlendirme ve bulgularına raporda yer verir.

Performans Denetimi Rehberi 20 Tablo 4’te farklı kamu idarelerinin stratejik planlarında yer alan hedeflerinin ilgililik kriteri temelinde değerlendirilmesine ilişkin örnekler sunulmuştur. Tablo 4: İlgililik Kriteri Değerlendirmesi Amaç Hedef İlgililik Değerlendirmesi Sosyal güvenlik sisteminde gelir ve gider arasındaki farkı azaltmak Kayıtdışı istihdamı azaltmak İlgili Hedef amacın gerçekleşmesine hizmet etmektedir. Eğitimin niteliğini artırarak nitelikli mezunlar vermek Nitelikli öğrencileri üniversitemize çekmek İlgili Hedef amacın gerçekleşmesine hizmet etmektedir. Belediye altyapı hizmetlerinin kalitesini sürekli geliştirmek Taşınmazlardan alınacak kira tutarlarını rayiç bedele çıkarmak İlgili değil Hedef amacın gerçekleşmesine hizmet etmemektedir. Hedefin amaçla ilgisi kurulamamıştır. Yargı bağımsızlığını güçlendirmek Yargı süreçlerini hızlandırmak İlgili değil Hedef amacın gerçekleşmesine hizmet etmemektedir. 2.1.5 Ölçülebilirlik Kamu İdareleri için Stratejik Planlama Kılavuzu, hedefleri amaçların gerçekleştirilebilmesine yönelik spesifik ve ölçülebilir alt amaçlar olarak tanımlamıştır. Yine aynı Kılavuzda hedeflerin ölçülebilir olarak ifade edilemediği hallerde hedefe yönelik performans göstergelerine yer verilmesi gerektiği belirtilmiştir. Dolayısıyla hedefin ölçülebilir olarak belirlendiği durumlarda performans göstergesi belirlenmeyebilir. Ancak hedefin ölçülebilir olmadığı hallerde performans göstergesi aracılığıyla ölçülebilir hale getirilmesi zorunludur. Denetlenen idarenin stratejik planında yer alan hedefler ve varsa performans göstergeleri ölçülebilirlik kriterine göre değerlendirilir. İlgililik kriterine göre yapılan değerlendirme sonucu ilgili olmadığı tespit edilen hedefler için ölçülebilirlik değerlendirmesi yapılmaz. Denetim ekibi stratejik planda yer alan hedefleri ölçülebilirlik kriterine göre değerlendirdikten sonra Form 4’ten yararlanarak değerlendirme ve bulgularına raporda yer verir.

Uygulama 21 Tablo 5’te farklı kamu idarelerinin stratejik planlarında yer alan hedeflerinin ölçülebilirlik kriteri temelinde değerlendirilmesine ilişkin bir örnek sunulmuştur. Tablo 5: Ölçülebilirlik Kriteri Değerlendirmesi Hedef Performans Göstergesi Ölçülebilirlik Değerlendirmesi Kayıtdışı istihdam oranını bir önceki yıla göre %2 azaltmak Performans göstergesi belirlenmemiştir Ölçülebilir Hedef ölçülebilir olduğundan performans göstergesi belirlenmemiş olmasının sakıncası yoktur. Üniversitenin araştırma altyapısını geliştirmek ve etkin kullanmak Akredite olan laboratuvar sayısı (5) adet Ölçülebilir Doktora eğitiminin niteliğini artırmak Doktora derslerinin kalitesindeki artış Ölçülebilir değildir Kalitedeki artışın nasıl ölçüleceği belirlenmemiştir. İmar denetimlerini etkinleştirmek İmarla ilgili şikayetlerin içeriğinin değişmesi Ölçülebilir değildir Gösterge sayı veya oranı belirtilmemiştir. 2.1.6 İyi Tanımlanma Kamu İdareleri İçin Stratejik Planlama Kılavuzuna göre hedeflerin yeterince açık ve anlaşılır olması gerekmektedir. “İyi tanımlanma” kriteri, net ve anlaşılabilir hedefler hazırlama gerekliliği ile ilgilidir. Yani idareler, neyi başarmak istediklerini açıkça tanımlamalıdır. Göstergelerin iyi tanımlanmamış olması, kamu idarelerinin hedeflere yönelik başarıyı yanlış raporlaması riskini doğurur. Bu riskin ortadan kaldırılabilmesi için kamu idarelerinin hedeflerini açık ve anlaşılır şekilde belirlemeleri esastır. Denetlenen idarenin stratejik planında yer alan hedefler ve varsa göstergeler iyi tanımlanma kriterine göre değerlendirilir. Ölçülebilirlik kriterine göre yapılan değerlendirme sonucu ölçülebilir olmadığı tespit edilen hedefler iyi tanımlanma kriterine göre değerlendirmeye tabi tutulmaz. Bu değerlendirme belge incelemenin yanı sıra kurumla görüşme yöntemi kullanılarak yapılır. Denetlenen kamu idaresi ile yapılan görüşmeler neticesinde hedef veya göstergelerin idare tarafından başka bir belgede anlaşılır şekilde tanımlandığı tespit edilebilir. Denetim ekibi stratejik planda yer alan hedefleri ve varsa göstergeleri belge inceleme ve görüşme yöntemleriyle iyi tanımlanma kriterine göre değerlendirdikten sonra Form 4’ten yararlanarak değerlendirme ve bulgularına raporda yer verir.

Performans Denetimi Rehberi 22 Tablo 6’da hedeflerin iyi tanımlanma kriteri temelinde değerlendirilmesine ilişkin bir örnek sunulmuştur. Tablo 6: İyi Tanımlanma Kriteri Değerlendirmesi Hedef Performans Göstergesi İyi Tanımlanma Değerlendirmesi Sigorta prim gelirlerinin ve primlere ilişkin tüm alacakların tahsilatının artırılması İcra tahsilat tutarında önceki yıla göre %1 artış İyi tanımlanmış Kamu kaynaklarının etkin kullanılmasını sağlamak Yapılan düzenleme sayısı Performans göstergesi stratejik planda iyi tanımlanmamıştır. Ancak kurumla yapılan görüşmeler sonucunda düzenlemeler ile hangi belgelerin ifade edildiğinin eylem planında belirlendiği görülmüştür. Bu nedenle hedef ve gösterge iyi tanımlanmış olarak değerlendirilmiştir. Sağlık hizmetlerine erişimin artırılması ve hizmet kalitesinin yükseltilmesi sağlanarak sağlık harcamalarının etkin ve verimli hale getirilmesi Kişi başına ödenen ilaç harcama tutarının bir önceki yıla göre değişim oranı İyi tanımlanmamış Kurumla yapılan görüşmeler neticesinde oranın hesabında dikkate alınacak kişilerin iyi tanımlanmadığı görülmüştür. Bu kişilerin sadece ilaç alanları mı, yoksa tüm sigortalıları mı kapsadığı belirlenmemiştir. Nitelikli öğrencileri üniversitemize çekmek Üniversite giriş sınavında dereceye giren öğrencilerden üniversitemize kayıt yaptıranların sayısı İyi tanımlanmamış Üniversite giriş sınavında dereceye girmekle kastedilen derecenin ne olduğu belirlenmemiştir. 2.2 Performans Programının Değerlendirilmesi Performans programı değerlendirilmesinde kullanılacak kriterler aşağıda yer almaktadır. Performans Programı Değerlendirme Kriterleri Mevcudiyet: Performans programının yayımlanmış olması. Zamanlılık: Performans programının yasal süreler içerisinde hazırlanması. Sunum: Performans programının şekil ve içeriğinin ilgili mevzuata uygun olarak hazırlanması. İlgililik: Performans hedeflerinin hedefle, performans göstergelerinin de performans hedefleriyle ilgili olması. Ölçülebilirlik: Performans hedeflerinin veya göstergelerin ölçülebilir olması. İyi tanımlanma: Performans hedeflerinin açık ve net bir tanımının olması.

Uygulama 23 2.2.1 Mevcudiyet 5018 sayılı Kanunun 9 uncu maddesine göre; Kamu idareleri, kamu hizmetlerinin istenilen düzeyde ve kalitede sunulabilmesi için bütçeleri ile program ve proje bazında kaynak tahsislerini; stratejik planlarına, yıllık amaç ve hedefleri ile performans göstergelerine dayandırmak zorundadırlar. Denetlenen idarenin performans programı hazırlayıp hazırlamadığı gözden geçirilir. Form 5’ten yararlanılarak değerlendirme ve bulgulara denetim raporunda yer verilir. 2.2.2 Zamanlılık Performans Programı Hazırlama Rehberine göre; merkezi yönetim kapsamındaki kamu idareleri hazırladıkları performans programlarını bütçe teklifleri ile birlikte, Maliye Bakanlığına ve Kalkınma Bakanlığına gönderirler. Sosyal güvenlik kurumları ve mahalli idareler ile ilgili düzenleme ise Kamu İdarelerince Hazırlanacak Performans Programları Hakkında Yönetmelikte yer almaktadır. Genel bütçe kapsamındaki kamu idareleri ile özel bütçeli idarelerin, Merkezi Yönetim Bütçe Kanunuyla belirlenen bütçe büyüklüklerine göre nihai hali verilen performans programları Bakanlıklarda Bakan; diğer idarelerde ise ilgili Bakan veya üst yönetici tarafından Ocak ayı içinde kamuoyuna açıklanır. Sosyal güvenlik kurumları ve mahalli idarelerin performans programları, üst yöneticileri tarafından bütçe teklifleri ile birlikte ilgili mevzuatında belirlenen tarihte yetkili organlara sunulur. Bu kurum ve idarelerin yetkili organlarında kesinleşen bütçe büyüklüklerine göre revize edilen performans programları, sosyal güvenlik kurumlarında ilgili Bakan veya üst yönetici; mahalli idarelerde ise üst yöneticiler tarafından Ocak ayı içinde kamuoyuna açıklanır. Denetlenen kamu idaresinin performans programını zamanında hazırlayıp hazırlamadığı değerlendirilir. Form 5’ten yararlanılarak yapılan değerlendirme ve bulgulara denetim raporunda yer verilir. 2.2.3 Sunum Kamu İdarelerince Hazırlanacak Performans Programları Hakkında Yönetmelik ve Performans Programı Hazırlama Rehberi, performans programlarının kapsam ve içeriğine ilişkin genel bir çerçeve sunar. Kamu idarelerinin bu Yönetmelik ve Rehberde ortaya konan genel yapı, süreç ve temel ilkelere riayet etmesi beklenir. Performans Programı Hazırlama Rehberinin Ek kısmı, performans programının formatını belirlemektedir. Buna göre idarelerin amaçları, hedefleri, performans göstergeleri ve faaliyetlerini, kaynaklar ile ilişkilendiren bir tablo hazırlanması gerekmektedir. Denetim sırasında, kamu idarelerinin Performans Programı Hazırlama Rehberinde yer alan Tablo 1, Tablo 2 ve Tablo 3’ün,

Performans Denetimi Rehberi 24 Form 5’ten yararlanılarak uygun şekilde hazırlanıp hazırlanmadığı değerlendirilir. Şekil 1’de de görüleceği üzere idarelerin amaçlarını harcama birimleri ve performans hedefleriyle ilişkilendirmeleri, bu hedefler için de faaliyetler belirleyerek bu faaliyetlerin maliyetlerini tespit etmeleri gerekmektedir. Faaliyet/proje maliyetlerinin söz konusu rehbere uygun şekilde tespit edilip edilmediği ve kurum bütçesinin ne ölçüde performans hedefleriyle ilişkilendirildiği değerlendirilir. Şekil 1: Stratejik Plan, Performans Programı ve Bütçe İlişkisi Stratejik Amaç Stratejik Hedef 1.1 Stratejik Hedef 1.2 Performans Hedefi 1.1.1 Performans Hedefi 1.1.2 Performans Hedefi 1.1.3 Performans Hedefi 1.1.4 Performans Hedefi 1.2.1 Performans Hedefi 1.2.2 Performans Hedefi 1.2.3 Performans Hedefi 1.2.4 Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Faaliyet / Proje Harcama Birimi A Harcama Birimi B Harcama Birimi C Harcama Birimi D 1 Maliyet Maliyet Maliyet Maliyet BÜTÇE Performans Programı BütçeStratejik Plan 2.2.4 İlgililik İlgililik değerlendirmesi yapılmadan önce performans hedeflerinin çıktı veya sonuç odaklı olup olmadığı değerlendirilir. Performans Programı Hazırlama Rehberine göre kamu idarelerinin performans hedefleri ya çıktılara ya da sonuçlara odaklı olmalıdır. Çıktı: İdare tarafından üretilen mal veya hizmetler Sonuç: İdare tarafından üretilen mal ve hizmetlerin bireyler ve toplum üzerindeki etkisi Performans hedeflerinin çıktı veya sonuç odaklı olup olmadığı değerlendirmesi yapıldıktan sonra:

• Çıktı veya sonuç odaklı olarak belirlenen performans hedefleri için ilgililik değerlendirmesine devam edilir.
• Girdi veya faaliyet odaklı belirlenen performans hedefleri için ise ilgililik değerlendirmesi yapılmaz ve değerlendirme yapılmadığı raporlanır.

Uygulama 25 İlgililik, iki aşamada değerlendirilir: • Performans hedefinin hedefle ilgililiği, • Göstergenin performans hedefi ile ilgililiği.  Performans Hedefinin İlgililiği Kamu İdareleri İçin Stratejik Planlama Kılavuzu ve Performans Programı Hazırlama Rehberine göre idarelerin belirledikleri performans hedeflerinin stratejik planlarındaki hedeflerle ilgili olması gerekmektedir. Hedefler stratejik planda yer alan amaçları gerçekleştirmeye, performans hedefleri de hedefleri gerçekleştirmeye yönelik olarak belirlenmiş olmalıdır. Performans hedefinin ilgililiğine yönelik değerlendirmeye ilişkin örnek aşağıdaki tabloda verilmiştir. Tablo 7: İlgililik Kriteri Değerlendirmesi (Performans Hedefinin İlgililiği) Hedef Performans Hedefi İlgililik Değerlendirmesi Yol güvenliğinin artırılması Yol güvenliğinin artırılması amacıyla çalışma gezisi düzenlemek Performans hedefi çıktı ya da sonuç odaklı olmadığı, girdi odaklı olduğu için ilgililik değerlendirmesine tabi tutulmamıştır. Stratejik yönetimi, insan kaynaklarını, teşkilat yapısını ve kurumsal kültürü geliştirmek Stratejik yönetimi, insan kaynaklarını, teşkilat yapısını ve kurumsal kültürü geliştirmek Performans hedefi sonuç odaklıdır. Performans hedefi hedefle aynı belirlenmiştir. Performans hedefi ilgilidir. Prim ve prime ilişkin tüm alacakların tahsilat oranını artırmak Sigorta prim gelirlerinin ve primlere ilişkin tüm alacakların tahsilatının artırılması Performans hedefi sonuç odaklıdır. Performans hedefi ilgilidir. Prim ve prime ilişkin tüm alacakların tahsilat oranını artırmak Kurum taşınmazlarından elde edilen kira gelirlerinin tahsilat oranının artırılması Performans hedefi çıktı odaklıdır. Ancak performans hedefi hedefle ilgili değil.  Göstergelerin İlgililiği Performans Programı Hazırlama Rehberinde gösterge şöyle tanımlanmaktadır: Gösterge, kamu idarelerince performans hedeflerine ulaşılıp ulaşılmadığını ya da ne kadar ulaşıldığını ölçmek, izlemek ve değerlendirmek için kullanılan ve sayısal olarak ifade edilen araçlardır. Bu tanımdan göstergenin, performans hedefi ile ilgili olması gerektiği anlaşılmaktadır. Göstergenin performans hedefiyle ilgisinin kurulamadığı hallerde göstergenin ilgili olmadığı bulgusuna raporda yer verilir. Bu aşamada faaliyetler de ilgililik kriterine göre değerlendirilir. Performans hedefiyle ve/veya performans göstergesiyle ilgisi kurulamayan faaliyetlere ilişkin bulgulara denetim raporunda yer verilir.

Performans Denetimi Rehberi 26 Göstergenin hedefle ilgili olması kriterine göre değerlendirmeye ilişkin bir örnek Tablo 8’de yer almaktadır. Tablo 8: İlgililik Kriteri Değerlendirmesi (Göstergenin İlgililiği) Performans Hedefi Performans Göstergesi İlgililik Değerlendirmesi Kentsel dönüşüm uygulamalarını etkinleştirmek Kentsel dönüşüm ve gelişim alanlarında çok amaçlı proje sayısı İlgili Sigorta prim gelirlerinin ve primlere ilişkin tüm alacakların tahsilatının artırılması İcra tahsilat tutarının bir önceki yıla göre artış oranı İlgili Kurum taşınmazlarından elde edilen kira gelirlerinin tahsilat oranının artırılması Denetlenen işyeri sayısı İlgili değil Ulaşım altyapısını güçlendirmek Trafiğe çıkan özel araç sayısını %10 azaltmak İlgili değil Trafiğe çıkan özel araç sayısının azaltılması ulaşım altyapısının güçlenmesine hizmet etmemektedir. Okullaşma oranını %10 artırmak Hazırlanan ders kitabı sayısı İlgili değil Ders kitabı sayısı okullaşma oranının artırılmasına hizmet etmemektedir. Denetim ekibi, stratejik planda ve performans programında yer alan performans hedef ve göstergelerini ilgililik kriterine göre değerlendirdikten sonra Form 6’dan yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.2.5 Ölçülebilirlik Performans Programı Hazırlama Rehberinde: Performans hedefleri, performans göstergeleri ile ölçülebilir olmalıdır. denilmektedir. İlgililik kriterine göre yapılan değerlendirme sonucu ilgili olmadığı tespit edilen performans hedefleri ve göstergeler ölçülebilirlik kriterine göre değerlendirmeye tabi tutulmaz.

Uygulama 27 Tablo 9’da performans hedefi ve göstergelerinin ölçülebilirlik kriteri temelinde değerlendirilmesine ilişkin bir örnek sunulmuştur: Tablo 9: Ölçülebilirlik Kriteri Değerlendirmesi Performans Hedefi Performans Göstergesi Ölçülebilirlik Değerlendirmesi Spor tesis hizmetlerine erişebilirliği %10 artırmak Katılımcıların spor tesislerinden faydalandığı ücretsiz seans sayısında bir önceki yıla göre artış oranı (%...) Ölçülebilir Sigorta prim gelirlerinin ve primlere ilişkin tüm alacakların tahsilatının artırılması İcra tahsilat tutarının bir önceki yıla göre artış oranı (%...) Ölçülebilir Otoyollarda kar ve buzla mücadeleyi etkinleştirmek Otoyol ağımızda kar ve buzlanmanın üstesinden gelinmesi konusunda başarı elde edilecektir. Ölçülebilir değildir. Başarının ölçütü belirlenmemiştir. Kurum taşınmazlarından elde edilen kira gelirlerinin tahsilat oranının artırılması Kiralama işleminde görev alan personel sayısının yeterli olması Ölçülebilir değil. Kişi sayısının yeterli olması hususu subjektiftir. Denetim ekibi, performans programında yer alan performans hedef ve göstergelerini ölçülebilirlik kriterine göre değerlendirdikten sonra Form 6’dan yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.2.6 İyi Tanımlanma Kamu İdarelerince Hazırlanacak Performans Programları Hakkında Yönetmeliğe göre performans programlarında yer alan performans hedef ve göstergelerinin sade ve anlaşılır olması esastır. “İyi tanımlanma” kriteri, net ve anlaşılabilir performans hedef ve göstergeleri hazırlama gerekliliği ile ilgilidir. Yani idareler, neyi başarmak istediklerini açıkça tanımlamalıdır. Göstergelerin iyi tanımlanmamış olması, kamu idarelerinin hedeflere yönelik başarıyı yanlış raporlaması riskini doğurur. Bu riskin ortadan kaldırılabilmesi için kamu idarelerinin performans hedef ve göstergelerini açık ve anlaşılır şekilde belirlemeleri esastır. Ölçülebilirlik kriterine göre yapılan değerlendirme sonucu ölçülebilir olmadığı tespit edilen performans hedefleri ve göstergeler iyi tanımlanma kriterine göre değerlendirmeye tabi tutulmaz. İyi tanımlanma, iki özellikle ilgilidir: Tanımın içeriği: Gösterge yalnızca tek bir şekilde mi açıklanabiliyor? Tanımın durumu: Tanım, kamu idaresinin diğer bir dokümanında yazılı hale getirilerek resmileştirilmiş mi?

Performans Denetimi Rehberi 28 Performans bilgisinin iyi tanımlanma kriterine göre değerlendirilmesine ilişkin örnek Tablo 10’da gösterilmektedir: Tablo 10: İyi Tanımlanma Kriteri Değerlendirmesi Performans Hedefi Performans Göstergesi İyi Tanımlanma Değerlendirmesi Spor tesis hizmetlerine erişebilirliği %10 artırmak Katılımcıların spor tesislerinden faydalandığı ücretsiz seans sayısında bir önceki yıla göre artış oranı İyi tanımlanmıştır. Karayollarından faydalanan vatandaşların memnuniyet düzeyini artırmak Vatandaş memnuniyeti yüzdesi İyi tanımlanmıştır. Kurumla yapılan görüşmeler sonucunda vatandaş memnuniyetinin hangi anketle ölçüleceği ve ölçüm sonuçlarının nasıl değerlendirileceğinin belirlendiği görülmüştür. Bu nedenle performans hedefi ve göstergesi iyi tanımlanmış olarak değerlendirilir. Şehirdeki düzenli yaşam alanlarını artırmak Tamamlanan düzenli yaşam alanı sayısı İyi tanımlanmamıştır. Kurumla yapılan görüşmeler sonucunda düzenli yaşam alanı ile neyin kastedildiğinin belirlenmediği görülmüştür. Düzenli yaşam alanı kavramı park ve bahçeler anlamına gelebileceği gibi, sosyal konutları da içeriyor olabilir. Gösterge iyi tanımlanmamıştır. Denetim ekibi, performans programında yer alan performans hedef ve göstergelerini iyi tanımlanma kriterine göre değerlendirdikten sonra Form 6’dan yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.3 Faaliyet Sonuçlarının Ölçülmesi ve Değerlendirilmesi Sayıştay tarafından faaliyet sonuçlarının ölçülmesi kurumların performans bilgisini üreten veri kayıt sistemlerinin değerlendirilmesi yoluyla yapılır. Sistem denetimini içeren bu değerlendirmenin hedefi, kamu idarelerinin raporlanan verilerde önemli bir hata olması riskini azaltmak üzere yeterli kontrol sistemleri kullanıp kullanmadığını belirlemektir. Veri kayıt sistemlerinin değerlendirilmesi için performans bilgisinin raporlanmış olması, diğer bir ifadeyle faaliyet raporunun yayımlanmış olması şart değildir. Kamu İdareleri için Stratejik Planlama Kılavuzuna göre faaliyet raporunun yayımlanmasından önce idarenin yıl boyunca gerçekleştirdiği faaliyetleri düzenli olarak izlemesi ve hedefler temelinde performansını ölçüyor olması gerekmektedir. Bu sebeple faaliyet raporunun yayımlanmasından önce idarenin faaliyet sonuçlarının ölçülmesine yönelik bir sistem kurup kurmadığının ve varsa bu sistemin uygunluğunun değerlendirilmesi mümkündür.

Uygulama 29 2.3.1 Performans Bilgisine İlişkin Veri Kayıt Sistemlerinin Mevcudiyeti Veri kayıt sistemi bir performans hedefi veya göstergeye yönelik tüm performans bilgisinin toplandığı, analiz edildiği ve üretildiği sürecin tamamıdır. Herhangi bir performans hedefi veya göstergeye ilişkin gerçekleşmenin ölçülmesi ve raporlanabilmesi için bu ölçümün nasıl yapılacağının belirlenmiş olması gerekir. Veri kayıt sistemi performansın ölçümüne yönelik belirlenmiş bir yazışma süreci olabileceği gibi, ilgili göstergeye yönelik gerçekleşme sonuçlarını gösteren detaylı bir bilişim programı da olabilir. Örneğin, okul terk oranıyla ilgili bir hedefe ilişkin gerçekleşmenin ölçülebilmesi için toplam öğrenci sayısı ile okulu terk eden öğrenci sayısına ihtiyaç duyulacaktır. Bu bilgilerin nasıl toplanacağı, analiz edileceği ve raporlanacağına ilişkin oluşturulan süreçlerin tamamı veri kayıt sistemi olarak adlandırılır. Veri kayıt sistemine kaynak oluşturan her bir unsur ise veri kaynağı olarak tanımlanır. Okul terk oranı ile ilgili hedef için toplam öğrenci sayısı ve okulu terk eden öğrenci sayısı bilgileri veri kaynağı olarak adlandırılırken, okul terk oranı ile ilgili nihai bilgiyi üreten sistemin tamamı veri kayıt sistemi olarak adlandırılacaktır. Veri kayıt sistemi Bir göstergeye yönelik performans bilgisinin toplandığı, analiz edildiği ve üretildiği sürecin tamamını ifade eder. Veri kayıt sistemi, performans yönetimi sistemi uygulamasının sistematik olarak takip edilmesi ve raporlanmasını sağlar. Veri kaynağı Veri kayıt sistemine bilgi sağlayan her bir unsuru ifade eder. Kurumların, faaliyet sonuçları hakkında raporlama yaparken stratejik plan uygulamasının sistematik olarak takip edilmesini, uygulama sonuçlarının amaç ve hedeflere kıyasla ölçülmesini ve belirli periyodlarla raporlanmasını sağlayan önceden tanımlanmış bir izleme ve değerlendirme sistemi kurmaları gerekmektedir. Bu nedenle faaliyet sonuçlarının ölçülmesi aşamasında denetim ekibi öncelikle stratejik planın ve performans programının izleme ve değerlendirmesine yönelik bir veri kayıt sisteminin mevcut olup olmadığını değerlendirir. Veri kayıt sisteminin mevcudiyeti değerlendirilirken aşağıdaki hususlara dikkat edilir: İlgili hedef ve/veya göstergeye yönelik gerçekleşmeyi ölçecek şekilde bir sistem belirlenmiş olmalıdır. Veri kayıt sistemleri, göstergede ifade edilen değerler ile kamu idaresi tarafından ilerlemeyi izlemek ve gerçekleşmeleri ölçmek için kullanılan veri kaynağı arasında iyi bir uyum olacak şekilde tasarlanmalı ve kullanılmalıdır. Veri kayıt sisteminin işleyişine yönelik görev ve sorumluluklar belirlenmiş olmalıdır.

Performans Denetimi Rehberi 30 Veri kayıt sistemlerinin mevcudiyetinin değerlendirilmesine yönelik bir örnek aşağıdaki tabloda yer almaktadır. Tablo 11: Performans Bilgisine İlişkin Veri Kayıt Sistemlerinin Mevcudiyetinin Değerlendirilmesi Gösterge Örnekler Değerlendirme Eğitim verilen uzman yardımcısı sayısı Eğitim verilen uzman yardımcısı sayısının ölçümü için hangi birim ya da personelden bilgi alınacağı belirlenmemiş ve yıl sonunda bu bilgi herhangi bir personelden edinilmiştir. Veri kayıt sistemi bulunmamaktadır. Belirlenen performans hedefine ilişkin gerçekleşmeyi ölçmek için yıl başında herhangi bir ölçüm sistemi kurulmamıştır. Faaliyet raporunda gerçekleşmeye ilişkin sunulan sonuç önceden belirlenmiş bir yöntem sonucu üretilmemektedir. Eğitim verilen uzman yardımcısı sayısının ölçümü için eğitimleri düzenleyen birimde personel görevlendirilmiştir. İlgili personel gerçekleşmelere ilişkin raporu performans ölçüm birimine göndermiştir. Veri kayıt sistemi bulunmaktadır. Performans gerçekleşmesinin ölçülmesine yönelik herhangi bir veri kayıt sistemi bulunmaması durumunda ilgili performans hedefi, faaliyet sonuçları ölçümü değerlendirmesine tabi tutulmaz ve bu hususa denetim bulgusu olarak denetim raporunda yer verilir. Veri kayıt sistemlerinin mevcudiyeti değerlendirmesi yapılırken Form 9’dan faydalanılır. 2.3.2 Önemli Veri Kayıt Sistemlerinin Seçilmesi Faaliyet sonuçlarının ölçümü aşamasında performans bilgisi üreten veri kayıt sistemlerinin tamamının değerlendirilmesi esas olmakla birlikte detaylı değerlendirme için seçilen veri kayıt sistemi sayısı, Sayıştayın kaynaklarıyla sınırlandırılabilir. Performans bilgisinin içeriğinin değerlendirilmesinin ardından denetim ekibi, Form 6’ya göre ilgili ve ölçülebilir olduğu tespit edilen hedef ve göstergeler için Form 10’u doldurur ve buna göre incelenecek veri kayıt sistemlerini belirler.

Uygulama 31 Denetim ekibi, hangi veri kayıt sistemlerinin daha detaylı inceleneceğine karar verirken aşağıdaki kriterleri dikkate alır: Performansın faaliyet raporunda yanlış beyan edilme olasılığı Denetim ekibi, faaliyet raporunda yanlış raporlanma olasılığı yüksek olan riskli ve karmaşık olarak değerlendirdiği veri kayıt sistemlerine odaklanmalıdır. Bu değerlendirme yapılırken denetim ekibinin denetimin önceki aşamalarında edindiği genel performans yönetimine ilişkin kanaati önem taşır. Kamuoyu ilgisi Bazı göstergeler daha yüksek seviyede TBMM, vatandaş veya medya ilgisine sahip olabilir. Bu durum, veri kayıt sistemlerinde daha detaylı değerlendirme yapılması için gerekçe sağlar. Bütçe tutarı İlgili hedefe tahsis edilen kaynağın yüksek olması veri kayıt sistemlerinin detaylı incelenmesini gerektirebilir. Bu aşamadan sonra denetim, seçilen performans hedeflerine yönelik bilgi üreten veri kayıt sistemleri üzerinde gerçekleştirilir. 2.3.3 Veri Kayıt Sistemlerinin Değerlendirilmesi Veri kayıt sistemleri güvenilirlik kriterine göre değerlendirilir. Güvenilirlik, veri kayıt sistemlerinin gerçekleşmeleri tam ve doğru şekilde ölçerek faaliyet raporunda güvenilir veri sunuyor olması anlamına gelir. Veri kayıt sistemlerinin değerlendirilmesi üç aşamada gerçekleştirilir:

• Verilerin güvenilirliğine yönelik risklerin tespit edilmesi,
• Veri kayıt sistemlerindeki kontrollerin değerlendirilmesi,
• Güvenilirlik değerlendirmesi. 2.3.3.1 Verilerin Güvenilirliğine Yönelik Risklerin Tespit Edilmesi Denetim ekibi veri kayıt sistemini inceleyerek güvenilir olmayan veri üretilmesine yol açabilecek riskleri tespit eder. Bu tespit yapılırken idarenin kendi gerçekleştirdiği risk tespit faaliyetleri de (iç kontrol eylem planı, bilişim sistemlerine yönelik iç denetim raporları, vb.) göz önünde bulundurulabilir.

Performans Denetimi Rehberi 32 Denetim ekibi, seçilen her performans hedefi ve gösterge hakkındaki bilgilerini netleştirmek amacıyla temel göstergeler ve bağlantılı veri kayıt sistemlerinin “süreç haritası”nı çizebilir. Bu harita, veri akışlarını kaynak verilerden başlayarak şematik olarak tarif etmeli; verilerin raporlanması aşamasına kadar süreci göstermelidir. Girdiler / Kaynak Veri Veri işleme süreci / Kaynak verinin işlenmesi Çıktı / Raporlanan Veri Veri toplamanın karmaşıklığı, veri işleme ve analizinin karmaşıklığı, sistemin yeni olması, sistemi işleten kişilerin uzmanlık seviyesi, verilerin performansı yönetme ve ödüllendirmede nasıl kullanıldığı ve sistemde meydana gelen değişiklikler veri kayıt sisteminin güvenilir veri üretmesi konusunda ortaya çıkabilecek risk alanları olarak sayılabilir. Risklerin tespit edilmesine yönelik detaylı bilgi için Ek 3’ten faydalanılabilir. Denetim ekibi, verilerin güvenilirliğine yönelik risklerin tespit edilmesi için Form 11’i doldurarak değerlendirme ve bulgularına raporda yer verir. 2.3.3.2 Veri Kayıt Sistemlerindeki Kontrollerin Değerlendirilmesi Risk tespiti ve değerlendirmesi yapıldıktan sonra idare tarafından bu riskleri azaltmaya yönelik uygulamaya konulan kontrollerin tespit edilmesi gerekir. Kontroller belirlendikten sonra bu kontrollerin uygulamada etkin olarak işleyip işlemediği değerlendirilir. Örneğin yüksek olasılıklı riskler, önleyici kontrollere tabi tutulabilirken; düşük olasılıklı riskler, tespit edici kontrollere tabi tutulabilir. Denetim ekibi, kontrol işleminin işleyişine ve etkinliğine dair yeterli ve uygun kanıt elde etmelidir. İdare tarafından uygulanan kontrollerin etkinliği hakkında yeterli ve uygun denetim kanıtı elde edilmesi halinde verilerin güvenilir olduğu yönünde güvence oluşur. Bu değerlendirmeler belgelenir ve değerlendirilen kontrol etkin değilse buna sebep olan faktör; kontrol etkin ise kontrolün işlediğine ilişkin kanıt açıkça gösterilir.

Uygulama 33 Veri kayıt sistemlerindeki risklerin ve kontrollerin değerlendirilmesine ilişkin örnek Tablo 12’de yer almaktadır. Tablo 12: Veri Kayıt Sistemlerinde Risk ve Kontrollerin Değerlendirilmesi Hedef Göstergeler Riskler Tespit Edilen Risklere Yönelik Kontroller Kaynaştırma yoluyla eğitim kapsamındaki öğrenciler için standartlara uygun hazırlanmış destek eğitim odaları ile özel eğitim sınıflarını 2011 yılı sonuna kadar %15 arttırmak.

1. Özel eğitimin güçlendirilmesi projesi kapsamında donanımı sağlanan destek eğitim odası sayısı
2. İlköğretim okulu özel eğitim sınıflarının sayısı
3. İlköğretim okulu eğitim odalarının sayısı

• Veri girişinin yetkisiz kişiler tarafından yapılması gerçekleşmenin olduğundan fazla miktarda raporlanmasına sebep olabilir.
• Bilgisayar programı yeni olduğu için personelin kullanıma ilişkin tecrübe eksikliği bulunmaktadır. Bu durum gerçekleşmenin eksik veya fazla raporlanmasına sebep olabilir.
• Hatalı veri girişi gerçekleşmenin eksik veya fazla raporlanmasına neden olabilir.
• Veri girişinin yetkisiz kişiler tarafından yapılmasını önlemek üzere sisteme şifreyle giriş mecburi tutulmuştur.
• Personelin tecrübe eksikliği riskinin veri güvenilirliğini etkilemesini önlemek için programın kullanımından önce personele eğitim verilmektedir.
• Bilgisayar programının hatalı veri girişine yönelik bir kontrol mekanizması bulunmamaktadır. Hiçbir kontrol sistemi, verilerin tam ve doğru olmasını garanti edemez. Denetim ekibi, kontrolleri değerlendirirken bu kısıtlamaların farkında olmalı ve kontrol sistemlerinin etkinliğini azaltabilecek; • Kontrollerden sorumlu kişilerin kontrollere önem vermemesi, • İnsan hatası nedeniyle kontrollerin doğru uygulanmaması, • Standart kontrol sistemlerinin olağan dışı olaylar söz konusu olduğunda yeterli çalışmaması, • Standart dışı prosedürlere bağlı olarak kontrolün bozulması, gibi faktörleri dikkate almalıdır. Bazı göstergeler için kamu idaresi, dış kaynaklı verilerden yararlanabilir. Veri kaynaklarının kamu idaresi dışından elde ediliyor olması veri kalitesine yönelik beklentileri düşürmemelidir. Bu durumda da verilere yönelik risklerin etkin biçimde kontrol edilmesini sağlamak yine de kamu idaresinin sorumluluğudur.

Performans Denetimi Rehberi 34 Denetim ekibi, denetlenen kamu idaresinin güvence amacıyla dış veri üzerinde yaptığı düzenlemeleri inceler. Ekip, idarenin raporlamadan önce dış veri üzerinde analiz çalışması yapıp yapmadığını veya verilerin amaca uygunluğunu kontrol ederek, sonuçları uygun biçimde raporlayıp raporlamadığını değerlendirir. Riski değerlendirecek bilgi ve buna bağlı olarak kamu idaresi düzenlemeleri yetersiz olduğunda denetim ekibi, gerekli görmesi halinde risk hakkındaki kanaatlerini bildirmek üzere dış veri sağlayıcısıyla irtibata geçebilir. Dış veri sağlayıcılarıyla irtibatta zorluklar yaşanması halinde denetim ekibi, verilerin güvenilirliği hakkındaki bu duruma denetim raporunda yer verir. 2.3.3.3 Güvenilirlik Değerlendirmesi Denetim ekibi veri kayıt sistemi değerlendirmesi yaparken; • Sistemin iyi tanımlanmış ve işleyişinin doğrulanabilir olup olmadığını, • Yeterli derecede kontrol edilmemiş önemli riskler olup olmadığını ve • Kontrol edilmemiş önemli riskler varsa, kamu idaresinin faaliyet raporunda bunu açıklayıp açıklamadığını dikkate almalıdır. Veri kayıt sistemi değerlendirmesi sonucu sistemin hedef ve gösterge açısından performansı ölçme ve raporlama amacına uygun olduğu kanısına ulaşılırsa bu değerlendirmeye raporda yer verilir. Denetim ekibi, sistemdeki zafiyetlerden kaynaklanan hata düzeyi veya hata miktarını belirler ve bulgularını denetim raporunda kayıt altına alır. Faaliyet sonucunun hatalı raporlandığı ve doğru değerin ne olması gerektiği konusunda yeterli ve uygun denetim kanıtı elde edilebiliyorsa, ilgili performans hedefi veya göstergesine ilişkin gerçekleşme sonucu raporlanır. Faaliyet sonucuna ilişkin veri kayıt sisteminin önemli zafiyetler içerdiği ancak gerçekleşmenin ölçümünün yapılamadığı durumlarda sonucun doğruluğuna ilişkin herhangi bir bilgi verilemeyeceği raporda belirtilir.

Uygulama 35 Veri kayıt sistemleri güvenilirlik değerlendirmesine ilişkin örnek Tablo 13’te yer almaktadır. Tablo 13: Veri Kayıt Sistemleri Güvenilirlik Değerlendirmesi Hedef Göstergeler Veri Kayıt Sistemi Değerlendirmesi Güvenilirlik Değerlendirmesi1 Kaynaştırma yoluyla eğitim kapsamındaki öğrenciler için standartlara uygun hazırlanmış destek eğitim odaları ile özel eğitim sınıflarını 2011 yılı sonuna kadar %15 arttırmak.

1. Özel eğitimin güçlendirilmesi projesi kapsamında donanımı sağlanan destek eğitim odası sayısı
2. İlköğretim okulu özel eğitim sınıflarının sayısı
3. Destek eğitim odası sayısının gerçekleşme rakamını sağlayan veri kayıt sisteminin güvenilir veri ürettiği kanaatine ulaşılmıştır.
4. İlköğretim okulu özel eğitim sınıflarının sayısını ölçen veri kayıt sisteminin ortaöğretim eğitim sınıflarının sayısını da ölçtüğü, dolayısıyla veri kayıt sisteminin güvenilir veri sağlamadığı tespit edilmiştir.
5. Veri kayıt sistemi performansı ölçme ve raporlama amacına uygundur ve faaliyet raporunda sunulan veri güvenilirdir. 2.a Veri kayıt sistemi güvenilir veri üretmemektedir. Yapılan doğrulama testleri sonucu ilköğretim okulu özel eğitim sınıfı sayısının faaliyet raporunda belirtildiği üzere 130 değil, 100 olduğu tespit edilmiştir. 2.b Veri kayıt sistemi güvenilir veri üretememektedir. Faaliyet raporunda raporlanan gerçekleşmenin doğru olmadığı tespit edilmiştir. Ancak faaliyet sonucuna ilişkin gerçek değerin tespit edilmesi mümkün olmamıştır. 2.4 Faaliyet Raporunun Değerlendirilmesi Faaliyet raporunun değerlendirilmesinde kullanılacak kriterler aşağıda yer almaktadır. Faaliyet Raporu Değerlendirme Kriterleri Mevcudiyet: Faaliyet raporunun yayımlanmış olması. Zamanlılık: Faaliyet raporunun yasal süreler içerisinde hazırlanması. Sunum: Faaliyet raporunun şekil ve içeriğinin ilgili mevzuata uygun olarak hazırlanması. Tutarlılık: Performans hedef ve göstergelerinin planlama ve raporlama dokümanlarında tutarlı olarak kullanılması. Doğrulanabilirlik: Raporlanan performans bilgisinin kaynağına kadar izlenebiliyor olması. Geçerlilik/ İkna edicilik: Planlanan ve raporlanan performans arasındaki her tür sapmanın denetlenen idare tarafından ele alınıyor olması ve sapmayı açıklayan nedenlerin inandırıcı ve ikna edici olması.

Performans Denetimi Rehberi 36 2.4.1 Mevcudiyet 5018 sayılı Kanun, kamu idarelerinin faaliyet raporları hazırlamasını öngörmektedir Madde 41- Üst yöneticiler ve bütçeyle ödenek tahsis edilen harcama yetkililerince, hesap verme sorumluluğu çerçevesinde, her yıl faaliyet raporu hazırlanır. … İdare faaliyet raporu, ilgili idare hakkındaki genel bilgilerle birlikte; kullanılan kaynakları, bütçe hedef ve gerçekleşmeleri ile meydana gelen sapmaların nedenlerini, varlık ve yükümlülükleri ile yardım yapılan birlik, kurum ve kuruluşların faaliyetlerine ilişkin bilgileri de kapsayan malî bilgileri; stratejik plan ve performans programı uyarınca yürütülen faaliyetleri ve performans bilgilerini içerecek şekilde düzenlenir. … Merkezî yönetim kapsamındaki kamu idareleri ve sosyal güvenlik kurumları, idare faaliyet raporlarının birer örneğini Sayıştaya ve Maliye Bakanlığına gönderir. Mahallî idarelerce hazırlanan idare faaliyet raporlarının birer örneği Sayıştay ve İçişleri Bakanlığına gönderilir. İçişleri Bakanlığı, bu raporları esas alarak kendi değerlendirmelerini de içeren mahallî idareler genel faaliyet raporunu hazırlar ve kamuoyuna açıklar. Raporun birer örneği Sayıştaya ve Maliye Bakanlığına gönderilir. Denetlenen idarenin faaliyet raporu hazırlayıp hazırlamadığı tespit edilir. Form 7’den yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.4.2 Zamanlılık Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmeliğin 11 inci maddesine göre; Genel bütçe kapsamındaki kamu idareleri, özel bütçeli idareler ile sosyal güvenlik kurumlarının ilgili mali yıla ilişkin idare faaliyet raporları üst yöneticileri tarafından izleyen mali yılın en geç Şubat ayı sonuna kadar kamuoyuna açıklanır. Bu raporların birer örneği aynı süre içerisinde Sayıştaya ve Bakanlığa gönderilir. … İl özel idarelerinin faaliyet raporları Mart ayı sonuna kadar; belediyelerin faaliyet raporları ile mahalli idare birliklerinin faaliyet raporları ise Nisan ayı sonuna kadar üst yöneticileri tarafından kamuoyuna açıklanır. Bu raporların birer örneği aynı süreler içinde Sayıştaya ve İçişleri Bakanlığına gönderilir. Bu hüküm, kamu idaresinin faaliyet raporunu sunmasının zamanlılığı bakımından kanun ve yönetmeliklere riayet edip etmediğini değerlendirirken dikkate alınır. Form 7’den yararlanılarak değerlendirme ve bulgulara raporda yer verilir. 2.4.3 Sunum Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmelik, faaliyet raporlarında yer verilecek bilgilere yönelik ilkeleri ve bu raporların hazırlanmasında izlenecek süreçleri ortaya koymaktadır.

Uygulama 37 Denetim ekibi, faaliyet raporundaki bilgilerin sunum kriterlerini ve süreç gerekliliklerini karşılayıp karşılamadığını değerlendirir ve Form 7’den yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.4.4 Tutarlılık Stratejik plan ve performans programı değerlendirmesi sonucu ilgili ve ölçülebilir olduğu kanaatine varılan hedef, performans hedefi ve göstergeler (iyi tanımlanma kriterini sağlayıp sağlamadığına bakılmaksızın) tutarlılık kriteri değerlendirmesine tabi tutulur. Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmelikte; kamu idarelerinin, faaliyet raporlarını hazırlarken tutarlılık ilkesine riayet etmesi gerektiği belirtilir: Faaliyet sonuçlarının gösterilmesi ve değerlendirilmesinde aynı yöntemler kullanılır. Yöntem değişiklikleri olması durumunda, bu değişiklikler raporda açıklanır. Tutarlılık kriteri değerlendirmesi, performans programlarında ve faaliyet raporlarında sunulan performans hedefleri ve göstergeler arasındaki tutarlılığın gözden geçirilmesi vasıtasıyla gerçekleştirilir. Performans programında gerçekleştirilmesi planlanan performans hedeflerinin gerçekleşme sonuçlarının faaliyet raporunda gösterilmesi gerekmektedir. Kamu idarelerinin, performans programlarındaki göstergeleri kullanarak faaliyet raporlarında başarılarını raporlaması beklenmektedir. Denetim ekibi, faaliyet raporunda yer alan performans hedef ve göstergelerini tutarlılık kriterine göre değerlendirdikten sonra Form 8’den yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.4.5 Doğrulanabilirlik Stratejik plan ve performans programı değerlendirmesinde ilgili ve ölçülebilir olduğu kanaatine varılan hedef, performans hedefi ve göstergeler (iyi tanımlanma kriterini sağlayıp sağlamadığına bakılmaksızın) doğrulanabilirlik kriteri değerlendirmesine tabi tutulur. Doğrulanabilirlik, faaliyet raporunda yer alan performans bilgisinin veri kayıt sistemlerinden elde edilen son verilerle uyumlu olmasını ifade eder. Bu kriteri değerlendirmek için denetim ekibi, veri kayıt sistemlerinden elde edilen son verilerin faaliyet raporuna doğru biçimde aktarılıp aktarılmadığını kontrol eder. Örneğin, doğrulanabilirlik değerlendirmesi yapılırken birim faaliyet raporları ile idare faaliyet raporu arasındaki uyumluluk dikkate alınır.

Performans Denetimi Rehberi 38 Denetim ekibi; faaliyet raporunda yayımlanan performans bilgisinin, idaredeki bir veri kayıt sisteminden elde edilen verilere başvurularak doğrulanıp doğrulanamayacağını değerlendirir. Veri kayıt sistemi, performansı izlemek için kullanılan bir bilgisayar programı olabileceği gibi, herhangi bir faaliyetin gerçekleştirildiğini gösteren bir raporlama süreci de olabilir. Bu değerlendirme için bilgi sağlamak amacıyla denetim ekibi, faaliyet raporunda yer alan beyanı doğrudan inceler ve bunu kamu idaresinin kullandığı veri kayıt sisteminden aktarılan sayılarla karşılaştırır. Denetim ekibi, faaliyet raporunda yer alan performans hedef ve göstergelerini doğrulanabilirlik kriterine göre değerlendirdikten sonra Form 8’den yararlanarak değerlendirme ve bulgularına raporda yer verir. 2.4.6 Geçerlilik / İkna Edicilik Geçerlilik/İkna edicilik kriteri, planlanan ve gerçekleşen performans arasındaki veya hedefe ilişkin bütçedeki sapmanın nedenlerinin inandırıcı ve geçerli olup olmadığını değerlendirmek için kullanılır. Bütçe ve performans hedeflerinin gerçekleşme durumu ile meydana gelen sapmalara ilişkin gerekçeler geçerlilik/ikna edicilik kriterine göre değerlendirilir. Bütçe ve performans hedeflerinin gerçekleşmelerinde sapmalar olması durumunda denetlenen idare, hedef ve gerçekleşme arasındaki sapmanın nedenleri hakkında açıklama getirmelidir. 5018 sayılı Kanunun 41 inci maddesinde; İdare faaliyet raporu, ilgili idare hakkındaki genel bilgilerle birlikte; kullanılan kaynakları, bütçe hedef ve gerçekleşmeleri ile meydana gelen sapmaların nedenlerini, varlık ve yükümlülükleri ile yardım yapılan birlik, kurum ve kuruluşların faaliyetlerine ilişkin bilgileri de kapsayan malî bilgileri; stratejik plan ve performans programı uyarınca yürütülen faaliyetleri ve performans bilgilerini içerecek şekilde düzenlenir. Kamu İdarelerince Hazırlanacak Faaliyet Raporları Hakkında Yönetmeliğin 18 inci maddesinde ise; Mali bilgiler başlığı altında, kullanılan kaynaklara, bütçe hedef ve gerçekleşmeleri ile meydana gelen sapmaların nedenlerine, varlık ve yükümlülükler ile yardım yapılan birlik, kurum ve kuruluşların faaliyetlerine ilişkin bilgilere, temel mali tablolara ve bu tablolara ilişkin açıklamalara yer verilir. Ayrıca, iç ve dış mali denetim sonuçları hakkındaki özet bilgiler de bu başlık altında yer alır. Performans bilgileri başlığı altında, idarenin stratejik plan ve performans programı uyarınca yürütülen faaliyet ve projelerine, performans programında yer alan performans hedef ve göstergelerinin gerçekleşme durumu ile meydana gelen sapmaların nedenlerine, diğer performans bilgilerine ve bunlara ilişkin değerlendirmelere yer verilir. denilmektedir.

Uygulama 39 İdarenin hedeflere ilişkin bütçe gerçekleşmelerini takip etmesine ilişkin bir sistem yoksa veya takip etmiyorsa, bu tespit, denetim raporunda belirtilir. İdarenin performans hedefi ve/veya bütçe hedefinde oluşan sapmalar için açıklama yaptığı durumlarda denetim ekibi, bu nedenlerin geçerliliğini değerlendirir. Bu nedenlerin geçerliliğini değerlendirmek için, kamu idaresinden destekleyici kanıtlar talep edilebilir. Bütçe ve performans hedeflerinin gerçekleşme durumu ile meydana gelen sapmalara ilişkin kamu idaresinin gösterdiği nedenlerin inandırıcı olmaması halinde denetim ekibi, bu bulgusunu raporlar. Geçerlilik /ikna edicilik kriterine göre yapılacak değerlendirme örneği Tablo 14’te yer almaktadır. Tablo 14: Geçerlilik/ İkna Edicilik Kriterine Göre Yapılacak Değerlendirme Örneği Gösterge Hedeflenen Sayı Gerçekleşen Sayı Sapmaya Yönelik Açıklama Tamamlanan kavşakların sayısı 40 7 • Mücbir hal • Kamu idaresinin bazı yetki ve sorumluluklarının diğer idarelere devredilmesi • Projelerin iptal edilmesi • Zorunlu alım talimatları nedeniyle projelerin tamamlanmaması. Minimum engellilik standartlarını karşılayacak şekilde iyileştirilen kavşakların sayısı 20 15 Islah edilen ırmakların uzunluğu (km) 45 3 Denetim kanaati • Farklara yönelik açıklamalar, ayrı ve net biçimde gösterilmemiştir. • Bazı açıklamaların destekleyici kanıtı yoktur. • “Projelerin iptal edilmesi”, ikna edici bir neden olabilir fakat kamu idaresinin planlamasında ve dolayısıyla kaynakların etkin kullanımındaki zayıflığa işaret eder. İnşa edilen bölünmüş yol uzunluğu (km) 1000 5000 Denetim kanaati • Kurum gerçekleşmeye ilişkin herhangi bir açıklama yapmamıştır. Gerçekleşmenin hedeflenenden fazla olması durumunda da sapmaya ilişkin nedenlerin faaliyet raporunda açıklanması gerekmektedir. Denetim ekibi, faaliyet raporunda yer alan performans hedef ve göstergelerini geçerlilik / ikna edicilik kriterine göre değerlendirdikten sonra Form 8’den yararlanarak değerlendirme ve bulgularına raporda yer verir.

41 3. RAPORLAMA Uygulama aşamasının ardından denetim ekibi, denetim raporunu hazırlar. Raporda aşağıdaki hususlara ilişkin bulgulara yer verilir:

• Stratejik planın değerlendirilmesi,
• Performans programının değerlendirilmesi,
• Faaliyet raporunun değerlendirilmesi,
• Faaliyet sonuçlarının ölçülmesi ve değerlendirilmesi. Denetim raporlarında bulguların anlaşılır, açık ve kesin bir şekilde ifade edilmesi esastır. Raporda önerilerin net bir şekilde ortaya konulması ve mümkün olduğunca yapıcı bir üslupla yazılması da önemlidir. Raporda yer verilen bulguların tamamı yeterli ve uygun denetim kanıtlarıyla desteklenmelidir. 3.1 Raporlama Öncesi Mutabakat Planlama ve uygulama aşamasında tespit edilen hususlar, denetim süresince denetlenen idare ile paylaşılmalıdır. Denetim ekibi, öncelikle bulguların mutabakatını sağlamaya çalışmalıdır. Fakat sonuç, bulgulara ve kanıtlara dayalı olarak varılan mesleki bir yargıdır ve nihai karar, denetim ekibine ve Sayıştaya aittir. Mutabakat süreci, gereksiz gecikmelere mahal vermeyecek şekilde yönetilmelidir. 3.2 Önerilerin Geliştirilmesi Denetim raporları çalışma kağıtlarının bir özetinden ya da denetim sorularının cevaplarından oluşmaz. Raporda, uygulamaya geçirilmek üzere öneriler geliştirilmeli ve bu önerilerin anlaşılmasını ve kabulünü sağlamak üzere ihtiyaç duyulacak bilgilere yer verilmelidir. Sayıştay Kanununun 35 inci maddesi …Denetim raporlarında, kamu idaresinin yerine geçerek belirli bir iş ve işlemin yapılmasını veya belirli bir politikanın uygulanmasını zorunlu kılacak, kamu idaresinin takdir yetkisini sınırlayacak veya ortadan kaldıracak görüş ve talep içeren rapor düzenlenemez. Öneri geliştirilirken olması gerekenle olan arasındaki farkın nedenleri ortaya konulmalı ve problemin kaynağına yönelik tedbirler belirlenmelidir. Amaç, denetlenen idareye katkı sağlamak üzere yararlı ve uygulanabilir öneriler geliştirmektir.

Performans Denetimi Rehberi 42 Öneriler bulgulara özgü olmalıdır. Normalde bir sistemin nasıl geliştirilmesi gerektiği hakkında değil sistemin geliştirilmesine ihtiyaç duyulan yönleri ve gerçekleştirilmesi gereken değişimin amaçları hakkında önerilerde bulunulmalıdır. Öneriler geliştirilirken problemlerin çözüme kavuşturulmasının maliyetleri ve ne kadar zaman alacağı hesaba katılmalıdır. 3.3 Denetim Raporunun Formatı Performans denetimi sonucu hazırlanan denetim raporunun tüm kamu idareleri için tutarlı bir formatta hazırlanması; sonuç ve bulguların kolaylıkla anlaşılması, karşılaştırılması ve takip edilebilmesi için önem taşımaktadır. Raporda grafik, diyagram ve resim gibi göze hitap eden unsurlara yer verilmesi rapora ilgiyi ve raporun anlaşılırlığını arttırır. Genellikle grafik ve diyagramlar karmaşık bilgilerin basit bir şekilde sunulmasını sağlar. Denetim ekibi grafik kullanımı için uzman yardımı da alabilir. Raporların yazımında uzun cümlelerden kaçınılmalı, yalın cümle yapıları tercih edilmelidir. Ayrıca karmaşık ve anlaşılması güç ifadeler kullanılmamalıdır. Raporun oluşturulması sırasında sık sık gözden geçirilmesi büyük önem taşır. Grup başkanının da gözden geçirme sürecine katkı sağlaması beklenmektedir. Performans denetimi sonucu hazırlanan rapor, Sayıştay Denetim Yönetmeliğinin, 35 inci maddesinde belirlenen süreçlere tabi tutulur. Denetim raporu denetim ekibi ve grup başkanı tarafından imzalanır. Denetim raporunun denetim ekibince Başkanlığa sunulmak üzere imzalandığı gün, rapor tarihi olarak esas alınır. Rapora denetim ekibinin bağlı olduğu grubun adı ile Sayıştayın adresi yazılır. Performans denetimi sonucu hazırlanacak raporlarda aşağıdaki başlıklara yer verilebilir: Yönetici özeti Yönetici özeti, Sayıştay denetim raporunun başında düzenlilik denetimi ve performans denetimi sonuçları için bir arada yazılacaktır. Başlık Başlık sayfasında “Sayıştay Başkanlığı” başlığı, denetlenen kamu idaresinin adı, ilgili yıla ilişkin performans denetimi raporu olduğu ve raporun yazılış tarihine ilişkin bilgiler yer verilir. Performans denetiminin amaç, dayanak, kapsam ve yöntemi Bu başlık altında aşağıdaki ifadelere yer verilir: Denetimin dayanağı; 5018 sayılı Kamu Mali Yönetimi ve Kontrol Kanunu, 6085 sayılı

Raporlama 43 Sayıştay Kanunu, genel kabul görmüş uluslararası denetim standartları ve Sayıştay ikincil mevzuatıdır. Denetimin amacı, bütçe hakkının gereği olarak kamu idarelerinin faaliyet sonuçları hakkında TBMM ve kamuoyuna güvenilir ve yeterli bilgi sunulması, kamu idarelerinin performansının değerlendirilmesi ile hesap verme sorumluluğu ve saydamlığın yerleştirilmesi ve yaygınlaştırılmasıdır. Denetim, kamu idaresinin faaliyet raporlarında yer alan performans bilgilerinin ve bunları oluşturan kayıt ve belgelerin doğruluğu ve güvenilirliğine ilişkin denetim kanıtı elde etmek üzere; uygun denetim prosedürleri ve tekniklerinin uygulanması ile gerçekleştirilmiştir. Bu çerçevede, kamu idaresi A’nın yayımladığı XX-XX dönemine ait Stratejik Plan, XX yılı Performans Programı ve XX yılı Faaliyet Raporu incelenmiştir. Genel değerlendirme Denetim ekibi rehberde yer alan kriterlere göre yaptığı değerlendirmelere bu başlık altında yer verir. Bu değerlendirmeler hem olumlu hem de olumsuz tespitleri içerir. Değerlendirmeler stratejik plan, performans programı, faaliyet raporu ve faaliyet sonuçlarının ölçülmesi konuları sıralamasıyla sunulur. Bu bölüm genel olarak kurumun performans yönetimi sistemi hakkında okuyucuya fikir verecek şekilde hazırlanır. Genel değerlendirme bölümünün son paragrafında denetim ekibinin performans yönetimi sisteminin ne derece başarılı olduğuna ilişkin genel kanaatine ve sistemin geliştirilmesine yönelik genel önerilerine yer verilir. Bu kanaatin oluşturulmasında denetimin tüm aşamalarında elde edilen bulgular, kanıtlar ve denetçi yargısı temel oluşturur. Denetim bulguları Denetim bulguları numaralandırılarak stratejik planın değerlendirilmesi, performans programının değerlendirilmesi, faaliyet raporunun değerlendirilmesi ve faaliyet sonuçlarının ölçümü ve değerlendirilmesi başlıkları altında bu bölümde sunulur. Bulguların açıklanması için mevzuata referans verilmesi gerekli görülüyorsa mevzuata özet şeklinde yer verilmesi esastır. Bulguların detaylandırılmasının ardından varsa ilgili kritere göre belirlenen öneriler yazılır. İzleme İzleme sonucunda tespit edilen ilerlemeler ve ilerleme sağlanamayan ya da yetersiz kalınan alanlara denetim raporunun bu bölümünde yer verilir. Ekler
Başkanlık genelgesiyle belirlenecek ekler raporun bu bölümüne konulur.

Performans Denetimi Rehberi 44 3.4 Kamu İdaresi Görüşü Performans denetimi raporu, denetlenen idareye görüşlerini bildirmesi için gönderilir. Denetlenen idarenin görüşünün alınması amacıyla, idare temsilcileri yüz yüze görüşmek üzere davet edilebilir ya da idareden sadece rapor hakkındaki görüşlerini yazılı olarak bildirmeleri istenir. Ancak her durumda idareye denetim raporu hakkındaki görüşlerini yazılı olarak bildirmesi için 30 günlük yasal süre hakkı tanınır. ISSAI 3000- Performans Denetimi Uygulama Rehberleri … Taslak rapor, denetlenen kurumların denetim bulguları, sonuçları ve tavsiyelerini yazılı şekilde görmeleri için fırsat sağlar. (Taslak rapora verilen) Cevapların yeni bilgi sağladığı durumlarda denetçi bunu dikkate almalı ve genel kuralların yerine getirilmesi koşuluyla taslak raporu değiştirmeyi değerlendirmelidir. 3.5 Sayıştay Denetim Raporu Kamu idaresi görüşü geldikten sonra denetim ekibi Sayıştay performans denetim raporu taslağını hazırlar. Taslak hazırlanırken kamu idaresi görüşü dikkate alınır. Bu raporda rapor formatına göre olması gereken başlıklar ile genel değerlendirmeye yer verilir. Genel denetim değerlendirmesi denetim aşamalarında elde edilen bulgular, kanıtlar ve denetçi yargısı ışığında ulaşılan nihai değerlendirmedir. Bu değerlendirme yapılırken her denetim aşamasında ulaşılan bulgular ve sonuçlar analiz edilir ve denetlenen idarenin performans yönetimi sisteminin başarısı hakkında yorumda bulunulur. Bu şekilde hazırlanan raporlar, ilgili yılın bitimini takip eden Mayıs ayı sonuna kadar Sayıştay Başkanlığına sunulur. 3.6 Diğer Hususlar Performans denetimi sonucu hazırlanacak rapor Başkanlık tarafından genelge ekinde yayımlanacak rapor formatına uygun olarak düzenlenir.

Raporlama 45 4. İZLEME Performans denetiminin hesap verebilirliğin ve performans yönetiminin iyileştirilmesine katabileceği değeri göstermesi bakımından izleme faaliyeti gerekli ve önemlidir. İlgili kamu idaresinin denetim bulgularına ve önerilere göre hareket ederek kendi sistemlerini güçlendirdiği veya performans raporlarını iyileştirdiği durumlarda denetim ekibi, bu değişikliği raporlamalıdır. Bu nedenle yapılan denetimlerin takip edilmesi ve etkilerinin değerlendirilmesi için izleme faaliyeti gereklidir. TBMM’ye geri bildirim sağlanması açısından da izleme faaliyeti önem taşımaktadır. Denetim raporlarında yer verilen öneriler sonraki yıl denetimlerinde dikkate alınarak bunlara ilişkin idarenin gerçekleştirdiği faaliyetler takip edilmelidir. İzleme çalışması yapıldığında denetim ekibi, önerilere yanıt olarak atılmış adımlara ve (varsa) bunların performans yönetimi sistemine yönelik etkisine sonraki yıl raporlarında yer vermelidir. İzleme faaliyeti Sayıştayın kendi etkinliğini değerlendirmesi için de önemli bir araçtır. Denetim raporunun gerek TBMM, medya ve kamuoyu, gerekse ilgili idare nezdinde oluşturduğu etkinin ve uygulama sonuçlarının değerlendirilmesi Sayıştayın kendi performansını değerlendirmesinde önemli göstergeler sağlayacaktır. İzleme sonucunda tespit edilen ilerlemeler ve ilerleme sağlanamayan ya da yetersiz kalınan alanlara denetim raporunun izleme bölümünde yer verilir. İzleme faaliyetine ilişkin yapılacak raporlamada:

• Önerilerin uygulanma derecesi,
• Denetlenen idarenin önerileri uygulamada zayıf olduğu noktalar ve nedenleri,
• Denetlenen idarenin önlemlerinin yetersiz olduğu konularda Sayıştayın gerekli gördüğü önlemler ele alınmalıdır. Denetimi yapılan kamu idaresinin stratejik planına ilişkin izleme, stratejik plan uygulama döneminin bitimini takip eden yıl denetiminde önceki dönem denetim sonuçları ve önerileri de dikkate alınarak gerçekleştirilir. Performans programı ve faaliyet raporuna yönelik izleme ise önceki yıllardaki denetim raporlarındaki önerilerin uygulanabilir hale geldiği denetim yılında gerçekleştirilir.

47 EKLER Performans denetiminin tutarlı bir şekilde yürütülmesinde denetim ekiplerine yardımcı olmak amacıyla Planlama, Uygulama, Raporlama ve İzleme aşamalarına yönelik formlar geliştirilmiştir. Formlar, denetim çalışmasının kayıt altına alınması ve kaydedilen ilerleme ve ulaşılan sonuçların raporlanması için standart bir araç işlevi görür. Formlar, denetim sonuçlarını destekleyecek sağlıklı denetim izinin temelini teşkil eder. Doldurulan formlarda performans denetimi sırasında toplanan ilgili tüm bilgiler yer almalıdır. Bu formlar yol gösterici nitelikte olduğundan kuruma göre değişiklik gösterebilir. Bu durumda denetim ekibi ilave sorular kullanma ihtiyacı duyabilir veya bazı soruların uygun olmadığı kanaatine vararak bunları değerlendirme dışı bırakabilir.

Performans Denetimi Rehberi 48 EK 1 - FORMLAR Form 1 Bu doküman, denetimin planlanması sırasında denetçilerin tamamlaması gereken tüm görevleri sıralamaktadır. Bu formun doldurulması ekip başkanının sorumluluğundadır. Form 1: Planlama Kontrol Listesi Kamu idaresinin adı:
Formun doldurulduğu tarih: Faaliyet Evet/Hayır Referans Ç.K. Denetim ekibinin oluşturulması: 1 Denetimde ek uzmanlık bilgisi ihtiyacı (bilirkişi,vs.) var mı? 2 Yerinde denetim gerekli mi? Kamu idaresinin tanınması 3 İdarenin yasal çerçevesi incelendi mi? 4 İdarenin örgüt yapısı hakkında bilgi edinildi mi? 5 Aşağıda sayılan denetme esas belgeler incelendi mi? • Stratejik plan ve ilgili yıl performans programı • Bir önceki yıl performans programı ve faaliyet raporu • En yakın tarihli Sayıştay denetim raporu ve önerileri • Performans yönetimi sistemine ilişkin mevzuat İdare ile iletişim kurulması 6 İdareye yapılacak denetimin amacı ve kapsamı hakkında bilgi verildi mi? 7 Denetim süresince idarede irtibatta bulunulacak kilit personel belirlendi mi? Denetim planının hazırlanması 8 Denetim ekibinin içinde görev paylaşımı yapıldı mı? 9 Denetimin başlangıcı, planlanması, uygulaması ve raporlama sürelerini içine alacak şekilde dönüm noktalarının tarihleri belirlendi mi? 10 İş planı dolduruldu mu? Diğer sorular

Ekler 49 Form 2 Form 2: Genel performans yönetimi sistemi Not: Bu form, her kamu idaresi için bir kere doldurulduktan sonra gelecek yıllardaki denetimlerde güncellenir. Kamu idaresinin adı: Kamu idaresinde irtibatta bulunulan kişiler: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Soru Denetçinin Değerlendirmesi (Evet/Hayır/Kısmen) Referans Ç.K. 1 Kamu idaresinin performans bilgisinin yönetilmesine yönelik açık iç politikaları, yapıları, süreçleri ve karar mekanizmaları var mı? 2 Kamu idaresinin performans bilgisinin raporlanmasına yönelik açık iç politikaları, yapıları ve süreçleri var mı? 3 Kamu idaresi, sorumlu personelin eğitilmesini sağlamış mı? 4 Performans bilgisinin yönetimi için açıkça belirlenmiş görev ve sorumluluklar var mı? 5 Performans bilgisinin üretilmesi ve kalitesinden sorumlu kişiler tespit edilmiş mi? 6 Tarafsızlığı sağlamak için faaliyetleri gerçekleştirme ve raporlama görevleri birbirinden ayrılmış mı? 7 İdare, performans bilgisine yönelik çıktıları güvenilirlik açısından değerlendiriyor mu? 8 İdare, kontrol sisteminin kendi işleyişi hakkında dönemsel raporlar talep ediyor mu? 9 Kamu idaresi, performans bilgisinin kalitesini etkileyebilecek riskleri tespit etmiş mi? Örneğin performans göstergelerinde değişiklikler, yeni BT sistemleri ve ofis / birimin yeri değişikliği. 10 Kamu idaresinin performans bilgisinin yönetilmesine ilişkin kurum içi sistematik haberleşme kanalları var mı? Diğer sorular

Performans Denetimi Rehberi 50 Form 3 Form 3: Stratejik planın mevcudiyet, zamanlılık ve sunum kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Soru İlgili Denetim Kriteri Değerlendirme Referans Ç.K. 1 Kamu idaresi, ilgili dokümanı hazırlamış ve yayımlamış mı? Mevcudiyet 2 Dokümanın yayımlanma tarihi mevzuat gerekliliklerine uygun mu? Zamanlılık 3 Stratejik planda belirlenen misyon ve vizyon üst politika belgeleriyle uyumlu mu? Sunum 4 Kamu idaresinin misyon ve vizyonu kuruluş kanunları, yetki ve sorumluluklarıyla uyumlu mu? Sunum 5 Kamu idaresi amaçlarını belirlemiş mi? Sunum 6 Kamu idaresi hedeflerini belirlemiş mi? Sunum 7 Kamu idaresinin amaç ve hedefleri kurumun yetki ve sorumluluklarıyla uyumlu mu? Sunum 8 Eğer gerekiyorsa kamu idaresi göstergelerini belirlemiş mi? Sunum 9 Stratejik plan, ilgili mevzuatta belirtilen tüm başlıkları kapsıyor mu? Sunum Diğer sorular

Ekler 51 Form 4 Form 4: Stratejik planın ilgililik, ölçülebilirlik ve iyi tanımlanma kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Gösterge İlgililik Ölçülebilirlik İyi tanımlanma Değerlendirme Hedef Gösterge Amaç 1 Hedef 1.1 Hedefi girin Hedefle ilgili 1.göstergeyi girin Evet/ Hayır (Hedef amaçla ilgiliyse evet, değilse açıklayın) Evet/ Hayır (Gösterge hedefle ilgiliyse evet, değilse açıklayın) Evet/ Hayır (Hayır ise açıklayın) Evet/ Hayır (Hayır ise açıklayın) Hedef 1.2 Hedefi girin vb. Amaç 2 Hedef 2.1 Hedef 2.2 Hedef 2.3 v.b

Performans Denetimi Rehberi 52 Form 5 Form 5: Performans programının mevcudiyet, zamanlılık ve sunum kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Soru İlgili Denetim Kriteri Değerlendirme Referans Ç.K. 1 Kamu idaresi, ilgili dokümanı hazırlamış ve yayımlamış mı? Mevcudiyet 2 Dokümanın yayımlanma tarihi mevzuat gerekliliklerine uygun mu? Zamanlılık 4 Amaçlara yer verilmiş mi? Sunum 5 Hedeflere ve/ veya performans hedeflerine yer verilmiş mi? Sunum 6 Eğer gerekiyorsa göstergeler belirlenmiş mi? Sunum 7 Performans hedefleri stratejik planda yer alan hedeflerin yıllık dilimlerini oluşturuyor mu? Sunum 8 Kullanılan tablolar açısından performans programı mevzuata uygun mu? (Performans Programının Hazırlanmasına İlişkin Rehber Tablo 1, Tablo 2 ve Tablo 3) Sunum 9 Performans hedefleri ve bunlara ilişkin faaliyetler kaynaklar ile ilişkilendirilmiş mi? Sunum 10 Faaliyet maliyetleri Maliye Bakanlığının öngördüğü yönteme uygun hesaplanmış mı? Sunum Diğer sorular

Ekler 53 Form 6 Form 6: Performans programında yer alan performans hedef ve göstergelerinin ilgililik, ölçülebilirlik ve iyi tanımlanma kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Performans Hedefi Gösterge Çıktı/ Sonuç Odaklılık İlgililik Ölçülebilirlik İyi tanımlanma Değerlendirme Hedef Gösterge Hedef 1.1 Hedefi girin Göstergeyi girin Değerlendirme Evet/ Hayır (Hayır ise açıklayın) Evet/ Hayır (Hayır ise açıklayın) Evet/ Hayır (Hayır ise açıklayın) Evet/ Hayır (Hayır ise açıklayın) Hedef 1.2 Hedef 1.3 Form 7 Form 7: Faaliyet raporunun mevcudiyet, zamanlılık ve sunum kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler) Soru İlgili Denetim Kriteri Değerlendirme Referans Ç.K. 1 Kamu idaresi, ilgili dokümanı hazırlamış ve yayımlamış mı? Mevcudiyet 2 Dokümanın yayımlanma tarihi mevzuat gerekliliklerine uygun mu? Zamanlılık 3 Birim faaliyet raporları hazırlanmış mı? Sunum 4 Faaliyet raporu ilgili mevzuatta belirtilen tüm başlıkları (genel bilgiler, amaç ve hedefler, faaliyetlere ilişkin bilgi ve değerlendirmeler vb.) kapsıyor mu? Sunum Diğer sorular

Performans Denetimi Rehberi 54 Form 8- Faaliyet raporunun tutarlılık, doğrulanabilirlik ve geçerlilik kriterlerine göre değerlendirilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Tutarlılık Doğrulanabilirlik Geçerlilik/ İkna edicilik Performans Programında öngörülen hedef Faaliyet Raporunda raporlanan gerçekleşme Raporlanan gerçekleşme bilgisi, kaynak bilgisiyle doğrulanabilir mi? Gerçekleşme hedefin altında mı? Evetse Faaliyet Raporu performans düşüklüğü için neden sunuyor mu? Nedenler ikna edici ve geçerli mi? Performans hedefi 1.1 Evet/Hayır Evet/Hayır Girin Girin Evet/Hayır Evet/Hayır Evet/Hayır
Evet ise nedenlerini belirtin Evet/Hayır Hayır ise kanıtı girin Gösterge 1 Evet/Hayır Evet/Hayır Girin Girin Evet/Hayır Evet/Hayır Evet/Hayır
Evet ise nedenlerini belirtin Evet/Hayır Hayır ise kanıtı girin Gösterge 2 Performans hedefi 1.2 Gösterge 1 Gösterge 2 Gösterge 2 Form 8

Ekler 55 Form 9 Form 6 aracılığıyla ilgili ve ölçülebilir olarak değerlendirilen performans hedefi ve göstergeleri Form 9 değerlendirmesine tabi tutulur. Form 9: Veri kayıt sistemlerinin mevcudiyeti Not: Bu form, her bir göstergeye yönelik kullanılan veri kayıt sistemi için sadece bir kere doldurulmalıdır. Kamu idaresinin adı: Formun doldurulduğu tarih: Kamu idaresinde irtibatta bulunulan kişiler: Hedef Gösterge Soru Denetçinin Değerlendirmesi Referans Ç.K. 1 Performans programında yer alan hedeflere ulaşma düzeyinin izlenmesi ve değerlendirilmesine yönelik raporlama süreci belirlenmiş mi? 2 İzleme ve değerlendirme sürecinin işleyişine yönelik görev ve sorumluluklar belirlenmiş mi? 3 Veri kayıt sistemi, göstergedeki unsurların tamamını ölçüyor mu? Örneğin kamu idaresi ölüm ve yaralanmalarla sonuçlanan kaza sayısını düşürmeyi hedeflediyse bu hedefin ölçümüne ilişkin veri kayıt sisteminin hem ölümleri hem de yaralanmaları ölçecek şekilde tasarlanmış olması gerekmektedir. 4 Veri kayıt sistemi, faaliyet dönemi içindeki gerçekleşmeleri belirli periyodlarla ölçüyor mu? Örneğin, veri kayıt sistemi yıl sonundaki ölüm ve yaralanmalarla sonuçlanan kaza sayısı hakkında veri üretirken, yıl içinde aylar bazında kaza sayısında meydana gelen değişiklikleri de ölçebiliyor olmalıdır. 5 Veri kayıt sistemleri, yanlış yorumlamaları azaltacak şekilde net tanımlanmış mı? Örneğin, verilerin toplanma sıklığı, kullanılacak veri kaynağı veya verilerin analiz edilmesinde kullanılacak metodolojiler belirlenmiş mi? Diğer sorular Veri kayıt sistemi mevcudiyeti değerlendirmesine yönelik sonuç Değerlendirme Referans Ç.K. Veri kayıt sistemi kurulmuş mu?

Performans Denetimi Rehberi 56 Form 10 Form 9 aracılığıyla veri kayıt sistemi mevcut olduğu tespit edilen performans hedef ve göstergeleri önemli veri kayıt sistemleri seçilmesi değerlendirmesine tabi tutulur. Bir performans hedefinin bu değerlendirmeye tabi tutulabilmesi için en az bir ölçülebilir göstergesi bulunması yeterlidir. Bu form doldurulurken denetim ekibi kanaati ile süre ve kaynak kısıtları dikkate alınır. Form 10: Önemli veri kayıt sistemlerinin seçilmesi Kamu idaresinin adı: Formun doldurulduğu tarih: Düzenleyen denetçi(ler): Form 9’da veri kayıt sistemi mevcudiyeti tespit edilen hedef ve göstergeler Performansın faaliyet raporunda yanlış beyan edilme olasılığı Hedef/ göstergelerin bütçesel önemi Hedef ve göstergeye yönelik Meclis ve kamuoyu ilgisi Sonuç Veri kayıt sistemi denetimi için seçilecek hedef/ gösterge Amaç 1 Hedefi girin Göstergeyi girin Yüksek/ orta/ düşük Yüksek/ orta/ düşük Yüksek/ orta/ düşük Evet/ Hayır Hedefi girin Göstergeyi girin Yüksek/ orta/ düşük Yüksek/ orta/ düşük Yüksek/ orta/ düşük Evet/ Hayır Amaç 2 Hedefi girin Göstergeyi girin Form 11 Form 11: Verilerin güvenilirliğine yönelik risklerin tespit edilmesi Not: Bu form değerlendirilen her bir veri kaynağı için bir kez doldurulmalıdır. Bu form, aşağıdakileri içerir: • Her bir veri kaynağı için geçerli olan genel sorular. Bu sorular tüm veri kaynakları için doldurulmalıdır. • Örneklem anket çalışmasına özel sorular (mevcut ise). • Dış kaynaklardan elde edilen verilere ilişkin sorular (mevcut ise). Kamu idaresinin adı: Kamu idaresinde irtibatta bulunulan kişiler: Formun doldurulduğu tarih: Veri kaynağının adı: Hedef Gösterge

Ekler 57 11 A - Genel değerlendirmeye yönelik sorular Genel Sorular Soru Denetçinin Değerlendirmesi Referans Ç.K. 1 Veri kayıt sisteminin süreçleri ve bu süreçlere ilişkin sorumluluklar belirlenmiş mi? 2 Kamu idaresi, veri toplama, analiz ve işleme süreçlerine ilişkin risk değerlendirmesi yapmış mı? 3 Veri toplama, analiz ve işleme süreçleri yazılı hale getirilerek personele açık ve net bir şekilde aktarılmış mı? 4 Veri kayıt sisteminin hazırlanması için yüklenicilerin istihdam edildiği durumlarda sözleşme, veri kalitesi gerekliliklerini ve kalite güvence düzenlemelerini içeriyor mu? 5 Veri kayıt sistemi faaliyet sonuçlarının ölçümüne ilişkin tüm unsurları kapsıyor mu? Tüm unsurların kapsama alınmaması riski mevcut mu? Örneğin kamu idaresi ölüm ve yaralanmalarla sonuçlanan kaza sayısını düşürmeyi hedeflediyse bu hedefin ölçümüne ilişkin veri kayıt sisteminin hem ölümleri hem de yaralanmaları ölçecek şekilde tasarlanmış olması gerekmektedir. Yaralanmaların ölçüme dahil edilmemesi ihtimali bu konuda bir risk teşkil eder. 6 Veri kayıt sistemi ilgisiz unsurları ölçüm dışı bırakacak şekilde tasarlanmış mı? Kamu idaresi, hastane polikliniklerinde yapılan aşı sayısını artırmayı hedeflemektedir. Yapılan ölçüme acil serviste gerçekleştirilen enjeksiyon işlemlerinin dahil edilmesi riski bulunmaktadır. 7 Kamu idaresi, veri işleme ve analize yönelik risklere dair kendi değerlendirmesini yapmış mı? 8 Veri kayıt sistemlerinin yönetiminde ve işletilmesinde teknik uzmanlar yer alıyor mu? 9 Veri kayıt sistemi raporlanan verilerin doğruluğunu etkileyecek düzeyde karmaşık mı? 10 Veri kayıt sistemi yakın bir zamanda mı kurulmuş? Veri kayıt sisteminde önemli değişiklikler yapılmış mı? Diğer sorular

Performans Denetimi Rehberi 58 11 B- Anket çalışmasını değerlendirmeye yönelik sorular Bu sorular hedef veya göstergenin gerçekleşmesini ölçmek amacıyla anket çalışması yürütülmesi halinde uygulanacaktır. Anket çalışmaları sırasında veri kalitesine yönelik karşılaşılan önemli riskler şöyledir: • Örneklemin ortaya çıkan tahminlere güven düzeyini azaltacak kadar küçük ölçekli olması, • Örneklem profilinin hedefle uyumlu olmaması. Soru Denetçi Değerlendirmesi Referans Ç.K. 11 Anket çalışmasının tasarımında hangi örneklem büyüklüğü hedeflenmiş ve hedeflenen örnekleme ulaşılmış mıdır? 12 Örneklem, hedef popülasyonu temsil ediyor mu? 13 Katılımcı hatalarını azaltmak üzere hangi prosedürler kullanılıyor? 14 Anket cevaplama oranı hedefin ve ya göstergenin ölçümü için yeterli mi? Diğer sorular 11 C- Dış kaynaklı verilerin değerlendirilmesine yönelik sorular Hedef veya göstergeye ilişkin gerçekleşmenin ölçümü için dış kaynaklı veri kullanılması ve aşağıdaki koşulların bulunması halinde bu form kullanılacaktır. • Dış verinin genel kabul görmüş bir veri kayıt sistemi dışında olması (TÜİK verileri, Merkez Bankası verileri, vb olmaması) • Dış verinin nasıl üretildiği ve işlendiğinin tam olarak anlaşılamaması, • Kamu kurumunun dış kaynaklardan aldığı verilerde yapılan kontrollerin yetersiz olması. Soru Denetçi Değerlendirmesi Referans Ç.K. 15 Kamu idaresi, veri sağlayıcının kullandığı veri toplama, işleme ve analiz prosedürlerini biliyor mu? 16 Veri sağlayıcı risk tespiti yaparak kontrol prosedürleri yürütmüş mü? 17 Veri sağlayıcının yürüttüğü prosedürler ve kontroller, belgelenmiş mi? 18 Kamu idaresi, veri sağlayıcının kontrollerini değerlendirmiş mi? 19 Kamu idaresi, dış kaynaklı veriler üzerinde başka kontroller yürütüyor mu? (çapraz kontroller gibi) Diğer sorular

Ekler 59 Form 12 Form 12: Veri kayıt sistemlerindeki kontrollerin değerlendirilmesi Not: Bu form, her bir göstergeye yönelik kullanılan veri kayıt sistemi için bir kez doldurulmalıdır. Kamu idaresinin adı: Formun doldurulduğu tarih: Kamu idaresinde irtibatta bulunulan kişiler: Hedef Gösterge Soru Kanıt (referans belgeler dâhil) Denetçinin Değerlendirmesi 1 Kurum kendi yaptığı risk değerlendirmesi sonucu kamu idaresi, herhangi bir işlem yürütmüş mü? 2 Veri kayıt sistemleri ve belirlenen riskler için etkin kontrol strateji ve yöntemleri belirlenerek uygulanmış mı? 3 Kamu idaresi; verilerin toplanması, işlenmesi ve analizine yönelik kontroller oluşturmuş ve sorumluluklar tayin etmiş mi? 4 Raporlanan verilerin makul olup olmadığını denetleyecek kontroller yapılıyor mu? (örneğin çapraz kontroller yapılarak) 5 Veri kayıt sistemine veri ve bilgi girişi ile bunlara erişim konusunda yetkilendirmeler yapılmış mı? 6 Kamu idaresi uygulanan kontrol faaliyetlerinin etkinliği değerlendiriyor mu? Diğer sorular

Performans Denetimi Rehberi 60 EK 2 - DENETİM PLANI Denetim Planı Formatı Denetimin planlama aşamasının tamamlanmasının ardından bir denetim planı hazırlanır. Denetim planında denetlenen idare, denetimin kapsamı, denetimde uygulanacak metodoloji ve muhtemel denetim bulguları hakkında bilgi verilir. Ayrıca denetimin yürütülmesine ilişkin iş planı da denetim planının bir parçasıdır. Denetim planının hazırlanmasında yol gösterici olması açısından aşağıdaki başlıklar kullanılabilir:

• Kamu idaresinin adı
• Denetimin yasal dayanağı
• Denetim amacı
• Denetim kapsamı
• Denetlenen idare hakkında bilgi
• Denetim takvimi
• Denetlenen idarede irtibat kurulacak görevliler
• Denetim ekibi
• Ek: İş planı İŞ PLANI Kamu idaresinin adı: Formun doldurulduğu tarih: Denetim Alanı Kriter Kanıt Toplama Teknikleri Görevli Denetçiler Tamamlama Tarihi

Ekler 61 EK 3 - VERİ KAYIT SİSTEMİ RİSKLERİ Veri toplamanın karmaşıklığı • Birden fazla veri akışının kullanılması ve veri akışlarını birleştirmek için uygun olmayan yöntemin seçilmesi verilerin güvenilirliği riskine yol açabilir. • Gösterge, veri toplayıcılarının zor kararlar vermesini gerektiriyor veya çok sayıda veri kaynağı veya sağlayıcısı bulunuyorsa riskler daha büyük olabilir. • Verilerin çok sayıda sağlayıcıdan elde edildiği durumlarda, iyi açıklanmış ve veri toplama işleminde yer alanlar tarafından aynı şekilde anlaşılacak veri tanımları yapmak önemlidir. • Anketlerde popülasyonun anketi yanıtlayamayacak durumda olan kişilerden seçilmesi, yanlılık riskini arttıracaktır. Veri işleme ve analizinin karmaşıklığı • Yapılması gerekli işlem veya analiz ne kadar karmaşık olursa hata yapma riski o kadar büyük olur. • Konuyla ilgili olan verilerin kapsam dışında bırakılması veya ilgisiz olanların dahil edilmesi veri analizinde hatalı sonuçlara yol açabilir. • Uygunsuz ağırlıklandırma ve yuvarlama yöntemleri uygulandığı zaman örnek anket çalışmalarından güvenilir olmayan sonuçlar elde edilebilir. • Analizin kanaat içerdiği durumlarda, dönem içinde tutarsızlık riski artabilir. Sistemin yeni olması • Sistemin yeni olması veya yakın zamanda değiştirilmiş olması veya kilit personelde önemli değişikler meydana gelmiş olması halinde, riskler daha büyük olabilir. Sistemi işleten kişilerin uzmanlığı • Sorumlu kişilerin mesleki beceriler ve deneyimler açısından yetersiz olması, münferit veri kayıt sistemlerinin güvenilirliği için risk teşkil eder. • Uzman olmayan kişilerin daha karmaşık sistemleri işlettiği durumlarda riskler, daha büyük olabilir. Verilerin performansı yönetme ve ödüllendirmede nasıl kullanıldığı • Verilerin terfi, ödüllendirme, ücret artışı gibi hususların belirlenmesi amacıyla kullanılması durumunda verilerin güvenilirliği riski artabilir. • Verilerin yönetsel amaçlarla aktif biçimde kullanılması halinde hataların tespit edilme ihtimali daha yüksek olacağından riskler, daha düşük olabilir. • Hedef veya gösterge idare tarafından sahiplenilmediyse veri kalitesine olan bağlılık daha düşük, hata riski de daha yüksek olabilir. Sistemin istikrarı • Veri kayıt sistemleri, pek çok sebepten dolayı değişebilir. Bu tür değişiklikler meydana geldiğinde, eski ve yeni sistemler arasında zaman içindeki tutarlılığın sağlanmaması da bir risk faktörü olabilir.