سنجش اثربخشی آموزش و توسعه مدیریت

توسط: ناصر امامی میبدی
به‌روزرسانی: ۲۵ آذر ۱۳۹۹

تلاشهای آموزش و توسعه مدیریت در دهه اخیر افزایش چشمگیری داشته است. طبق نظر فولمر و یوریچ[۱] تا سال ۱۹۸۵ هزینه مصروفه آموزش سالیانه در شرکت ها حدود ۴۰ الی ۶۰ میلیارد دلار تخمین زده شده است که این مبلغ نزدیک به بودجه آموزشی کل کشور برای آموزش در سطح فوق لیسانس به مدت ۴ سال می باشد. چنین هزینه هنگفتی در آموزش های شرکتی، نشان دهنده نیاز به ارزشیابی اثربخشی آموزش و برنامه های توسعه ای است تا بتوان از پول صرف شده برای این امر بهترین بهره را برد.

آگاهی داشتن از اصول اولیه مشخص هنگام بررسی چگونگی سنجش آموزش مدیریت و اثربخشی توسعه حائز اهمیت است. همچنین تمیز دادن بین آموزش و توسعه مهم است. به علاوه، نقشی که سنجش اثربخشی در آموزش و فرایند توسعه بازی می کند را نباید نادیده انگاشت. اگرچه ایده ها و روشهای افراد با یکدیگر متفاوت است، ساختار کلی برای ارزشیابی می باید ترسیم گردد. بالاخره، نگاهی به روشهای بکار رفته امروزی دیدگاهی را برای فرایند ارزشیابی بیان می کند.

تمایز بین آموزش و توسعه

در سنجش اثربخشی آموزش و توسعه، دانستن تفاوتها و شباهتها تا آنجا که این امر به افزایش مهارتهای مدیریتی برمی گردد مهم است. آموزش بطور کلی یکی از زیرمجموعه های توسعه مدیریت است. نمودار ۱ نشان می دهد که آموزش را می توان به عنوان یک تجربه یادگیری ساختار یافته تلقی کرد. سایر روشهای بهبود و توسعه شامل توسعه فردی و مربی گری می گردد. آموزش از طریق کارگاهها و سمینارها معمولا بر بهبود مهارتهای مدیریتی تمرکز دارد در حالی که توسعه مدیریت بر بهبود تمامی مهارتهای لازم برای بالا بردن اثربخشی مدیر تکیه می کند. از آنجا که آموزش ابزاری است که برای توسعه مدیریت به کار می رود، واژه آموزش برای آموزشهای کوتاه مدت و واژه توسعه مدیریت برای برنامه های آموزشی با افق زمانی طولانی تر کاربرد دارد. اگرچه آموزش مدیریت و توسعه مدیریت دو مفهوم متفاوت هستند، اهداف کلی آنها یکسان است و هر دو تلاش بر افزایش مهارتهای مدیر دارند.

نقش سنجش

نقش سنجش اثربخشی در آموزش و توسعه مدیریت چیست؟ نمودارهای ۲ و ۳ این مطلب را بصورت گرافیکی نشان می دهند. نمودار ۲ نشان می دهد که اثربخشی در آموزش مدیریت و توسعه، شاخصی برای نشان دادن چگونگی کاهش نیازها (یعنی تفاوت بین استانداردهای عملکردی لازم و سطح مهارتی اولیه) می باشد. نمودار ۳ که توسط براون و سومروایل[۲] بیان گردیده است، نشان می دهد که سنجش اثربخشی یک فرایند متقابل بوده که درباره پیشرفت مدیریت بازخورد ارایه می نماید. بنابراین یکی از اهداف چنین سنجشی باید ارزیابی دایمی نیازها باشد.

روشهای موفق سنجش

برای تعیین موارد مهم در ارزشیابی و سنجش اثربخشی آموزش مدیریت لازم است بدانیم که چه چیزی برای توسعه مدیریت و برنامه های توسعه ای اهمیت دارد. از آنجا که مهارتهای مدیریتی شامل طیف وسیعی می گردد، تعابیر بسیاری با عنوان کلیدها یا روشهای اثربخش عملکرد مدیریتی وجود دارد. طبق نظر بنت[۳] و بنت و لنگفورد[۴] مرکز مدیریت منطقه ای تیمس والی[۵] برای تعریف نمودن اثربخشی مدیریتی، شش معیار اصلی را در نظر گرفته است. نتیجه گیری های آنها مشتمل بر حمایتهای دریافتی از ۲۳ نویسنده و پژوهشگر مهم در حوزه مدیریت عملکرد می باشد. معیارهای شش گانه عبارتند از:

اثربخشی عمومی(به عنوان مثال هدفگذاری، برنامه ریزی و …)
تصمیم گیری
تفویض اختیار
ارتباطات
دانش شغلی
روابط

گرچه این معیارها ممکن است با درک افراد از اثربخشی مدیریتی منطبق نباشد، لیکن نشان می دهدکه توسعه و آموزش مدیریت می تواند در دو دسته مهم کلی گیرد: ارتقاء مهارت و تغییر رفتار. نامه نگاری تجاری و برنامه ریزی، از جمله مهارتهایی هستند که ممکن است از طریق کارگاههای آموزشی مدیریتی بهبود یابند. در حالی که تغییر رفتار ممکن است از طریق ارتباط برقرار کردن با اشتیاق صورت گیرد. سنجش اثربخشی مدیریت یک موضوع چند جانبه است چونکه از یک سو تعدادی مهارت و رفتار مدیریتی ارتقاء می یابد و از سوی دیگر بهبود رفتار و مهارتها با یکدیگر متفاوت است.

موضوع عام دیگری که توسط داکین و گه و مارجریسون[۶] مطرح گردیده آن است که توسعه مدیریت و طراحی برنامه توسعه مدیریت باید توسط مدیریت ارشد حمایت گردیده و بر روی فرهنگ و اهداف سازمانی تاکید نمایند. برای برآورده ساختن نیازهای شرکتی که از توسعه مدیریت برخوردار است، مدیریت ارشد و برنامه ریزان سازمان باید نیازهای سازمان را برای بقاء و برتری در محیط شناسایی نمایند. تمایل به سوی بازارهای بین المللی، تغییر نگرشهای کارکنان، الزامات بهره وری و … مثالهایی هستند که بر روی اهداف سازمانی و هدفهای توسعه مدیریت و به نوبه خود بر روی طراحی برنامه ارزشیابی تاثیر می گذارند. در نهایت، برای اینکه برنامه توسعه موفق باشد، مدیریت ارشد می باید نقش مهمی را در پشتیبانی از طراحی برنامه، هزینه ها و تعبیر نتایج آن بازی نماید.

ساختار کلی ارزشیابی موفق

از آنجا که استفاده از یک روش ارزشیابی برای استفاده در تمامی موارد ممکن به نظر نمی رسد، لازم است که ساختار مناسبی برای طراحی برنامه سنجش که مشتمل بر مجموعه ای از روشها باشد وجود داشته باشد. با وجود مدلهای بسیاری در این زمینه، یکی از شناخته شده ترین شکل های توسعه ارزشیابی موثر آموزش و توسعه مدیریت توسط دونالد کیرک پاتریک[۷] پیشنهاد گردیده است. این مدل نشان می دهد که در هنگام تحلیل اثربخشی برنامه آموزش و توسعه مدیریت چهار حوزه نیازمند سنجش می باشند که عبارتند از: واکنش احساسی(عاطفی)، میزان حصول به اهداف یادگیری، تغییرات رفتاری و تاثیرات ایجاد شده در سازمان.

واکنش عاطفی

منظور از واکنش عاطفی احساسات و تلقی[۸] کارآموز در پایان جلسه آموزشی است. این امر عامل مهمی است که یک کارآموز با روحیه مثبت که به دانش کار مجهز گردیده است، احتمالا آموزشهای فرا گرفته را در هنگام کار اعمال نماید. واکنشهای عاطفی همچنین شاخصی برای نگرش کلی کارآموز و انتظارات و انگیزه های وی به شمار می رود. واکنشهای انجام شده نسبت به آموزش علیرغم ذهنی بودنشان می توانند بازخورد مناسبی در خصوص سبک و محتوای آموزش ارایه نمایند. در نهایت، سنجش واکنشهای احساسی می تواند در جهت ترویج حمایت مدیریت ارشد برای اینگونه برنامه ها بکار رود.

یکی از رایج ترین فرمهای سنجش واکنش عاطفی در آموزش، پرسشنامه بعد از دوره است. این فرم معمولا شامل یک الی دو صفحه متن و یا سوالات تستی است. طبق نظر بیرد، شنیر و لیرد[۹] انجمن مدیریت پرسنل امریکا[۱۰] کوشش دارد تا نگرشهای کارآموزان را نسبت به محتوای آموزشی، فرایند(سبک ارایه)، تعریف اهداف دوره، کسب اهداف دوره، حجم کار، و ارزش کلی دوره سنجش نماید. تمرکز این نوع سنجش بطور مطلوب بر روی تعیین نگرش کارآموز بسوی مطالب ارایه شده و کسب بازخورد از دریافت کنندگان فرم در باره فرایند سمینار و سبک آن است.

انتقاداتی نسبت به پرسشنامه های ارایه شده پس از دوره وارد شده است که عمدتا در خصوص میزان دقت و انحراف موجود در آن است. اگرچه استفاده از طیف ۵ درجه ای امری عادی به نظر می رسد، ذهنیت افراد مختلف در مورد این درجات ممکن است با یکدیگر متفاوت باشد. بعلاوه، فرمها و انواع سوالات درج شده در پرسشنامه می تواند تا حد زیادی بر روی پاسخ ها تاثیرگذار باشد. مربیان و بخشهای منابع انسانی دارای تعصب درونی هستند که نباید در سیستم اغتشاش ایجاد کرد.

ایجاد تفاهم عینی درباره نقش آموزش کار مشکلی است. بهبودهایی در پرسشنامه های ارزیابی دوره های آموزشی ایجاد گردیده است که دقت این ابزارها را تقویت می نماید. در عین حال، خاطر نشان می گردد تلاش برای کمی کردن رفتار، اغلب انتزاعی بوده و نیاز به تفسیر کامل دارد.

اهداف یادگیری

دومین زمینه ای که سنجش اثربخشی در آن ضرورت دارد، اهداف یادگیری به دست آمده است. این موضوع معمولا ارزشیابی پایان دوره را شامل می شود که دانش به دست آمده در خلال اجرای برنامه آموزشی را سنجش می کند. منظور از کسب دانش در این مورد ارتقاء آگاهی بدست آمده درباره مفاهیم مدیریتی و مهارتهای عملی است که برای افزایش عملکرد مدیریت به کار می رود. واکنش عاطفی مثبت و افزایش سطح دانش ایجاد شده علامتهایی از آموزش موفق و در واقع یکی از الزامات توسعه مدیریت معنادار است.

انجام آزمون بعد از دوره آموزشی هنگام ارزشیابی اثربخشی آموزش ضروری است. بدون مقایسه شاخصها، سنجش دانش کسب شده در پایان یک دوره آموزشی نمی تواند بیانگر آنچه که از دوره بدست آمده است باشد. آزمونهای سنجشی که قبل و بعد از دوره های آموزشی در کارگاهها یا مجموعه های شبیه سازی شده ارایه می شوند، از جمله روشهای سنجش میزان دسترسی به اهداف یادگیری محسوب می شوند. در واقع چنین آزمونهایی از رایجترین تکنیکهای ارزشیابی دوره می باشند. اگر چه سنجش به وسیله آزمون نتایج عینی تر و دقیقتری را در بر دارد، لیکن سنجش از طریق کارگاههای کلاسی و برنامه های شبیه سازی، استرس کمتری به همراه داشته و محیط یادگیری مثبت تری را ایجاد می نماید. به هر حال در این گونه موقعیت ها نتایج می باید تفسیر گردیده و مقایسه بین اهداف یادگیری و آنچه که کسب شده صورت گیرد. برخلاف روش سنجش مستقیم از آنجا که در این روش خود مسئول تفسیر عملکرد خویش است، نتایج ممکن است از واقعیت انحراف داشته باشد.

برنامه های شبیه سازی و کارگاههای کلاسی فرایند سنجش را به دو طریق بهبود می بخشند. اول اینکه این روشها جو آرام تر و فضای خلاقانه تری را برای ارزیابی فراهم می نمایند. ثانیا در صورتی که این گونه روشها به درستی طراحی و اجرا شوند تا حد زیادی شبیه به محیط کاری کارآموز بوده و می توانند موضوعات مختلفی را در آموزش مدیریت به یکدیگر مرتبط سازند. کارگاه و بازیهای شبیه سازی علاوه بر سنجش یادگیری، آموزشهای ارایه شده در دوره آموزشی را نیز تقویت می نمایند. طبق نظر گوردون[۱۱]، برنامه های شبیه سازی مانند لوکینگ گلاس[۱۲]، صنعت خدمات مالی(FSI) [۱۳]، و بازی مدیریت استراتژیک[۱۴]، حدودا ده سال است که در بازار موجود می باشند. بعضی از این نرم افزارها بر روی کامپیوتر شخصی قابل نصب هستند و می توان از آنها حتی خارج از برنامه آموزشی سمینار استفاده کرد. به عنوان مثال شرکت تلفن و تلگراف آمریکا[۱۵]، از نرم افزار مدیریت استراتژیک(SMG) به عنوان یک ابزار یادگیری استفاده می کند. این شرکت برای آموزش پرسنل فروش خود در خصوص نحوه کسب و کارهای مختلف و مشکلات احتمالی در کار استفاده می کند. برنامه های شبیه سازی و کارگاههای کلاسی می توانند ضمن کمک به آموزش در جهت یادگیری مثبت، در جهت سنجش میزان یادگیری ایجاد شده مورد استفاده قرار گیرند.

تغییرات رفتاری

حوزه سوم در سنجش اثربخشی آموزش بر تغییرات رفتاری ایجاد شده در کارآموزان تاکید دارد. برخلاف سنجش واکنش احساسی و کسب دانش که می توان آن را در پایان دوره آموزشی سنجید، سنجش تغییرات رفتاری ایجاد شده بر اثر دوره های آموزشی امری است که به زمان بیشتری احتیاج دارد. چرا که کارآموز می باید فرصت کافی برای بکارگیری دانش فراگرفته شده را در کار خود داشته باشد. پژوهش ها، مصاحبه ها و مشاهده عملکرد، از جمله ابزارهای بکار گرفته شده برای سنجش تغییرات رفتاری می باشند.

از آنجا که چنین تغییراتی در عملکرد افراد کاملا مشهود و قابل تشخیص می باشد، سنجش تغییرات رفتاری در آموزش و توسعه، اغلب با عملکرد فرد در داخل سازمان مرتبط می شود. در هنگام استفاده از عنوان “ارزیابی عملکرد” در زمینه سنجش تغییرات رفتاری باید نهایت احتیاط را نمود. هدف از سنجش تغییرات رفتاری، ملاحظه تغییرات رفتاری بوجود آمده بر اثر آموزش است. روشهای ارزیابی، در صورتی که بصورت عام مورد استفاده قرار گیرند، نمی توانند تغییرات رفتاری بوجود آمده بر اثر آموزش را از تغییرات رفتاری بوجود آمده بر اثر عوامل غیر آموزشی تفکیک نمایند.

یکی از راههای اصلی برای سنجش تغییرات رفتاری، تعیین اهداف عملکردی اولیه است. تحقق چنین اهدافی می تواند شاخصی برای سنجش میزان انتقال از واکنش احساسی و دانش کسب شده به تغییر رفتاری باشد. مدیریت بر مبنای هدف(MBO) یکی از بهترین تکنیک های سنجش تغییرات رفتاری به شمار می رود. مدیریت بر مبنای هدف، اهداف فردی و حرفه ای را به گونه ای که به بهترین وجه تجربیات آموزشی را به کار می گیرند، با یکدیگر مرتبط می سازد. جورج ال موریسی[۱۶] از موسسه ام او آر[۱۷] از شرکت کنندگان در سمینارهای آموزشی خود خواسته است تا اهداف شخصی و حرفه ای خود را بصورت مکتوب در پایان سمینار به وی ارایه نمایند. این اهداف در عرض یک هفته بررسی و به کارآموزان عودت می گردد. پس از حدود دو ماه گزارش های پیگیری برای کارآموزان ارسال می گردد. گواهی شرکت در دوره فقط برای کارآموزانی صادر می گردد که بازخورد کلی از دوره را ارسال نموده باشند. برآورده ساختن اهداف آموزشی و توسعه ای مدیریت یکی از رایج ترین روشهای سنجش تغییرات رفتاری به شمار می رود.

ارزیابی عملکرد نیز هنگامی که به عنوان ابزاری برای سنجش تغییر رفتاری بکار می رود، دستخوش همانگونه انحرافاتی می شود که در سنجش واکنشهای احساسی بوسیله پرسشنامه با آن مواجه بودیم. در مورد ارزشیابی و مشاهده عملکرد انحرافات ایجاد شده بیشتر از ناحیه سرپرست فرد کارآموز ناشی می شود. تاکید موجود بر ادبیات ارزیابی عملکرد این نکته را تایید می نماید. روشهای کاهش دهنده انحرافات ناشی از خطای ارزیاب شامل استفاده از نظرات زیردستان، نظرات همتایان(هم ردیفان) و همچنین نظرات خود فرد کار آموز می شود. نظرات زیردستان فرد کارآموز از این لحاظ اهمیت دارد که زیرست فرد دریافت کننده مستقیم تغییرات رفتاری و بهبود عملکرد فرد بر اثر آموزش است. نظرات همتایان نیز تحلیل نزدیکتری از تغییرات رفتاری ایجاد شده در فرد ارایه می دهد چونکه این افراد در کنار کارآموز در حال کار کردن هستند. بالاخره، بازخورد خود فرد کارآموز به روش سری های زمانی می تواند روشی مقرون به صرفه در سنجش تغییر رفتار فردی حاصل آموزش باشد. با استفاده از این سه شکل بازخورد، انحرافات درونی ناشی از قضاوتهای شخص ارزیابی کننده بخصوص هنگامی که تعداد افراد ارزیابی کننده زیاد باشد، تا حد چشمگیری کاهش می یابد.

تاثیر بر روی سازمان

چهارمین و آخرین حوزه مدیریت در مدل کیرک پاتریک[۱۸] حول محور تاثیر آموزش و توسعه بر روی سازمانها می باشد. این سنجش بر روی این اصل تاکید می کند که آموزش و توسعه باید بیانگر فرهنگ و سمت و سوی سازمان باشد. حتی آموزش موفق در حوزه تغییر رفتار هنگامی که تغییر رفتار با اهداف سازمانی سازگار نباشند می تواند مخرب و زیانبخش باشد. سنجش تاثیر آموزش بر روی سازمان می تواند در زمینه ایجاد بهبود یا عدم بهبود در میزان سودآور بودن اداره مورد نظر و یا سطح بهره وری یا ایمنی اداره مطرح گردد. راه دیگر سنجش تاثیر آموزش و توسعه مدیریت میزان توجه به دیدگاههای مدیریت ارشد می باشد.

بخاطر پیچیدگی ساختار سازمان و تعامل آن با محیط، سنجش تاثیرات آموزش بر روی سازمان اساسا کار مشکلی است. به عنوان مثال، سنجش دقیق آموزش و توسعه مدیران میانی از طریق میزان مشارکت اداره در سودآوری نمی تواند به تنهایی بیانگر تاثیر محیط در زمینه فروش باشد. جداسازی سنجش های قبل و بعد از آموزش و توسعه نمی تواند تغییر معین یا متمایزی را در میزان سوددهی یا بهره وری ایجاد نماید. سنجش رویه ها به همراه دخالت سایر عوامل محیطی، می تواند روش عملی برای سنجش تاثیر آموزش و توسعه مدیریت بر روی سازمانها باشد.

مدل کیرک پاتریک، چهار مبنای خوشایند در سنجش اثربخشی آموزش و توسعه مدیریت ارایه می نماید. واکنش عاطفی(احساسی) و دانش کسب شده، اجزاء اصلی در سنجش اثربخشی آموزش می باشند. این عوامل شاخص های کوتاه مدتی برای نشان دادن سمت و سوی توسعه مدیریت هستند. تغییرات رفتاری ایجاد شده و تاثیرات آموزش بر روی سازمان، دو شاخص اصلی برای نشان دادن میزان توسعه مدیریت هستند. این عوامل بطور کلی بیانگر یک نظام ارزشیابی بلند مدت هستند که میزان پیشرفت به سوی برآورده ساختن اهداف شخصی، مدیریتی و سازمانی را نشان می دهند. همانگونه که در اینجا ارایه شده است، مدل کیرک پاتریک مشخصا توازن لازم میان چهار روش ارزشیابی را بیان نمی کند. بدون استفاده از ابزارهای ارزشیابی کوتاه مدت، آموزش مدیریت این ریسک را در بر دارد که فقط دانش جزئی را تولید نماید که در راستای اهداف سازمانی نبوده و قابل انتقال نیز نمی باشد. بدون تاکید کافی صحیح بر روی ارزشیابی تغییرات رفتاری و تاثیر بر روی سازمان، آموزش ممکن است موفق باشد، لیکن فایده آن برای سازمان و در نتیجه فرد کوچک بوده و یا حتی گاهی مضر خواهد بود. البته اخبار خوبی نیز در این زمینه وجود دارد. طبق نظر کلمنت[۱۹] اگرچه در طول سالهای ۱۹۷۰ الی ۱۹۸۰ تاکید کافی بر روی دو عامل تغییرات رفتاری و همچنین تاثیر بر روی سازمان در آموزش وجود نداشت، ادبیات موجود نشان می دهد که در سالهای ۱۹۸۱ الی ۱۹۸۸ دو سوم مطالعات مدیریت منتشر شده، تحقیقات میدانی بودند. ثانیا، مطالعات وی آشکار ساخت که روشهای خلاقانه به سوی ارزشیابی آموزش مدیریت رو به رشد و افزایش است. نهایتا، کلمنت از مطالعات خود نتیجه گیری می کند که ارزشیابان آموزش، علاقه مند به بررسی تاثیر فرهنگ سازمانی می باشند. این تحقیق نمونه ای از گرایش به سمت مدل چهار بخشی کیرک پاتریک در خصوص آموزش و توسعه مدیریت به شکل متوازن می باشد.

نتیجه گیری

پس بنابراین چگونه می توان اثربخشی آموزش و توسعه مدیریت را بطور خاص سنجید؟

نبایدها

پیچیدگی و منحصر به فرد بودن سنجش آموزش و توسعه مدیریت نشان می دهد که سنجش اثربخشی را نمی توان با بکار بردن یک فرمول عام انجام داد. پاتان[۲۰] در این زمینه می گوید:

ماهیت آموزش مدیریت شبیه علوم رفتاری و اجتماعی «نرم» است که مدیریت بر آنها اتکا دارد. این «علوم» رفتار انسانی و فرایندهای ذهنی مملو از «وقایع» ذهنی، «قوانین»، و تعبیراتی هستند که شاید در بهترین حالت خود شدنی و ممکن نباشند. ممکن نیست که بتوان بطور واضح تعیین نمود که یک واقعیت ذهنی یا رویداد به کجا ختم می شود و رویداد بعدی چگونه شروع می گردد و یا حتی چگونه آمیخته روان احساسات شدید و گرم با منطق سرد دلیل تراشی در ارزیابی میزان قانع کنندگی یک بحث، بطور هم سنگ با یکدیگر مقایسه می شوند. بخاطر تاثیر اراده آزاد بر روی انتخاب انسانها، نه یک دانشمند علوم اجتماعی و نه یک مربی علم مدیریت می توانند رفتار یک فرد را با قاطعیت کامل پیش بینی نمایند.

بایدها

با در نظر داشتن این موضوع، طراح یک برنامه سنجش می باید ملاحظات مختلفی را هنگام خلق چنین برنامه ای در ذهن داشته باشد.

ارزیابی کامل و دقیق نیازها برای مقایسه با چارچوب مرجع ضروری است. وجود برنامه ای که از سنجش واکنش احساسی، دانش فراگرفته شده، تغییر رفتاری، و تاثیرسازمانی بطور متوازن استفاده می کند، برای انجام ارزیابی دقیق آموزش و توسعه مدیریت امری حیاتی است.
منافذی برای دریافت بازخورد در سیستم به منظور ایجاد دید جامع و اطلاعات به روز در خصوص اثر بخشی و پایش جریان آموزش و توسعه مدیریت طراحی گردد.
بوسیله تکنیک هایی مانند شبیه سازی، خلاقیت را به عنوان تلاشی برای ارتقای فرایند یادگیری معرفی کنید.
بالاخره، موفق باشید. سنجش اثربخشی آموزش و توسعه مدیریت کار راحت و بی درد سری نیست، چرا که ارزشیابی عملیاتی است که در آن مدیر، مربی، سازمان، و محیط نقش دارند. تمام این چهار مورد، مقولات پیچیده ای هستند.

[۱] – Fulmer and Eurich

[۲] – Brown and Somerville

[۳] – Bennett

[۴] – Bennett and Langford

[۵] – Thames Valley Regional Management Centre

[۶] – Dakin and Gough and Margerison

[۷] – Donald Kirkpatrick

[۸] – attitudes

[۹] – Baird, Schneier and Laird

[۱۰] – American Society of Personnel Administration

[۱۱] – Gordon

[۱۲] – Looking Glass