سنجش

هدف پروژه Data Wise، حمایت از مربیان در استفاده از کشف داده ها به طور مشارکتی به منظور بهبود مستمر آموزش و یادگیری برای همه دانش آموزان است. 

چشم انداز این پروژه این است که معلمان در سراسر جهان بخشی از یک جامعه یادگیری هستند و ضامن این هستند که تمام دانش آموزان مهارت ها، دانش و اختیارات خود را توسعه  دهند به گونه ای که آن ها را قادر سازد تا زندگی لذت بخشی داشته باشند.

 از زمانی که دانشکده علوم تربیتی دانشگاه هاروارد در سال 2006 پروژه Data Wise را تاسیس کرد، معلمان، مدرسان، کارکنان اداره مرکزی، دانشکده های دانشگاه و دانشجویان تحصیلات تکمیلی با یکدیگر هماهنگ شده اند تا آزمایش های میدانی انجام دهند که به تیم های آموزشی امکان می دهد تا با Data Wise Improvement Process و ACE Habits of Mind. در ارتباط باشند.

کتاب های منتشر شده مربوط به این پروژه:

 Data Wise: A Step-by-Step Guide to Using Assessment Results to Improve Teaching and Learning (Harvard Education Press, 2013)

Data Wise in Action: Stories of Schools Using Data to Improve Teaching and Learning (Harvard Education Press, 2007) 

Scaling Up Data Wise in Prince George's County (Harvard Education Press, 2017) 

دوره های آموزشی مربوط به این پروژه:

1.       Introduction to Data Wise MOOC

2.       Data Wise Leadership Institute

3.       Data Wise in Action Program

4.       Data Wise Coach Certificate Program

5.       Data Wise Coach Network

منبع:

https://datawise.gse.harvard.edu/

به زبان ساده مرور نظام مند نوعی بررسی پیشینه است که با استفاده از روش های دقیق، نظام ­مند و شفاف، سوگیری در نتایج را به حداقل می ­رسانند. 

شفافیت به این معنی است که تصمیمات به  طور واضحی مستند شده ­اند. 

سوگیری عبارت است از تحریف نظام­ مند اثر برآورد شده که می­تواند منتج از  تصمیمات مشکل­ زا باشد و تقریبا در هر نقطه فرایند بررسی اتفاق می­ افتد.

مرورهای نظام ­مند بهترین شواهد را برای تصمیم گیرنده فراهم می­ کند. 

این شواهد، در ترکیب با تخصص بالینی و ارزش­ها، ویژگی­ ها و شرایط مراجع، مواد لازم برای تصمیم گیری های خوب هستند (Eden، 2008).

ویژگی های مرور نظام­ مند

1. دارای اهداف روشن با معیارهای ورود به واضح (شفافیت)
2. از روش های جستجوی نظام مند استفاده می کنند که خطر نمونه گیری انتخابی از مطالعات را کاهش می دهد (کاهش خطر سوگیری)
3. از ارزیابی منسجم از اطلاعات موجود استفاده می کنند (کاهش خطر سوگیری)
4.  به خوانندگان اطلاعات بیشتری در مورد تصمیماتی که در طول مسیر گرفته شده، می­دهد و به آن­ها اجازه می دهد تا دسترسی مستقیم تری به کیفیت مرور داشته باشند (افزایش شفافیت)
5. قادر به ارائه دقیق تر برآورد اثر هستند، به ویژه اگر شامل فراتحلیل باشند (افزایش دقت)
6. با انتشار داده های بیشتر،  به روز می شوند (زیرا روش ها شفاف هستند)

گام های انجام مرور نظام مند

منبع:

O’connor, E., Whitlock, E., & Spring, B. (). Systematic Review Module, retrived at: https://ebbp.org/training/systematicreview

27-22 سپتامبر 2019، باکو، آذربایجان

موضوع اصلی کنفرانس، سنجش و تصمیم گیری: راه حل­های فردی و موسسه است. 

Assessment and Decision-Making: Individual and Institutional solutions

موضوعاتی که می توان در آن برای کنفرانس مقاله تدوین کرد عبارتند از:

• Use of assessment in decision-making
• Reliability and validity of assessments in decision-making
• Assessment techniques for better decision-making practices
• Assessment as an institutional reforming tool in education and civil service
• Opportunities and challenges in admission testing and recruitment policies of public and private sector
• Creating value-added measures for better predictions
• The future of assessment instruments in university admissions and civil service selection
• Assessment as an innovation tool in the education system and good governance
• Assessment data and decision making responsibility
• E-assessments and technology-advanced platforms
• Operational/operations research themes in educational and workforce assessments

تاریخ های مهم کنفرانس:

15 دسامبر 2018 : شروع ثبت نام

25 آوریل 2019 : فراخوان چکیده مقالات

1 می 2019: پذیرش چکیده مقالات

14 جولای 2019: ثبت نام

25 اگوست 2019: پذیرش مقالات

کنفرانس 6 روزه است از تاریخ 22 تا 27 سپتامبر 2019.

منبع:

http://iaea2019.org/

26-24 ژوئن 2019- کپنهاگ دانمارک  

هشتمین کنفرانس تحقیقات بین المللی IEA (IRC-2019) کارگاه هایی در زمینه تحلیل داده­های ثانویه در تاریخ های 2 تا 4 تیر ماه 1398 برگزار می کند که یکی از آن­ها آموزش بسته EdSurvey در محیط R است. این بسته توسط NCES تدوین شده است.

موضوعات این کارگاه عبارتند از:

• R basics, including getting to know the R environment and R language, and package installation;
• Data processing, including downloading publicly available data and reading data in R;
• Data manipulation, including subsetting and merging data, and renaming and recoding variables;
• Cross-tabulation, including unweighted and weighted totals, conditional means, and the percentage of respondents in a category (conditional on an ancillary categorical variable or on the interactions of an arbitrary number of categorical variables), and estimation of scale score means based on plausible values;
• Calculating the percentiles of a numeric variable or plausible values;
• Analysis of benchmarks for international assessment data;
• Correlations, including Pearson, Spearman, polyserial, polychoric, and correlation between plausible values, with or without weights applied;
• Linear regression, with or without plausible values as the dependent variable;
• Logistic regression that allows either a discrete variable or dichotomized plausible values as the dependent variable; and
• Gap analysis, comparing the average, percentile, achievement level, or percentage of survey responses between two groups that potentially share members.

منبع:

https://www.iea.nl/pre-conference-workshops#Workshop%205

28-2 ژئن 2019- کپنهاگ دانمارک  

هشتمین کنفرانس تحقیقات بین المللی IEA (IRC-2019) در تاریخ 5 تا 7 تیر ماه 1398 در The Danish school of education در دانشگاه Aarhus در کپنهاگ دانمارک برگزار می­شود. کارگاه هایی در زمینه تحلیل داده­ های ثانویه نیز در تاریخ های 2 تا 4 تیر ماه 1398 نیز برگزار می شود. 

زمان ثبت نام در کنفرانس از 3 دسامبر 2018 تا 24 می 2019 (معادل 12 آذر 1397 تا  3 خرداد 1398) است.

موضوعات مورد بحث در این کنفرانس عبارتند از:

• Trends in International Mathematics and Science Study (TIMSS, TIMSS Advanced);
• Progress in International Reading Literacy Study (PIRLS);
• International Civic and Citizenship Education Study (ICCS, CIVED);
• International Computer and Information Literacy Study (ICILS, SITES);
• Other IEA studies, such as the Teacher Education and Development Study in Mathematics (TEDS-M) (see Other IEA Studies for a full list);
• Policy implications of large-scale educational research;
• Research informing learning and teaching practice in international education;
• Methodology and analysis in large-scale assessment.

کارگاه های که در این کنفرانس برگزار خواهند شد عبارتند از:

1.      Using large-scale assessment data to inform policy and practice

2.      Multilevel modeling with IEA data

3.      Assessment design, item response theory, and proficiency estimation

4.      Response styles in large-scale assessment

5.      Analyzing data from international large-scale assessments using R

سایت این کنفرانس:

https://www.iea.nl/8th-international-research-conference

برای انجام تحلیل عاملی اکتشافی با هر نوع داده، روش همبستگی و روش چرخش می توان از تابع fa  در بسته psych استفاده کرد.

توضیح تابع fa

Exploratory Factor analysis using MinRes (minimum residual) as well as EFA by Principal Axis, Weighted Least Squares or Maximum Likelihood

تابع fa

fa(r, nfactors=1, n.obs = NA,n.iter=1, rotate="oblimin", scores="regression", residuals=FALSE, SMC=TRUE, covar=FALSE, missing=FALSE, impute="median", min.err = 0.001, max.iter = 50,symmetric=TRUE, warnings=TRUE, fm="minres", alpha=.1,p=.05,oblique.scores=FALSE,np.obs=NULL,use="pairwise", cor="cor", correct=.5,weight=NULL)

در این تابع به جای r ظرفی که داده در آن داده ها قرار دارد نوشته می شود.

در این تابع تعداد عامل ها (nfactors) را می توان مشخص کرد.

روش های چرخش (rotate) در این تابع شامل دو دسته متعامد و متمایل است که عبارتند از:

الف) orthogonal rotations

 "varimax",

 "quartimax",

"bentlerT",

"equamax",

 "varimin",

 "geominT"

"bifactor"

ب) oblique transformations of the solution

,

"promax",

"oblimin",

 "simplimax",

"bentlerQ,

"geominQ"

 "biquartimin"

 "cluster"

روش های عامل یابی نیز عبارتند از:  

 "minres"

 "pa"

 "ml"

"minchi"

"minrank"

 "old.min"

"alpha"

روش های همبستگی عبارتند از:

 "cor" is Pearson",

 "cov" is covariance,

 "mixed" uses mixed cor for a mixture of tetrachorics, polychorics, Pearsons, biserials, and polyserials.

دستیار- سنجش مبتنی بر شایستگی مسئول ازشیابی مستمر یک دوره کارشناسی مبتنی بر شایستگی است. این شغل شامل حمایت از توسعه / تجدید نظر در برنامه درسی مبتنی بر شایستگی، سنجش برنامه درسی و ارزشیابی برنامه و بهبود یادگیری دانش آموزان، برنامه درسی و اثربخشی برنامه است.

وظایف

1.      پشتیبانی از توسعه و پیاده سازی مدرک کارشناسی مبتنی بر شایستگی

2.       تحلیل پایایی و روایی سازه قبل از آزمون و اثربخشی برنامه درسی

3.      کمک به استاد در توسعه و به روز رسانی پیش آزمون های معتبر و قابل اعتماد

4.      تطبیق بین برنامه درسی و پیش / پس آزمون­ها را تضمین می کند

5.      کمک به دانشکده در تدوین روبریک­ های تحلیلی برای سنجش ارزشیابی دانش آموزان

6.      تجزیه و تحلیل آماری را برای تعیین اعتبار و قابلیت اطمینان پیش و پس آزمون انجام می دهد

7.      کمک به دانشکده در شناسایی یادگیری در سطح برنامه و نتایج اثربخشی، جمع آوری داده ها و ارزیابی برنامه های دقیق برای اطمینان از اثربخشی برنامه درسی

8.      گزارش های مربوط به سنجش و بهبود برنامه ها را تدوین می کند

9.      توسعه و ارتقاء حرفه ای استادان مرتبط با توسعه، مدیریت و اجرای برنامه های آموزشی مبتنی بر شایستگی و تکنولوژی مربوطه

10.  مدیریت سنجش برنامه و هماهنگی تلاش ها در مشارکت با اعضای هیات علمی، کارکنان و همکاران کالج برای بهبود یادگیری دانش آموزان و کارآیی برنامه

11.  توسعه و ارائه پیشرفت حرفه ای برای دانش پژوهان مرتبط با توسعه، مدیریت و اجرای سنجش موثر و تکنولوژی مربوطه

12.  تدوین گزارش های مربوط به سنجش و بهبود برنامه ها

برای کسب اطلاعات بیشتر به لینک زیر مراجعه شود:

https://uhs.taleo.net/careersection/ex3_uhd/jobdetail.ftl?job=STA002654&tz=GMT-05:00

بسته نرم افزاری RUMM یک ابزار قدرتمند و انعطاف پذیر برای انجام تجزیه و تحلیل مورد Rasch فراهم می کند. RUMM یک محصول واقعی و کامل ویندوز است و مشابه ارائه ویندوز نیست. در هر تحلیل، RUMM جداول، نمایش ها، پلات ها و گرافیک ها را برای تفسیر سوالات در ارتباط با متغیر در حال ساخت ارائه می دهد. تمام نمایش ها در RUMM می تواند در به فایل هایی ذخیره شوند که قابل وارد کردن به Word (برای ارتقاء گزارش ها) و صفحه گسترده (برای تحلیل بیشتر و ترسیم پلات) ذخیره می شود.

RUMM از تحلیل های مختلفی پشتیبانی می کند:

تجزیه و تحلیل پویا و تعاملی داده های سوال-پاسخ با استفاده از طبقه مدل های Rasch برای اندازه گیری

برآورد اندازه Rasch با استفاده از الگوریتم شرطی جفتی، که برآوردهای آماری سازگار از پارامترها را به دست می دهد.

سوالات چند گزینه ای - از جمله تکنیک تحلیل پیچیده گزینه های انحرافی

سوالات چند ارزشی با رسته های برابر یا نابرابر

MCQ ترکیبی و فرمت چند ارزشی در یک تنظیم نمره دهی - با تحلیل تمام موارد با هم می توانید متغیر خود را بسازید و توانایی های فرد را در یک عملیات برآورد کنید.

پیوند دادن و تبدیل نمرات خام از آزمون های مختلف یا خرده آزمون ها به مقیاس یکسان

RUMM ویژگی های کاربر پسند را اجرا می کند:

نمایش فوری گرافیکی

ویرایش پاسخ های نامعتبر، خطاهای ورود داده

دوباره نمره دهی پاسخ های هر رسته پس از بررسی منحنی های ویژگی رسته

مجموعه داده های چندتایی می تواند منتقل شود

ایجاد فایل دسته ای برای کمک به مشخصات تکراری سوالات (مانند کلید های نمره ذهی MCQ برای آزمون های بلند)

لنگر سازی پارامترهای سوال از تحلیل قبلی به منظور برآورد توانایی های افراد در چارچوب پیشین مرجع

هیات آموزش و پرورش مطالعات در ایالت استرالیا استرالیای غربی (Education Boards of Studies in the Australian states of Western Australian)، کوئینزلند، نیو ساوت و و ویکتوریا از RUMM برای آزمون هایی استفاده می کنند که حاوی مخلوطی از سوالات چند گزینه ای و سوالات پاسخ گسترده است.

RUMM نیز در نسخه دانشجویی مخصوصا برای دوره های تحلیل سوال مورد استفاده قرار می گیرد.

RUMM (Andrich, Sheridan & Luo, 1997)

برای خرید این نرم افزار از طریق لینک زیر می توان اقدام کرد:

http://www.rummlab.com.au/

یکی از شاخص های مهمی که لازم است محققین علاوه بر معناداری آماری گزارش کنند شاخص اندازه اثر است. در برخی از نرم افزارها از جمله Stata محاسبه اندازه اثر به 4 روش ممکن است ولی برخی از نرم افزارها امکان محاسبه این شاخص را برای همه روش های آماری ندارند.

 همین امر باعث شده است تا در برخی از سایت ها مانند Psycometrica مقدار آن با استفاده از ماشین حساب های آن لاین طراحی شده برای این شاخص محاسبه شود.

برای محاسبه اندازه اثر در این سایت به لینک زیر مراجعه کنید:

https://www.psychometrica.de/effect_size.html

15 موردی که توسط این ماشین حساب آن لاین محاسبه می شوند عبارتند از:

1.    Comparison of groups with equal size (Cohen's d, Glass Δ)

2.    Comparison of groups with different sample size(Cohen's d, Hedges' g)

3.    Effect size for pre-post-control studies with the correction of pretest differences

4.    Effect size estimates in repeated measures designs

5.    Calculation of d from the test statistics of dependent and independent t-tests

6.    Computation of d from the F-value of Analyses of Variance (ANOVA)

7.    Calculation of effect sizes from ANOVAs with multiple groups, based on group means

8.    Increase of success through intervention: The Binomial Effect Size Display (BESD) and Number Needed to Treat (NNT)

9.    Risk Ratio, Odds Ratio and Risk Difference

10.  Effect size for the difference between two correlations

11.  Effect size calculator for non-parametric Tests: Mann-Whitney-U, Wilcoxon-W and Kruskal-Wallis-H

12.  Computation of the pooled standard deviation

13.  Transformation of the effect sizes r, d, f, Odds Ratioand eta square

14.  Computation of the effect sizes d, r and η² from χ²- and z test statistics

15.  Table for interpreting the magnitude of d, r and eta square according to Hattie (2009) and Cohen (1988)