Rabu, 09 November 2011

ITEM AND TES ANALYSIS MANUAL (ITEMAN)


ITEM AND TES ANALYSIS MANUAL (ITEMAN)
Oleh:
Bambang Purnomo

A.Pendahuluan
Iteman merupakan perangkat untuk menganalisis butir soal dan tes. Dikembangkan oleh Assessment Systems Corporation mulai 1982, 1984, 1986, 1988, 1993; mulai dari versi 2.00 – 3.50. Alamatnya Assessment Systems Corporation, 2233 University Avenue, Suite 400, St Paul, Minesota 55114, United States of America. Iteman dipergunakan antara lain untuk menganalisis data file (format ASCII) (Notepad) melalui manual entri data atau dari mesin scanner, menskor dan menganalisis data soal bentuk PG dan skala likert untuk 30.000 siswa dan 250 butir soal,menganalisis tes yang teridiri dari 10 skala (subtes) dan membe rikan informasi tentang validitas butir dan relialilitas tes.

B. Pembahasan
Program iteman didasarkan pada teori tes klasik. Kelemahan utama dari program ini adalah sangat dipengaruhi oleh kemampuan responden. Artinya jika soal diujikan pada anak berkemampuan tinggi dengan anak berkemampuan rendah maka akan terjadi perbedaan hasil analisis. Untuk mengantisipasi tersebut maka biasanya analisis soal dengan menggunakan iteman dilakukan secara sampling, dengan melibatkan kurang lebih 500 responden. Semakin besar sampling dan semakin baik teknik samplingnya maka semakin baik kualitas hasil analisis. Adapun hasil  analisis dengan iteman meliputi: tingkat kesukaran, daya pembeda soal, statistic sebaran jawaban,  reliabilitas tes, kesalahan pengukuran dan distribusi skor setiap peserta tes.
Adapun langkah-langkahnya antara lain adalah sebagai berikut: membuat file data, menjalankan program ITEMAN dan melakukan interpretasi hasil
1. Membuat File Data
            Adapun cara membuat file data digunakan contoh yang diberikan oleh Drs. Safari, M.A. dari Pusat Penilaian Depdiknas sebagai berikut:
a. Baris Pertama:
• Kolom 1-3 : jumlah butir soal (contoh: 020)
• 4 : Spasi
• 5 : jawaban kosong (omit), ditulis 0
• 6 : Spasi
• 7 : soal yang belum dikerjakan, ditulis n
• 8 : spasi
• 9-10 : jumlah identitas data siswa (cntoh: 10)
• Tambahan keterangan:
. Kolom 1-3, Untuk menuliskan jumlah soal: Kolom 1 ratusan, kolom 2
puluhan, kolom 3 satuan
. Kolom 5 : butir soal yang tidak dijawab
. Kolom 7 : butir soal yang belum sempat dikerjakan
 Kolom 9-10: panjang karakter untuk identitas siswa.
Ø
b. Baris kedua : kunci jawaban
c. Baris ketiga :jumlah jawaban
d. Baris Keempat : ‘Y’ butir soal yang dianalisis, ‘N’ butir saol yang
tdk dianalisis
e. Baris kelima dst :berisi jawaban siswa

2. Menjalankan Program Iteman
2.1. Mengetik data di Notepad (Start-Programs-Accessories-Notepad)
 

 50 0 N 21
CADBDCBCCDABAACABCDABCDBDCDABDABACCDBCABABDBCBABCD Kunci jawaban
44444444444444444444444444444444444444444444444444 Pilihan jawaban
YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY Kode analisis
TUTYK INDRAWATI      CADBDCBCCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD
RINI SULISTIYATIN    CADBDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD
NANI KUSMIYATI       CADCDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDAACD
EVI MEILANI          CADADCBDDDABAACABCDBBCDBACBABAAAAC0DBCABABDBCDABCD
M. AGUNG PRIYANTO    CBDCDCCDCDABBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD
ABEN DAMARUDIN       CBDCDCCCCDCBBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD
KUSNAENI             CADCDCCDBDACBACABCDBBCDBDCBDBDACACADBCABABDBCDAACD
AGUS ARYADI          CADBCCBDCDAABACBACAABCDBCCBBCAAABBDBBCABABDBCDAACD
SULASTRI IRIANI      CADBBCBCBDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD
RISKA WIDIANINGSIH   CADB0BBCCDABBACDCDDABCDBCCBBBDBAACCDBCABABDBCDAACD
DIAN RACHMAWATI      CADBBCBDBDABBACABDDABCDBDCDABDBBACCDBCABABDBCDAACD
KAMAL PURNAMA        CADBBCBDBDABBACABADBBCDBDCBABDBBACCDBCABABDBADAABC
RADITYA WICAKSONO    CADBABBDBDABAACABBDABCDBDCBABDBBACCDBAABABDBCDAACD
TIWI IRJANITA        CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD
IKA SUKMAWATI        CADBBCBCCDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD
SITI SHOLICHAH       CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD
SITI MASYITOH A.S.   CADC0CBDCDABBACABBDBBCDBACBABDCBACCDBCACABDBCDAACD
NUNIK HERI WAHYUNI   CBDABBCDADABBBCABCDBBCDBDCBABDBDACCDBCABABDBCDAACD
SITI RONIAH          CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABDD
BAYU KURNIAWAN       CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABCD
DIAH RESMISARI       CADBBCBDCDABBACABDDABCDBDCDABDBCACCDBCADABDBCDAACD
HENI HARYANI         CADBBCBCCDABBACABDDABCDBDCDABDBCACCDBCABABDBCDAACD
RINA WAHYU WIDYAWATI CACADCBDCDABBACABCDBBCDBCCBBCAAABBDBBCABABDBCDA0CD
WACHYUDIN            CADDAACDDDACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDADCD
ANDRIE SETIAWAN      CADBBCBDCDABBACABDDABDDBDCDBADBCACCDBCABABDBCDAACD
AHMAD SYAFI'I        CADBDCBDADABAACACCDBBCDB0CBDBDAAACCDBCABABDBCDABCD
SUTEJO               CADBBCBDCDABBACABDDABDDBDBDBADBCACCDBCABABDBCDAACD
HENI AFRIANI         CADCDCCCADABBACABCDABCDBACBBBDCBACCDBCAAAACBCDCACD
SRI SUHESTI NINGSIH  CADCDDCDADABBACABCDABCDBACBABDCBACCBBCABAACBCDABCD
HARTONO ISWANTO      CADBDCBDCDABBACABCDBBCDBDCBDBDADACCDBCABABDBCDABCD

2.2. Data di atas disimpan pada file: Tes1.txt
2.3. Menggunakan program Iteman dengan mengklik icon Iteman.
 

Enter the name of the input fele: Tes1.txt 
Enter the name of the output file: hsltes1.txt 
Do you want the scores written to a file? (Y/N)
Enter the name of the score file: scrtes1.txt
                **ITEMAN ANALYSIS IS COMPLETE**
PRAKTEK ANALISIS BUTIR SOAL
DENGAN PROGRAM BIGSTEPS
Oleh: Drs. Safari, M.A.
                                           

1. Mengetik data di Notepad (Start-Programs-Accessories-Notepad)
 

TUTYK INDRAWATI      CADBDCBCCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD
RINI SULISTIYATIN    CADBDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD
NANI KUSMIYATI       CADCDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDAACD
EVI MEILANI          CADADCBDDDABAACABCDBBCDBACBABAAAAC0DBCABABDBCDABCD
M. AGUNG PRIYANTO    CBDCDCCDCDABBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD
ABEN DAMARUDIN       CBDCDCCCCDCBBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD
KUSNAENI             CADCDCCDBDACBACABCDBBCDBDCBDBDACACADBCABABDBCDAACD
AGUS ARYADI          CADBCCBDCDAABACBACAABCDBCCBBCAAABBDBBCABABDBCDAACD
SULASTRI IRIANI      CADBBCBCBDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD
RISKA WIDIANINGSIH   CADB0BBCCDABBACDCDDABCDBCCBBBDBAACCDBCABABDBCDAACD
DIAN RACHMAWATI      CADBBCBDBDABBACABDDABCDBDCDABDBBACCDBCABABDBCDAACD
KAMAL PURNAMA        CADBBCBDBDABBACABADBBCDBDCBABDBBACCDBCABABDBADAABC
RADITYA WICAKSONO    CADBABBDBDABAACABBDABCDBDCBABDBBACCDBAABABDBCDAACD
TIWI IRJANITA        CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD
IKA SUKMAWATI        CADBBCBCCDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD
SITI SHOLICHAH       CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD
SITI MASYITOH A.S.   CADC0CBDCDABBACABBDBBCDBACBABDCBACCDBCACABDBCDAACD
NUNIK HERI WAHYUNI   CBDABBCDADABBBCABCDBBCDBDCBABDBDACCDBCABABDBCDAACD
SITI RONIAH          CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABDD
BAYU KURNIAWAN       CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABCD
DIAH RESMISARI       CADBBCBDCDABBACABDDABCDBDCDABDBCACCDBCADABDBCDAACD
HENI HARYANI         CADBBCBCCDABBACABDDABCDBDCDABDBCACCDBCABABDBCDAACD
RINA WAHYU WIDYAWATI CACADCBDCDABBACABCDBBCDBCCBBCAAABBDBBCABABDBCDA0CD
WACHYUDIN            CADDAACDDDACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDADCD
ANDRIE SETIAWAN      CADBBCBDCDABBACABDDABDDBDCDBADBCACCDBCABABDBCDAACD
AHMAD SYAFI'I        CADBDCBDADABAACACCDBBCDB0CBDBDAAACCDBCABABDBCDABCD
SUTEJO               CADBBCBDCDABBACABDDABDDBDBDBADBCACCDBCABABDBCDAACD
HENI AFRIANI         CADCDCCCADABBACABCDABCDBACBBBDCBACCDBCAAAACBCDCACD
SRI SUHESTI NINGSIH  CADCDDCDADABBACABCDABCDBACBABDCBACCBBCABAACBCDABCD
HARTONO ISWANTO      CADBDCBDCDABBACABCDBBCDBDCBDBDADACCDBCABABDBCDABCD

2. Data di atas disimpan pada file: Tes2.txt
3. Membuat control file di file lain (membuat file baru)
   seperti berikut.



&INST                   (Permulaan program)
TITLE= ”TES EVALUASI”   (Judul print-out)
DATA=TES2.TXT           (Nama data file)
N1=50                   (Jumlah butir soal)
CATEGS=4                (Jumlah option)
NAME1=1                 (Kolom pertama siswa)
ITEM1=23                (Kolom pertama soal)
XWIDE=1                 (Keluasan data 1 karakter)
CODE=ABCD               (Kode data)
KEY1=CADBDCBCCDABAACABCDABCDBDCDABDABACCDBCABABDBCBABCD(Kunci jawaban)
ASCII=Y                   (Menggunakan asci)
MPROX=20                  (Maksimum jumlah prox)
MUCON=50                  (Maksimum jumlah ucon)
REALSE=Y                  (Inflasi SE untuk misfit)
STBIAS=Y                  (Koreksi untuk estimasi bias)
TABLES=101001000101110000000000 (Tabel yang dikehendaki)
&END                      (Akhir variable control)
S01                       (Nama soal atau bisa juga diketik
S02                        materi yang ditanyakan dan
S03                        kompetensi yang diujikan)
S04
S05
S06
S07
S08
S09
S10
S11
S12
S13
S14
S15
S16
S17
S18
S19
S20
S21
S22
S23
S24
S25
S26
S27
S28
S29
S30
S31
S32
S33
S34
S35
S36
S37
S38
S39
S40
S41
S42
S43
S44
S45
S46
S47
S48
S49
S50
ENDNAMES                  (Akhir nama soal)

4. Data di atas disimpan pada file: Tes3.txt
5. Menggunakan program Bigsteps dengan Mengklik icon Bigsteps.


 

Please enter name of BIGSTEPS control file: Tes3.TXT
Please enter name of report output file: Hsltes3.doc
ANALYSIS COMPLETED OF TES3.TXT


1. Double klik file program iteman
2. Tulislah file data: contoh TIK.TXT, kemudian tekan enter
3. Ketik nama file hasil analisis, contoh TIK.hsl, kemudian tekan enter
4. Ketik ‘Y’, kemudian tekan enter
5. Ketik file untuk total skor siswa, contoh TIK.SKR, kemudian tekan enter.
6. Analisis selesai


3. Intrepretasi Hasil
Contoh hasil analisis secara klasik dengan mempergunakan program ITEMAN.

MicroCat (tm) Testing System
Copyright (c) 1982, 1984, 1986 by Assessment Systems Corporation
Iteman and Test Analysis Program -- ITEMAN (tm) Version 3.00
Iteman analysis for data from file: ......

                            Iteman Statistics                                        Alternative Statistics
      --------------------------------------------------------   ---------------------------------------------------
       Seq.  Scale  Prop.                     Point                          Prop.                         Point  
       No.   Item   Correct    Biser     Biser.            Alt.     Endorsing    Biser.      Biser.        Key
      ------  ------   ----------  ---------   -----------    -------   --------------   -------  ------------   ---------
        1       0-1      0.659     0.571       0.442         1         0.659            0.571       0.442           *
                                                                             2         0.122           -0.456     -0.282
                                                                             3         0.098           -0.126     -0.073
                                                                             4         0.122           -0.473     -0.292
                                                                        Other       0.000           -9.000     -9.000

        3       0-3       0.171     0.026      0.017           1         0.146           -0.291     -0.189
                                                                              2         0.268           -0.088     -0.065
                           CHECK THE KEY                    3         0.171            0.026       0.017           *
               3 was specified, 4 works better              4         0.951            0.229       0.181           ?
                                                                          Other      0.000           -9.000      -9.000



            Di samping data di atas, program Iteman memberikan informasi akhir secara keseluruhan misalnya seperti berikut ini.
            Scale Statistics
                -------------------
                N of Items                   50
                N of Examination       41
                Mean                       27.585
                Variance                  50.731
                Std. Dev.                    7.123
                Skew                          0.266
                Kurtosis                   -0.424
                Minimum                 12.000
                Maximum                                42.000
                Median                    27.000
                Alpha                         0.854
                SEM                          2.719
                Mean P                     0.552
                Mean Item-Tot           0.347
                Mean Biserial             0.495

            Data di atas memberikan informasi bahwa reliabilitas tes (Alpha) itu adalah 0,854. Angka ini cukup tinggi untuk menunjukkan keajekan dari soal itu sebagi perangkat tes yang baku, walaupun tingkat kesalahan pengukurannya juga tinggi (SEM) yaitu 2.719. Rata-rata tingkat kesukaran soalnya (Mean P) sedang (0,552) dan rata-rata daya pembedanya masih kurang (mean biserial) yaitu 0,495.
            Soal nomor 1 tergolong soal yang baik karena memiliki daya beda 0,442 dan tingkat kesukaran sedang (0,659). Soal nomor 3 tergolong soal yang sukar (0,171) dan memiliki daya beda yang rendah (0,017). Kunci jawaban soal ini adalah c, sedangkan siswa banyak yang menjawab pilihan jawaban d (0,951). Kemungkinan besar bahwa soal ini adalah salah kunci jawabannya. Oleh karena itu, soal ini perlu dicek kembali kunci jawabannya.
            Hasil analisis secara moderen yaitu teori respon butir untuk satu parameter dengan mempergunakan program BIGSTEPS adalah seperti berikut ini.




                        SUMMARY OF  29 MEASURED (NON-EXTREME) PERSONS
    =============================================================
                     SCORE  COUNT  MEASURE   ERROR   MNSQ  INFIT   MNSQ OUTF
      ----------------------------------------------------------------------------------------------------
      MEAN     11,9         19,0            0,67            0,61        0,96     -0,1       1,19       
      SD             2,9           0,0            0,88            0,12        0,19       0,8       0,72
   =============================================================
     
                        SUMMARY OF  29 MEASURED (NON-EXTREME) ITEMS
    =============================================================
                     SCORE  COUNT  MEASURE   ERROR   MNSQ  INFIT   MNSQ OUTF
      ----------------------------------------------------------------------------------------------------
      MEAN     18,1         29,0            0,00            0,49        1,01     -0,2       1,19       
      SD             5,7           0,0            1,11            0,10        0,21       1,2       0,81
   =============================================================

Keterangan: kemampuan siswa (measure 0,67) lebih besar daripada kemampuan soal/tes (measure 0,00)
                             ITEM STATISTICS: MEASURE ORDER
==============================================================
NUM SCORE COUNT MEASURE INF.SE MNSQ INFIT MNSQ OUTFT PTBIS NAM
---------------------------------------------------------------------------------------------------------
10            3          29              3,00          0,71      1,38     0,9     4,01      2,7      -0,53   S10
15           15         29              0,56           0,39     1,03      0,3    1,12      0,7        0,22   S15
  1           26         29            -1,67           0,60      1,00     0,2    0,78     -0,1        0,16   S01
dst.
==============================================================
Keterangan: Soal diterima/baik bila: (a) PTBIS tidak negatif atau >0,2
                                                           (b) OUTFIT < 2,00
                     Jadi soal yang fit dengan model adalah soal nomor 15.
a. Statistik butir soal:
untuk tes yang teridiri dari butir-butir soal yang bersifat dikotomi
misalnya pilihan ganda, statistic berikut adalah output dari setiap butir
soal yang dianalisis:
• Seq.No: adalah nomor urut butir soal dalam file data
• Scala item: nomor urut butir soal dalam tes
• Prop.Correct: proporsi siswa yang menjawab benar butir tes. (indeks
tingkat kesukaran soal secara klasikal),
Catatan: p>0,7 (mudah); 0,3 ≤p≤0,70 (sedang) dan p < 0,3 (sukar)
• Biser : indeks daya pembeda soal (koef.korelasi biserial). Nilai positif
artinya peserta tes yang menjawab benar butir soal mempunyai skor
relative tinggi dalam tes tersebut. Sebaliknya nilai negative
menunjukkan bahwa peserta tes yang menjawab benar butir tes memperoleh
skor tes yang relative lebih rendah dalam tes.
• Point biserial: juga indeks daya pembeda soal (koef. point biserial)
Catatan: Daya pembeda soal berfungsi untuk menentukan dapat tidaknya
suatu soal membedakan kelompok dalam aspek yang diukur dengan perbedaan
yang ada pada kelompok itu. Tujuan dari pengujian daya pembeda adalah
untuk melihat kemampuan butir soal dalam membedakan antara peserta didik
yang berkemanpuan tinggi dengan peserta didik yang berkemampuan rendah.
b. Statistik tes
• N of Items : jumlah btir soal dalam tes yang dianalisis.
• N of Examines : Jumlah peserta tes
• Mean : Skor/rerata peserta tes
• Variance : varian dari dsitribusi skor peserta tes yang memberikan
gambaran tentang sebaran skor peserta tes.
• Std.Deviasi : Deviasi standar dari distribusi skor tes (akar dari
varians)
• Skew : kemiringan
• Kurtosis : puncak distribusi
• Minimum :skor terndah
• Maximum : skor tertinggi
• Median : skor tengah
• Aplha : homogenitas tes
• SEM : kesalahan pengukuran standar
• Mean P : rerata tingkat kesukaran
• Mean item tot : rerata indeks daya pembeda (koef point biserial)
• Mean biserial : rerata indek daya pembeda (koef. Biserial)
• Scale intercorelation : indeks korelasi antara skor-skor peserta tes
C. Penutup
1. Simpulan                                                                             
            Program iteman juga memberikan hasil skor untuk setiap peserta tes yang
menunjukkan jumlah benar dari seluruh jawaban. Program iteman mampu menganalisis maksimal 250 butir soal dalam satu file dengan kapasitas 3.000 responden. Program Iteman ini merupakan program untuk kalangan sendiri dan tidak dikomersilkan sehingga jika akan digunakan untuk kepentingan bisnis atau sejenisnya harus seijin pembuat program.
2. Saran
            Semoga program ini dapat digunakan sebagai salah satu program untuk meningkatkan validitas dan reliabilitas dari butir-butir soal.

DAFTAR PUSTAKA
Safari, 2005. Paparan Penulisan Soal Berdasarkan Kurikulum 2004. Pusat Penilaian Pendidikan, Balitbang Diknas, Depdiknas.
http://andimanwno.wordpress.com/2008/10/18/item-and-tes-analysis-manual-iteman

1 komentar:

  1. wah,, bagus sekali itu pak postingnnya,'
    maaf, apa bpak punya pnduan analisi program bigsteps? kalo ada boleh dong pak, dishare ke saya,, hehe

    makasih pak :)

    BalasHapus