ITEM AND TES ANALYSIS MANUAL (ITEMAN)

ITEM AND TES ANALYSIS MANUAL (ITEMAN)
Oleh:

Bambang Purnomo

A.Pendahuluan

Iteman merupakan perangkat untuk menganalisis butir soal dan tes. Dikembangkan oleh Assessment Systems Corporation mulai 1982, 1984, 1986, 1988, 1993; mulai dari versi 2.00 – 3.50. Alamatnya Assessment Systems Corporation, 2233 University Avenue, Suite 400, St Paul, Minesota 55114, United States of America. Iteman dipergunakan antara lain untuk menganalisis data file (format ASCII) (Notepad) melalui manual entri data atau dari mesin scanner, menskor dan menganalisis data soal bentuk PG dan skala likert untuk 30.000 siswa dan 250 butir soal,menganalisis tes yang teridiri dari 10 skala (subtes) dan membe rikan informasi tentang validitas butir dan relialilitas tes.

B. Pembahasan

Program iteman didasarkan pada teori tes klasik. Kelemahan utama dari program ini adalah sangat dipengaruhi oleh kemampuan responden. Artinya jika soal diujikan pada anak berkemampuan tinggi dengan anak berkemampuan rendah maka akan terjadi perbedaan hasil analisis. Untuk mengantisipasi tersebut maka biasanya analisis soal dengan menggunakan iteman dilakukan secara sampling, dengan melibatkan kurang lebih 500 responden. Semakin besar sampling dan semakin baik teknik samplingnya maka semakin baik kualitas hasil analisis. Adapun hasil  analisis dengan iteman meliputi: tingkat kesukaran, daya pembeda soal, statistic sebaran jawaban,  reliabilitas tes, kesalahan pengukuran dan distribusi skor setiap peserta tes.

Adapun langkah-langkahnya antara lain adalah sebagai berikut: membuat file data, menjalankan program ITEMAN dan melakukan interpretasi hasil

1. Membuat File Data

            Adapun cara membuat file data digunakan contoh yang diberikan oleh Drs. Safari, M.A. dari Pusat Penilaian Depdiknas sebagai berikut:

a. Baris Pertama:

• Kolom 1-3 : jumlah butir soal (contoh: 020)
• 4 : Spasi
• 5 : jawaban kosong (omit), ditulis 0
• 6 : Spasi
• 7 : soal yang belum dikerjakan, ditulis n
• 8 : spasi
• 9-10 : jumlah identitas data siswa (cntoh: 10)
• Tambahan keterangan:
. Kolom 1-3, Untuk menuliskan jumlah soal: Kolom 1 ratusan, kolom 2
puluhan, kolom 3 satuan
. Kolom 5 : butir soal yang tidak dijawab
. Kolom 7 : butir soal yang belum sempat dikerjakan
 Kolom 9-10: panjang karakter untuk identitas siswa.Ø

b. Baris kedua : kunci jawaban
c. Baris ketiga :jumlah jawaban
d. Baris Keempat : ‘Y’ butir soal yang dianalisis, ‘N’ butir saol yang
tdk dianalisis
e. Baris kelima dst :berisi jawaban siswa

2. Menjalankan Program Iteman

2.1. Mengetik data di Notepad (Start-Programs-Accessories-Notepad)

 

 50 0 N 21

CADBDCBCCDABAACABCDABCDBDCDABDABACCDBCABABDBCBABCD Kunci jawaban

44444444444444444444444444444444444444444444444444 Pilihan jawaban

YYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYYY Kode analisis

TUTYK INDRAWATI      CADBDCBCCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD

RINI SULISTIYATIN    CADBDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD

NANI KUSMIYATI       CADCDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDAACD

EVI MEILANI          CADADCBDDDABAACABCDBBCDBACBABAAAAC0DBCABABDBCDABCD

M. AGUNG PRIYANTO    CBDCDCCDCDABBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD

ABEN DAMARUDIN       CBDCDCCCCDCBBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD

KUSNAENI             CADCDCCDBDACBACABCDBBCDBDCBDBDACACADBCABABDBCDAACD

AGUS ARYADI          CADBCCBDCDAABACBACAABCDBCCBBCAAABBDBBCABABDBCDAACD

SULASTRI IRIANI      CADBBCBCBDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD

RISKA WIDIANINGSIH   CADB0BBCCDABBACDCDDABCDBCCBBBDBAACCDBCABABDBCDAACD

DIAN RACHMAWATI      CADBBCBDBDABBACABDDABCDBDCDABDBBACCDBCABABDBCDAACD

KAMAL PURNAMA        CADBBCBDBDABBACABADBBCDBDCBABDBBACCDBCABABDBADAABC

RADITYA WICAKSONO    CADBABBDBDABAACABBDABCDBDCBABDBBACCDBAABABDBCDAACD

TIWI IRJANITA        CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD

IKA SUKMAWATI        CADBBCBCCDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD

SITI SHOLICHAH       CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD

SITI MASYITOH A.S.   CADC0CBDCDABBACABBDBBCDBACBABDCBACCDBCACABDBCDAACD

NUNIK HERI WAHYUNI   CBDABBCDADABBBCABCDBBCDBDCBABDBDACCDBCABABDBCDAACD

SITI RONIAH          CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABDD

BAYU KURNIAWAN       CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABCD

DIAH RESMISARI       CADBBCBDCDABBACABDDABCDBDCDABDBCACCDBCADABDBCDAACD

HENI HARYANI         CADBBCBCCDABBACABDDABCDBDCDABDBCACCDBCABABDBCDAACD

RINA WAHYU WIDYAWATI CACADCBDCDABBACABCDBBCDBCCBBCAAABBDBBCABABDBCDA0CD

WACHYUDIN            CADDAACDDDACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDADCD

ANDRIE SETIAWAN      CADBBCBDCDABBACABDDABDDBDCDBADBCACCDBCABABDBCDAACD

AHMAD SYAFI'I        CADBDCBDADABAACACCDBBCDB0CBDBDAAACCDBCABABDBCDABCD

SUTEJO               CADBBCBDCDABBACABDDABDDBDBDBADBCACCDBCABABDBCDAACD

HENI AFRIANI         CADCDCCCADABBACABCDABCDBACBBBDCBACCDBCAAAACBCDCACD

SRI SUHESTI NINGSIH  CADCDDCDADABBACABCDABCDBACBABDCBACCBBCABAACBCDABCD

HARTONO ISWANTO      CADBDCBDCDABBACABCDBBCDBDCBDBDADACCDBCABABDBCDABCD

2.2. Data di atas disimpan pada file: Tes1.txt

2.3. Menggunakan program Iteman dengan mengklik icon Iteman.

 

Enter the name of the input fele: Tes1.txt 

Enter the name of the output file: hsltes1.txt 

Do you want the scores written to a file? (Y/N) Y 

Enter the name of the score file: scrtes1.txt

                **ITEMAN ANALYSIS IS COMPLETE**

PRAKTEK ANALISIS BUTIR SOAL

DENGAN PROGRAM BIGSTEPS

Oleh: Drs. Safari, M.A.

                                           

1. Mengetik data di Notepad (Start-Programs-Accessories-Notepad)

 

TUTYK INDRAWATI      CADBDCBCCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD

RINI SULISTIYATIN    CADBDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDABCD

NANI KUSMIYATI       CADCDCBDCDABBACABCDBBCDBDCBDBDABACCDBCABABDBCDAACD

EVI MEILANI          CADADCBDDDABAACABCDBBCDBACBABAAAAC0DBCABABDBCDABCD

M. AGUNG PRIYANTO    CBDCDCCDCDABBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD

ABEN DAMARUDIN       CBDCDCCCCDCBBACABCDBBCDBDCBDBDACACCDBCABABDBCDAACD

KUSNAENI             CADCDCCDBDACBACABCDBBCDBDCBDBDACACADBCABABDBCDAACD

AGUS ARYADI          CADBCCBDCDAABACBACAABCDBCCBBCAAABBDBBCABABDBCDAACD

SULASTRI IRIANI      CADBBCBCBDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD

RISKA WIDIANINGSIH   CADB0BBCCDABBACDCDDABCDBCCBBBDBAACCDBCABABDBCDAACD

DIAN RACHMAWATI      CADBBCBDBDABBACABDDABCDBDCDABDBBACCDBCABABDBCDAACD

KAMAL PURNAMA        CADBBCBDBDABBACABADBBCDBDCBABDBBACCDBCABABDBADAABC

RADITYA WICAKSONO    CADBABBDBDABAACABBDABCDBDCBABDBBACCDBAABABDBCDAACD

TIWI IRJANITA        CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD

IKA SUKMAWATI        CADBBCBCCDABBACABDDABCDBDCDABDBAACCDBCABABDBCDAACD

SITI SHOLICHAH       CADABCBCCDABBBCABCDABCDBDCDABDBAACCDBCABABDBCDAACD

SITI MASYITOH A.S.   CADC0CBDCDABBACABBDBBCDBACBABDCBACCDBCACABDBCDAACD

NUNIK HERI WAHYUNI   CBDABBCDADABBBCABCDBBCDBDCBABDBDACCDBCABABDBCDAACD

SITI RONIAH          CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABDD

BAYU KURNIAWAN       CBDBAABDADACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDABCD

DIAH RESMISARI       CADBBCBDCDABBACABDDABCDBDCDABDBCACCDBCADABDBCDAACD

HENI HARYANI         CADBBCBCCDABBACABDDABCDBDCDABDBCACCDBCABABDBCDAACD

RINA WAHYU WIDYAWATI CACADCBDCDABBACABCDBBCDBCCBBCAAABBDBBCABABDBCDA0CD

WACHYUDIN            CADDAACDDDACDACABCDBBCDBCCBBCAAABBDBBCABABDBCDADCD

ANDRIE SETIAWAN      CADBBCBDCDABBACABDDABDDBDCDBADBCACCDBCABABDBCDAACD

AHMAD SYAFI'I        CADBDCBDADABAACACCDBBCDB0CBDBDAAACCDBCABABDBCDABCD

SUTEJO               CADBBCBDCDABBACABDDABDDBDBDBADBCACCDBCABABDBCDAACD

HENI AFRIANI         CADCDCCCADABBACABCDABCDBACBBBDCBACCDBCAAAACBCDCACD

SRI SUHESTI NINGSIH  CADCDDCDADABBACABCDABCDBACBABDCBACCBBCABAACBCDABCD

HARTONO ISWANTO      CADBDCBDCDABBACABCDBBCDBDCBDBDADACCDBCABABDBCDABCD

2. Data di atas disimpan pada file: Tes2.txt

3. Membuat control file di file lain (membuat file baru)

   seperti berikut.

&INST                   (Permulaan program)

TITLE= ”TES EVALUASI”   (Judul print-out)

DATA=TES2.TXT           (Nama data file)

N1=50                   (Jumlah butir soal)

CATEGS=4                (Jumlah option)

NAME1=1                 (Kolom pertama siswa)

ITEM1=23                (Kolom pertama soal)

XWIDE=1                 (Keluasan data 1 karakter)

CODE=ABCD               (Kode data)

KEY1=CADBDCBCCDABAACABCDABCDBDCDABDABACCDBCABABDBCBABCD(Kunci jawaban)

ASCII=Y                   (Menggunakan asci)

MPROX=20                  (Maksimum jumlah prox)

MUCON=50                  (Maksimum jumlah ucon)

REALSE=Y                  (Inflasi SE untuk misfit)

STBIAS=Y                  (Koreksi untuk estimasi bias)

TABLES=101001000101110000000000 (Tabel yang dikehendaki)

&END                      (Akhir variable control)

S01                       (Nama soal atau bisa juga diketik

S02                        materi yang ditanyakan dan

S03                        kompetensi yang diujikan)

S04

S05

S06

S07

S08

S09

S10

S11

S12

S13

S14

S15

S16

S17

S18

S19

S20

S21

S22

S23

S24

S25

S26

S27

S28

S29

S30

S31

S32

S33

S34

S35

S36

S37

S38

S39

S40

S41

S42

S43

S44

S45

S46

S47

S48

S49

S50

ENDNAMES                  (Akhir nama soal)

4. Data di atas disimpan pada file: Tes3.txt

5. Menggunakan program Bigsteps dengan Mengklik icon Bigsteps.

 

Please enter name of BIGSTEPS control file: Tes3.TXT

Please enter name of report output file: Hsltes3.doc

ANALYSIS COMPLETED OF TES3.TXT

1. Double klik file program iteman
2. Tulislah file data: contoh TIK.TXT, kemudian tekan enter
3. Ketik nama file hasil analisis, contoh TIK.hsl, kemudian tekan enter
4. Ketik ‘Y’, kemudian tekan enter
5. Ketik file untuk total skor siswa, contoh TIK.SKR, kemudian tekan enter.
6. Analisis selesai

3. Intrepretasi Hasil

Contoh hasil analisis secara klasik dengan mempergunakan program ITEMAN.

MicroCat (tm) Testing System

Copyright (c) 1982, 1984, 1986 by Assessment Systems Corporation

Iteman and Test Analysis Program -- ITEMAN (tm) Version 3.00

Iteman analysis for data from file: ......

                            Iteman Statistics                                        Alternative Statistics

      --------------------------------------------------------   ---------------------------------------------------

       Seq.  Scale  Prop.                     Point                          Prop.                         Point  

       No.   Item   Correct    Biser     Biser.            Alt.     Endorsing    Biser.      Biser.        Key

      ------  ------   ----------  ---------   -----------    -------   --------------   -------  ------------   ---------

        1       0-1      0.659     0.571       0.442         1         0.659            0.571       0.442           *

                                                                             2         0.122           -0.456     -0.282

                                                                             3         0.098           -0.126     -0.073

                                                                             4         0.122           -0.473     -0.292

                                                                        Other       0.000           -9.000     -9.000

        3       0-3       0.171     0.026      0.017           1         0.146           -0.291     -0.189

                                                                              2         0.268           -0.088     -0.065

                           CHECK THE KEY                    3         0.171            0.026       0.017           *

               3 was specified, 4 works better              4         0.951            0.229       0.181           ?

                                                                          Other      0.000           -9.000      -9.000

            Di samping data di atas, program Iteman memberikan informasi akhir secara keseluruhan misalnya seperti berikut ini.

            Scale Statistics

                -------------------

                N of Items                   50

                N of Examination       41

                Mean                       27.585

                Variance                  50.731

                Std. Dev.                    7.123

                Skew                          0.266

                Kurtosis                   -0.424

                Minimum                 12.000

                Maximum                                42.000

                Median                    27.000

                Alpha                         0.854

                SEM                          2.719

                Mean P                     0.552

                Mean Item-Tot           0.347

                Mean Biserial             0.495

            Data di atas memberikan informasi bahwa reliabilitas tes (Alpha) itu adalah 0,854. Angka ini cukup tinggi untuk menunjukkan keajekan dari soal itu sebagi perangkat tes yang baku, walaupun tingkat kesalahan pengukurannya juga tinggi (SEM) yaitu 2.719. Rata-rata tingkat kesukaran soalnya (Mean P) sedang (0,552) dan rata-rata daya pembedanya masih kurang (mean biserial) yaitu 0,495.

            Soal nomor 1 tergolong soal yang baik karena memiliki daya beda 0,442 dan tingkat kesukaran sedang (0,659). Soal nomor 3 tergolong soal yang sukar (0,171) dan memiliki daya beda yang rendah (0,017). Kunci jawaban soal ini adalah c, sedangkan siswa banyak yang menjawab pilihan jawaban d (0,951). Kemungkinan besar bahwa soal ini adalah salah kunci jawabannya. Oleh karena itu, soal ini perlu dicek kembali kunci jawabannya.

            Hasil analisis secara moderen yaitu teori respon butir untuk satu parameter dengan mempergunakan program BIGSTEPS adalah seperti berikut ini.

                        SUMMARY OF  29 MEASURED (NON-EXTREME) PERSONS

    =============================================================

                     SCORE  COUNT  MEASURE   ERROR   MNSQ  INFIT   MNSQ OUTF

      ----------------------------------------------------------------------------------------------------

      MEAN     11,9         19,0            0,67            0,61        0,96     -0,1       1,19       

      SD             2,9           0,0            0,88            0,12        0,19       0,8       0,72

   =============================================================

     

                        SUMMARY OF  29 MEASURED (NON-EXTREME) ITEMS

    =============================================================

                     SCORE  COUNT  MEASURE   ERROR   MNSQ  INFIT   MNSQ OUTF

      ----------------------------------------------------------------------------------------------------

      MEAN     18,1         29,0            0,00            0,49        1,01     -0,2       1,19       

      SD             5,7           0,0            1,11            0,10        0,21       1,2       0,81

   =============================================================

Keterangan: kemampuan siswa (measure 0,67) lebih besar daripada kemampuan soal/tes (measure 0,00)

                             ITEM STATISTICS: MEASURE ORDER

==============================================================

NUM SCORE COUNT MEASURE INF.SE MNSQ INFIT MNSQ OUTFT PTBIS NAM

---------------------------------------------------------------------------------------------------------

10            3          29              3,00          0,71      1,38     0,9     4,01      2,7      -0,53   S10

15           15         29              0,56           0,39     1,03      0,3    1,12      0,7        0,22   S15

  1           26         29            -1,67           0,60      1,00     0,2    0,78     -0,1        0,16   S01

dst.

==============================================================

Keterangan: Soal diterima/baik bila: (a) PTBIS tidak negatif atau >0,2

                                                           (b) OUTFIT < 2,00

                     Jadi soal yang fit dengan model adalah soal nomor 15.

a. Statistik butir soal:
untuk tes yang teridiri dari butir-butir soal yang bersifat dikotomi
misalnya pilihan ganda, statistic berikut adalah output dari setiap butir
soal yang dianalisis:
• Seq.No: adalah nomor urut butir soal dalam file data
• Scala item: nomor urut butir soal dalam tes
• Prop.Correct: proporsi siswa yang menjawab benar butir tes. (indeks
tingkat kesukaran soal secara klasikal),
Catatan: p>0,7 (mudah); 0,3 ≤p≤0,70 (sedang) dan p < 0,3 (sukar)
• Biser : indeks daya pembeda soal (koef.korelasi biserial). Nilai positif
artinya peserta tes yang menjawab benar butir soal mempunyai skor
relative tinggi dalam tes tersebut. Sebaliknya nilai negative
menunjukkan bahwa peserta tes yang menjawab benar butir tes memperoleh
skor tes yang relative lebih rendah dalam tes.
• Point biserial: juga indeks daya pembeda soal (koef. point biserial)
Catatan: Daya pembeda soal berfungsi untuk menentukan dapat tidaknya
suatu soal membedakan kelompok dalam aspek yang diukur dengan perbedaan
yang ada pada kelompok itu. Tujuan dari pengujian daya pembeda adalah
untuk melihat kemampuan butir soal dalam membedakan antara peserta didik
yang berkemanpuan tinggi dengan peserta didik yang berkemampuan rendah.
b. Statistik tes
• N of Items : jumlah btir soal dalam tes yang dianalisis.
• N of Examines : Jumlah peserta tes
• Mean : Skor/rerata peserta tes
• Variance : varian dari dsitribusi skor peserta tes yang memberikan
gambaran tentang sebaran skor peserta tes.
• Std.Deviasi : Deviasi standar dari distribusi skor tes (akar dari
varians)
• Skew : kemiringan
• Kurtosis : puncak distribusi
• Minimum :skor terndah
• Maximum : skor tertinggi
• Median : skor tengah
• Aplha : homogenitas tes
• SEM : kesalahan pengukuran standar
• Mean P : rerata tingkat kesukaran
• Mean item tot : rerata indeks daya pembeda (koef point biserial)
• Mean biserial : rerata indek daya pembeda (koef. Biserial)
• Scale intercorelation : indeks korelasi antara skor-skor peserta tes

C. Penutup

1. Simpulan                                                                             

            Program iteman juga memberikan hasil skor untuk setiap peserta tes yang
menunjukkan jumlah benar dari seluruh jawaban. Program iteman mampu menganalisis maksimal 250 butir soal dalam satu file dengan kapasitas 3.000 responden. Program Iteman ini merupakan program untuk kalangan sendiri dan tidak dikomersilkan sehingga jika akan digunakan untuk kepentingan bisnis atau sejenisnya harus seijin pembuat program.

2. Saran

            Semoga program ini dapat digunakan sebagai salah satu program untuk meningkatkan validitas dan reliabilitas dari butir-butir soal.

DAFTAR PUSTAKA

Safari, 2005. Paparan Penulisan Soal Berdasarkan Kurikulum 2004. Pusat Penilaian Pendidikan, Balitbang Diknas, Depdiknas.

http://andimanwno.wordpress.com/2008/10/18/item-and-tes-analysis-manual-iteman