0x010088F6312065A70A44B630A6848498EAD80093CFEAFE161DC94D83C7C5C9A5A748B8

We revised two of the deliverables (dissemination plan, and reflection report) this year. Dissemination plan has created some confusion among the students and we will revise it again for 2024. Conducting a research project is quite challenging and formative feedback is central in the course. We will work more on standardizing and improving formative feedback, its format and the process of providing it. The course is group-based. Assignment of students to groups is always a challenge because of the diversity of our students that come from different studies and have varying motivation. Some student feedback indicates that group work can be improved.

In general:<ul><li>The course has a list of learning objectives that is used actively both during the lectures and in all course deliverables.</li><li>The course is not dependent on other courses beyond generic knowledge about digital systems and software development.</li></ul> Experience from 2023:<ul><li>The course was evaluated mainly through questionnaires to students, and workshops with teaching assistants. There was a reference group but it was not very active.</li><li>Student feedback shows that students achieve the majority of the learning objectives in the course. The course has a relatively high average grade, though this year the average has decreased.</li><li>Several learning materials are not used by the students. We need to re-evaluate the form and content of these.</li><li>We need to address the how to make best use of available teaching resources to provide formative feedback during the entire semester.</li></ul>

NTNU:TIA:REST

Institutt for datateknologi og informatikk

Department of Computer Science

Engelsk

Norsk

Mer om vurdering

Ved gjentak må hele emnet gjentas. Faget har obligatoriske øvingstimer på noen dedikerte dager. Dato for disse blir annonsert på starten av semesteret.

Anbefalte forkunnskaper

Emnet er laget for studenter som ønsker trening i empiriske forskningsmetoder for å kunne gjennomføre og levere en forskningsbasert masteroppgave. Det anbefales forkunnskaper tilsvarende Bachelor i Informatikk.

Forkunnskapskrav

Basiskunnskaper innenfor IT og digitalisering.

Faglig innhold

Emnet gir innblikk i de viktigste forskningsmetodiske problemstillingene innenfor IT og digitalisering. Problemstillinger knyttet til empirisk forskning, forskningsdesign, datainnsamling og analyse vil bli behandlet. Gir innsikt i flere av de mest brukte metodene: Case studier, design-orienterte metoder, survey-metoden, og eksperimenter. Emnet gir også innføring i etiske aspekter ved forskning, planlegging og gjennomføring av forskningsstudier, skriving og revidering av vitenskapelige artikler, og fagfellevurdering.

Kursmateriell

Artikkelsamling og bok som oppgis ved semesterstart.

Læringsutbytte

Kunnskap: Kandidaten skal tilegne seg kunnskap om:<ul><li>Det grunnleggende om design av empiriske studier.</li><li>Prinsipper for valg av datainnsamling og analysemetoder for empiriske studier.</li><li>Grunnleggende definisjoner av empiriske forskningsmetoder innen IT og digitalisering.</li><li>Etiske betraktninger i design og gjennomføring av empiriske studien innen IT og digitalisering.</li></ul>Ferdigheter: Kandidaten skal kunne:<ul><li>Lage plan for, og gjennomføre forskningsprosjekter.</li><li>Gjennomføre egen datainnsamling og analyse.</li><li>Forutse og redusere svakheter ved design av forskningsstudier.</li></ul>Generell kompetanse: Kandidaten skal kunne:<ul><li>Kritisk vurdere kvaliteten på empiriske studier innenfor IT og digitalisering.</li><li>Gjennomføre empiriske studier.</li></ul>

Læringsformer og aktiviteter

Forelesninger, selvstudium, gruppeoppgaver og individuelle oppgaver. Studentgrupper skal gjennomføre en realistisk forskningsprosess fra planlegging til datainnsamling og analyse til artikkelskriving og presentasjon i konferanse. Noen aktiviteter skjer på spesifikke datoer og krever personlig oppmøte.

Metoder for empirisk forskning innen IT og digitalisering

Informatikk

Teknologiske fag

Lektorutdanning i realfag for trinn 8 – 13

Master of Science in Informatics

Informatikk - masterstudium

Datateknologi - masterstudium (5-årig)

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(22490)/FieldValuesAsText

Tiltak

Improve formative feedback

some confusion about what the role of Eremcis is contra the dissemination plan.

Improve deliverable 5 dissemination plan

need continuous improvement. Some students are asking for motivation-based division.

Group assignment process

Improve assessment criteria for different grades:<ul><li>In addition to revising the text for the assignment so that all assessments include evaluation criteria we also employed a group-based assessment inside the teaching team. We used meetings to do evaluations of a sample of the deliverables. This was very useful because we shared understanding of the evaluation criteria and provided more consistent feedback.</li><li>From questionnaire we can see that the satisfaction with feedback is improved considerably. We had only one complain the course which might also mean that the students were mostly happy with their grades even if the average grade was lower this year than last year.</li><li>Our action item for next year is to create a set of examples of do's and don'ts for the students. This is a challenging task, but we think it can help students understand some of the more abstract concepts in the course.</li><li>We will not work further on separating criteria for each grade as it proved to be difficult and not very useful.</li></ul> Evaluate new forms of group setup:<ul><li>Up to 2021 we used random assignment to groups. This year we added a step where students can provide some input for assisting us set up groups in a less random way, e.g. based on motivation and background.</li><li>In general, group-based learning activities score higher than non-group according to this year's data.</li><li>We think there is room for improvements. We plan to introduce a group contract and a lecture on how to do group-based research.</li></ul> Adding face-to-face feedback meetings:<ul><li>Up to 2021 we had only written feedback provided in Blackboard. In 2022 we added for groups the possibility to ask for 2 face-to-face feedback meetings, one related to the research proposal, and one related to the research project itself.</li><li>The groups who took advantage of the face-to-face meeting have in general appreciated this form of feedback.</li><li>We need to further work on the form of both written and oral feedback to make them more constructive without taking ownership of the problems the groups have to find and do research on.</li></ul>

<ul><li>Group activities are in general appreciated higher than online resources we have provided on Blackboard.</li><li>Peer-review activity is scored higher and needs to be used more actively as a learning activity.</li><li>Working in groups is still a challenge even if many groups give a higher score to group activities. We are working on improving group formation and follow-up.</li><li>We will continue with a transparent assessment approach. Students can all the time see their score for each deliverable. We have distributed the scores in such a way that revisions of the deliverables score higher than the draft versions, in order to encourage active learning.</li></ul>

This year we had a mandatory membership in the reference group. We asked each group to nominate one person for the reference group. Even though we had a large reference group (consisting of 20 members) we managed to use Teams and Mentimeter to involve all of them with little time spent on their behalf. The reference group report was generated during a one-hour Mentimeter session. We will continue with this approach. We have also continued with a two-phase evaluation. First we ask students to evaluate the theory part of the course (the first 4-5 lectures), then we ask them to evaluate the project work. This also works well because we can see at the end of the theory lectures what retention rates we have in the course.

Alle trykte og skrevne

Ved gjentak må hele emnet gjentas. Faget har obligatoriske øvingstimer på noen dedikerte dager. Dato for disse blir annonsert på starten av semesteret. 

Emnet er laget for studenter som trenger trening i empiriske forskningsmetoder for å kunne gjennomføre og levere en forskningsbasert masteroppgave. Det anbefales forkunnskaper tilsvarende Bachelor i Informatikk.

Ingen krav til andre spesifikke fag. Emnet er obligatorisk for studenter som er tatt opp på masterstudier i Informatikk.

Emnet gir innblikk i de viktigste forskningsmetodiske problemstillingene innenfor IT og digitalisering. Problemstillinger knyttet til empirisk forskning, forskningsdesign, datainnsamling og analyse vil bli behandlet. Kurset gir innsikt i flere av de mest brukte metodene: Case studier, design-orienterte metoder, survey-metoden, eksperimenter. Emnet gir også innføring i etiske aspekter ved forskning, planlegging og gjennomføring av forskningsstudier, skriving og revidering av vitenskapelige artikler, og fagfellevurdering. 

Artikkelsamling og bok som oppgis ved semesterstart. 

Kunnskaper: Kandidaten skal tilegne seg kunnskap om:  Det grunnleggende om design av empiriske studier.  Prinsipper for valg av datainnsamling og analysemetoder for empiriske studier.  Grunnleggende definisjoner av empiriske forskningsmetoder innen IT og digitalisering. Ferdigheter: Kandidaten skal kunne:  Lage plan for og gjennomføre forskningsprosjekter.  Gjennomføre egen datainnsamling og analyse.  Forutse og redusere svakheter ved design av forskningsstudier. Generell kompetanse: Kandidaten skal kunne:  Kritisk vurdere kvaliteten på empiriske studier innenfor IT og digitalisering. Gjennomføre empiriske studier. 

Obligatoriske øvingstimer

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(17008)/FieldValuesAsText

Evaluation of IT3010 and DT8111 overlap. The two courses use the same infrastructure but are targeted at master's and Phd students. Evaluation reports are therefore coordinated as well. In 2021 we did not manage to recruit members for a reference group. This is in general a challenge for our course, which is one of the last courses students take before starting their master's thesis. Therefore, we need to think alternative evaluation forms. This year we used qualitative questionnaire to collect data from students about the course. We sent out two questionnaires during the semester, one right after the introductory theory module, and one at the end of the semester. In general, respondents are happy with the project- and problem-based organization of the course, the personalized feedback that each group receives through the semester, and the amount of learning. We also received some feedback about what can be improved.

The course has a list of learning objectives. This list is used actively both during the lectures and in all course deliverables.The course is not dependent on other courses beyond generic knowledge about digital systems and software development.

The course is organized as project- problem- and portfolio-based. This helps students to learn better and improves motivation because groups work with problems they have defined.Feedback from the students is that groups are working well and contribute to social interactions, especially in the pandemic situation. We have not received any feedback about too much effort needed from the students.The relevance of the course might be communicated better. Currently, its main relevance is as a tool for writing a better master's thesis. We think the course's value as a tool for later professional career can also be emphasized better.

Learning objectives and assessment criteria are clearly communicated to the students. Students give positive feedback about this. Each assignment has a lot of evaluation criteria that course staff uses to evaluate the deliverable.We can work better at clarifying different levels of desired learning, e.g. what gives an A.

Ved gjentak må hele emnet gjentas. Faget har obligatoriske øvingstimer på noen dedikerte dager. Dato for disse blir annonsert på starten av semesteret. Ugyldig fravær vil påvirke sluttkarakter i faget.

Link til informasjon om emnet

Emnet gir innblikk i de viktigste forskningsmetodiske problemstillingene innenfor IT og digitalisering. Problemstillinger knyttet til empirisk forskning, forskningsdesign, datainnsamling og analyse vil bli behandlet. Kurset gir innsikt i flere av de mest brukte metodene: Case studier, design-orienterte metoder, survey-metoden, eksperimenter. Emnet gir også innføring i etiske aspekter ved forskning, planlegging og gjennomføring av forskningsstudier, skriving og revidering av vitenskapelige artikler, og fagfellevurdering.


Artikkelsamling og bok som oppgis ved semesterstart.



Kunnskaper: Kandidaten skal tilegne seg kunnskap om:
	Det grunnleggende om design av empiriske studier. 
	Prinsipper for valg av datainnsamling og analysemetoder for empiriske studier. 
	Grunnleggende definisjoner av empiriske forskningsmetoder innen IT og digitalisering. 

Ferdigheter: Kandidaten skal kunne: 
	Lage plan for og gjennomføre forskningsprosjekter. 
	Gjennomføre egen datainnsamling og analyse. 
	Forutse og redusere svakheter ved design av forskningsstudier. 

Generell kompetanse: Kandidaten skal kunne: 
	Kritisk vurdere kvaliteten på empiriske studier innenfor IT og digitalisering. Gjennomføre empiriske studier.


Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(11422)/FieldValuesAsText

Metoder for empirisk forskning innen IT og digitalisering - IT3010