0x010088F6312065A70A44B630A6848498EAD80093CFEAFE161DC94D83C7C5C9A5A748B8

Ingen konkrete tiltak fra evalueringen i 2023. I fjor hadde vi dårlig oppmøte på forelesning, og vi var tydelige på å anbefale studentene å delta på forelesning i år. Hvorvidt det er det eller noe annet som er forklaringen er uvisst, men vi hadde i hvert fall langt bedre oppmøte på forelesning i år enn i fjor.

Vårens gjennomføring av kurset er den siste. Kurset er ikke planlagt tilbudt flere ganger i sin nåværende form. Kurset besto som tidligere år av forelesninger og tre større programmeringsoppgaver. Vi introduserte flere nye temaer i fjor, som ble tatt videre i år. Vi hadde også noen nye forelesninger i år. Vi videreførte fjorårets modell for poenggivning på øvingsoppgavene og at karakteren i sin helhet ble bestemt av eksamen (m.a.o. øvingene bidro ikke til karakteren). Oppgavene besto av prosjekter hvor det kreves tidvis ganske mye programmering. Studentene laster opp arbeidet sitt til Blackboard for arkivering, mens vurdering av arbeidet gjøres i form av demonstrasjon til undervisningassistent eller foreleser. Hver demo tok ca. 30 minutter. Hver oppgave ble skåret med opptil 10 poeng, og kravet for å gå opp til eksamen var å oppnå minst 3 poeng på hvert av de tre prosjektene og minst 20 poeng totalt. I skrivende stund er 50 studenter registrert i faget, mot 32 i fjor og 54 2022. <ul><li>47 av disse leverte første øving, og 44 leverte alle øvingene og ble godkjent for å ta eksamen. Alle som fullførte øvingsopplegget fikk nok poeng på øvingene til å kunne gå opp til eksamen.</li></ul> En stor andel av studentene er fra utenlandske universiteter, og ytterligere en betydelig andel er fra institutter og studieprogrammer utenfor studieprogrammene faget inngår i. Studentene fikk mot slutten av kurset tilsendt en spørreundersøkelse for evaluering av kurset. 19 studenter besvarte hele eller deler av undersøkelsen (se vedlegg). Tilbakemeldinger Blant de studentene som har svart på spørreundersøkelse er tilbakemeldingene i hovedsak positive. Tilbakemeldingene er ganske like fjoråret: Vi får positive tilbakemeldinger påat faget går teoretisk i dybden, men det etterspørres samtidig flere konkrete eksempler. Flere av studentene gir tilbakemelding om at arbeidsmengden på prosjektene er høy, men samtidig at de er svært lærerike. Mange av studentene uttrykker ønske om at øvingene burde ha spilt inn på den endelige karakteren. Vi får også noen tilbakemeldinger om at øvingsopplegget bare delvis overlapper med spørsmålene på tidligere eksamener.

I fjor var lavt oppmøte på forelesning et problem, både for forelesernes motivasjon og for studentenes læringsutbytte. I år har oppmøtet på forelesning vært langt bedre. Det var også signifikant flere oppmeldte studenter i år, og et mindre auditorium enn i fjor, og dette er nok med på å farge opplevelsen av oppmøte hos undertegnede. Likevel har jeg inntrykk av at det var godt oppmøte, og at mange av dem som møtte opp deltok aktivt med spørsmål i forelesningene.

NTNU:TIA:REST

Institutt for datateknologi og informatikk

Department of Computer Science

D: Ingen trykte eller håndskrevne hjelpemidler tillatt. Bestemt, enkel kalkulator tillatt.

Engelsk

Mer om vurdering

Ved utsatt eksamen kan skriftlig eksamen bli endret til muntlig eksamen.

Anbefalte forkunnskaper

Forkunnskapskrav

TMA4115 Matematikk 3, TDT4120 Algoritmer og datastrukturer, TDT4171 Metoder i kunstig intelligens, og TDT4173 Maskinlæring.

Faglig innhold

Faget er en videreføring av TDT4173 Maskinlæring. Det gis en grundig innføring i dyp læring. Faget dekker både det matematiske og komputasjonelle grunnlaget for dyp læring, praktiske anvendelser som analyse av bilder, tekst, og andre dataformater. Det gis innføring i bruk av moderne software-rammeverk for dype nett. Disse skal brukes i noen prosjekter, mens andre oppgaver krever rimelig lavt-nivå programming i språk som Python.

Kursmateriell

Ian Goodfellow, Yoshua Bengio og Aaron Courville: Deep Learning (2016). MIT Press. Supplerende artikler deles ut ved behov.

Læringsutbytte

Kunnskaper: Generelle prinsipper for lærende/adapterende systemer. Det matematiske og komputasjonelle fundamentet for dyp læring Hvordan man kan anvende dyp læring i forskjellige praktiske anvendelser. Ferdigheter: Vurdere forskjellige rammeverk for dyp læring i spesifikke bruks-situasjoner Evne til å analysere matematiske basis for diverse dyp-lærings systemer i litteraturen. Lage komputasjonelle systemer som realiseres dyp læring. Generell kompetanse: Kjenne dyp lærings grunnlag hentet fra matematikk og kognitive vitenskaper. Forstå muligheter og begrensninger ved dyp læring i praktiske anvendelser.

Læringsformer og aktiviteter

Forelesninger, selvstudium. Det gis øvinger i løpet av semesteret der en andel må godkjennes for å kunne gå opp til eksamen.

Obligatoriske øvinger

Dyp læring

Informatikk

Datateknikk

Datateknologi - masterstudium (2-årig)

Master of Science in Informatics

Industriell økonomi og teknologiledelse - masterstudium (5-årig)

Datateknologi - masterstudium (5-årig)

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(27970)/FieldValuesAsText

Ingen tiltak lagt inn i oppfølgingsplan fra 2022. Heller ingen ikke fullførte tiltak fra tidligere emneevalueringer.

Bakgrunn Kurset besto som tidligere år av forelesninger og tre større programmeringsoppgaver. Nytt av året var flere nye forelesninger, ny modell for poenggivning på øvingsoppgavene og at karakteren i sin helhet ble bestemt av eksamen (m.a.o. øvingene bidro ikke til karakteren). Oppgavene besto av prosjekter hvor det kreves tidvis ganske mye programmering. Studentene laster opp arbeidet sitt til Blackboard for arkivering, mens vurdering av arbeidet gjøres i form av demonstrasjon til undervisningassistent eller foreleser. Hver demo tok ca. 30 minutter. Hver oppgave ble skåret med opptil 10 poeng, og kravet for å gå opp til eksamen var å oppnå minst 3 poeng på hvert av de tre prosjektene og minst 20 poeng totalt. 32 studenter var oppmeldt til faget, en kraftig nedgang fra 54 i fjor. 24 av disse leverte første øving, og 23 leverte alle øvingene. Alle som fullførte øvingsopplegget fikk nok poeng på øvingene til å kunne gå opp til eksamen. 22 kandidater møtte og leverte besvarelse på eksamen. En stor andel av studentene er fra utenlandske universiteter, og ytterligere en betydelig andel er fra institutter og studieprogrammer utenfor studieprogrammene faget inngår i. Studentene fikk mot slutten av kurset tilsendt en spørreundersøkelse for evaluering av kurset. 11 studenter besvarte hele eller deler av undersøkelsen (se vedlegg). Tilbakemeldinger Blant de studentene som har svart på spørreundersøkelse er tilbakemeldingene i hovedsak positive. Vi får positive tilbakemeldinger på at faget går teoretisk i dybden, men det etterspørres samtidig flere konkrete eksempler. Flere av studentene gir tilbakemelding om at arbeidsmengden på prosjektene er høy, men samtidig at de er svært lærerike. Det er et viktig poeng i kurset at de gjør ganske store selvstendige utviklingsoppgaver i prosjektene. Dette vil antakelig bli videreført i 2024, men vi bør samtidig bli enda tydeligere i vår kommunikasjon overfor studentene i forkant av kurset, s.a. de påmeldte har riktige forventninger og forutsetninger. En av tilbakemeldingene etterspør en kort innføring i Pytorch e.l., og dette er noe vi kan vurdere å tilby i 2024. Vi bør også se på muligheten for å inkludere noen flere praktiske eller konkrete eksempler i forelesningene.

Alle forelesningene ble i år gitt fysisk, men det var typisk ikke mer enn 10-15 studenter som møtte på forelesning. Etter tilbakemeldingene å dømme skyldes dette delvis at det fra tidligere år er laget videoforelesninger, og at disse fortsatt er tilgjengelige på nettsiden. Flere av studentene gir tilbakemelding om at videoforelesningene er nyttige. Samtidig får vi tilbakemeldinger som tydelig viser at flere av studentene som ikke har møtt på forelesning heller ikke har fått med seg det som har blitt både sagt og kommunisert på Blackboard, og som derfor gir tilbakemeldinger på feil grunnlag. Mangelen på oppmøte på forelesning har derfor negative konsekvenser for læringsutbyttet, og er dessuten negativt for forelesernes opplevelse av å gi kurset, noe som kan forventes å spille inn på kvaliteten på de fysiske forelesningene. Til 2024 bør vi vurdere om det kan finnes måter å tilgjengeliggjøre opptakene på og samtidig sørge for at studentene faktisk møter på forelesning.

Ingen trykte eller håndskrevne hjelpemidler tillatt. Bestemt, enkel kalkulator tillatt.

 Merk at det ikke tilbys utsatt eksamen (kontinuasjonseksamen) i dette faget.

Informatikk - masterstudium

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(22493)/FieldValuesAsText

Ingen tiltak lagt inn i oppfølgingsplan fra 2021. Heller ingen ikke fullførte tiltak fra tidligere emneevalueringer.

Kurset besto som tidligere år av forelesninger og tre større programmeringsoppgaver. Oppgavene ble skåret med opptil hhv. 30, 30 og 40 poeng, og karakteren ble gitt ved total poengsum. Opplegget med fortløpende skåring og åpenhet rundt grunnlaget for karaktersetting fungerte bra; det var lite krevende diskusjoner underveis og ingen klager i etterkant. 54 studenter var opprinnelig oppmeldt. 50 leverte første prosjekt og 46 fullførte hele kurset. Studentene fikk mot slutten av kurset tilsendt en spørreundersøkelse for evaluering av kurset. 13 av studentene besvarte hele eller deler av undersøkelsen (se vedlegg). Tilbakemeldingene fra studenene er i hovedsak positive. Størst spredning er det når det gjelder arbeidsmengden. Det er mye programmering i kurset, konsentrert over tre store prosjekter. Dette passer bra for mange, men enkelte opplever det som mye. Kan hende bør vi være enda tydeligere i forkant av og tidlig i kurset på at arbeidsmengden er veldig avhengig av programmeringskunnskapene. Det kan også være aktuelt å dele ut noe mer grunnleggende materiale for å hjelpe studentene å komme i gang (eksempelkode, forslag til pakker og oppsett som kan brukes, etc.). I de tekstlige kommentarene får vi noen tilbakemeldinger om at studentene bruker mye tid på å programmere rammeverk og "boilerplate-kode", og at en for liten andel av tiden går med til å lage og trene ML-modeller. Det kan være verdt å vurdere om vi kan tilpasse dette, men samtidig er det vanskelig å unngå helt, og i en reell anvendelse vil det være en enda mye mindre andel av tiden som går med til modellering. Oppbygging av rammeverk, vasking og analyse av data o.s.v. er også en viktig del av prosessen, og det er naturlig at øvingene reflekterer dette. Kurset gir en grundig innføring i grunnleggende teori og metoder innen dyp læring. Enkelte av studentene opplever at kurset kan bli i overkant teoretisk. I og med at denne teknologien er i rask utvikling, og at bruken av metodene i stor grad baserer seg på å anvende rammeverk lastet ned fra Internett, tror jeg det er en riktig prioritering å gi studentene en best mulig forståelse av de underliggende prinsippene. Det kan imidlertid være hensiktsmessig for både læringsutbyttet og motivasjonen om vi som forelesere blir tydeligere på den praktiske betydningen av teoriene og anvendelsene av de forskjellige teknikkene. Dyp læring er et stort fagområde, og et kurs som dette klarer nødvendigvis ikke å dekke hele feltet fullt ut. Det kunne vært nyttig for studentene å få et innblikk i hvilke temaer som _ikke_ dekkes i kurset, og eventuelt hvorfor disse ikke har blitt prioritert. Det er ekstremt ressurskrevende å trene virkelig dype ML-modeller på store datasett. Det hadde vært interessant å legge enda bedre til rette for at studentene kan bruke tungregnemaskiner enten på NTNU eller i skyen i enda større grad enn i dag, men jeg er usikker på om det er praktisk gjennomførbart uten at arbeidsbelastningen blir enda mye større enn den allerede er.

De aller fleste forelesningene ble gitt som videoforelesninger i form av at det ble publisert forhåndsinnspilte videoer av hver forelesning, etterfulgt av en online Q&amp;A-sesjon hvor foreleser og en eller to vit.asser deltok. I tillegg hadde studentene tilgang på øvingslærer via Blackboard på en fastsatt tid hver dag. Som foreleser oppfatter jeg det som en svakhet at kurset også i år ble holdt online. Tilbakemeldingene fra studentene er imidlertid overraskende positive på dette området. Likevel tror jeg vi går glipp av mye læringsutbytte når det kjøres online, og jeg ser fram til at det igjen blir undervist fysisk i 2023. Spesielt fordi det bare er deler av pensum som dekkes i prosjektene. Når forelesningene er tilgjengelige på video gjennom hele semesteret og karakteren utelukkende er basert på prosjektene, forsvinner alt incentiv for studentene til å sette seg inn i de delene av pensum som ikke er direkte relevante for prosjektene.

Ingen hjelpemidler tillatt.

Mappevurdering gir grunnlag for sluttkarakter i emnet. I mappen inngår skriftlig midterm eksamen (50%) og øvingsarbeider (50%). Resultatet for delene angis i %-poeng, mens sensur for hele mappen (slutt-karakteren) angis med bokstavkarakter. Merk at det ikke tilbys utsatt eksamen (kontinuasjonseksamen) i dette faget.

TMA4115 Matematikk 3, TDT4120 Algoritmer og datastrukturer, TDT4171 Metoder i kunstig intelligens, og TDT4173 Maskinlæring. 

Faget er en videreføring av TDT4173 Maskinlæring. Det gis en grundig innføring i dyp læring. Faget dekker både det matematiske og komputasjonelle grunnlaget for dyp læring, praktiske anvendelser som analyse av bilder, tekst, og andre dataformater. Det gis innføring i bruk av moderne software-rammeverk for dype nett.  Disse skal brukes i noen prosjekter, mens andre oppgaver krever rimelig lavt-nivå programming i språk som Python.

Ian Goodfellow, Yoshua Bengio og Aaron Courville: Deep Learning (2016). MIT Press. Supplerende artikler deles ut ved behov. 

Kunnskaper: Generelle prinsipper for lærende/adapterende systemer. Det matematiske og komputasjonelle fundamentet for dyp læring Hvordan man kan anvende dyp læring i forskjellige praktiske anvendelser. Ferdigheter: Vurdere forskjellige rammeverk for dyp læring i spesifikke bruks-situasjoner Evne til å analysere matematiske basis for diverse dyp-lærings systemer i litteraturen. Lage komputasjonelle systemer som realiseres dyp læring. Generell kompetanse: Kjenne dyp lærings grunnlag hentet fra matematikk og kognitive vitenskaper. Forstå muligheter og begrensninger ved dyp læring i praktiske anvendelser. 

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(17012)/FieldValuesAsText

Se vedlagt fil "instructor-report.docx" for en oversikt over semestret.

<ol><li>Ja</li><li>Web sider til faget, Blackboard, osv.</li><li>Ja</li></ol>

<ol><li>Studenter får mye praktiske erfaring med vanskelige AI teknikker. De lærer teori med å lage data programmer som gjennomføre teorien.</li><li>Ganske høyt, tror jeg.</li><li>Det ble litt vanskelig denne gangen p.g.a. Covid-19, men jeg tror at alt gikk ganske bra likevel.</li></ol>

Vanligvis blir det 3 prosjekter samt en midterm eksam. I år, p.g.a. Covid-19, ble det 4 prosjekter og studentene måtte stå på 3 av de 4 for å stå i faget. Faget ble stå / strykk i år p.g.a. Covid-19.

TMA4115 Matematikk 3, TDT4120 Algoritmer og datastrukturer, TDT4171 Metoder i kunstig intelligens, og TDT4173 Maskinlæring. 


Faget er en videreføring av TDT4173 Maskinlæring. Det gis en grundig innføring i dyp læring. Faget dekker både det matematiske og komputasjonelle grunnlaget for dyp læring, praktiske anvendelser som analyse av bilder, tekst, og andre dataformater, og bruken av dyp læring innen forsterkningslæring (deep reinforcement learning). Det gis innføring i bruk av moderne software-rammeverk for dype nett.


Ian Goodfellow, Yoshua Bengio og Aaron Courville: Deep Learning (2016). MIT Press.
Supplerende artikler deles ut ved behov.

Kunnskaper: 
Generelle prinsipper for lærende/adapterende systemer. 
Det matematiske og komputasjonelle fundamentet for dyp læring
Hvordan man kan anvende dyp læring i forskjellige praktiske anvendelser.

Ferdigheter: 
Vurdere forskjellige rammeverk for dyp læring i spesifikke bruks-situasjoner 
Evne til å analysere matematiske basis for diverse dyp-lærings systemer i litteraturen.
Lage komputasjonelle systemer som realiseres dyp læring. 

Generell kompetanse: 
Kjenne dyp lærings grunnlag hentet fra matematikk og kognitive vitenskaper. 
Forstå muligheter og begrensninger ved dyp læring i praktiske anvendelser.


Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(11426)/FieldValuesAsText

Kvaliteten ble bra, synes vi faglærer samt studenter i referansegruppen. Noen problem med midterm eksam ble nevnt av studenter (forklart videre i vedlagt dokumenter), og vi faglærerer enig i problemet og ser for oss en løsning til neste år. Se vedlagt dokumenter for mer detaljer.

1) Det er oppdatert og relevant.2) Info går til studenter gjennom flere kanaler: web-siden til faget, NTNU sin offisielle beskrivelser av faget, muntlig forklaringer ved forelesninger, osv. Studenter skulle ikke være i tvil om målet for faget.3) Det var første året for faget, men vi hadde en emnemodule av lignende art for 1 år siden, og IT-3030 følget samme basis oppskrift men greide å introdusere mer praksis (d.v.s. programmering) og litt mer teori. Det ble bedre nå, som en vanlig fag, siden fagområdet er veldig stor og eksplosivt i vekst. Se vedlagt dokumenter for mer detaljer.

1) Det funker bra. Blandning av teori og praksis er veldig bra for studenter, og de (generelt sett) liker det. Bare teori er kjedelig for veldig mange av studentene, og det forstår vi godt.2) De som vi snakker med virker VELDIG motivert. De kommer opp til oss i pausene og lurer på mange interessante faglig ting, og ikke bare "hvor mange poeng trenger jeg for å få en A i faget?". De ofte stiller vanskelige faglige spørsmål som vi ALLE må tenke oss gjennom. Det er artig.3) Miljøet er passende, men vi trenger et større forelesningssal til neste år. Det var alt for trangt inn i der, særlig når vi skulle gi en midterm eksam. Vi måtte dele studenter opp i 2 grupper for å ta midterm, og det gjorde at studenter fikk bare 50 minutt. Selv om vi prøvde å juste antall spørsmål til 50 minutt (i stedet for 100 minutt), ble mange studenter stresset p.g.a. tiden, og det var ikke hensikten med en midterm. Så det må forbedres neste gang. Se vedlagt dokumenter for mer detaljer

De passer bra sammen, synes vi. Poenget er å få en blanding av teori og praksis. Teorien evalueres med våres midterm, mens praksis evalueres med flere prosjekter som studenter levert ved en demonstrasjon. Se vedlagt dokumenter for mer detaljer

Web/Lists(guid'8b698a2d-6ad0-4f7d-b3be-219cc1979f02')/Items(4705)/FieldValuesAsText

Dyp læring - IT3030