Torsadg 26/5: Vi fortsatte med ? regne eksamensoppgaver p? wavelets, bilder, tensorprodukter, konveksitet, og ikkeline?r optimering. Dette var den siste forelesningen. Regne?velsene g?r helt frem til eksamen.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 23/5: Jeg regnet de fleste av eksamensoppgavene (2012-2015) som ber?rer del I av kurset. Jeg fortsetter med ? rene eksamensoppgaver torsdag som er relatert til wavelets, bilder, konveksitet, og ikke-line?r optimering.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 19/5: Jeg repeterte de viktigste tingene fra del III av kurset: Det generelle optimeringsproblemet og KKT-betingelsene, konveksitet, numeriske metoder som steepest descent og Newton, med eksakt linjes?k og backtracking line search. Vi repeterte ogs? Newtons metode med betingelser, samt barriermetoden. Vi avsluttet med et eksempel med KKT-betingelsene ved optimering med ulikhetsbetingelser. Neste uke regner jeg eksamensoppgaver p? begge forelesningene.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 12/5: Vi avsluttet kapittel 6 med to eksempler: En der vi kj?rte barriermetoden numerisk for ? finne en l?sning, og en der vi kunne finne minimum av b?de barrierproblemet og det opprinnelige problemet ved regning, og sjekke for h?nd at l?sningen av barrierproblemet konvergerte mot l?sningen av det oprinnelige problemet n?r barrierparameteren mu gikk mot 0. P? torsdag neste uke tar jeg repetisjon av del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 9/5: Vi startet kapittel 6 med ? se p? hvordan Newtons metode kan anvendes p? et problem med likhetsbetingelser. Deretter hopper vi over p? metoder for ? l?se problemer med ulikhetsbetingelser. Vi definerte barrierfunksjonen og barrierproblemet, som er tiln?rminger til det opprinnelige problemet, der ulikhetsbetingelsen blir erstattet med en "straff" n?r en ulkihet n?rmer seg ? v?re aktiv. Vi viste hvordan vi kan f? gode estimater til l?sningen ved ? l?se barrierproblemet med sm? barrierparametre. Neste gang skal vi se p? et par eksempler, et par flere algoritmer, samt regne et par flere oppgaver i kap. 6, f?r vi begynner p? repetisjon fra del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 2/5: Vi tok et par generelle eksempler til p? oppsett av KKT betingelsene, der objektivfunksjonen var kvadratisk eller line?r. Deretter fortsatte vi p? konveks optimering i seksjon 5.3, der vi definerte det duale problemet, og viste en sammenheng mellom l?sningen p? det primale og det duale problemet. Vi tok ogs? for oss et eksempel der vi regnet ut den duale objektivfunksjonen, og s? at de primale og duale problemene kan se h?yst forskjellige ut. Vi starter p? kap. 6 neste uke.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 28/4: Vi fortsatte i kapittel 4 med litt mer rundt beviset for optimering med kun likhetsbetingelser. Deretter formulerte vi de tilsvarende resultatene n?r vi ogs? har ulikhetsbetingelser, der hovedforkskjellene var at regul?re punkter defineres annerledes, og at Lagrangeparametrene for ulikhetsbetingelsene kunne v?re >= 0. Vi gikk s? gjennom et bevis som forklarer alt dette bortsett fra det at de nye Lagrangeparametrene er >=0. Det siste krever en del mer arbeid, og jeg gikk gjennom hovedlinjene i dette ogs? (har oppdatert kompendiet med dette og). Vi avsluttet med et par enkle eksempler p? optimering med ulikhetsbetingelser. Vi starter med et par slike eksempler til p? mandag, f?r vi avslutter kapittel 5 med seksjon 5.3.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 25/4: Vi avsluttet kapittel 4 ved ? skissere beviset for et resultat om at Newtons metode med backtracking line search for konvekse funksjoner konvergerer kvadratisk under visse (tekniske) betingelser. Deretter begynte vi p? kapittel 5, der vi startet med optimering med kun likhetsbetingelser. Vi gikk gjennom det meste av beviset for at en gradientlikning er oppfylt i et regul?rt minimumspunkt, men det var et en del detaljer i dette beviset vi hoppet over. Poenget var at et optimeringsproblem med betingelser kan oversettes til et problem uten betingelser, som lar seg l?se ved ? sette gradienten til null. Vi fortsetter i kap. 4 neste gang, og satser p? rekke gjennom stoffet med ulikhetsbetingelser da (oppgaver p? dette er h?yst eksamensrelevant).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 21/4: Vi startet p? kapittel 4. F?rst viste vi at lokale minimum er stasjon?re, og at Hessematrisen er positiv semidefinit i minimum. Deretter viste vi en setning som g?r motsatt vei. Vi viste ogs? at, for konvekse funksjoner, s? er alle lokal minima ogs? globale minima, og at alle stasjon?re punkter ogs? er minimumspunkter. Deretter s? vi p? to linjes?kmetoder: steepest descent- og Newtons metode. Vi s? ogs? p? to metoder for ? finne steglengde: eksakt linjes?k og backtracking line search. Vi skal avslutte kapittel 4 p? mandag ved ? vise at Newtons metode med backtracking line search har kvadratisk konvergens for konvekse funksjoner.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 18/4: Vi gikk gjennom kapittel 3. Vi s? p? hvordan en Lipschitz betingelse setter oss i stand til ? fikke fikspunkt ved hjelp av iterasjon, og vi repeterte Newtons metode, og vi s? p? betingelser for n?r Newtons metode konvergerer mot en l?sning. P? torsdag skal vi begynne p? kapittel 4.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 14/4: Vi gikk gjennom kapittel 2 i del III. Vi definerte konvekse mengder og konvekse funksjoner, og viste eksempler p? begge deler, som at "baller" og sublevel mengder er konvekse, og at sammensetningen av affin og konveks funksjon er konveks. Vi forklarte ogs? at konvekse funksjoner automatisk er kontinuerlige, og at deriverbarhet for slike er det samme som eksistens av de partielle deriverte. Vi avsluttet med en karakterisering av konvekse funksjoner, som sa blant annet en funksjon er konveks hvis og bare hvis den ligger over Taylortiln?rmingen av f?rste orden (tangenten). Vi fortsetter med kapittel 3 p? mandag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 11/4: Vi startet p? del III av kurset ved ? g? gjennom kapittel 1 i tilleggskompendiet som er lagt ut. Vi forklarte hovedsettingen i teorien om optimetring, og ga et par eksempler p? portef?ljeforvaltning og maximum likelihood. Deretter repeterte vi begreper som gradient, Hessmatrise og Jacibimatrise, og forklarte hvordan disse dukker opp i taylorsetninger i flere variable. Vi fortsetter neste gang med kapittel 2.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 7/4: Jeg forklarte f?rst litt rundt bruken av DWT i FBI's standard for kompresjon av fingeravtrykk. Resten av timen ble brukt til ? repetere stoff fra del II av kurset, blant annet oppsettet av en multiresolusjonanalyse, utregning av projeksjon som gir koordinatskiftene i DWT/IDWT for wavelet for stykkevis konstante funksjoner, hvordan vi kan lese ut de tilh?rende filtrene fra DWT/IDWT-matrisene, samt hvordan vi utvider teorien til 2D og bilder ved hjelp av tensorproduktet. P? mandag begynner vi p? del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 4/4: Vi definerte tensorprodukter av funksjoner og funksjonsrom, og tensorprodukt for basiser av slike. Teorien her var ganske lik det vi s? for tensorprodukt av vektorer, og vi utledet p? samme m?te et resultat p? hvordan vi kan gj?re koordinatskifte p? et tensorprodukt av funksjonsrom. Fra dette kunne vi definere to-dimensjonal DWT som et koordinatskifte i et tensorprodukt av funksjonsrom, og vi tolket dette koordinatskifte ved hjelp av lavpass/h?ypassfilter-tolkningen av DWT. Vi gikk deretter gjennom en del eksempler p? bilder. Vi avslutter kapittel 10 neste gang ved ? snakke litt FBI's standard for kompresjon av fingeravtrykk, f?r vi runder av del II av kurset med repetisjon.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 31/3: Vi anvendte tensorprodukter av filtre p? bilder, og s? hvordan vi kunne glatte ut bilder i begge retninger. Hvis vi deriverte et bilde i en retning s? svarte det til ? anvende et h?ypassfilter i den retningen, og vi s? hvordan dette kunne brukes til ? fremheve horisontale og vertikale kanter. Til slutt definerte vi basiser for tensorprodukter, definerte koordinatmatriser, og viste hvordan vi kunne regne ut koordinatskifter ved hjelp av samme type formel som vi brukte til ? filtrere et bilde vertikalt og horisontalt. Jeg fikk ikke laget noen pdf fra dagens forelesning, siden pennen p? skjermen streiket.
Opptak: PC, nettbrett, mobil, lyd.
Torsdag 10/3: Jeg starter med ? forklare litt mer om forsvinnende momenter og hvorfor vi b?r pr?ve ? konstruere wavelets med mange slike. Deretter begynte vi p? kapittel 9, der fokus var bilder. Vi forklarte hvordan vi kan vise frem bilder og lese og skrive dem til fil, samt hvordan vi kan justere kontrast i bilder, konvertere til gr?tonebilder, og trekke ut fargekomponenter. Vi rakk s?vidt begynne p? filtere anvendt p? bilder, og viste en sammenheng med det vi definerte som tensorprodukter.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 7/3. Vi regner ut frekvensresponsen til filtern for den f?rste waveleten for stykkevis konstante funksjoner, og s? at filteret G_1 hverken var et h?ypass- eller lavpassfilter. Vi fortsatte s? med ? endre litt p? psi-funksjonen i dette oppsettet slik at vi fikk to forsvinnende momenter, og regner ut nye filtre, plottet ny frekvensrespons, og s? at vi n? fikk et h?ypassfilter. Vi h?rte p? sample-lydfile v?r ved hjelp av playDWT, for alle tre waveleter, og kunne kanskje h?re en viss forbedring med v?r nye wavelet. P? torsdag hopper vi videre til kapittel 9.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 3/3. Vi forklarte at b?de DWT/IDWT-matrisene for stykkevis konstante og line?re funksjoner hadde en bestemt form, der annenhver rad/s?yle repeterte seg, og vi kalte slike matriser for MRA-matriser (some r kort for MultiResolusjonsAnalyse, som vi ogs? snakket litt om som en generalisering). Denne repetisjonen minner om strukturen i matriser for filtre, og vi utledet hvordan vi kan regne ut en DWT ved hjelp av to filtre H_0, og H_1, og hvordan vi kan regne ut en IDWT ved hjelp av to filtre G_0 og G_1. Jeg hadde et ganske l?st argument for at G_0 var et lasvpassfilter pg at G_1 var et h?ypassfilter. Vi avsluttet med ? regne ut filtrene for Haar-waveleten, og vi s? ved ? plotte frekvensrespons at ihvertfall her G_0 et lavpassfilter og G_1 et h?ypassfilter.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 29/2. Jeg avsluttet stoffet om stykkelivis konstante wavelets med et par eksempler, f?r jeg fortsatte med ? definere stykkevis line?re wavelets i seksjon 5.4. Mye av teorien var her lik, men v?re nye basisfunksjoner var ikke lenger ortogonale, slik at vi ikke kunne bruke ortogonalt dekomposisjonsteorem direkte til ? regne ut projeksjoner. Vi definerte en alternativ avbildning for dette, som utfylte denne rollen, og med denne s? vi hvordan vi kunne gj?re en alternativ oppsplitting som gir oss noe en tilsvarende Diskret Wavelet Transform. p? torsdag starter vi med ? sette opp de tilh?rende koordinatskiftematrisene, eksperimenterer litt med den nye waveleten p? lyd, og forklarer generaliseringer og litt om sammenhengen mellom wavelets og filtre.
Opptak: pdf, PC, nettbrett, mobil, lyd
Torsdag 25/2: Vi fortsatte ? regne med basisfunksjonene for resolusjonsrommene for stykkevis konstante funksjoner, og definerte diskret wavelet transform som koordinatskiftet vi f?r ved ? skrive noe fra et h?yere ordens resolusjonsrom som en sum av en tiln?rming fra en lavere resolusjon, og detaljer p? de forskjellige resolusjonene. Vi viste algoritmer for DWT og IDWT, og forklarte hva vi b?r se n?r vi kj?rer disse p? lyd. I prinsippet svarer en DWT til at vi regner ut gjennomsnitt og differenser: Gjennomsnittene svarer til lavresolusjonstiln?rmingen, mens differansene svarer til detaljene. P? regne?velsene i morgen tenkte jeg dere skulle sitter med oppgave 5.18 og 5.19 for ? teste ut DWT p? lyd, og jeg tenkte ogs? regne eksempel 5.18, 5.20, og 5.21 for dere p? tavla. Ikke bare oppgaveregning i morgen med andre ord. P? mandag begynner vi s? p? seksjon 5.4 (stykkevis line?re wavelets).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 22/2: Vi begynte p? kapittel 5 ved ? bruke et bilde fra Google Earth til ? motivere en multiresolusjonsanalyse - der vi splitter opp et bilde i en tiln?rming med lavere oppl?sning, og ekstra detaljer ved forskjellige oppl?sninger. Vi startet med ? bruke stykkevis konstante funksjoner for v?re resolusjonsrom, vi fant ortonormale basiser for disse, og fant ut hvordan vi kunne projisere oss fra et h?yere ordens resolusjonsrom ned i et lavere ordens resolusjonsrom. Dette vil v?re basis for den diskrete wavelet transformen, som vi vil komme til p? torsdag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 18/2: Jeg repeterte de viktigste tingene fra del I av kurset (kapittel1-3).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 15/2: Vi gikk gjennom seksjon 3.4. Vi s? p? filtre som la til ekko, samt glidende middel filtre. Disse var de f?rste filtrene som var eksempler p? det vi definerte som lavpassfiltre.Deretter s? vi p? ideelle lavpassfiltre, og filtre der filterkoeffisientene var tatt fra Pascals trekant, og argumenterte for at disse var bedre som lavpassfiltre. Til slutt s? vi at vi kunne lage h?ypassfiltre ved ? legge p? alternerende fortegn i lavpassfiltre, og vi s? p? de tilsvarende filtrene med koeffisienter fra Pascals trekant her ogs?. P? torsdag reptererer vi hele del I. Vi begynner p? del 2 p? mandag. Jeg legger ut stoffet for del 2 i l?pet av et par dager.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 11/2: Vi startet med ? vise at egenverdiene til et filter kan regnes ut ved hjelp av en DFT, og regnet eksempler p? ? regn ut utgangen til et filter. Deretter fortsatte vi med ? definere den kontinuerlige frekvensresponsen, og forklarte sammenhengen mellom denne og vektor-frekvensresponsen.Vi plottet et par frekvensresponser, og forklarte hvordan vi kan regne ut filterkoeffisientene til et produkt av to filter ved hjelp av frekvensresponsene. Vi bruker morgendagens forelesning til oppgaver fra sek. 3.3 og 3.4. Jeg foreleser sek. 3.4 p? mandag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 8/2: Vi definerte filtre p? en m?te i seksjon 3.1 ved hjelp av formler som involverer det vi kalte for filterkoeffisienter, og s? at matrisene for disse var det vi kalte for sirkulante Toeplitzmatriser. Deretter begynte vi p? seksjon 3.2, der vi definerte filter mer formelt ved at Fourierbasisvektorene skal v?re egenvektorer. Vi viste til slutt at denne definisjonen var ekvivalent med definisjonen fra 3.1 via sirkulante Toeplitzmatriser, og ogs? ekvivalent med en tredje formulering som g?r p? tidsinvarians. Vi fortsetter i 3.2 p? torsdag.
Opptak: pdf, PC, nettbrett, mobil, lyd
Fredag 5/2 ble brukt til oppgaveregning.
Torsdag 4/2. Vi gikk gjennom seksjon 2.4 om FFT. Vi utledet algoritmen fra uttrykket for DFT, og skrev dette p? blokkmatriseform. Vi sammenlignet med en rett-fram implementasjon av DFT, og kom fram til at algoritmen reduserte antall regneoperasjoner fra 8M^2 til 5Nlog_2 N. Vi s? ogs? p? en generell implementasjon, der bitreversering av indeksene ogs? spiller en sentral rolle. Morgendagens forelesning bruker vi p? oppgaver.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 1/2. Vi sa mer om sammenhengen mellom DFT og Fourierrekker. blanat annet hvordan vi kan regne ut Fourierkoeffisientene til en funksjon i V_(M.T) ved ? ta en DFT p? samplene til funksjonen. Etter litt mr regning ga denne sammenhengen opphav til samplingsteoremet, som er en interpolasjonsformel for ? uttrykke funkssjon ved dens sampler, gitt at vi vet noe om hvor h?ye frekvensene i signalet kan v?re. Vi avsluttet med ? bruke DFT til ? eksperimentere med lyd, med blant annet ? endre lyden ved ? nullstille DFT-koeffisienter for lave/h?ye frekvenser. P? torsdag tar vi for oss seksjon 2.4 om FFT.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Fredag 29/2 ble brukt til oppgaveregning.
Torsdag 28/2: Jeg gikk gjennom det meste av seksjon 2.2, der vi definert de grunnleggende begrepene i diskret Fourieranalyse. Spesielt definerte vi N-punkts Fourierbasis og Diskret Fouriertransform, og utledet egenskaper parallelle til de for Fourierrekker. Vi utledet ogs? sammenhengen mellom frekvens og DFT indeks. Jeg foreleser ikke nytt stoff i morgen fredag, men fortsetter p? mandag med seksjon 2.3, der vi skal bruke DFT til ? gj?re operasjoner p? lyd.
Opptak: pdf, PC, nettbrett, mobil, lyd
Mandag 25/2: Vi startet med oppgave 1.12, for ? bli operative p? komplekse Fourierrekke som vi definerte sist. Vi gikk s? gjennom seksjon 1.4, der vi spesielt s? p? egenskaper ved Fourierrekker. Vi gjorde ogs? oppgave 1.17 som drill p? dette. Vi s? litt p? Fourierrekker og derivasjon av disse, og hvordan resultater p? dette kan brukes til ? forklare hvorfor trekantpulsens Fourierrekke konvergerer raskere enn firkantpulsens. Vi definerte den symmetriske utvidelsen til en funksjon, som kan brukes til ? "speede opp" konvergensen i Fourierrekker. Vi er n? ferdig med kapittel 1, og fortsetter i seksjon 2.2 neste gang.
Opptak: PC, nettbrett, mobil, lyd, pdf
Fredag 22/2: Vi brukte litt over en time p? oppsett rundt programmering, og testing med enten matlab eller python. Som sagt velger dere selv hvilket milj? dere vil bruke, og jeg skal hjelpe dere s? godt jeg kan videre med oppsettet. Matlab p? OCene i aud. 3 skulle uansett fungere uten at man m? gj?re annet enn ? laste ned all kode og sette userpath. Vi gikk ogs? gjennom seksjon 1.3 (komplekse Fourierrekker), og gjorde oppgave 1.9.
Opptak: pdf
Torsdag 21/1: Vi gikk gjennom seksjon 1.2, der vi definerte Fourierrekker som minste kvadraters tiln?rminger fra det vi kalte Fourierrom, og repeterte ortogonalt dekomposisjonsteorem, som gjorde oss i stand til ? regne ut Fourierkoeffisienter. Vi regnet ut Fourierrekka til firkantpulsen, og sammenlignet med selve firkantpulsen, b?de ved ? plotte funksjonene, og ved ? h?re p? lydene. Vi observerte ogs? at firkant og trekantpulsens Fourierrekker var rene sinus/cosinus-rekker, og regnet litt p? hvorfor det var slik. I morgen fortsetter vi p? seksjon 1.3, men har mye fokus p? ? gj?re oppgaver p? eksperimentering med lyd.
Opptak: PC, nettbrett, mobil, lyd, pdf
Mandag 18/1: Jeg startet med en intro til kurset og en del praktiske opplysninger, slik som obligatoriske oppgaver, ukesoppgaver, programmering etc.. Deretter gjennomgikk vi seksjon 1.1 om hva som karakteriserer lyd, og gjorde oppgave 1.1. Deretter hoppet vi over p? kapittel 2.1 om digital lyd, og testet ut en del enkle operasjoner p? lyd ved ? kj?re gjennom matlab-noteboken fra kodebasen til kurset. P? torsdag fortsetter vi med ? eksperimentere med kode, og videre i kapittel 1.
Opptak: PC, nettbrett, mobil, lyd, pdf