Kista 1996-04-01 Till Peter Ullmark, NUTEK Sammanfattande lägesrapport för forskningsprojektet Intelligenta filter i gruppkommunikationssystem (IntFilter). Institutionen för data- och systemvetenskap (DSV), Stockholms Universitet/KTH. AKTIVITETER Från den 1 april 1995 fram till idag har arbetet inom projektet ägnats åt två parallella aktiviteter. Den första aktiviteten bestod i att färdigställa programvaru- systemet PEFNA, ett system för filtrering och presentation av det Internet-baserade gruppkommunikationssystemet Usenet News. Fredrik Kilander arbetade med detta. Under utvecklingen genomgick såväl användargränssnitt som underliggande funktioner flera revisioner. Eftersom PEFNA var avsett att användas av försökspersoner individuellt och under längre tid gavs användargränssnittets utformning och funktion särskild uppmärksamhet. En robust prototyp var klar och i drift i december 1995 och systemet är fortfarande under utveckling. Under perioden januari 1996 implementerades även ett klustringsverktyg (EUCLUS) att vara behjälpligt vid analysen av data insamlade från försökspersoner. Den andra aktiviteten tog sin början i augusti 1995 i och med att Eva Fåhræus anslöt sig till projektet. Under hösten bidrog hon till utvecklingen av PEFNA-systemet samtidigt som hon förberedde de försök med användare som tog sin början i december. Dessa försök syftade till att med PEFNA-systemet som datainsamlingsverktyg få ett empiriskt grundmaterial för studiet av hur människor klassificerar meddelanden i Usenet News. Ytterligare kunskap i denna fråga vanns från en samling essäer skrivna av studenter vid DSV. Analysen av användarstudierna har just påbörjats och leder fram till den 30 juni 1996 till två olika aktiviteter. Den första syftar till att med det insamlade materialet som bas utvärdera kvalitéer och brister hos ett ännu ej fastslaget antal filtreringsalgoritmer. Resultaten av denna utvärdering förväntas leda till konstruktiva modifikationer i PEFNA- -systemet som därefter återigen presenteras för försöks- personerna. I detta skede förväntar vi oss att säkerställa omdömen om filtreringsmetodernas praktiska användbarhet. Givetvis kommer arbete också att ägnas åt färdigställandet av slutrapport och annan dokumentation. MÅL OCH MÅLUPPFYLLELSE Av de mål som presenterades i projektets senaste ansökan, har följande uppfyllts helt: "* Det viktigaste målet i [IntFilter] är att implementera en prototyp. Detta innefattar att * utveckla prototypen, i vilken olika filtreringsmetoder kan installeras och prövas," Prototypsystemet PEFNA togs i drift i december 1995. Följande mål har uppfyllts delvis: "* använda prototypen för att testa olika filtre- ringsmetoder på användare, som får göra en bedömning av vilka filtreringsmetoder som bäst fyller deras behov, * låta en grupp vana användare av Usenet News pröva [prototypen] under en längre tid och utvärdera detta," Prototypsystemet PEFNA har varit installerat hos fyra försökspersoner sedan snart tre månader. De har dock inte haft möjlighet att utnyttja mer än en filtreringsmetod. Vi räknar med att kunna jämföra alternativa filtreringsmetoder på ett statiskt material och att exponera försökspersonerna för minst ett av dessa alternativ i en modifierad prototyp. Följande mål har inte kunnat uppfyllas: "* utföra fältstudier i något företag för att förbereda implementering av den utvärderade och förbättrade versionen av prototypen, * hitta arbetsgrupper i något företag med filtre- ringsbehov och låta dem pröva filtret på sina speciella behov." Orsaken till att dessa mål inte kunnat uppfyllas är att inledande kontakter togs med Elemtell under våren 1995 men medan prototypen utvecklades gick kontaktpersonerna vidare till andra arbetsuppgifter och samarbetet stagnerade. "Olika experiment för att studera gränssnittsfrågor samt själva dialogen mellan användare och filter- system faller sig här naturligt och kan fokusera på * experiment med användare för att ta fram en väl fungerande dialog mellan människan och maskinen * experiment med användare för att studera om re- kommendationer av inlägg fungerar mellan människor utan systemet för att applicera det inom området social filtrering och intelligenta agenter." Utvecklingen av prototypsystemet PEFNA har visserligen ägnat särskild uppmarksamhet åt användargränssnittet men vi har inte funnit utrymme att genomföra empiriska studier av gränssnittsfrågorna. Inte heller har frågan om social filtrering prövats i praktiken. FORTSATT ARBETE Vi upplever två frågor såsom varande centrala för det fortsatta arbetet med filtrering av elektroniska meddelanden: * en effektiv och robust metod för klassifikation av texter efter användarens preferenser * ett rationellt utnyttjande av modern gränssnittsteknik för att i högre grad underlätta användarens begreppsbildning. Dessa två frågor är relaterade till varandra på följande sätt. En filtreringsmetod vars arbetssätt är genomskinligt för användaren och som är lätt att instruera innebär också en lägre inlärningströskel. Att metoden är effektiv innebär inte bara att den är beräkningsmässigt acceptabel utan också att dess urskiljningskraft är tillräcklig för att motivera dess användande. Å andra sidan skall den också vara robust, och detta får anses innefatta konsistenta och förutsägbara beräk- ningsresultat som inte är belastade av den skenbara slump- mässighet som alltför komplexa system löper risk att drabbas av. Under projektets gång har vi i allt större utsträckning kommit att upprätthålla hypotesen att individens bevekelsegrunder för att föredra en text framför en annan är synnerligen komplice- rade. Intuition, undermedvetna beslut, kunskapsnivå, stress och andra svårfångade faktorer påverkar besluten. I stället för att upprätthålla ambitionen att datorn skall fatta så många beslut som möjligt åt användaren, tror vi att användaren även fortsättningsvis måste konstruera och underhålla sin egen uppfattning om vad som är intressant i ett visst ögon- blick. Datorns roll blir då att sammanställa och presentera ett intelligent urval av den tillgängliga informationen på ett sådant sätt att användaren inte belastas med onödig informa- tion och samtidigt får maximal hjälp med sin personliga be- greppsbildning. I detta scenario kan triviala beslut med fördel överlåtas till mekanisk filtrering. DOKUMENT FR O M 1 APRIL 1995 Fåhræus, Eva, 'Kvalitativa metoder i projektet Intelligenta filter', DSV/SU, 1996. Kilander, Fredrik, 'Properties of Electronic Texts for Classification Purposes as Suggested by Users', utkast, http://www.dsv.su.se/~fk/if_Doc/IntFilter.html/F25/essays.ps.Z, DSV/SU, 1996. Kilander, Fredrik, 'EUCLUS - An Euclidian, Agglomerative Mixed-mode hierarchical clusterer' (prel.), utkast, DSV/SU, 1996. Lantz, Ann, 'Useful criterias for intelligent filtering?', DSV report 95-042, DSV/SU, 1995. BILAGOR: ljusbilder från mötet på KTH, 13/3 1996. Med vänliga hälsningar Eva Fåhræus Fredrik Kilander Jacob Palme För IntFilter Fredrik Kilander