This project investigates the application of a Blackboard model for rich-text annotation, focusing on the research, development, and practical use of such a model. The research method employed in this project is the construction of a blackboard model artifact specifically designed for rich-text annotation.

This model allows various annotation components to operate independently and in parallel, based on their input-output dependencies rather than a hier-archical structure. This significantly enhances the system’s flexibility. The primary aim is to create a model that supports the seamless replacement of components, ensuring future-proofing and adaptability as NLP technologies evolve. The main findings of this research demonstrate that a Blackboard model can effectively manage multiple, independent annotation components, facilitating easier updates and integration of new technologies. This flexibility addresses a critical gap in existing systems, which often struggle with scalability and adaptability. The implications of these findings suggest that adopting a Blackboard model for text annotation can lead to more resilient and maintainable NLP systems, providing a practical solution for researchers and developers working with large datasets of raw text.

Denne avhandlingen fokuserer på utviklingen av programvare for å ekstrahere geospatiale data fra nyhetsartikler ved hjelp av GPT-3/4 og lagre det i en kunnskapsgraf. Målet er å løse utfordringen med å trekke ut presis informasjon om steder, og geografiske forhold fra ustrukturerte tekster. Ved å utnytte avanserte tekstanalyse- og kunstig intelligensmetoder, ønsker prosjektet å støtte journalister og bidra til informasjonsanalyse.

Denne masteroppgaven undersøker hvordan ChatGPT, en avansert språkmodell utviklet av OpenAI, kan anvendes for å effektivisere nyhetsdeteksjon og -produksjon. Hovedmålet er å utvikle en pipelinje som kan klassifisere byggesaksdokumenter som nyhetsverdige eller ikke, basert på deres innhold og relevans. Det blir også presentert en løsning for forhåndsbehandling av data som del av pipelinjen.

Gjennom en iterativ designprosess ble forskjellige prompt-strategier testet, inkludert zero-shot, few-shot, chain-of-thought og tree-of-thought. Resultatene viser at avanserte prompting-teknikker klarer å klassifisere byggesaksdokumenter med høy nøyaktighet, og kan bidra til å effektivisere arbeidet til journalister.

Oppgaven konkluderer med at ChatGPT har betydelig potensial for å støtte journalistisk arbeid med en gjennomsnittlig klassifiseringsnøyaktighet på 77%, og presenterer også muligheter for videre forskning for å forbedre modellens nøyaktighet og redusere risikoen for feilinformasjon.

Debatten rundt humor er like dagsaktuell som den alltid har vært, både i medier og hos publikum. Med utgangspunkt i debatten rundt humor, tar denne masteroppgaven for seg hva, hvor og hvordan komikere anser de uskrevne reglene for humor å være. De uskrevne reglene bestemmer hva som er akseptabelt å vitse om i forskjellige kulturelle og sosiale sammenhenger, noe som betegnes som humorregime. Ved hjelp av kvalitative intervjuer med kjente norske standup-komikere, som Kevin Kildal, Dag Sørås, Sigrid Bonde Tusvik, Tore Sagen og Henrik Fladseth, utforskes deres erfaringer og refleksjoner rundt hva som er tillatt innenfor humor, hvor grensene går og hvordan de uskrevne reglene håndheves.

Komikerne uttrykker at de kan vitse om alt, men det kommer frem at de likevel forholder seg til uskrevne regler. Disse reglene er formet av samfunnets normer, publikums forventninger og medienes reaksjoner. Funnene indikerer at tilhørighet til tema, opplevelse av autentisitet og publikums forventninger er sentrale faktorer som bestemmer hva de uskrevne reglene innenfor humor er.

De uskrevne reglene finner man i tidsånden man lever i, der mer spesifikt publikum, medier og internaliserte regler hos komikerne selv peker seg ut som steder man finner de uskrevne reglene. Det er også her man ser de uskrevne reglene bli håndhevd, med kanselleringskultur, publikum sine reaksjoner og mediene sin makt til å påvirke publikum og tidsånden.

Oppgaven konkluderer med at humorregimer er dynamiske og påvirkes kontinuerlig av endringer i kulturelle normer og samfunnets tidsånd. Komikere balanserer mellom å utfordre og tilpasse seg de uskrevne reglene for å kunne utøve overskridende humor for å ikke bli utsatt for negative reaksjoner fra publikum. Samtidig er det viktig å opprettholde en form for autentisitet både overfor publikum og seg selv. Debatten rundt humor som man har sett de siste årene har handlet mye om krenking og kansellering, der komikere ytrer at dette er negativt for humor som sjanger. Samtidig viser funnene i denne oppgaven at komikerne ikke er bekymret for å bli kansellert, men heller frykten for den direkte negative reaksjonen fra publikum i øyeblikket. Her er det det unge publikummet som peker seg ut som de som lettest blir krenket, og komikerne nevner spesielt studenter som en lettkrenket gruppe.

Gjennom en grundig analyse av intervjudata og teoretiske perspektiver på humor, gir oppgaven en unik innsikt i hvordan norske standup-komikere opplever og navigerer gjennom humorregimene i dagens tidsånd. Forskningen konkluderer med at komikere i Norge i dag forholder seg til humorregimer, selv om de ytrer at de kan vitse med alt.

This thesis is a research endeavor to explore the efficacy of large language models in conjunction with document classification.

This thesis started out as a project started together with the “Byggebot”- project, started by the PolarisMedia-group, after my thesis advisor Professor Andreas Lothe Opdahl was contacted by the project lead to see if he was interested in the idea. The original goal of this project was to see whether or not one could utilize large language models as a means of classifying “news-worthy” stories, with a focus on municipal building permit documents.

The municipality i decided on working in was Tromsø, as one of the local newspapers were working on a similar project, and were originally interested in collaborating. I eventually has issues with bad data, as there was the need to acquire them manually, and the municipal database of Tromsø had less than desirable document markings and classifications. After some trial and error, the decision on shifting the thesis to document classification itself, as this was where most of the time was spent on this project, and it seemed like an interesting angle to research. After rigorous attempts at fine-tuning models and semi-manually classified verification documents, it was unclear whether or not the models were being verified well enough because of lacking data. In the end the decision ended up being to use multiple different state-of-the-art models and compared them against each other to test the agreement between them when being tested against multiple different datasets, trying to classify each one with a similar prefixed-prompt. In the end the resulting scores seem to indicate that certain models tend to agree with each other. The argument is then that the probability of the classification being wrong when multiple models have agreed to this extent, is moderately low. The models are by no means perfect, but it seems to be a trend for certain ones to be more effective than others in some of the domains tested.

Kunstig intelligens er mer aktuell enn noen gang, og det utforskes stadig hvordan det kan brukes til å effektivisere arbeidsprosesser. Siden journalistyrket handler mye om skriving og produsering av nyheter, artikler og tekster, er språkmodeller og generativ KI veldig relevant for denne bransjen. De siste årene har generativ KI blitt tatt mer i bruk av nyhetsmedier og journalister, og da spesielt ChatGPT. Mens ChatGPT er en språkmodell som kan hallusinere og generere falske fakta, finnes det også språkmodeller som IBM Watson Debater som er faktabaserte og dermed ikke kan hallusinere.

Denne masteroppgaven er et designforskningsprosjekt som utforsker hvordan man kan designe et støtteverktøy som kombinerer IBMs Watson Debater og OpenAI sin ChatGPT, slik at journalister kan utnytte det til tekstgenerering.

Støtteverktøyet har blitt utviklet gjennom to iterasjoner, hvor det ble gjort en formativ evaluering av første versjon, før den siste designiterasjon ble utført basert på evalueringen. Den formative evalueringen bestod av intervjuer med brukertester hvor brukere med relevant stilling og kunnskap deltok. Gjennom disse intervjuene ble det avdekket to interessante vinklinger av støtteverktøyet, og det ble derfor utviklet to forskjellige versjoner i den siste designiterasjonen.

In the rapidly growing media streaming platforms, it has become very challenging for users to browse through the catalogue and find interesting media items to watch. As such, personalized recommender systems are a vital component of this domain. Recommender systems are digital tools that have shown to be effective in supporting users in the discovery of items tailored to their personal preferences and needs.

Traditional recommender systems build profiles of users based on their static preferences (e.g., clicks or ratings) provided for items and utilize these profiles to generate relevant recommendations for users. However, these systems fail to consider that users’ behaviors and preferences are not necessarily static properties – they change over time and depend on their contextual circumstances at the time of consumption. The most relevant items when the user was curled up on the couch watching TV in the evening might not be the most relevant items when they’re on the school bus and watching from their phone.

In this thesis I address this problem by proposing a recommender system that utilizes contextual factors such as `Time of Day’ and `Day of Week’. This methodology has been tested under two conditions: our offline evaluation setup, and online A/B testing on the largest Norwegian media streaming platform, TV 2 Play. The results show that the proposed recommender system is highly effective in generating recommendations for real users and, in the most of the cases, surpass today’s industry-standard traditional recommender systems with respect to various metrics, including Precision, Recall, F1, MAP, and Coverage.

Online advertising is a big part of everyday life for the average internet user, and an important source of income for most mass media companies. Studies have shown that users often prefer ads that are relevant to their interests, and that users that have a positive opinion towards advertisements are less likely to use ad blockers. It is therefore beneficial for companies to personalize advertising, not only because it can increase their revenue, but also to prevent users from turning to ad blockers. Displaying personalized advertisements can be done through the use of collaborative filtering, which is a popular technique in recommender systems. In the context of advertising, collaborative filtering models can recommend an ad to a user by identifying other users with similar preferences, and then choosing an ad that they have liked. The challenge in this scenario is that users don’t explicitly express which ads they like and which they dislike. Users may instead click on ads, thereby implicitly indicating their preferences. This type of implicit feedback does however raise several challenges. One of the central challenges is how to interpret the lack of negative feedback, i.e. the events where a user has seen an ad without clicking on it. Does zero clicks mean that the user disliked the ad, is indifferent, or did they simply not notice it?

This master’s thesis aims to address the challenges posed by implicit feedback data, with the primary goal being to improve personalized online advertising. The research consists of two main experiments based on industry data provided by Amedia, one of the largest media companies in Norway. I propose three novel approaches to infer user preferences towards advertisements, alongside three approaches that are more traditional. By inferring user preferences, it becomes possible to employ collaborative filtering methods such as matrix factorization for generating advertisement recommendations. Three different matrix factorization models were chosen for this task. Through a comprehensive offline evaluation, a comparative analysis was conducted in order to uncover which of the scoring approaches resulted in the highest quality advertisement recommendations across several performance metrics. The findings from the experiments suggest that the proposed novel approaches were generally superior at representing user preferences compared to the more traditional approaches. Overall, the research conducted in this thesis addresses some of the challenges with using implicit feedback data for personalization, and proposes how this topic can be further explored in order to improve personalized advertising.

This master’s thesis delves into the measurement of similarity between news articles within the Norwegian news domain. Four central questions form the basis of the thesis: the identification of information cues utilized by readers, the effectiveness of specific similarity metrics, the comparison with other domains, and the exploration of differences in human similarity ratings between national and local news. Key findings include that a Sentence-BERT metric, applied to the body text, best represented human similarity judgments. Compared to other news domains, the Norwegian news domain showed stronger correlations for a majority of the metrics. A minimal contrast was observed between human ratings for local and national news, with local news considered slightly more similar. This disparity between local and national levels, however, did not markedly impact how metrics represented human similarity judgments. The findings from this thesis may provide valuable insights for enhancing news recommendation systems within the news sector.

Postponed access: the abstract will be accessible after 2024-06-01.

Advertisement is one of the primary sources of revenue for companies. Advertisement can result in increased sales for the companies by promoting their products or by hosting the advertisement of the other companies. While there have been many studies investigating the effectiveness of the advertisement in various domains, there are still challenges to be addressed. Notable challenges are overabundance, privacy, spamming, or irrelevant placement of advertisement. The results of such challenges can be poor quality of advertisement irrelevant to the audience interest or irrelevant in the context of the content in which it has been shown. A colourful and shiny image in an advertisement, promoting a luxury product that is placed together with a news article discussing the growing poverty in certain regions of the world can be an example. This can lead to dissatisfaction of the audience when experiencing a particular irrelevant advertisement. Personalisation techniques can be useful in addressing such challenges. For example it can be used to match the advertisement shown in news outlets to the article. Such techniques can analyse the content of the news articles and find right advertisement that is better suited to the article. However, this requires rich data of displayed advertisement which are not always available. That can be one of the reasons why viewing an irrelevant advertisement is still part of our everyday experience. In this thesis, I have explored the potential of using automatic visual analysis to obtain better representation of the advertisement and to improve the relevance of advertisement to the audience. For such analysis, a number of visual features has been extracted from the images of the advertisements and analysed to better understand their correlations with audience behaviour online when interacting with advertisement campaigns. I have received the data set from Amedia, one of the largest media companies in Norway. The data set includes campaigns and audience behaviour, and the images associated with the campaigns. Four analyses have been conducted in the thesis including, exploratory analysis and correlation analysis. Machine learning models have been built (using CatBoost) based on the audience behaviours and visual features extracted from advertisement. In addition a method called SHAP (SHapley Additive exPlanations) has been used to find explanation of model prediction. The contribution of this thesis includes preprocessing and exploratory analyses of the industry data, a novel data set containing the visual features extracted from the images of the advertisement, a Python prototype, and the results of analyses based on this prototype.

In this thesis I explore the use of a cross-device interactive application and how single individuals could make use of multiple connected devices by themselves for their work. I have created a functional prototype that is used to evaluate the workload of a single device versus the use of multiple devices with the use of in-built cross-device interaction capability. The process of this study consisted of research, prototyping, programming the application, and performing a study to analyze the data gathered. Due to the covid-19 situation, the project had major re-routes in 2021 to handle its effects, resulting in an additional year of work to complete it.

Argument mining is the process of automatic extraction of certain argu- mentation structures from data. Argument mining consists of several stages such as argument component detection, argument component clas- sification, and argumentative discourse analysis. The lack of training data in low resource languages is a common issue in argument mining applica- tions. In this work we analyse the possibilities for the application of zero- shot and few-shot language transfer models trained on the language ma- terial in a resource-rich language (English) for the tasks of argument com- ponent detection, and argument component classification in a low-resource language (Norwegian) with the aim to find out if these techniques can help overcome the challenge of no available training data. In addition, we com- pare models based on different transformer architectures and experiment with additional hand-crafted features.

Similar item recommendation is one of the most popular types of recommender systems. As the name implies, the objective is to recommend items that are similar to a reference item. The news domain is one of the many that employ this form of recommendation, which utilize similarity functions in order to calculate the similarity. In this study, human judgments of article similarity were acquired using an online user study in which each of the 173 participants evaluated the similarity of 12 pairs of articles. Each of the 12 article pairs had their own unique characteristics. One pair would be made up of two completely dissimilar articles, while the other pairs had either a shared topic, a named entity in common, publication dates in close proximity, or some combination of these three characteristics. Half the pairs contained articles from the News (i.e., recent events) category, while the other half contained Sport articles. The similarity of the same article pairings was then calculated utilizing various similarity functions, and the correlation between human judgment and function scores was computed. This thesis found that the correlation ranged from weak to strong, depending on the function. The thesis also found that the correlation is largely dependent on the whether the articles have certain characteristics in common. On average, the functions correlated more strongly to human judgment if the articles belonged the category News (i.e., recent events) than Sport. The functions were also better at predicting human similarity when the articles in question were relatively similar to one another. The novel work presented in this thesis shows that the correlation between human judgment and similarity functions can be stronger than previous work has suggested, if news articles are paired in a meaningful way.

Denne oppgaven undersøker hvordan unge voksne benytter seg av mediefenomenet reaksjonsvideoer. Ettersom plattformer som YouTube og Twitch blir mer populære og sentrale i folks hverdag vil man naturligvis også bli smittet av trender. Den siste tiden har det blitt populært med reaksjonsvideoer som handler om at streamere eller innholdsprodusenter filmer seg selv reagere til hva enn som skjer på skjermen deres. Et eksempel på dette er Asmongold som har rundt 200 000 seere på hans livestream av at han selv reagerer og kommenterer på rettsaken til Johnny Depp og Amber Heard. Fenomenet vil bli sett i lys av opinionsledere og parasosiale relasjoner. Gjennom kvalitative dybdeintervjuer tar studiet for seg 10 informanters opplevelser, samt hva de får ut av fenomenet. Studien ser og på hvordan informantene selv tolker og forklarer fenomenet, og hvordan de bruker reaksjonsvideoer annerledes fra «vanlige» videoer. Funnene i denne studien tyder på at informantene bruker reaksjonsvideoer som en måte å få mer informasjon om det man ser på, og for å få inn flere perspektiver. Reaksjonsvideoer bidrar og til økt selskap mens informantene ser på videoene. På denne måten opplever informantene at de ser på en video «med» noen som de kan føle at de kjenner. Man kan også se at informantene bruker reaksjonsvideoer, og kommentarfelt, som en måte å bekrefte egne tanker og meninger, samt at slike videoer fungerer som en måte å se på andre gjenoppleve det man selv har gjort.

Smarttelefonen er ein integrert del av kvardagslivet vårt og me brukar den til fleire praktiske formål, og upraktiske. I kvardagen blir smarttelefonen hylla fordi den har fleire bruksområder, men samtidig kan den bli slakta for evne si til å forstyrre merksemda vår, eller forstyrre andre som irriterer seg over andre sin bruk i situasjonar dei skulle helst vore forutan. Denne masteroppgåva prøvar å kome med eit bidrag til studiar om smarttelefonbruk i eit medieerfaringsperspektiv. Med inspirasjon frå irritasjonen enkelte publikummarar uttrykkjer i kronikkar og lesarinnlegg om andre publikummarar sin bruk av smarttelefonen gjennom ein heil konsert, undersøkar denne oppgåva korleis unge vaksne frå alderen 20 til 26 år brukar smarttelefonen i ein konsertsamanheng. Ved å utføre deltakande observasjon av konsertane til Daniel Kvammen og Kjartan Lauritzen på USF Verftet i Bergen, etterfølgt av kvalitative intervju i etterkant av utvalde publikummarar, prøvar denne oppgåva å svare på korleis smarttelefonen er ein del av ei medieerfaring av å reise på konsert. I eit medieerfaringsperspektiv undersøker oppgåva korleis informantar brukar smarttelefonen på konsertane til Daniel Kvammen og Kjartan Lauritzen. Altså kva tar dei bilete og videoar av? Kvifor deler dei bileta og videoane med andre? Kva slags betydingar har det for informantane å dele konsertbileta og -videoane? Funna i analysen kan indikere at informantane ikkje er opptekne av å bruke smarttelefonen heile tida på konsertane til Daniel Kvammen og Kjartan Lauritzen ettersom det kan forstyrre ein tilstand av flow. Likevel brukte informantane smarttelefonen for å ta bilete og videoar av konsertane, og med tanke på at smarttelefonen kan verke å vere naturalisert i liva til informantane i den grad at dei ikkje tenkjer over bruken lengre, kan det tyde på at smarttelefonen er ein del av flowen. Naturaliseringa av smarttelefonen i liva til informantane kan også gjere det naturleg for dei å dele bileta og videoane med andre om at dei opplev noko utanom det vanlege i kvardagen, og dei informantane deler med er i hovudsak vener og familie. Å dele bilete og videoar frå konsertane kan ha ein verdi ved at det opnar opp for at dei kan halde ved like eksisterande forhold og pleie nære relasjonar som informantane ikkje ser så ofte i kvardagen.