diff --git a/backend/src/receipt-parsing/receipt-parsing.service.ts b/backend/src/receipt-parsing/receipt-parsing.service.ts index 098c356..8cf4142 100644 --- a/backend/src/receipt-parsing/receipt-parsing.service.ts +++ b/backend/src/receipt-parsing/receipt-parsing.service.ts @@ -1,209 +1,207 @@ -import { - BadRequestException, - Injectable, - Logger, - ServiceUnavailableException, -} from '@nestjs/common'; -import * as pdfParse from 'pdf-parse'; - -const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions'; -const RECEIPT_IMPORT_MODEL = 'mistral-small-2603'; -const MAX_RETRIES = 3; - -const QUANTITY_RULES = ` -Regler för quantity och unit: -1. LÖSVIKT (chark, kött, ost, frukt/grönt vägt på kassabandet): quantity=faktisk vikt/volym från kvittot, unit=kg/g/l etc. - Exempel: "BLANDFÄRS 20%" köpt 0.997 kg → quantity=0.997, unit="kg" -2. FÖRPACKAD VARA med storlek i namnet (mejeri, dryck, konserver, flingor): quantity=antal köpta förpackningar, unit="förp". - Exempel: "VISPGRÄDDE 5DL" köpt 1 → quantity=1, unit="förp" - Exempel: "MJÖLK 1,5L" köpt 3 → quantity=3, unit="förp" -3. MULTIPACK (NxYg/NxYml i namnet = flera innerförpackningar ihopsatta till ett ytteremballage): quantity=1, unit="förp". Räkna INTE upp N som quantity. - Exempel: "BACON 3X120G" (ett storpack med tre 120g-paket, ett köp på kvittot) → quantity=1, unit="förp" - Exempel: "YOGHURT 4X150G" → quantity=1, unit="förp" -4. FÖRPACKAT INNEHÅLL (bröd, kex, chips — förpackning med flera enheter inuti): quantity=antal köpta förpackningar, unit="förp". - Exempel: "BRIOCHE SESAM" (förpackning med hamburgerbröd) köpt 2 → quantity=2, unit="förp" - Exempel: "CORNFLAKES 500G" köpt 1 → quantity=1, unit="förp" -5. LÖSA STYCKVAROR (enstaka frukt, enstaka bröd köpt i lösvikt per styck): quantity=antal, unit="st". - Exempel: "BANAN" köpt 1 st löst → quantity=1, unit="st" -`; - -const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor. -Varje vara ska ha följande fält: -- "rawName": varans namn som det står på kvittot (sträng) -- "quantity": antal köpta enheter som ett tal -- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska" -- "price": pris i SEK som ett tal, eller null -- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null -- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null -${QUANTITY_RULES} -Returnera BARA JSON-arrayen utan markdown-formatering.`; - -const TEXT_PROMPT = (text: string) => - `Du är en kvittoläsare. Nedan följer rå text från ett kvitto. Analysera texten och returnera ENDAST en JSON-array med alla köpta varor. -Varje vara ska ha följande fält: -- "rawName": varans namn som det står på kvittot (sträng) -- "quantity": antal köpta enheter som ett tal -- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska" -- "price": pris i SEK som ett tal, eller null -- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null -- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null -${QUANTITY_RULES} -Returnera BARA JSON-arrayen utan markdown-formatering. - -Kvittotext: -${text}`; - -export interface ParsedReceiptItemRaw { - rawName: string; - quantity: number; - unit: string; - price?: number | null; - brand?: string | null; - origin?: string | null; -} - -@Injectable() -export class ReceiptParsingService { - private readonly logger = new Logger(ReceiptParsingService.name); - - async parseReceipt(file: Express.Multer.File): Promise { - const apiKey = process.env.MISTRAL_API_KEY; - if (!apiKey) { - throw new ServiceUnavailableException('MISTRAL_API_KEY är inte konfigurerad'); - } - - const isPdf = - file.mimetype === 'application/pdf' || - file.mimetype === 'application/octet-stream' || - file.originalname?.toLowerCase().endsWith('.pdf'); - - if (isPdf) { - return this.parseReceiptFromPdf(file.buffer, apiKey); - } - return this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey); - } - - private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise { - for (let attempt = 1; attempt <= MAX_RETRIES; attempt++) { - const response = await fetch(MISTRAL_API_URL, { - method: 'POST', - headers: { - 'Content-Type': 'application/json', - Authorization: `Bearer ${apiKey}`, - }, - body: JSON.stringify(body), - }); - - if (response.status === 503 || response.status === 429) { - const err = await response.text(); - this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${MAX_RETRIES}): ${err}`); - if (attempt < MAX_RETRIES) { - await new Promise((r) => setTimeout(r, attempt * 2000)); - continue; - } - throw new ServiceUnavailableException('Mistral API: Tjänsten tillfälligt otillgänglig'); - } - - return response; - } - throw new ServiceUnavailableException('Kunde inte nå Mistral API efter flera försök'); - } - - private async parseReceiptFromImage( - buffer: Buffer, - mimeType: string, - apiKey: string, - ): Promise { - const effectiveMime = mimeType === 'application/octet-stream' ? 'image/jpeg' : mimeType; - const base64 = buffer.toString('base64'); - const response = await this.callMistralWithRetry( - { - model: RECEIPT_IMPORT_MODEL, - messages: [ - { - role: 'user', - content: [ - { - type: 'image_url', - image_url: { url: `data:${effectiveMime};base64,${base64}` }, - }, - { type: 'text', text: IMAGE_PROMPT }, - ], - }, - ], - max_tokens: 2000, - temperature: 0.1, - }, - apiKey, - 'bild', - ); - return this.extractItemsFromMistralResponse(response, 'bild'); - } - - private async parseReceiptFromPdf( - buffer: Buffer, - apiKey: string, - ): Promise { - let pdfText: string; - try { - const parsed = await pdfParse(buffer); - pdfText = parsed.text?.trim(); - } catch { - throw new BadRequestException('Kunde inte läsa PDF-filen. Kontrollera att filen inte är skadad.'); - } - - if (!pdfText || pdfText.length < 20) { - throw new BadRequestException( - 'PDF-filen verkar inte innehålla läsbar text. Prova att fotografera kvittot istället.', - ); - } - - this.logger.log(`PDF-text extraherad (${pdfText.length} tecken)`); - - const response = await this.callMistralWithRetry( - { - model: RECEIPT_IMPORT_MODEL, - messages: [{ role: 'user', content: TEXT_PROMPT(pdfText) }], - max_tokens: 2000, - temperature: 0.1, - }, - apiKey, - 'PDF', - ); - return this.extractItemsFromMistralResponse(response, 'PDF'); - } - - private async extractItemsFromMistralResponse( - response: Response, - source: string, - ): Promise { - if (!response.ok) { - const err = await response.text(); - this.logger.error(`Mistral API svarade ${response.status} (${source}): ${err}`); - const hint = - response.status === 401 - ? 'Ogiltig API-nyckel (401)' - : response.status === 429 - ? 'För många förfrågningar (429)' - : `HTTP ${response.status}`; - throw new ServiceUnavailableException(`Mistral API returnerade ett fel: ${hint}`); - } - - const data = (await response.json()) as { - choices: { message: { content: string } }[]; - }; - const content = data.choices?.[0]?.message?.content ?? '[]'; - - try { - const clean = content.replace(/```(?:json)?/gi, '').trim(); - const items = JSON.parse(clean); - if (!Array.isArray(items)) throw new Error('Inte en array'); - return items as ParsedReceiptItemRaw[]; - } catch { - this.logger.error(`Kunde inte parsa Mistral-svar (${source}):`, content); - throw new BadRequestException( - `Kvittot kunde inte tolkas. Försök med en tydligare ${source === 'PDF' ? 'PDF' : 'bild'}.`, - ); - } - } -} +import { + BadRequestException, + Injectable, + Logger, + ServiceUnavailableException, +} from '@nestjs/common'; +import * as pdfParse from 'pdf-parse'; + +const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions'; +const RECEIPT_VISION_MODEL = 'mistral-small-2603'; // vision — används för bild-input +const RECEIPT_TEXT_MODEL = 'mistral-small-latest'; // text — används som AI-fallback för PDF/OCR-text +const MAX_RETRIES = 3; + +const QUANTITY_RULES = ` +Regler för quantity och unit: +1. LÖSVIKT (chark, kött, ost, frukt/grönt vägt på kassabandet): quantity=faktisk vikt/volym från kvittot, unit=kg/g/l etc. + Exempel: "BLANDFÄRS 20%" köpt 0.997 kg -> quantity=0.997, unit="kg" +2. FÖRPACKAD VARA med storlek i namnet (mejeri, dryck, konserver, flingor): quantity=antal köpta förpackningar, unit="förp". + Exempel: "VISPGRÄDDE 5DL" köpt 1 -> quantity=1, unit="förp" +3. MULTIPACK (NxYg/NxYml i namnet): quantity=1, unit="förp". Räkna INTE upp N som quantity. + Exempel: "BACON 3X120G" -> quantity=1, unit="förp" +4. FÖRPACKAT INNEHÅLL (bröd, kex, chips): quantity=antal köpta förpackningar, unit="förp". +5. LÖSA STYCKVAROR (enstaka frukt köpt lösvikt per styck): quantity=antal, unit="st". +`; + +const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor. +Varje vara ska ha: "rawName", "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null). +${QUANTITY_RULES} +Returnera BARA JSON-arrayen utan markdown-formatering.`; + +const buildTextPrompt = (text: string) => + `Du är en kvittoläsare. Nedan följer rader från ett kvitto som regelbaserad parsning inte kunde tolka entydigt. Returnera ENDAST en JSON-array för dessa rader. +Varje vara ska ha: "rawName" (exakt som angett), "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null). +${QUANTITY_RULES} +Returnera BARA JSON-arrayen utan markdown-formatering. + +Rader att tolka: +${text}`; + +export interface ParsedReceiptItemRaw { + rawName: string; + quantity: number; + unit: string; + price?: number | null; + brand?: string | null; + origin?: string | null; +} + +// Regelbaserad parsning av en enstaka textrad från kvitto +function ruleBasedParseLine(line: string): ParsedReceiptItemRaw | null { + const normalized = line.toLowerCase(); + + // Multipack: "3x120g", "2 x 1.5l" + const multiPack = /(\d+)\s*[x×]\s*(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized); + if (multiPack) { + return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null }; + } + + // Förpackad vara med volym/vikt i namn: "5dl", "1,5l", "100g" + const singlePack = /(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized); + if (singlePack) { + const qty = Number.parseFloat(singlePack[1].replace(',', '.')); + const unit = singlePack[2].toLowerCase(); + // Lösvikt: kg/g utan "x" — returnera faktisk vikt + if ((unit === 'kg' || unit === 'g') && !normalized.includes('x')) { + return { rawName: line, quantity: qty, unit, price: null, brand: null, origin: null }; + } + return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null }; + } + + // Kan inte tolkas regelbaserat + return null; +} + +@Injectable() +export class ReceiptParsingService { + private readonly logger = new Logger(ReceiptParsingService.name); + + async parseReceipt(file: Express.Multer.File): Promise { + const apiKey = process.env.MISTRAL_API_KEY; + if (!apiKey) { + throw new ServiceUnavailableException('MISTRAL_API_KEY är inte konfigurerad'); + } + + const isPdf = + file.mimetype === 'application/pdf' || + file.mimetype === 'application/octet-stream' || + file.originalname?.toLowerCase().endsWith('.pdf'); + + if (isPdf) { + return this.parseReceiptFromPdf(file.buffer, apiKey); + } + return this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey); + } + + // PDF-flöde: text-extrahering -> regelbaserat -> AI-fallback för komplexa rader + private async parseReceiptFromPdf(buffer: Buffer, apiKey: string): Promise { + let text: string; + try { + const data = await pdfParse(buffer); + text = data.text; + } catch (err) { + this.logger.warn(`pdf-parse misslyckades: ${err}`); + throw new BadRequestException('PDF-filen kunde inte läsas. Kontrollera att filen inte är skadad.'); + } + + const lines = text + .split('\n') + .map((l) => l.trim()) + .filter((l) => l.length > 2); + + const resolved: ParsedReceiptItemRaw[] = []; + const needsAI: string[] = []; + + for (const line of lines) { + const item = ruleBasedParseLine(line); + if (item !== null) { + resolved.push(item); + } else { + needsAI.push(line); + } + } + + this.logger.log(`PDF: ${resolved.length} rader lösta regelbaserat, ${needsAI.length} skickas till AI`); + + if (needsAI.length > 0) { + const aiItems = await this.callMistralText(needsAI, apiKey); + resolved.push(...aiItems); + } + + return resolved; + } + + // Bild-flöde: Mistral vision (hela bilden) + private async parseReceiptFromImage(buffer: Buffer, mimetype: string, apiKey: string): Promise { + const base64 = buffer.toString('base64'); + const body = { + model: RECEIPT_VISION_MODEL, + messages: [ + { + role: 'user', + content: [ + { type: 'text', text: IMAGE_PROMPT }, + { type: 'image_url', image_url: { url: `data:${mimetype};base64,${base64}` } }, + ], + }, + ], + }; + + const response = await this.callMistralWithRetry(body, apiKey, 'image'); + return this.parseJsonResponse(await response.json(), 'image'); + } + + // AI-fallback för enskilda textrader (text-modell, billigare än vision) + private async callMistralText(lines: string[], apiKey: string): Promise { + const body = { + model: RECEIPT_TEXT_MODEL, + messages: [{ role: 'user', content: buildTextPrompt(lines.join('\n')) }], + }; + + const response = await this.callMistralWithRetry(body, apiKey, 'text-fallback'); + return this.parseJsonResponse(await response.json(), 'text-fallback'); + } + + private parseJsonResponse(data: any, source: string): ParsedReceiptItemRaw[] { + try { + const content: string = data?.choices?.[0]?.message?.content ?? ''; + const cleaned = content.replace(/` + '```' + `json|` + '```' + `/g, '').trim(); + return JSON.parse(cleaned) as ParsedReceiptItemRaw[]; + } catch (err) { + this.logger.error(`Kunde inte parsa Mistral-svar (${source}): ${err}`); + throw new BadRequestException('AI-svaret kunde inte tolkas. Försök igen.'); + } + } + + private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise { + for (let attempt = 1; attempt <= MAX_RETRIES; attempt++) { + const response = await fetch(MISTRAL_API_URL, { + method: 'POST', + headers: { + 'Content-Type': 'application/json', + Authorization: `Bearer ${apiKey}`, + }, + body: JSON.stringify(body), + }); + + if (response.status === 503 || response.status === 429) { + const err = await response.text(); + this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${MAX_RETRIES}): ${err}`); + if (attempt < MAX_RETRIES) { + await new Promise((resolve) => setTimeout(resolve, 1000 * attempt)); + continue; + } + throw new ServiceUnavailableException('Mistral API är tillfälligt otillgänglig. Försök igen.'); + } + + if (!response.ok) { + const err = await response.text(); + this.logger.error(`Mistral ${response.status} (${source}): ${err}`); + throw new BadRequestException(`Mistral API svarade med fel: ${response.status}`); + } + + return response; + } + throw new ServiceUnavailableException('Mistral API misslyckades efter max antal försök'); + } +} diff --git a/backend/tsconfig.json b/backend/tsconfig.json index 6226331..1ae0fe1 100644 --- a/backend/tsconfig.json +++ b/backend/tsconfig.json @@ -16,6 +16,7 @@ "noImplicitAny": true, "strictBindCallApply": false, "forceConsistentCasingInFileNames": false, - "noFallthroughCasesInSwitch": false + "noFallthroughCasesInSwitch": false, + "types": ["node"] } } diff --git a/next_steps_MSImporter.md b/next_steps_MSImporter.md index 626c58f..66e9d8a 100644 --- a/next_steps_MSImporter.md +++ b/next_steps_MSImporter.md @@ -74,6 +74,44 @@ Bild/PDF → OCR/pdf-parse → Regelbaserad parsning → AI (för rader som inte --- +## Framtida förbättringar + +### Schemalagd Uppdatering av Kategorier +- **Mål:** Implementera en schemalagd uppdatering av kategorierna en gång i veckan för att säkerställa att cachen alltid är uppdaterad. +- **Metod:** Använda `cron` för att schemalägga ett anrop till `POST /receipt-import/refresh-categories` en gång i veckan. + +--- + +## Nuvarande Implementering + +### Manuell Uppdatering av Kategorier +- **Mål:** Låta användaren manuellt uppdatera kategorierna via Flutter-UI. +- **Implementering:** + - En knapp i Flutter-UI:n som låter användaren trigga uppdateringen. + - Anropa `POST /receipt-import/refresh-categories` från Flutter-UI:n när användaren klickar på knappen. + +```dart +// Exempel på hur du kan anropa endpointen från Flutter +Future refreshCategories() async { + final response = await http.post( + Uri.parse('http://YOUR_API_URL/receipt-import/refresh-categories'), + headers: {'Authorization': 'Bearer YOUR_JWT_TOKEN'}, + ); + + if (response.statusCode == 200) { + ScaffoldMessenger.of(context).showSnackBar( + SnackBar(content: Text('Kategorier har uppdaterats.')), + ); + } else { + ScaffoldMessenger.of(context).showSnackBar( + SnackBar(content: Text('Misslyckades med att uppdatera kategorier.')), + ); + } +} +``` + +--- + ## Arkitektur-noteringar - Tjänsten är **helt stateless** — ingen databas, ingen session