feat: Enhance receipt parsing with rule-based line interpretation and AI fallback for complex cases

Co-authored-by: Copilot <copilot@github.com>

backend/src/receipt-parsing/receipt-parsing.service.ts

@@ -1,4 +1,4 @@
-import {
+import {
   BadRequestException,
   Injectable,
   Logger,
@@ -7,50 +7,34 @@ import {
 import * as pdfParse from 'pdf-parse';
 
 const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
-const RECEIPT_IMPORT_MODEL = 'mistral-small-2603';
+const RECEIPT_VISION_MODEL = 'mistral-small-2603';   // vision — används för bild-input
+const RECEIPT_TEXT_MODEL = 'mistral-small-latest';    // text — används som AI-fallback för PDF/OCR-text
 const MAX_RETRIES = 3;
 
 const QUANTITY_RULES = `
 Regler för quantity och unit:
 1. LÖSVIKT (chark, kött, ost, frukt/grönt vägt på kassabandet): quantity=faktisk vikt/volym från kvittot, unit=kg/g/l etc.
-   Exempel: "BLANDFÄRS 20%" köpt 0.997 kg → quantity=0.997, unit="kg"
+   Exempel: "BLANDFÄRS 20%" köpt 0.997 kg -> quantity=0.997, unit="kg"
 2. FÖRPACKAD VARA med storlek i namnet (mejeri, dryck, konserver, flingor): quantity=antal köpta förpackningar, unit="förp".
-   Exempel: "VISPGRÄDDE 5DL" köpt 1 → quantity=1, unit="förp"
+   Exempel: "VISPGRÄDDE 5DL" köpt 1 -> quantity=1, unit="förp"
-   Exempel: "MJÖLK 1,5L" köpt 3 → quantity=3, unit="förp"
+3. MULTIPACK (NxYg/NxYml i namnet): quantity=1, unit="förp". Räkna INTE upp N som quantity.
-3. MULTIPACK (NxYg/NxYml i namnet = flera innerförpackningar ihopsatta till ett ytteremballage): quantity=1, unit="förp". Räkna INTE upp N som quantity.
+   Exempel: "BACON 3X120G" -> quantity=1, unit="förp"
-   Exempel: "BACON 3X120G" (ett storpack med tre 120g-paket, ett köp på kvittot) → quantity=1, unit="förp"
+4. FÖRPACKAT INNEHÅLL (bröd, kex, chips): quantity=antal köpta förpackningar, unit="förp".
-   Exempel: "YOGHURT 4X150G" → quantity=1, unit="förp"
+5. LÖSA STYCKVAROR (enstaka frukt köpt lösvikt per styck): quantity=antal, unit="st".
-4. FÖRPACKAT INNEHÅLL (bröd, kex, chips — förpackning med flera enheter inuti): quantity=antal köpta förpackningar, unit="förp".
-   Exempel: "BRIOCHE SESAM" (förpackning med hamburgerbröd) köpt 2 → quantity=2, unit="förp"
-   Exempel: "CORNFLAKES 500G" köpt 1 → quantity=1, unit="förp"
-5. LÖSA STYCKVAROR (enstaka frukt, enstaka bröd köpt i lösvikt per styck): quantity=antal, unit="st".
-   Exempel: "BANAN" köpt 1 st löst → quantity=1, unit="st"
 `;
 
 const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor.
-Varje vara ska ha följande fält:
+Varje vara ska ha: "rawName", "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null).
-- "rawName": varans namn som det står på kvittot (sträng)
-- "quantity": antal köpta enheter som ett tal
-- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
-- "price": pris i SEK som ett tal, eller null
-- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
-- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
 ${QUANTITY_RULES}
 Returnera BARA JSON-arrayen utan markdown-formatering.`;
 
-const TEXT_PROMPT = (text: string) =>
+const buildTextPrompt = (text: string) =>
-  `Du är en kvittoläsare. Nedan följer rå text från ett kvitto. Analysera texten och returnera ENDAST en JSON-array med alla köpta varor.
+  `Du är en kvittoläsare. Nedan följer rader från ett kvitto som regelbaserad parsning inte kunde tolka entydigt. Returnera ENDAST en JSON-array för dessa rader.
-Varje vara ska ha följande fält:
+Varje vara ska ha: "rawName" (exakt som angett), "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null).
-- "rawName": varans namn som det står på kvittot (sträng)
-- "quantity": antal köpta enheter som ett tal
-- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
-- "price": pris i SEK som ett tal, eller null
-- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
-- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
 ${QUANTITY_RULES}
 Returnera BARA JSON-arrayen utan markdown-formatering.
 
-Kvittotext:
+Rader att tolka:
 ${text}`;
 
 export interface ParsedReceiptItemRaw {
@@ -62,6 +46,32 @@ export interface ParsedReceiptItemRaw {
   origin?: string | null;
 }
 
+// Regelbaserad parsning av en enstaka textrad från kvitto
+function ruleBasedParseLine(line: string): ParsedReceiptItemRaw | null {
+  const normalized = line.toLowerCase();
+
+  // Multipack: "3x120g", "2 x 1.5l"
+  const multiPack = /(\d+)\s*[x×]\s*(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized);
+  if (multiPack) {
+    return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null };
+  }
+
+  // Förpackad vara med volym/vikt i namn: "5dl", "1,5l", "100g"
+  const singlePack = /(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized);
+  if (singlePack) {
+    const qty = Number.parseFloat(singlePack[1].replace(',', '.'));
+    const unit = singlePack[2].toLowerCase();
+    // Lösvikt: kg/g utan "x" — returnera faktisk vikt
+    if ((unit === 'kg' || unit === 'g') && !normalized.includes('x')) {
+      return { rawName: line, quantity: qty, unit, price: null, brand: null, origin: null };
+    }
+    return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null };
+  }
+
+  // Kan inte tolkas regelbaserat
+  return null;
+}
+
 @Injectable()
 export class ReceiptParsingService {
   private readonly logger = new Logger(ReceiptParsingService.name);
@@ -83,6 +93,86 @@ export class ReceiptParsingService {
     return this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey);
   }
 
+  // PDF-flöde: text-extrahering -> regelbaserat -> AI-fallback för komplexa rader
+  private async parseReceiptFromPdf(buffer: Buffer, apiKey: string): Promise<ParsedReceiptItemRaw[]> {
+    let text: string;
+    try {
+      const data = await pdfParse(buffer);
+      text = data.text;
+    } catch (err) {
+      this.logger.warn(`pdf-parse misslyckades: ${err}`);
+      throw new BadRequestException('PDF-filen kunde inte läsas. Kontrollera att filen inte är skadad.');
+    }
+
+    const lines = text
+      .split('\n')
+      .map((l) => l.trim())
+      .filter((l) => l.length > 2);
+
+    const resolved: ParsedReceiptItemRaw[] = [];
+    const needsAI: string[] = [];
+
+    for (const line of lines) {
+      const item = ruleBasedParseLine(line);
+      if (item !== null) {
+        resolved.push(item);
+      } else {
+        needsAI.push(line);
+      }
+    }
+
+    this.logger.log(`PDF: ${resolved.length} rader lösta regelbaserat, ${needsAI.length} skickas till AI`);
+
+    if (needsAI.length > 0) {
+      const aiItems = await this.callMistralText(needsAI, apiKey);
+      resolved.push(...aiItems);
+    }
+
+    return resolved;
+  }
+
+  // Bild-flöde: Mistral vision (hela bilden)
+  private async parseReceiptFromImage(buffer: Buffer, mimetype: string, apiKey: string): Promise<ParsedReceiptItemRaw[]> {
+    const base64 = buffer.toString('base64');
+    const body = {
+      model: RECEIPT_VISION_MODEL,
+      messages: [
+        {
+          role: 'user',
+          content: [
+            { type: 'text', text: IMAGE_PROMPT },
+            { type: 'image_url', image_url: { url: `data:${mimetype};base64,${base64}` } },
+          ],
+        },
+      ],
+    };
+
+    const response = await this.callMistralWithRetry(body, apiKey, 'image');
+    return this.parseJsonResponse(await response.json(), 'image');
+  }
+
+  // AI-fallback för enskilda textrader (text-modell, billigare än vision)
+  private async callMistralText(lines: string[], apiKey: string): Promise<ParsedReceiptItemRaw[]> {
+    const body = {
+      model: RECEIPT_TEXT_MODEL,
+      messages: [{ role: 'user', content: buildTextPrompt(lines.join('\n')) }],
+    };
+
+    const response = await this.callMistralWithRetry(body, apiKey, 'text-fallback');
+    return this.parseJsonResponse(await response.json(), 'text-fallback');
+  }
+
+  private parseJsonResponse(data: any, source: string): ParsedReceiptItemRaw[] {
+    try {
+      const content: string = data?.choices?.[0]?.message?.content ?? '';
+      const cleaned = content.replace(/` + '```' + `json|` + '```' + `/g, '').trim();
+      return JSON.parse(cleaned) as ParsedReceiptItemRaw[];
+    } catch (err) {
+      this.logger.error(`Kunde inte parsa Mistral-svar (${source}): ${err}`);
+      throw new BadRequestException('AI-svaret kunde inte tolkas. Försök igen.');
+    }
+  }
+
   private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise<Response> {
     for (let attempt = 1; attempt <= MAX_RETRIES; attempt++) {
       const response = await fetch(MISTRAL_API_URL, {
@@ -98,112 +188,20 @@ export class ReceiptParsingService {
         const err = await response.text();
         this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${MAX_RETRIES}): ${err}`);
         if (attempt < MAX_RETRIES) {
-          await new Promise((r) => setTimeout(r, attempt * 2000));
+          await new Promise((resolve) => setTimeout(resolve, 1000 * attempt));
           continue;
         }
-        throw new ServiceUnavailableException('Mistral API: Tjänsten tillfälligt otillgänglig');
+        throw new ServiceUnavailableException('Mistral API är tillfälligt otillgänglig. Försök igen.');
+      }
+
+      if (!response.ok) {
+        const err = await response.text();
+        this.logger.error(`Mistral ${response.status} (${source}): ${err}`);
+        throw new BadRequestException(`Mistral API svarade med fel: ${response.status}`);
       }
 
       return response;
     }
-    throw new ServiceUnavailableException('Kunde inte nå Mistral API efter flera försök');
+    throw new ServiceUnavailableException('Mistral API misslyckades efter max antal försök');
-  }
-
-  private async parseReceiptFromImage(
-    buffer: Buffer,
-    mimeType: string,
-    apiKey: string,
-  ): Promise<ParsedReceiptItemRaw[]> {
-    const effectiveMime = mimeType === 'application/octet-stream' ? 'image/jpeg' : mimeType;
-    const base64 = buffer.toString('base64');
-    const response = await this.callMistralWithRetry(
-      {
-        model: RECEIPT_IMPORT_MODEL,
-        messages: [
-          {
-            role: 'user',
-            content: [
-              {
-                type: 'image_url',
-                image_url: { url: `data:${effectiveMime};base64,${base64}` },
-              },
-              { type: 'text', text: IMAGE_PROMPT },
-            ],
-          },
-        ],
-        max_tokens: 2000,
-        temperature: 0.1,
-      },
-      apiKey,
-      'bild',
-    );
-    return this.extractItemsFromMistralResponse(response, 'bild');
-  }
-
-  private async parseReceiptFromPdf(
-    buffer: Buffer,
-    apiKey: string,
-  ): Promise<ParsedReceiptItemRaw[]> {
-    let pdfText: string;
-    try {
-      const parsed = await pdfParse(buffer);
-      pdfText = parsed.text?.trim();
-    } catch {
-      throw new BadRequestException('Kunde inte läsa PDF-filen. Kontrollera att filen inte är skadad.');
-    }
-
-    if (!pdfText || pdfText.length < 20) {
-      throw new BadRequestException(
-        'PDF-filen verkar inte innehålla läsbar text. Prova att fotografera kvittot istället.',
-      );
-    }
-
-    this.logger.log(`PDF-text extraherad (${pdfText.length} tecken)`);
-
-    const response = await this.callMistralWithRetry(
-      {
-        model: RECEIPT_IMPORT_MODEL,
-        messages: [{ role: 'user', content: TEXT_PROMPT(pdfText) }],
-        max_tokens: 2000,
-        temperature: 0.1,
-      },
-      apiKey,
-      'PDF',
-    );
-    return this.extractItemsFromMistralResponse(response, 'PDF');
-  }
-
-  private async extractItemsFromMistralResponse(
-    response: Response,
-    source: string,
-  ): Promise<ParsedReceiptItemRaw[]> {
-    if (!response.ok) {
-      const err = await response.text();
-      this.logger.error(`Mistral API svarade ${response.status} (${source}): ${err}`);
-      const hint =
-        response.status === 401
-          ? 'Ogiltig API-nyckel (401)'
-          : response.status === 429
-            ? 'För många förfrågningar (429)'
-            : `HTTP ${response.status}`;
-      throw new ServiceUnavailableException(`Mistral API returnerade ett fel: ${hint}`);
-    }
-
-    const data = (await response.json()) as {
-      choices: { message: { content: string } }[];
-    };
-    const content = data.choices?.[0]?.message?.content ?? '[]';
-
-    try {
-      const clean = content.replace(/```(?:json)?/gi, '').trim();
-      const items = JSON.parse(clean);
-      if (!Array.isArray(items)) throw new Error('Inte en array');
-      return items as ParsedReceiptItemRaw[];
-    } catch {
-      this.logger.error(`Kunde inte parsa Mistral-svar (${source}):`, content);
-      throw new BadRequestException(
-        `Kvittot kunde inte tolkas. Försök med en tydligare ${source === 'PDF' ? 'PDF' : 'bild'}.`,
-      );
-    }
   }
 }

backend/tsconfig.json

@@ -16,6 +16,7 @@
     "noImplicitAny": true,
     "strictBindCallApply": false,
     "forceConsistentCasingInFileNames": false,
-    "noFallthroughCasesInSwitch": false
+    "noFallthroughCasesInSwitch": false,
+    "types": ["node"]
   }
 }

next_steps_MSImporter.md

@@ -74,6 +74,44 @@ Bild/PDF → OCR/pdf-parse → Regelbaserad parsning → AI (för rader som inte
 
 ---
 
+## Framtida förbättringar
+
+### Schemalagd Uppdatering av Kategorier
+- **Mål:** Implementera en schemalagd uppdatering av kategorierna en gång i veckan för att säkerställa att cachen alltid är uppdaterad.
+- **Metod:** Använda `cron` för att schemalägga ett anrop till `POST /receipt-import/refresh-categories` en gång i veckan.
+
+---
+
+## Nuvarande Implementering
+
+### Manuell Uppdatering av Kategorier
+- **Mål:** Låta användaren manuellt uppdatera kategorierna via Flutter-UI.
+- **Implementering:**
+  - En knapp i Flutter-UI:n som låter användaren trigga uppdateringen.
+  - Anropa `POST /receipt-import/refresh-categories` från Flutter-UI:n när användaren klickar på knappen.
+
+```dart
+// Exempel på hur du kan anropa endpointen från Flutter
+Future<void> refreshCategories() async {
+  final response = await http.post(
+    Uri.parse('http://YOUR_API_URL/receipt-import/refresh-categories'),
+    headers: {'Authorization': 'Bearer YOUR_JWT_TOKEN'},
+  );
+
+  if (response.statusCode == 200) {
+    ScaffoldMessenger.of(context).showSnackBar(
+      SnackBar(content: Text('Kategorier har uppdaterats.')),
+    );
+  } else {
+    ScaffoldMessenger.of(context).showSnackBar(
+      SnackBar(content: Text('Misslyckades med att uppdatera kategorier.')),
+    );
+  }
+}
+```
+
+---
+
 ## Arkitektur-noteringar
 
 - Tjänsten är **helt stateless** — ingen databas, ingen session