feat: Enhance receipt parsing with rule-based line interpretation and AI fallback for complex cases
Co-authored-by: Copilot <copilot@github.com>
This commit is contained in:
Nils-Johan Gynther
@@ -1,209 +1,207 @@
|
|||||||
import {
|
import {
|
||||||
BadRequestException,
|
BadRequestException,
|
||||||
Injectable,
|
Injectable,
|
||||||
Logger,
|
Logger,
|
||||||
ServiceUnavailableException,
|
ServiceUnavailableException,
|
||||||
} from '@nestjs/common';
|
} from '@nestjs/common';
|
||||||
import * as pdfParse from 'pdf-parse';
|
import * as pdfParse from 'pdf-parse';
|
||||||
|
|
||||||
const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
|
const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
|
||||||
const RECEIPT_IMPORT_MODEL = 'mistral-small-2603';
|
const RECEIPT_VISION_MODEL = 'mistral-small-2603'; // vision — används för bild-input
|
||||||
const MAX_RETRIES = 3;
|
const RECEIPT_TEXT_MODEL = 'mistral-small-latest'; // text — används som AI-fallback för PDF/OCR-text
|
||||||
|
const MAX_RETRIES = 3;
|
||||||
const QUANTITY_RULES = `
|
|
||||||
Regler för quantity och unit:
|
const QUANTITY_RULES = `
|
||||||
1. LÖSVIKT (chark, kött, ost, frukt/grönt vägt på kassabandet): quantity=faktisk vikt/volym från kvittot, unit=kg/g/l etc.
|
Regler för quantity och unit:
|
||||||
Exempel: "BLANDFÄRS 20%" köpt 0.997 kg → quantity=0.997, unit="kg"
|
1. LÖSVIKT (chark, kött, ost, frukt/grönt vägt på kassabandet): quantity=faktisk vikt/volym från kvittot, unit=kg/g/l etc.
|
||||||
2. FÖRPACKAD VARA med storlek i namnet (mejeri, dryck, konserver, flingor): quantity=antal köpta förpackningar, unit="förp".
|
Exempel: "BLANDFÄRS 20%" köpt 0.997 kg -> quantity=0.997, unit="kg"
|
||||||
Exempel: "VISPGRÄDDE 5DL" köpt 1 → quantity=1, unit="förp"
|
2. FÖRPACKAD VARA med storlek i namnet (mejeri, dryck, konserver, flingor): quantity=antal köpta förpackningar, unit="förp".
|
||||||
Exempel: "MJÖLK 1,5L" köpt 3 → quantity=3, unit="förp"
|
Exempel: "VISPGRÄDDE 5DL" köpt 1 -> quantity=1, unit="förp"
|
||||||
3. MULTIPACK (NxYg/NxYml i namnet = flera innerförpackningar ihopsatta till ett ytteremballage): quantity=1, unit="förp". Räkna INTE upp N som quantity.
|
3. MULTIPACK (NxYg/NxYml i namnet): quantity=1, unit="förp". Räkna INTE upp N som quantity.
|
||||||
Exempel: "BACON 3X120G" (ett storpack med tre 120g-paket, ett köp på kvittot) → quantity=1, unit="förp"
|
Exempel: "BACON 3X120G" -> quantity=1, unit="förp"
|
||||||
Exempel: "YOGHURT 4X150G" → quantity=1, unit="förp"
|
4. FÖRPACKAT INNEHÅLL (bröd, kex, chips): quantity=antal köpta förpackningar, unit="förp".
|
||||||
4. FÖRPACKAT INNEHÅLL (bröd, kex, chips — förpackning med flera enheter inuti): quantity=antal köpta förpackningar, unit="förp".
|
5. LÖSA STYCKVAROR (enstaka frukt köpt lösvikt per styck): quantity=antal, unit="st".
|
||||||
Exempel: "BRIOCHE SESAM" (förpackning med hamburgerbröd) köpt 2 → quantity=2, unit="förp"
|
`;
|
||||||
Exempel: "CORNFLAKES 500G" köpt 1 → quantity=1, unit="förp"
|
|
||||||
5. LÖSA STYCKVAROR (enstaka frukt, enstaka bröd köpt i lösvikt per styck): quantity=antal, unit="st".
|
const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor.
|
||||||
Exempel: "BANAN" köpt 1 st löst → quantity=1, unit="st"
|
Varje vara ska ha: "rawName", "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null).
|
||||||
`;
|
${QUANTITY_RULES}
|
||||||
|
Returnera BARA JSON-arrayen utan markdown-formatering.`;
|
||||||
const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor.
|
|
||||||
Varje vara ska ha följande fält:
|
const buildTextPrompt = (text: string) =>
|
||||||
- "rawName": varans namn som det står på kvittot (sträng)
|
`Du är en kvittoläsare. Nedan följer rader från ett kvitto som regelbaserad parsning inte kunde tolka entydigt. Returnera ENDAST en JSON-array för dessa rader.
|
||||||
- "quantity": antal köpta enheter som ett tal
|
Varje vara ska ha: "rawName" (exakt som angett), "quantity", "unit" (st/kg/g/l/dl/cl/ml/förp/pak/burk/flaska), "price" (SEK eller null), "brand" (eller null), "origin" (eller null).
|
||||||
- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
|
${QUANTITY_RULES}
|
||||||
- "price": pris i SEK som ett tal, eller null
|
Returnera BARA JSON-arrayen utan markdown-formatering.
|
||||||
- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
|
|
||||||
- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
|
Rader att tolka:
|
||||||
${QUANTITY_RULES}
|
${text}`;
|
||||||
Returnera BARA JSON-arrayen utan markdown-formatering.`;
|
|
||||||
|
export interface ParsedReceiptItemRaw {
|
||||||
const TEXT_PROMPT = (text: string) =>
|
rawName: string;
|
||||||
`Du är en kvittoläsare. Nedan följer rå text från ett kvitto. Analysera texten och returnera ENDAST en JSON-array med alla köpta varor.
|
quantity: number;
|
||||||
Varje vara ska ha följande fält:
|
unit: string;
|
||||||
- "rawName": varans namn som det står på kvittot (sträng)
|
price?: number | null;
|
||||||
- "quantity": antal köpta enheter som ett tal
|
brand?: string | null;
|
||||||
- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
|
origin?: string | null;
|
||||||
- "price": pris i SEK som ett tal, eller null
|
}
|
||||||
- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
|
|
||||||
- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
|
// Regelbaserad parsning av en enstaka textrad från kvitto
|
||||||
${QUANTITY_RULES}
|
function ruleBasedParseLine(line: string): ParsedReceiptItemRaw | null {
|
||||||
Returnera BARA JSON-arrayen utan markdown-formatering.
|
const normalized = line.toLowerCase();
|
||||||
|
|
||||||
Kvittotext:
|
// Multipack: "3x120g", "2 x 1.5l"
|
||||||
${text}`;
|
const multiPack = /(\d+)\s*[x×]\s*(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized);
|
||||||
|
if (multiPack) {
|
||||||
export interface ParsedReceiptItemRaw {
|
return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null };
|
||||||
rawName: string;
|
}
|
||||||
quantity: number;
|
|
||||||
unit: string;
|
// Förpackad vara med volym/vikt i namn: "5dl", "1,5l", "100g"
|
||||||
price?: number | null;
|
const singlePack = /(\d+(?:[\.,]\d+)?)\s*(ml|cl|dl|l|g|kg)\b/i.exec(normalized);
|
||||||
brand?: string | null;
|
if (singlePack) {
|
||||||
origin?: string | null;
|
const qty = Number.parseFloat(singlePack[1].replace(',', '.'));
|
||||||
}
|
const unit = singlePack[2].toLowerCase();
|
||||||
|
// Lösvikt: kg/g utan "x" — returnera faktisk vikt
|
||||||
@Injectable()
|
if ((unit === 'kg' || unit === 'g') && !normalized.includes('x')) {
|
||||||
export class ReceiptParsingService {
|
return { rawName: line, quantity: qty, unit, price: null, brand: null, origin: null };
|
||||||
private readonly logger = new Logger(ReceiptParsingService.name);
|
}
|
||||||
|
return { rawName: line, quantity: 1, unit: 'förp', price: null, brand: null, origin: null };
|
||||||
async parseReceipt(file: Express.Multer.File): Promise<ParsedReceiptItemRaw[]> {
|
}
|
||||||
const apiKey = process.env.MISTRAL_API_KEY;
|
|
||||||
if (!apiKey) {
|
// Kan inte tolkas regelbaserat
|
||||||
throw new ServiceUnavailableException('MISTRAL_API_KEY är inte konfigurerad');
|
return null;
|
||||||
}
|
}
|
||||||
|
|
||||||
const isPdf =
|
@Injectable()
|
||||||
file.mimetype === 'application/pdf' ||
|
export class ReceiptParsingService {
|
||||||
file.mimetype === 'application/octet-stream' ||
|
private readonly logger = new Logger(ReceiptParsingService.name);
|
||||||
file.originalname?.toLowerCase().endsWith('.pdf');
|
|
||||||
|
async parseReceipt(file: Express.Multer.File): Promise<ParsedReceiptItemRaw[]> {
|
||||||
if (isPdf) {
|
const apiKey = process.env.MISTRAL_API_KEY;
|
||||||
return this.parseReceiptFromPdf(file.buffer, apiKey);
|
if (!apiKey) {
|
||||||
}
|
throw new ServiceUnavailableException('MISTRAL_API_KEY är inte konfigurerad');
|
||||||
return this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey);
|
}
|
||||||
}
|
|
||||||
|
const isPdf =
|
||||||
private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise<Response> {
|
file.mimetype === 'application/pdf' ||
|
||||||
for (let attempt = 1; attempt <= MAX_RETRIES; attempt++) {
|
file.mimetype === 'application/octet-stream' ||
|
||||||
const response = await fetch(MISTRAL_API_URL, {
|
file.originalname?.toLowerCase().endsWith('.pdf');
|
||||||
method: 'POST',
|
|
||||||
headers: {
|
if (isPdf) {
|
||||||
'Content-Type': 'application/json',
|
return this.parseReceiptFromPdf(file.buffer, apiKey);
|
||||||
Authorization: `Bearer ${apiKey}`,
|
}
|
||||||
},
|
return this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey);
|
||||||
body: JSON.stringify(body),
|
}
|
||||||
});
|
|
||||||
|
// PDF-flöde: text-extrahering -> regelbaserat -> AI-fallback för komplexa rader
|
||||||
if (response.status === 503 || response.status === 429) {
|
private async parseReceiptFromPdf(buffer: Buffer, apiKey: string): Promise<ParsedReceiptItemRaw[]> {
|
||||||
const err = await response.text();
|
let text: string;
|
||||||
this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${MAX_RETRIES}): ${err}`);
|
try {
|
||||||
if (attempt < MAX_RETRIES) {
|
const data = await pdfParse(buffer);
|
||||||
await new Promise((r) => setTimeout(r, attempt * 2000));
|
text = data.text;
|
||||||
continue;
|
} catch (err) {
|
||||||
}
|
this.logger.warn(`pdf-parse misslyckades: ${err}`);
|
||||||
throw new ServiceUnavailableException('Mistral API: Tjänsten tillfälligt otillgänglig');
|
throw new BadRequestException('PDF-filen kunde inte läsas. Kontrollera att filen inte är skadad.');
|
||||||
}
|
}
|
||||||
|
|
||||||
return response;
|
const lines = text
|
||||||
}
|
.split('\n')
|
||||||
throw new ServiceUnavailableException('Kunde inte nå Mistral API efter flera försök');
|
.map((l) => l.trim())
|
||||||
}
|
.filter((l) => l.length > 2);
|
||||||
|
|
||||||
private async parseReceiptFromImage(
|
const resolved: ParsedReceiptItemRaw[] = [];
|
||||||
buffer: Buffer,
|
const needsAI: string[] = [];
|
||||||
mimeType: string,
|
|
||||||
apiKey: string,
|
for (const line of lines) {
|
||||||
): Promise<ParsedReceiptItemRaw[]> {
|
const item = ruleBasedParseLine(line);
|
||||||
const effectiveMime = mimeType === 'application/octet-stream' ? 'image/jpeg' : mimeType;
|
if (item !== null) {
|
||||||
const base64 = buffer.toString('base64');
|
resolved.push(item);
|
||||||
const response = await this.callMistralWithRetry(
|
} else {
|
||||||
{
|
needsAI.push(line);
|
||||||
model: RECEIPT_IMPORT_MODEL,
|
}
|
||||||
messages: [
|
}
|
||||||
{
|
|
||||||
role: 'user',
|
this.logger.log(`PDF: ${resolved.length} rader lösta regelbaserat, ${needsAI.length} skickas till AI`);
|
||||||
content: [
|
|
||||||
{
|
if (needsAI.length > 0) {
|
||||||
type: 'image_url',
|
const aiItems = await this.callMistralText(needsAI, apiKey);
|
||||||
image_url: { url: `data:${effectiveMime};base64,${base64}` },
|
resolved.push(...aiItems);
|
||||||
},
|
}
|
||||||
{ type: 'text', text: IMAGE_PROMPT },
|
|
||||||
],
|
return resolved;
|
||||||
},
|
}
|
||||||
],
|
|
||||||
max_tokens: 2000,
|
// Bild-flöde: Mistral vision (hela bilden)
|
||||||
temperature: 0.1,
|
private async parseReceiptFromImage(buffer: Buffer, mimetype: string, apiKey: string): Promise<ParsedReceiptItemRaw[]> {
|
||||||
},
|
const base64 = buffer.toString('base64');
|
||||||
apiKey,
|
const body = {
|
||||||
'bild',
|
model: RECEIPT_VISION_MODEL,
|
||||||
);
|
messages: [
|
||||||
return this.extractItemsFromMistralResponse(response, 'bild');
|
{
|
||||||
}
|
role: 'user',
|
||||||
|
content: [
|
||||||
private async parseReceiptFromPdf(
|
{ type: 'text', text: IMAGE_PROMPT },
|
||||||
buffer: Buffer,
|
{ type: 'image_url', image_url: { url: `data:${mimetype};base64,${base64}` } },
|
||||||
apiKey: string,
|
],
|
||||||
): Promise<ParsedReceiptItemRaw[]> {
|
},
|
||||||
let pdfText: string;
|
],
|
||||||
try {
|
};
|
||||||
const parsed = await pdfParse(buffer);
|
|
||||||
pdfText = parsed.text?.trim();
|
const response = await this.callMistralWithRetry(body, apiKey, 'image');
|
||||||
} catch {
|
return this.parseJsonResponse(await response.json(), 'image');
|
||||||
throw new BadRequestException('Kunde inte läsa PDF-filen. Kontrollera att filen inte är skadad.');
|
}
|
||||||
}
|
|
||||||
|
// AI-fallback för enskilda textrader (text-modell, billigare än vision)
|
||||||
if (!pdfText || pdfText.length < 20) {
|
private async callMistralText(lines: string[], apiKey: string): Promise<ParsedReceiptItemRaw[]> {
|
||||||
throw new BadRequestException(
|
const body = {
|
||||||
'PDF-filen verkar inte innehålla läsbar text. Prova att fotografera kvittot istället.',
|
model: RECEIPT_TEXT_MODEL,
|
||||||
);
|
messages: [{ role: 'user', content: buildTextPrompt(lines.join('\n')) }],
|
||||||
}
|
};
|
||||||
|
|
||||||
this.logger.log(`PDF-text extraherad (${pdfText.length} tecken)`);
|
const response = await this.callMistralWithRetry(body, apiKey, 'text-fallback');
|
||||||
|
return this.parseJsonResponse(await response.json(), 'text-fallback');
|
||||||
const response = await this.callMistralWithRetry(
|
}
|
||||||
{
|
|
||||||
model: RECEIPT_IMPORT_MODEL,
|
private parseJsonResponse(data: any, source: string): ParsedReceiptItemRaw[] {
|
||||||
messages: [{ role: 'user', content: TEXT_PROMPT(pdfText) }],
|
try {
|
||||||
max_tokens: 2000,
|
const content: string = data?.choices?.[0]?.message?.content ?? '';
|
||||||
temperature: 0.1,
|
const cleaned = content.replace(/` + '```' + `json|` + '```' + `/g, '').trim();
|
||||||
},
|
return JSON.parse(cleaned) as ParsedReceiptItemRaw[];
|
||||||
apiKey,
|
} catch (err) {
|
||||||
'PDF',
|
this.logger.error(`Kunde inte parsa Mistral-svar (${source}): ${err}`);
|
||||||
);
|
throw new BadRequestException('AI-svaret kunde inte tolkas. Försök igen.');
|
||||||
return this.extractItemsFromMistralResponse(response, 'PDF');
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
private async extractItemsFromMistralResponse(
|
private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise<Response> {
|
||||||
response: Response,
|
for (let attempt = 1; attempt <= MAX_RETRIES; attempt++) {
|
||||||
source: string,
|
const response = await fetch(MISTRAL_API_URL, {
|
||||||
): Promise<ParsedReceiptItemRaw[]> {
|
method: 'POST',
|
||||||
if (!response.ok) {
|
headers: {
|
||||||
const err = await response.text();
|
'Content-Type': 'application/json',
|
||||||
this.logger.error(`Mistral API svarade ${response.status} (${source}): ${err}`);
|
Authorization: `Bearer ${apiKey}`,
|
||||||
const hint =
|
},
|
||||||
response.status === 401
|
body: JSON.stringify(body),
|
||||||
? 'Ogiltig API-nyckel (401)'
|
});
|
||||||
: response.status === 429
|
|
||||||
? 'För många förfrågningar (429)'
|
if (response.status === 503 || response.status === 429) {
|
||||||
: `HTTP ${response.status}`;
|
const err = await response.text();
|
||||||
throw new ServiceUnavailableException(`Mistral API returnerade ett fel: ${hint}`);
|
this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${MAX_RETRIES}): ${err}`);
|
||||||
}
|
if (attempt < MAX_RETRIES) {
|
||||||
|
await new Promise((resolve) => setTimeout(resolve, 1000 * attempt));
|
||||||
const data = (await response.json()) as {
|
continue;
|
||||||
choices: { message: { content: string } }[];
|
}
|
||||||
};
|
throw new ServiceUnavailableException('Mistral API är tillfälligt otillgänglig. Försök igen.');
|
||||||
const content = data.choices?.[0]?.message?.content ?? '[]';
|
}
|
||||||
|
|
||||||
try {
|
if (!response.ok) {
|
||||||
const clean = content.replace(/```(?:json)?/gi, '').trim();
|
const err = await response.text();
|
||||||
const items = JSON.parse(clean);
|
this.logger.error(`Mistral ${response.status} (${source}): ${err}`);
|
||||||
if (!Array.isArray(items)) throw new Error('Inte en array');
|
throw new BadRequestException(`Mistral API svarade med fel: ${response.status}`);
|
||||||
return items as ParsedReceiptItemRaw[];
|
}
|
||||||
} catch {
|
|
||||||
this.logger.error(`Kunde inte parsa Mistral-svar (${source}):`, content);
|
return response;
|
||||||
throw new BadRequestException(
|
}
|
||||||
`Kvittot kunde inte tolkas. Försök med en tydligare ${source === 'PDF' ? 'PDF' : 'bild'}.`,
|
throw new ServiceUnavailableException('Mistral API misslyckades efter max antal försök');
|
||||||
);
|
}
|
||||||
}
|
}
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|||||||
@@ -16,6 +16,7 @@
|
|||||||
"noImplicitAny": true,
|
"noImplicitAny": true,
|
||||||
"strictBindCallApply": false,
|
"strictBindCallApply": false,
|
||||||
"forceConsistentCasingInFileNames": false,
|
"forceConsistentCasingInFileNames": false,
|
||||||
"noFallthroughCasesInSwitch": false
|
"noFallthroughCasesInSwitch": false,
|
||||||
|
"types": ["node"]
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -74,6 +74,44 @@ Bild/PDF → OCR/pdf-parse → Regelbaserad parsning → AI (för rader som inte
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
## Framtida förbättringar
|
||||||
|
|
||||||
|
### Schemalagd Uppdatering av Kategorier
|
||||||
|
- **Mål:** Implementera en schemalagd uppdatering av kategorierna en gång i veckan för att säkerställa att cachen alltid är uppdaterad.
|
||||||
|
- **Metod:** Använda `cron` för att schemalägga ett anrop till `POST /receipt-import/refresh-categories` en gång i veckan.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nuvarande Implementering
|
||||||
|
|
||||||
|
### Manuell Uppdatering av Kategorier
|
||||||
|
- **Mål:** Låta användaren manuellt uppdatera kategorierna via Flutter-UI.
|
||||||
|
- **Implementering:**
|
||||||
|
- En knapp i Flutter-UI:n som låter användaren trigga uppdateringen.
|
||||||
|
- Anropa `POST /receipt-import/refresh-categories` från Flutter-UI:n när användaren klickar på knappen.
|
||||||
|
|
||||||
|
```dart
|
||||||
|
// Exempel på hur du kan anropa endpointen från Flutter
|
||||||
|
Future<void> refreshCategories() async {
|
||||||
|
final response = await http.post(
|
||||||
|
Uri.parse('http://YOUR_API_URL/receipt-import/refresh-categories'),
|
||||||
|
headers: {'Authorization': 'Bearer YOUR_JWT_TOKEN'},
|
||||||
|
);
|
||||||
|
|
||||||
|
if (response.statusCode == 200) {
|
||||||
|
ScaffoldMessenger.of(context).showSnackBar(
|
||||||
|
SnackBar(content: Text('Kategorier har uppdaterats.')),
|
||||||
|
);
|
||||||
|
} else {
|
||||||
|
ScaffoldMessenger.of(context).showSnackBar(
|
||||||
|
SnackBar(content: Text('Misslyckades med att uppdatera kategorier.')),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
## Arkitektur-noteringar
|
## Arkitektur-noteringar
|
||||||
|
|
||||||
- Tjänsten är **helt stateless** — ingen databas, ingen session
|
- Tjänsten är **helt stateless** — ingen databas, ingen session
|
||||||
|
|||||||
Reference in New Issue
Block a user