feat: migrate import functionality to microservice-importer for quick-import, receipt parsing, and markdown parsing
This commit is contained in:
@@ -4,71 +4,17 @@ import {
|
||||
Logger,
|
||||
ServiceUnavailableException,
|
||||
} from '@nestjs/common';
|
||||
import * as pdfParse from 'pdf-parse';
|
||||
import { PrismaService } from '../prisma/prisma.service';
|
||||
import { ParsedReceiptItem } from './dto/parsed-receipt-item.dto';
|
||||
import { AiService } from '../ai/ai.service';
|
||||
import { CategoriesService } from '../categories/categories.service';
|
||||
|
||||
const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
|
||||
export const RECEIPT_IMPORT_MODEL = 'mistral-small-2603';
|
||||
|
||||
const IMAGE_PROMPT = `Du är en kvittoläsare. Analysera detta kvitto och returnera ENDAST en JSON-array med alla köpta varor.
|
||||
Varje vara ska ha följande fält:
|
||||
- "rawName": varans namn som det står på kvittot (sträng)
|
||||
- "quantity": antal eller mängd som ett tal (t.ex. 1, 2, 0.5)
|
||||
- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
|
||||
- "price": pris i SEK som ett tal, eller null
|
||||
- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
|
||||
- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
|
||||
|
||||
Returnera BARA JSON-arrayen utan markdown-formatering.`;
|
||||
|
||||
const TEXT_PROMPT = (text: string) =>
|
||||
`Du är en kvittoläsare. Nedan följer rå text från ett kvitto. Analysera texten och returnera ENDAST en JSON-array med alla köpta varor.
|
||||
Varje vara ska ha följande fält:
|
||||
- "rawName": varans namn som det står på kvittot (sträng)
|
||||
- "quantity": antal eller mängd som ett tal (t.ex. 1, 2, 0.5)
|
||||
- "unit": enhet — välj ett av: "st", "kg", "g", "l", "dl", "cl", "ml", "förp", "pak", "burk", "flaska"
|
||||
- "price": pris i SEK som ett tal, eller null
|
||||
- "brand": märke eller leverantör om det tydligt framgår av varunamnet (t.ex. "Arla", "ICA", "Oatly"), annars null
|
||||
- "origin": ursprungsland om det framgår av varunamnet (t.ex. "Brasilien", "Sverige", "Italien"), annars null
|
||||
|
||||
Returnera BARA JSON-arrayen utan markdown-formatering.
|
||||
|
||||
Kvittotext:
|
||||
${text}`;
|
||||
const IMPORTER_SERVICE_URL =
|
||||
process.env.IMPORTER_SERVICE_URL || 'http://importer-api:3001';
|
||||
|
||||
@Injectable()
|
||||
export class ReceiptImportService {
|
||||
private readonly logger = new Logger(ReceiptImportService.name);
|
||||
private readonly MAX_RETRIES = 3;
|
||||
|
||||
private async callMistralWithRetry(body: object, apiKey: string, source: string): Promise<Response> {
|
||||
for (let attempt = 1; attempt <= this.MAX_RETRIES; attempt++) {
|
||||
const response = await fetch(MISTRAL_API_URL, {
|
||||
method: 'POST',
|
||||
headers: {
|
||||
'Content-Type': 'application/json',
|
||||
Authorization: `Bearer ${apiKey}`,
|
||||
},
|
||||
body: JSON.stringify(body),
|
||||
});
|
||||
|
||||
if (response.status === 503 || response.status === 429) {
|
||||
const err = await response.text();
|
||||
this.logger.warn(`Mistral ${response.status} (${source}, försök ${attempt}/${this.MAX_RETRIES}): ${err}`);
|
||||
if (attempt < this.MAX_RETRIES) {
|
||||
await new Promise((r) => setTimeout(r, attempt * 2000));
|
||||
continue;
|
||||
}
|
||||
throw new ServiceUnavailableException('Mistral API returnerade ett fel: Tjänsten tillfälligt otillgänglig (503)');
|
||||
}
|
||||
|
||||
return response;
|
||||
}
|
||||
throw new ServiceUnavailableException('Kunde inte nå Mistral API efter flera försök');
|
||||
}
|
||||
|
||||
constructor(
|
||||
private readonly prisma: PrismaService,
|
||||
@@ -77,120 +23,56 @@ export class ReceiptImportService {
|
||||
) {}
|
||||
|
||||
async parseReceipt(file: Express.Multer.File, isPremium = false): Promise<ParsedReceiptItem[]> {
|
||||
const apiKey = process.env.MISTRAL_API_KEY;
|
||||
if (!apiKey) {
|
||||
throw new ServiceUnavailableException(
|
||||
'MISTRAL_API_KEY är inte konfigurerad i miljövariabler',
|
||||
);
|
||||
}
|
||||
|
||||
const isPdf =
|
||||
file.mimetype === 'application/pdf' ||
|
||||
file.mimetype === 'application/octet-stream' ||
|
||||
file.originalname?.toLowerCase().endsWith('.pdf');
|
||||
const rawItems = isPdf
|
||||
? await this.parseReceiptFromPdf(file.buffer, apiKey)
|
||||
: await this.parseReceiptFromImage(file.buffer, file.mimetype, apiKey);
|
||||
// Steg 1: Delegera AI-parsning till microservice-importer
|
||||
const rawItems = await this.parseReceiptViaImporter(file);
|
||||
|
||||
// Steg 2: Matchning mot produktdatabas (kräver DB — stannar i recipe-app)
|
||||
const matched = await this.matchProducts(rawItems);
|
||||
|
||||
// Steg 3: AI-kategorisering för premium-användare
|
||||
if (isPremium) {
|
||||
return this.enrichWithAiCategories(matched);
|
||||
}
|
||||
return matched;
|
||||
}
|
||||
|
||||
private async parseReceiptFromImage(
|
||||
buffer: Buffer,
|
||||
mimeType: string,
|
||||
apiKey: string,
|
||||
): Promise<ParsedReceiptItem[]> {
|
||||
const base64 = buffer.toString('base64');
|
||||
const response = await this.callMistralWithRetry({
|
||||
model: RECEIPT_IMPORT_MODEL,
|
||||
messages: [
|
||||
{
|
||||
role: 'user',
|
||||
content: [
|
||||
{
|
||||
type: 'image_url',
|
||||
image_url: { url: `data:${mimeType};base64,${base64}` },
|
||||
},
|
||||
{ type: 'text', text: IMAGE_PROMPT },
|
||||
],
|
||||
},
|
||||
],
|
||||
max_tokens: 2000,
|
||||
temperature: 0.1,
|
||||
}, apiKey, 'bild');
|
||||
private async parseReceiptViaImporter(file: Express.Multer.File): Promise<ParsedReceiptItem[]> {
|
||||
const form = new FormData();
|
||||
form.append(
|
||||
'file',
|
||||
new Blob([file.buffer], { type: file.mimetype }),
|
||||
file.originalname,
|
||||
);
|
||||
|
||||
return this.extractItemsFromMistralResponse(response, 'bild');
|
||||
}
|
||||
|
||||
private async parseReceiptFromPdf(
|
||||
buffer: Buffer,
|
||||
apiKey: string,
|
||||
): Promise<ParsedReceiptItem[]> {
|
||||
let pdfText: string;
|
||||
let response: Response;
|
||||
try {
|
||||
const parsed = await pdfParse(buffer);
|
||||
pdfText = parsed.text?.trim();
|
||||
} catch {
|
||||
throw new BadRequestException('Kunde inte läsa PDF-filen. Kontrollera att filen inte är skadad.');
|
||||
}
|
||||
|
||||
if (!pdfText || pdfText.length < 20) {
|
||||
throw new BadRequestException(
|
||||
'PDF-filen verkar inte innehålla läsbar text. Prova att fotografera kvittot istället.',
|
||||
);
|
||||
}
|
||||
|
||||
this.logger.log(`PDF-text extraherad (${pdfText.length} tecken)`);
|
||||
|
||||
const response = await this.callMistralWithRetry({
|
||||
model: RECEIPT_IMPORT_MODEL,
|
||||
messages: [{ role: 'user', content: TEXT_PROMPT(pdfText) }],
|
||||
max_tokens: 2000,
|
||||
temperature: 0.1,
|
||||
}, apiKey, 'PDF');
|
||||
|
||||
return this.extractItemsFromMistralResponse(response, 'PDF');
|
||||
}
|
||||
|
||||
private async extractItemsFromMistralResponse(
|
||||
response: Response,
|
||||
source: string,
|
||||
): Promise<ParsedReceiptItem[]> {
|
||||
if (!response.ok) {
|
||||
const err = await response.text();
|
||||
this.logger.error(`Mistral API svarade ${response.status} (${source}): ${err}`);
|
||||
const hint =
|
||||
response.status === 401
|
||||
? 'Ogiltig API-nyckel (401)'
|
||||
: response.status === 429
|
||||
? 'För många förfrågningar — försök igen om en stund (429)'
|
||||
: `HTTP ${response.status}`;
|
||||
response = await fetch(`${IMPORTER_SERVICE_URL}/api/receipt-import/parse`, {
|
||||
method: 'POST',
|
||||
body: form,
|
||||
});
|
||||
} catch (err) {
|
||||
this.logger.error(`Kunde inte nå importer-api för kvittoparsning: ${err}`);
|
||||
throw new ServiceUnavailableException(
|
||||
`Mistral API returnerade ett fel: ${hint}`,
|
||||
'Import-tjänsten är inte tillgänglig. Försök igen senare.',
|
||||
);
|
||||
}
|
||||
|
||||
const data = (await response.json()) as {
|
||||
choices: { message: { content: string } }[];
|
||||
};
|
||||
const content = data.choices?.[0]?.message?.content ?? '[]';
|
||||
|
||||
try {
|
||||
const clean = content.replace(/```(?:json)?/gi, '').trim();
|
||||
const items = JSON.parse(clean);
|
||||
if (!Array.isArray(items)) throw new Error('Inte en array');
|
||||
return items as ParsedReceiptItem[];
|
||||
} catch {
|
||||
this.logger.error(`Kunde inte parsa Mistral-svar (${source}):`, content);
|
||||
throw new BadRequestException(
|
||||
`Kvittot kunde inte tolkas. Försök med en tydligare ${source === 'PDF' ? 'PDF' : 'bild'}.`,
|
||||
);
|
||||
if (!response.ok) {
|
||||
let message = `Importer svarade ${response.status}`;
|
||||
try {
|
||||
const body = (await response.json()) as { message?: string };
|
||||
if (body.message) message = body.message;
|
||||
} catch {
|
||||
// ignorera parse-fel
|
||||
}
|
||||
this.logger.error(`Importer-api kvittoparsfel: ${message}`);
|
||||
if (response.status >= 400 && response.status < 500) {
|
||||
throw new BadRequestException(message);
|
||||
}
|
||||
throw new ServiceUnavailableException(message);
|
||||
}
|
||||
|
||||
return response.json() as Promise<ParsedReceiptItem[]>;
|
||||
}
|
||||
|
||||
private async matchProducts(
|
||||
|
||||
Reference in New Issue
Block a user