Compare commits
75 Commits
d645d3ad9d
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
| e917b2965c | |||
| f6b9af2f38 | |||
| 9e513c2f5e | |||
| 2a87a18edd | |||
| 451d04cf39 | |||
| e492ea9a2e | |||
| 27d622bfe6 | |||
| ca1eed5061 | |||
| 7713eb2fa7 | |||
| 26c217e0eb | |||
| e6e9e11b18 | |||
| b04d157915 | |||
| d9f992ca9a | |||
| 0fb507f247 | |||
| a240bce8fc | |||
| 69bcc3e342 | |||
| 30d27d6b8a | |||
| 9dd49c5014 | |||
| 8c9da36312 | |||
| 6ddb58dc7c | |||
| e079758f1d | |||
| 026323b72a | |||
| 67a7590525 | |||
| c3520b5ad4 | |||
| 2d94a83e73 | |||
| 47c89c9915 | |||
| f9bf3156eb | |||
| 0ebb39150f | |||
| 67c3170067 | |||
| 7bbb5a63b5 | |||
| 505339aa33 | |||
| 740e8e5897 | |||
| e491a6c67f | |||
| ff179430aa | |||
| 6c38101e5c | |||
| a1a2c33427 | |||
| 996f0d774b | |||
| 6cd5b80adb | |||
| 8b8f8b7b6f | |||
| 33190bd8e0 | |||
| 4d2942a8e5 | |||
| 187d0283a5 | |||
| 0ce1db5471 | |||
| c720f611ea | |||
| e658f2e6f1 | |||
| a5cd49284a | |||
| 3f242f9a6d | |||
| f6ccdd859f | |||
| d5f903db98 | |||
| 24a96c3da1 | |||
| a31aff7c35 | |||
| f42132ed5b | |||
| e6961fc593 | |||
| 50816a6844 | |||
| bb7a4c1ff2 | |||
| 3d9b124766 | |||
| 0da4bbf4cf | |||
| 4492d7aa1c | |||
| 4471e344eb | |||
| 621ced0e43 | |||
| a4d16cdbae | |||
| 6ff58ed013 | |||
| 37f931fa0b | |||
| 8184fbd7e9 | |||
| 46b9be4791 | |||
| fb6b371fb7 | |||
| 0784c1a032 | |||
| 44ea3cdd7e | |||
| 320a646950 | |||
| acb1e56506 | |||
| 2a230a6994 | |||
| 43c91881a7 | |||
| 98ee8a3ad6 | |||
| 2dda34d4d2 | |||
| d135aa643a |
@@ -19,3 +19,7 @@ SEED_USER2_PASSWORD=Test-Anv2-FBG
|
|||||||
AUTH_SECRET=WheqAss4F/al9yRZRqepJEBs6TzPsN3brX0iBiF4Oww=
|
AUTH_SECRET=WheqAss4F/al9yRZRqepJEBs6TzPsN3brX0iBiF4Oww=
|
||||||
JWT_SECRET=uK9yRQpyyWOcHYcYbpAdsJ7NJcEsyCYZcgF82OnBz2k=
|
JWT_SECRET=uK9yRQpyyWOcHYcYbpAdsJ7NJcEsyCYZcgF82OnBz2k=
|
||||||
MISTRAL_API_KEY=JGPjLuNnzaLSYMxKbexLZohUOegrSLye
|
MISTRAL_API_KEY=JGPjLuNnzaLSYMxKbexLZohUOegrSLye
|
||||||
|
FLYER_AI_TIMEOUT_MS=60000
|
||||||
|
FLYER_AI_RETRIES=2
|
||||||
|
FLYER_AI_DEBUG=1
|
||||||
|
FLYER_AI_DEBUG_DIR=/app/debug
|
||||||
|
|||||||
+45
-40
@@ -1,40 +1,45 @@
|
|||||||
# Kopiera till .env och fyll i riktiga värden
|
# Kopiera till .env och fyll i riktiga värden
|
||||||
# cp .env.example .env
|
# cp .env.example .env
|
||||||
|
|
||||||
# MariaDB
|
# MariaDB
|
||||||
MARIADB_ROOT_PASSWORD=byt-ut-mig
|
MARIADB_ROOT_PASSWORD=byt-ut-mig
|
||||||
MARIADB_DATABASE=recipe_app
|
MARIADB_DATABASE=recipe_app
|
||||||
MARIADB_USER=recipe_user
|
MARIADB_USER=recipe_user
|
||||||
MARIADB_PASSWORD=byt-ut-mig
|
MARIADB_PASSWORD=byt-ut-mig
|
||||||
|
|
||||||
# Auth.js / NextAuth
|
# Auth.js / NextAuth
|
||||||
# Generera med: openssl rand -base64 32
|
# Generera med: openssl rand -base64 32
|
||||||
AUTH_SECRET=byt-ut-mig
|
AUTH_SECRET=byt-ut-mig
|
||||||
|
|
||||||
# JWT (NestJS backend)
|
# JWT (NestJS backend)
|
||||||
# Generera med: openssl rand -base64 32
|
# Generera med: openssl rand -base64 32
|
||||||
# OBS: Appen vägrar starta om detta saknas.
|
# OBS: Appen vägrar starta om detta saknas.
|
||||||
JWT_SECRET=byt-ut-mig
|
JWT_SECRET=byt-ut-mig
|
||||||
|
|
||||||
# Mistral AI
|
# Mistral AI
|
||||||
# Hämtas från: https://console.mistral.ai/
|
# Hämtas från: https://console.mistral.ai/
|
||||||
MISTRAL_API_KEY=
|
MISTRAL_API_KEY=
|
||||||
|
FLYER_AI_TIMEOUT_MS=45000
|
||||||
# Publik URL (används av frontend)
|
FLYER_AI_RETRIES=2
|
||||||
NEXT_PUBLIC_APP_URL=https://recept.gynther.se
|
FLYER_AI_DEBUG=0
|
||||||
NEXT_PUBLIC_API_URL=https://recept.gynther.se
|
# Linux-container: /app/debug, lokalt: ./debug
|
||||||
# CORS — tillåtna origins för backend-API (normalt samma som APP_URL)
|
FLYER_AI_DEBUG_DIR=/app/debug
|
||||||
ALLOWED_ORIGIN=https://recept.gynther.se
|
|
||||||
|
# Publik URL (används av frontend)
|
||||||
# Importer integration
|
NEXT_PUBLIC_APP_URL=https://recept.gynther.se
|
||||||
IMPORTER_SERVICE_URL=http://importer-api:3001
|
NEXT_PUBLIC_API_URL=https://recept.gynther.se
|
||||||
RECEIPT_TRACE_DECISIONS=0
|
# CORS — tillåtna origins för backend-API (normalt samma som APP_URL)
|
||||||
|
ALLOWED_ORIGIN=https://recept.gynther.se
|
||||||
# Optional webhook hardening
|
|
||||||
GITEA_WEBHOOK_SECRET=
|
# Importer integration
|
||||||
|
IMPORTER_SERVICE_URL=http://importer-api:3001
|
||||||
# Bootstrap-användare (skapas/uppdateras vid appstart)
|
RECEIPT_TRACE_DECISIONS=0
|
||||||
ADMIN_NADMIN_PASSWORD=byt-ut-mig
|
|
||||||
ADMIN_PADMIN_PASSWORD=byt-ut-mig
|
# Optional webhook hardening
|
||||||
SEED_USER1_PASSWORD=byt-ut-mig
|
GITEA_WEBHOOK_SECRET=
|
||||||
SEED_USER2_PASSWORD=byt-ut-mig
|
|
||||||
|
# Bootstrap-användare (skapas/uppdateras vid appstart)
|
||||||
|
ADMIN_NADMIN_PASSWORD=byt-ut-mig
|
||||||
|
ADMIN_PADMIN_PASSWORD=byt-ut-mig
|
||||||
|
SEED_USER1_PASSWORD=byt-ut-mig
|
||||||
|
SEED_USER2_PASSWORD=byt-ut-mig
|
||||||
|
|||||||
@@ -0,0 +1,254 @@
|
|||||||
|
name: Test Suite
|
||||||
|
|
||||||
|
on:
|
||||||
|
push:
|
||||||
|
branches: [ main, develop ]
|
||||||
|
pull_request:
|
||||||
|
branches: [ main, develop ]
|
||||||
|
|
||||||
|
jobs:
|
||||||
|
backend-pr-quick:
|
||||||
|
if: gitea.event_name == 'pull_request'
|
||||||
|
runs-on: backend-node24
|
||||||
|
env:
|
||||||
|
DATABASE_URL: mysql://ci:ci@127.0.0.1:3306/recipe_app
|
||||||
|
JWT_SECRET: ci-test-secret
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Verify Node toolchain on runner
|
||||||
|
run: |
|
||||||
|
node --version
|
||||||
|
npm --version
|
||||||
|
|
||||||
|
- name: Ensure workspace checkout
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
ws="${GITHUB_WORKSPACE:-$PWD}"
|
||||||
|
if [ -d "$ws/backend" ]; then
|
||||||
|
echo "Workspace already prepared at $ws"
|
||||||
|
exit 0
|
||||||
|
fi
|
||||||
|
|
||||||
|
mkdir -p "$ws"
|
||||||
|
repo_url="${GITHUB_SERVER_URL}/${GITHUB_REPOSITORY}.git"
|
||||||
|
if [ -n "${GITHUB_TOKEN:-}" ]; then
|
||||||
|
repo_url="$(echo "$repo_url" | sed "s#https://#https://oauth2:${GITHUB_TOKEN}@#")"
|
||||||
|
fi
|
||||||
|
|
||||||
|
git clone --depth 1 "$repo_url" "$ws"
|
||||||
|
if [ -n "${GITHUB_SHA:-}" ]; then
|
||||||
|
git -C "$ws" fetch --depth 1 origin "$GITHUB_SHA" || true
|
||||||
|
git -C "$ws" checkout -f "$GITHUB_SHA" || true
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Install dependencies (backend)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm ci
|
||||||
|
|
||||||
|
- name: Prisma schema validate
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run prisma:validate
|
||||||
|
|
||||||
|
- name: Generate Prisma Client
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run prisma:generate
|
||||||
|
|
||||||
|
- name: Verify generated Prisma client is typed
|
||||||
|
working-directory: ./backend
|
||||||
|
run: |
|
||||||
|
if ! grep -q "export \* from '.prisma/client/default'" node_modules/@prisma/client/index.d.ts; then
|
||||||
|
echo "Prisma client export is unexpected"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Run receipt-import focused tests (PR quick)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npx jest src/receipt-import/receipt-import.service.spec.ts src/receipt-import/receipt-import.parse-flow.spec.ts src/receipt-import/receipt-import.save.spec.ts --no-coverage
|
||||||
|
|
||||||
|
- name: Typecheck backend
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run typecheck
|
||||||
|
|
||||||
|
- name: Build NestJS app
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run build
|
||||||
|
|
||||||
|
quick-import-pr-quick:
|
||||||
|
if: gitea.event_name == 'pull_request'
|
||||||
|
runs-on: backend-node24
|
||||||
|
env:
|
||||||
|
DATABASE_URL: mysql://ci:ci@127.0.0.1:3306/recipe_app
|
||||||
|
JWT_SECRET: ci-test-secret
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Verify Node toolchain on runner
|
||||||
|
run: |
|
||||||
|
node --version
|
||||||
|
npm --version
|
||||||
|
|
||||||
|
- name: Ensure workspace checkout
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
ws="${GITHUB_WORKSPACE:-$PWD}"
|
||||||
|
if [ -d "$ws/backend" ]; then
|
||||||
|
echo "Workspace already prepared at $ws"
|
||||||
|
exit 0
|
||||||
|
fi
|
||||||
|
|
||||||
|
mkdir -p "$ws"
|
||||||
|
repo_url="${GITHUB_SERVER_URL}/${GITHUB_REPOSITORY}.git"
|
||||||
|
if [ -n "${GITHUB_TOKEN:-}" ]; then
|
||||||
|
repo_url="$(echo "$repo_url" | sed "s#https://#https://oauth2:${GITHUB_TOKEN}@#")"
|
||||||
|
fi
|
||||||
|
|
||||||
|
git clone --depth 1 "$repo_url" "$ws"
|
||||||
|
if [ -n "${GITHUB_SHA:-}" ]; then
|
||||||
|
git -C "$ws" fetch --depth 1 origin "$GITHUB_SHA" || true
|
||||||
|
git -C "$ws" checkout -f "$GITHUB_SHA" || true
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Install dependencies (backend)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm ci
|
||||||
|
|
||||||
|
- name: Run quick-import focused tests (PR quick)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npx jest src/quick-import/quick-import.service.spec.ts --no-coverage
|
||||||
|
|
||||||
|
backend-full:
|
||||||
|
if: gitea.event_name == 'push'
|
||||||
|
runs-on: backend-node24
|
||||||
|
env:
|
||||||
|
DATABASE_URL: mysql://ci:ci@127.0.0.1:3306/recipe_app
|
||||||
|
JWT_SECRET: ci-test-secret
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Verify Node toolchain on runner
|
||||||
|
run: |
|
||||||
|
node --version
|
||||||
|
npm --version
|
||||||
|
|
||||||
|
- name: Ensure workspace checkout
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
ws="${GITHUB_WORKSPACE:-$PWD}"
|
||||||
|
if [ -d "$ws/backend" ]; then
|
||||||
|
echo "Workspace already prepared at $ws"
|
||||||
|
exit 0
|
||||||
|
fi
|
||||||
|
|
||||||
|
mkdir -p "$ws"
|
||||||
|
repo_url="${GITHUB_SERVER_URL}/${GITHUB_REPOSITORY}.git"
|
||||||
|
if [ -n "${GITHUB_TOKEN:-}" ]; then
|
||||||
|
repo_url="$(echo "$repo_url" | sed "s#https://#https://oauth2:${GITHUB_TOKEN}@#")"
|
||||||
|
fi
|
||||||
|
|
||||||
|
git clone --depth 1 "$repo_url" "$ws"
|
||||||
|
if [ -n "${GITHUB_SHA:-}" ]; then
|
||||||
|
git -C "$ws" fetch --depth 1 origin "$GITHUB_SHA" || true
|
||||||
|
git -C "$ws" checkout -f "$GITHUB_SHA" || true
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Install dependencies (backend)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm ci
|
||||||
|
|
||||||
|
- name: Prisma schema validate
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run prisma:validate
|
||||||
|
|
||||||
|
- name: Generate Prisma Client
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run prisma:generate
|
||||||
|
|
||||||
|
- name: Verify generated Prisma client is typed
|
||||||
|
working-directory: ./backend
|
||||||
|
run: |
|
||||||
|
if ! grep -q "export \* from '.prisma/client/default'" node_modules/@prisma/client/index.d.ts; then
|
||||||
|
echo "Prisma client export is unexpected"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Dependency audit (high+critical)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run audit:high
|
||||||
|
|
||||||
|
- name: Typecheck backend
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run typecheck
|
||||||
|
|
||||||
|
- name: Run tests (backend)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm test
|
||||||
|
|
||||||
|
- name: Build NestJS app
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run build
|
||||||
|
|
||||||
|
flutter-quality:
|
||||||
|
runs-on: flutter-3-41
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Verify Flutter toolchain on runner
|
||||||
|
run: flutter --version
|
||||||
|
|
||||||
|
- name: Ensure workspace checkout
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
ws="${GITHUB_WORKSPACE:-$PWD}"
|
||||||
|
mkdir -p "$ws"
|
||||||
|
repo_url="${GITHUB_SERVER_URL}/${GITHUB_REPOSITORY}.git"
|
||||||
|
if [ -n "${GITHUB_TOKEN:-}" ]; then
|
||||||
|
repo_url="$(echo "$repo_url" | sed "s#https://#https://oauth2:${GITHUB_TOKEN}@#")"
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ ! -d "$ws/.git" ]; then
|
||||||
|
git -C "$ws" init
|
||||||
|
git -C "$ws" remote add origin "$repo_url"
|
||||||
|
else
|
||||||
|
git -C "$ws" remote set-url origin "$repo_url"
|
||||||
|
fi
|
||||||
|
|
||||||
|
ref="${GITHUB_SHA:-${GITHUB_REF_NAME:-main}}"
|
||||||
|
git -C "$ws" fetch --depth 1 origin "$ref"
|
||||||
|
git -C "$ws" checkout -f FETCH_HEAD
|
||||||
|
|
||||||
|
if [ ! -d "$ws/flutter" ]; then
|
||||||
|
echo "Flutter directory missing after checkout: $ws/flutter"
|
||||||
|
ls -la "$ws"
|
||||||
|
exit 1
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Install dependencies (flutter)
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
cd "${GITHUB_WORKSPACE:-$PWD}/flutter"
|
||||||
|
flutter pub get
|
||||||
|
|
||||||
|
- name: Analyze Flutter code
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
cd "${GITHUB_WORKSPACE:-$PWD}/flutter"
|
||||||
|
flutter analyze
|
||||||
|
|
||||||
|
- name: Set Flutter test mode
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
if [ "${{ gitea.event_name }}" = "pull_request" ]; then
|
||||||
|
echo "FLUTTER_TEST_CMD=flutter test --reporter=compact" >> "$GITHUB_ENV"
|
||||||
|
else
|
||||||
|
echo "FLUTTER_TEST_CMD=flutter test" >> "$GITHUB_ENV"
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Run Flutter tests
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
set -euo pipefail
|
||||||
|
cd "${GITHUB_WORKSPACE:-$PWD}/flutter"
|
||||||
|
${FLUTTER_TEST_CMD}
|
||||||
@@ -0,0 +1,18 @@
|
|||||||
|
# Copilot Instructions
|
||||||
|
|
||||||
|
## Database Command Style
|
||||||
|
|
||||||
|
When suggesting database commands in this repository, always use credentials loaded from `.env` inline in the command.
|
||||||
|
|
||||||
|
Required pattern:
|
||||||
|
- Read `MARIADB_ROOT_PASSWORD` from `.env` with `grep` and sanitize quotes/CRLF.
|
||||||
|
- Read `MARIADB_DATABASE` from `.env` with `grep` and sanitize quotes/CRLF.
|
||||||
|
- Pass both values directly to `mariadb` command invocations.
|
||||||
|
|
||||||
|
Preferred one-liner style:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
docker exec -i recipe-db mariadb -uroot -p"$(grep -E '^[[:space:]]*MARIADB_ROOT_PASSWORD[[:space:]]*=' .env | tail -n1 | sed -E 's/^[^=]*=[[:space:]]*//; s/[[:space:]]+$//; s/^["'\''']|["'\''']$//g' | tr -d '\r')" "$(grep -E '^[[:space:]]*MARIADB_DATABASE[[:space:]]*=' .env | tail -n1 | sed -E 's/^[^=]*=[[:space:]]*//; s/[[:space:]]+$//; s/^["'\''']|["'\''']$//g' | tr -d '\r')" -e "SELECT 1;"
|
||||||
|
```
|
||||||
|
|
||||||
|
Do not suggest hardcoded passwords for MariaDB commands.
|
||||||
@@ -7,7 +7,8 @@ on:
|
|||||||
branches: [ main, develop ]
|
branches: [ main, develop ]
|
||||||
|
|
||||||
jobs:
|
jobs:
|
||||||
test:
|
backend-pr-quick:
|
||||||
|
if: github.event_name == 'pull_request'
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
|
|
||||||
strategy:
|
strategy:
|
||||||
@@ -28,14 +29,72 @@ jobs:
|
|||||||
working-directory: ./backend
|
working-directory: ./backend
|
||||||
run: npm ci
|
run: npm ci
|
||||||
|
|
||||||
|
- name: Prisma schema validate
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npx prisma validate --schema prisma/schema.prisma
|
||||||
|
|
||||||
- name: Generate Prisma Client
|
- name: Generate Prisma Client
|
||||||
working-directory: ./backend
|
working-directory: ./backend
|
||||||
run: npm run prisma:generate
|
run: npm run prisma:generate
|
||||||
|
|
||||||
|
- name: Verify generated Prisma client is typed
|
||||||
|
working-directory: ./backend
|
||||||
|
run: |
|
||||||
|
if ! grep -q "export \* from '.prisma/client/default'" node_modules/@prisma/client/index.d.ts; then
|
||||||
|
echo "Prisma client export is unexpected";
|
||||||
|
exit 1;
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Lint backend
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run lint
|
||||||
|
|
||||||
|
- name: Build NestJS app
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run build
|
||||||
|
|
||||||
|
backend-full:
|
||||||
|
if: github.event_name == 'push'
|
||||||
|
runs-on: ubuntu-latest
|
||||||
|
|
||||||
|
strategy:
|
||||||
|
matrix:
|
||||||
|
node-version: [24.15.0]
|
||||||
|
|
||||||
|
steps:
|
||||||
|
- name: Checkout code
|
||||||
|
uses: actions/checkout@v4
|
||||||
|
|
||||||
|
- name: Setup Node.js ${{ matrix.node-version }}
|
||||||
|
uses: actions/setup-node@v4
|
||||||
|
with:
|
||||||
|
node-version: ${{ matrix.node-version }}
|
||||||
|
cache: 'npm'
|
||||||
|
|
||||||
|
- name: Install dependencies (backend)
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm ci
|
||||||
|
|
||||||
- name: Prisma schema validate
|
- name: Prisma schema validate
|
||||||
working-directory: ./backend
|
working-directory: ./backend
|
||||||
run: npx prisma validate --schema prisma/schema.prisma
|
run: npx prisma validate --schema prisma/schema.prisma
|
||||||
|
|
||||||
|
- name: Generate Prisma Client
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run prisma:generate
|
||||||
|
|
||||||
|
- name: Verify generated Prisma client is typed
|
||||||
|
working-directory: ./backend
|
||||||
|
run: |
|
||||||
|
if ! grep -q "export \* from '.prisma/client/default'" node_modules/@prisma/client/index.d.ts; then
|
||||||
|
echo "Prisma client export is unexpected";
|
||||||
|
exit 1;
|
||||||
|
fi
|
||||||
|
|
||||||
|
- name: Lint backend
|
||||||
|
working-directory: ./backend
|
||||||
|
run: npm run lint
|
||||||
|
|
||||||
- name: Dependency audit (high+critical)
|
- name: Dependency audit (high+critical)
|
||||||
working-directory: ./backend
|
working-directory: ./backend
|
||||||
run: npm audit --audit-level=high
|
run: npm audit --audit-level=high
|
||||||
@@ -47,7 +106,6 @@ jobs:
|
|||||||
- name: Build NestJS app
|
- name: Build NestJS app
|
||||||
working-directory: ./backend
|
working-directory: ./backend
|
||||||
run: npm run build
|
run: npm run build
|
||||||
continue-on-error: true
|
|
||||||
|
|
||||||
flutter-quality:
|
flutter-quality:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
@@ -65,6 +123,16 @@ jobs:
|
|||||||
- 'flutter/**'
|
- 'flutter/**'
|
||||||
- '.github/workflows/test.yml'
|
- '.github/workflows/test.yml'
|
||||||
|
|
||||||
|
- name: Set Flutter test mode
|
||||||
|
if: steps.filter.outputs.flutter == 'true'
|
||||||
|
shell: bash
|
||||||
|
run: |
|
||||||
|
if [ "${{ github.event_name }}" = "pull_request" ]; then
|
||||||
|
echo "FLUTTER_TEST_CMD=flutter test --reporter=compact" >> "$GITHUB_ENV"
|
||||||
|
else
|
||||||
|
echo "FLUTTER_TEST_CMD=flutter test" >> "$GITHUB_ENV"
|
||||||
|
fi
|
||||||
|
|
||||||
- name: Setup Flutter
|
- name: Setup Flutter
|
||||||
if: steps.filter.outputs.flutter == 'true'
|
if: steps.filter.outputs.flutter == 'true'
|
||||||
uses: subosito/flutter-action@v2
|
uses: subosito/flutter-action@v2
|
||||||
@@ -84,4 +152,4 @@ jobs:
|
|||||||
- name: Run Flutter tests
|
- name: Run Flutter tests
|
||||||
if: steps.filter.outputs.flutter == 'true'
|
if: steps.filter.outputs.flutter == 'true'
|
||||||
working-directory: ./flutter
|
working-directory: ./flutter
|
||||||
run: flutter test
|
run: ${{ env.FLUTTER_TEST_CMD }}
|
||||||
|
|||||||
@@ -0,0 +1,27 @@
|
|||||||
|
# Dokumentationsagent
|
||||||
|
**Roll**: Hjälper till att uppdatera och förbättra dokumentation, men **modifierar aldrig filer utan godkännande**.
|
||||||
|
|
||||||
|
## Regler
|
||||||
|
- **Läs endast**: Använd `read` och `grep` för att analysera dokumentation.
|
||||||
|
- **Föreslå ändringar**: Använd `suggest` för att visa förändringar innan de appliceras.
|
||||||
|
- **Förbjudna åtgärder**:
|
||||||
|
- Modifiera `teknisk_beskrivning.md` eller `docs/` direkt.
|
||||||
|
- Köra `bash`-kommandon som påverkar filer (t.ex. `rm`, `echo >`).
|
||||||
|
|
||||||
|
## Arbetsflöde
|
||||||
|
1. Läs befintlig dokumentation med `read`.
|
||||||
|
2. Föreslå ändringar via `/local-review-uncommitted`.
|
||||||
|
3. Vänta på explicit godkännande innan modifieringar görs.
|
||||||
|
4. Om användaren ber om en ändring, visa **alltid** en diff först.
|
||||||
|
|
||||||
|
## Exempel på tillåtna åtgärder
|
||||||
|
- Söka efter föråldrad information i `teknisk_beskrivning.md`.
|
||||||
|
- Föreslå nya avsnitt eller korrigeringar.
|
||||||
|
- Sammanfatta befintligt innehåll.
|
||||||
|
- Lägga till referenser eller länkar till relevant information.
|
||||||
|
- lägga till information i `docs/` efter godkännande.
|
||||||
|
|
||||||
|
## Exempel på förbjudna åtgärder
|
||||||
|
- Redigera `teknisk_beskrivning.md` direkt.
|
||||||
|
- Köra `git add` eller `git commit` utan begäran.
|
||||||
|
- Ta bort eller flytta filer i `docs/`.
|
||||||
@@ -0,0 +1,575 @@
|
|||||||
|
Du är en senior utvecklare och säkerhetsexpert. Analysera commit-kandidater i detta fullstack-projekt (backend: NestJS + Prisma, frontend: Next.js/Flutter, databas: MariaDB).
|
||||||
|
|
||||||
|
Syfte:
|
||||||
|
- Detta är en pre-commit quality gate innan commit.
|
||||||
|
- Leverera ett tydligt gate-beslut: `PASS`, `PASS_WITH_WARNINGS` eller `BLOCK`.
|
||||||
|
- Vid `BLOCK`: lista exakta blockerare och fixordning.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 0. Deterministiska gate-regler (källa till sanning)
|
||||||
|
|
||||||
|
### 0.1 Filurval (delta-first)
|
||||||
|
1. Primärt: analysera alla staged filer.
|
||||||
|
2. Om inga staged filer finns: analysera commit-kandidater i working tree (modified + untracked).
|
||||||
|
3. Exkludera alltid: `node_modules`, `.git`, build/cache-artifacts, binärfiler, genererade filer som inte ska committas.
|
||||||
|
4. Fokusera blockerande bedömning på förändrad kod (delta). Legacy-problem i opåverkade delar rapporteras som teknisk skuld (ej blockerande i denna gate).
|
||||||
|
|
||||||
|
### 0.2 Severity och beslut
|
||||||
|
- **Critical**: säkerhetshål/scope-brist med hög impact (t.ex. IDOR, auth bypass, PII-läckage, injection).
|
||||||
|
- **High**: allvarlig korrektness-/driftsrisk i produktion.
|
||||||
|
- **Medium/Low**: informativa förbättringar (blockerar inte).
|
||||||
|
|
||||||
|
**Beslutslogik (deterministisk):**
|
||||||
|
- `BLOCK` om minst 1 `Critical`.
|
||||||
|
- `BLOCK` om 2 eller fler `High`.
|
||||||
|
- `PASS_WITH_WARNINGS` om exakt 1 `High` utan `Critical`.
|
||||||
|
- `PASS` om inga `Critical`/`High`.
|
||||||
|
|
||||||
|
### 0.3 Evidenskrav för blockerande fynd
|
||||||
|
Varje `Critical`/`High` måste ha:
|
||||||
|
- `Evidence`: `code`, `test`, eller `runtime`.
|
||||||
|
- Fil + radreferens.
|
||||||
|
- Konkreta fixsteg.
|
||||||
|
|
||||||
|
Fynd med endast antagande märks `Needs verification` och får inte ensamt orsaka `BLOCK`, om inte risken är uppenbart kritisk.
|
||||||
|
|
||||||
|
### 0.4 Stop-early-regel (effektivitet)
|
||||||
|
- Vid första tydliga `Critical`: sätt preliminärt `BLOCK`, identifiera max 3 ytterligare blockerare, avsluta sedan djupanalys.
|
||||||
|
|
||||||
|
### 0.5 Rapportbudget
|
||||||
|
- Rapportera max 5 informativa fynd (`Medium/Low`), prioriterade efter högst nytta/lägst kostnad.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 1. Analysfokus
|
||||||
|
|
||||||
|
### 1.1 Allmän kodkvalitet
|
||||||
|
- Läsbarhet/underhållbarhet: namngivning, modularisering, komplexitet.
|
||||||
|
- TypeScript/Flutter best practices.
|
||||||
|
- Kommentarer för icke-obvious logik.
|
||||||
|
|
||||||
|
### 1.2 Performance-optimeringar (informational)
|
||||||
|
- Algoritmisk effektivitet.
|
||||||
|
- Onödiga kopior/serialiseringar.
|
||||||
|
- Databasfrågor, N+1-risk, ineffektiva `include/select`.
|
||||||
|
|
||||||
|
### 1.3 Säkerhetsanalys
|
||||||
|
Fokusera på **NestJS/Prisma/Next.js-specifika säkerhetsrisker** med automatiserad detektion.
|
||||||
|
|
||||||
|
#### 1.3.1 Vanliga säkerhetsrisker (med exempel)
|
||||||
|
| Risk | Exempel i kod | PowerShell för att hitta | Åtgärd |
|
||||||
|
|-------------------------------|-------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------|
|
||||||
|
| **SQL-injection (Prisma)** | `prisma.$queryRaw\`SELECT * FROM users WHERE name = ${userInput}\`` | `Select-String -Path "src\*" -Pattern "\$queryRaw.*\`\$\{"` | Använd Prisma-parametrar: `prisma.$queryRaw\`SELECT * FROM users WHERE name = ${userInput}\`` |
|
||||||
|
| **XSS (Next.js)** | `<div dangerouslySetInnerHTML={{ __html: userInput }} />` | `Select-String -Path "src\*" -Pattern "dangerouslySetInnerHTML"` | Använd `DOMPurify` eller `react-dom/server`. |
|
||||||
|
| **Secrets i kod** | `const apiKey = "sk_123456789";` | `Select-String -Path "src\*" -Pattern "apiKey|password|secret" -CaseSensitive` | Flytta till `.env` och använd `@nestjs/config`. |
|
||||||
|
| **CSRF (NestJS)** | Saknad `@UseGuards(CsrfGuard)` i `main.ts` | `Select-String -Path "src\main.ts" -Pattern "UseGuards.*Csrf" -NotMatch` | Lägg till `app.use(csurf())` i `main.ts`. |
|
||||||
|
| **Insecure Deserialization** | `JSON.parse(userInput)` utan validering | `Select-String -Path "src\*" -Pattern "JSON\.parse\("` | Använd `zod` eller `class-validator`. |
|
||||||
|
|
||||||
|
#### 1.3.2 Automatiserad säkerhetssökning (PowerShell)
|
||||||
|
Kör dessa kommandon för att hitta säkerhetsproblem:
|
||||||
|
```powershell
|
||||||
|
# 1. Sök efter hårdkodade secrets
|
||||||
|
Select-String -Path "src\*" -Pattern "apiKey|password|secret" -CaseSensitive |
|
||||||
|
ForEach-Object {
|
||||||
|
Write-Warning "Potentiell secret läcka i $($_.Path):$($_.LineNumber) - $($_.Line)"
|
||||||
|
}
|
||||||
|
|
||||||
|
# 2. Sök efter SQL-injection-risker i Prisma
|
||||||
|
Select-String -Path "src\*" -Pattern "\$queryRaw.*\`\$\{" |
|
||||||
|
ForEach-Object {
|
||||||
|
Write-Warning "Potentiell SQL-injection i $($_.Path):$($_.LineNumber)"
|
||||||
|
}
|
||||||
|
|
||||||
|
# 3. Kör npm audit för sårbara beroenden
|
||||||
|
npm audit --json | Out-File "npm_audit.json"
|
||||||
|
if ((Get-Content "npm_audit.json" | ConvertFrom-Json).metadata.vulnerabilities.high) {
|
||||||
|
Write-Error "Kritiska sårbarheter hittade! Kör `npm audit fix`."
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.3.3 Verktygsintegration
|
||||||
|
- **`npm audit`**: Upptäcker sårbara `node_modules`.
|
||||||
|
```powershell
|
||||||
|
npm audit --json | ConvertFrom-Json | Select-Object -ExpandProperty metadata
|
||||||
|
```
|
||||||
|
- **`eslint-plugin-security`**: Installera och kör:
|
||||||
|
```powershell
|
||||||
|
npm install --save-dev eslint-plugin-security
|
||||||
|
npx eslint --plugin security src/
|
||||||
|
```
|
||||||
|
- **`trivy`** (för container-säkerhet, om relevant):
|
||||||
|
```powershell
|
||||||
|
trivy fs --security-checks vuln .
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.3.4 Prisma/NestJS-specifika risker
|
||||||
|
- **Prisma-raw-queries**: Undvik dynamiska SQL-strängar.
|
||||||
|
```ts
|
||||||
|
// OSAKER:
|
||||||
|
prisma.$queryRaw\`SELECT * FROM users WHERE name = ${userInput}\`;
|
||||||
|
|
||||||
|
// SÄKER:
|
||||||
|
prisma.$queryRaw\`SELECT * FROM users WHERE name = ${Prisma.sql\`${userInput}\`}\`;
|
||||||
|
```
|
||||||
|
- **NestJS-guards**: Validera alltid `roles` i `@UseGuards()`:
|
||||||
|
```ts
|
||||||
|
@UseGuards(JwtAuthGuard, RolesGuard)
|
||||||
|
@Roles('admin')
|
||||||
|
@Get('admin')
|
||||||
|
adminOnly() {}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 1.4 Backend-specifik kontroll (NestJS + Prisma)
|
||||||
|
Kontrollera **NestJS/Prisma-specifika mönster** med automatiserade verktyg.
|
||||||
|
|
||||||
|
#### 1.4.1 Vanliga backend-risker (med exempel)
|
||||||
|
| Risk | Exempel i kod | PowerShell för att hitta | Åtgärd |
|
||||||
|
|-------------------------------|-------------------------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------|
|
||||||
|
| **Saknad DTO-validering** | `@Post() create(@Body() data: any)` | `Select-String -Path "src\*" -Pattern "@Body\(\)\.*any"` | Använd `class-validator`: `@Body() data: CreateUserDto` |
|
||||||
|
| **IDOR (Insecure Direct Object Reference)** | `@Get(':id') findOne(@Param('id') id: string)` utan scope-validering | `Select-String -Path "src\*" -Pattern "@Get\('.*'\)\.*@Param.*id.*string" -NotMatch "UseGuards"` | Lägg till `@UseGuards(OwnershipGuard)`. |
|
||||||
|
| **Saknad transaktion (Prisma)** | `await prisma.user.create({ data }); await prisma.log.create({ data })` | `Select-String -Path "src\*" -Pattern "await prisma\..*\.create.*await prisma"` | Använd `prisma.$transaction`: `await prisma.$transaction([...])` |
|
||||||
|
| **N+1-problem (Prisma)** | `users.map(user => prisma.posts.findMany({ where: { userId: user.id } }))` | `Select-String -Path "src\*" -Pattern "\.map.*prisma\..*\.findMany"` | Använd `include`: `prisma.user.findMany({ include: { posts: true } })` |
|
||||||
|
| **Saknad rate limiting** | `@Post('login')` utan begränsning | `Select-String -Path "src\*" -Pattern "@Post.*login" -NotMatch "ThrottlerGuard"` | Lägg till `@UseGuards(ThrottlerGuard)`. |
|
||||||
|
|
||||||
|
#### 1.4.2 Automatiserad validering (PowerShell)
|
||||||
|
Kör dessa kommandon för att hitta backend-problem:
|
||||||
|
```powershell
|
||||||
|
# 1. Sök efter saknad DTO-validering
|
||||||
|
Select-String -Path "src\*" -Pattern "@Body\(\)\.*any" |
|
||||||
|
ForEach-Object {
|
||||||
|
Write-Warning "Saknad DTO-validering i $($_.Path):$($_.LineNumber)"
|
||||||
|
}
|
||||||
|
|
||||||
|
# 2. Sök efter IDOR-risker
|
||||||
|
Select-String -Path "src\*" -Pattern "@Get\('.*'\)\.*@Param.*id.*string" -NotMatch "UseGuards" |
|
||||||
|
ForEach-Object {
|
||||||
|
Write-Warning "Potentiell IDOR-risk i $($_.Path):$($_.LineNumber)"
|
||||||
|
}
|
||||||
|
|
||||||
|
# 3. Sök efter saknade Prisma-transaktioner
|
||||||
|
Select-String -Path "src\*" -Pattern "await prisma\..*\.create.*await prisma" |
|
||||||
|
ForEach-Object {
|
||||||
|
Write-Warning "Saknad transaktion i $($_.Path):$($_.LineNumber)"
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.4.3 Rekommenderade bibliotek
|
||||||
|
- **DTO-validering**: [`class-validator`](https://github.com/typestack/class-validator)
|
||||||
|
```powershell
|
||||||
|
npm install class-validator class-transformer
|
||||||
|
```
|
||||||
|
- **Auktorisation**: [`@nestjs/passport`](https://docs.nestjs.com/security/authentication)
|
||||||
|
```powershell
|
||||||
|
npm install @nestjs/passport passport passport-jwt
|
||||||
|
```
|
||||||
|
- **Rate limiting**: [`@nestjs/throttler`](https://docs.nestjs.com/security/rate-limiting)
|
||||||
|
```powershell
|
||||||
|
npm install @nestjs/throttler
|
||||||
|
```
|
||||||
|
- **Prisma-optimeringar**:
|
||||||
|
- Använd `include` för att undvika N+1:
|
||||||
|
```ts
|
||||||
|
prisma.user.findMany({ include: { posts: true } });
|
||||||
|
```
|
||||||
|
- Använd `select` för att minimera data:
|
||||||
|
```ts
|
||||||
|
prisma.user.findMany({ select: { id: true, name: true } });
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.4.4 Prisma-specifika optimeringar
|
||||||
|
- **Indexering**: Lägg till `@@index` i Prisma-schemat för frekventa frågor:
|
||||||
|
```prisma
|
||||||
|
model User {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
email String @unique
|
||||||
|
name String
|
||||||
|
|
||||||
|
@@index([email]) // Optimerar sökningar på email
|
||||||
|
}
|
||||||
|
```
|
||||||
|
- **Batch-operations**: Använd `createMany` istället för loopar:
|
||||||
|
```ts
|
||||||
|
await prisma.user.createMany({ data: users });
|
||||||
|
```
|
||||||
|
- **Timeout-hantering**: Använd `PrismaClient.$extends` för att lägga till timeout:
|
||||||
|
```ts
|
||||||
|
const prisma = new PrismaClient().$extends({
|
||||||
|
query: {
|
||||||
|
async $allOperations({ operation, model, args, query }) {
|
||||||
|
return query({ timeout: 10000 }); // 10s timeout
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
## 2. Krav på varje fynd
|
||||||
|
Använd följande mall:
|
||||||
|
- **Severity**: `Critical|High|Medium|Low`
|
||||||
|
- **Evidence**: `code|test|runtime|Needs verification`
|
||||||
|
- **Delsystem**: `backend|frontend|db|infra`
|
||||||
|
- **Fil**: `<path:line>`
|
||||||
|
- **Risk**: kort riskbeskrivning
|
||||||
|
- **Varför**: varför detta är ett problem
|
||||||
|
- **Åtgärd**: konkret, realistisk fix
|
||||||
|
- **Verifiering**: kommando/test för att bekräfta fix
|
||||||
|
|
||||||
|
Blocking-fynd (`Critical/High`) listas först, därefter informational (`Medium/Low`).
|
||||||
|
|
||||||
|
---
|
||||||
|
## 3. Obligatoriskt outputformat
|
||||||
|
Returnera exakt i denna ordning:
|
||||||
|
|
||||||
|
1. `Scope`
|
||||||
|
- Urvalsregel: `staged` eller `working-tree`
|
||||||
|
- Analyserade filer (exakt lista)
|
||||||
|
- Exkluderade filer (med orsak)
|
||||||
|
|
||||||
|
2. `Gate-beslut`
|
||||||
|
- `PASS|PASS_WITH_WARNINGS|BLOCK`
|
||||||
|
- Antal per severity: `Critical`, `High`, `Medium`, `Low`
|
||||||
|
- Kort motivering
|
||||||
|
|
||||||
|
3. `Blocking Findings (Critical/High)`
|
||||||
|
- Om inga finns: skriv `Inga blockerande fynd`.
|
||||||
|
|
||||||
|
4. `Informational Findings (Medium/Low)`
|
||||||
|
- Max 5 fynd.
|
||||||
|
|
||||||
|
5. `Fixplan (vid BLOCK eller PASS_WITH_WARNINGS)`
|
||||||
|
- Numrerad ordning, konkreta steg.
|
||||||
|
|
||||||
|
6. `Sammanfattning`
|
||||||
|
- Topp 3 åtgärder efter risk/vinst
|
||||||
|
- Tidsestimat
|
||||||
|
- Rekommenderade automatiserade kontroller
|
||||||
|
|
||||||
|
---
|
||||||
|
## 4. Konsistenskontroller (måste uppfyllas)
|
||||||
|
- Om `Gate-beslut=PASS` får inga `Critical/High` listas.
|
||||||
|
- Om `Gate-beslut=BLOCK` måste `Fixplan` innehålla minst 1 konkret blockerande åtgärd.
|
||||||
|
- Om `PASS_WITH_WARNINGS` används måste exakt 1 `High` finnas och 0 `Critical`.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 5. Fallback: inget att analysera
|
||||||
|
Om inga relevanta filer hittas:
|
||||||
|
- Skriv `Inget att analysera` och varför (t.ex. tom staged + tom working tree).
|
||||||
|
- Ge nästa konkreta steg:
|
||||||
|
- `git add <filer>`
|
||||||
|
- `git diff --cached --name-only`
|
||||||
|
- Kör analysen igen.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 6. Kontext för projektet
|
||||||
|
- Backend: NestJS + Prisma + MariaDB (Docker).
|
||||||
|
- Frontend: Next.js + TypeScript + Flutter.
|
||||||
|
- Mål: produktion, låg teknisk skuld, säkrad hantering av känslig data.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 7. CI-koppling
|
||||||
|
- Detta är lokalt pre-commit-steg.
|
||||||
|
- Samma kvalitetskrav bör speglas i CI (push/PR) för att minska miljöskillnader.
|
||||||
|
|
||||||
|
---
|
||||||
|
## 8. TypeScript Syntaxanalys (PowerShell)
|
||||||
|
|
||||||
|
### 8.1 Automatiserad Felupptäckt
|
||||||
|
|
||||||
|
#### 8.1.1 Förberedelser
|
||||||
|
Kontrollera att TypeScript och Node.js är installerade:
|
||||||
|
```powershell
|
||||||
|
node --version
|
||||||
|
tsc --version
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.1.2 Hämta alla TypeScript-fel
|
||||||
|
Kör TypeScript-compilern i **noEmit-läge** för att lista fel **utan att generera filer**:
|
||||||
|
```powershell
|
||||||
|
tsc --noEmit --pretty | Out-File -FilePath "ts_errors.log" -Encoding utf8
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.1.3 Sök efter specifika felkoder (PowerShell)
|
||||||
|
Använd `Select-String` (PowerShells motsvarighet till `grep`) för att filtrera fel:
|
||||||
|
```powershell
|
||||||
|
# Sök efter "Cannot find name" (TS2304)
|
||||||
|
Select-String -Path "ts_errors.log" -Pattern "TS2304" | Format-Table -AutoSize
|
||||||
|
|
||||||
|
# Sök efter "Property does not exist" (TS2339/TS2551)
|
||||||
|
Select-String -Path "ts_errors.log" -Pattern "TS2339|TS2551" | Format-Table -AutoSize
|
||||||
|
|
||||||
|
# Sök efter "implicitly has 'any' type" (TS7006)
|
||||||
|
Select-String -Path "ts_errors.log" -Pattern "TS7006" | Format-Table -AutoSize
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.1.4 Analysera specifika filer
|
||||||
|
Fokusera på ändrade filer i `git` (pre-commit):
|
||||||
|
```powershell
|
||||||
|
# Hämta alla ändrade TypeScript-filer (staged + unstaged)
|
||||||
|
$changedFiles = git diff --name-only --diff-filter=d | Where-Object { $_ -match '\.tsx?$' }
|
||||||
|
if ($changedFiles) {
|
||||||
|
tsc --noEmit $changedFiles | Out-File -FilePath "ts_errors_staged.log" -Encoding utf8
|
||||||
|
} else {
|
||||||
|
Write-Host "Inga ändrade TypeScript-filer hittades."
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.2 Vanliga TypeScript-Syntaxfel (Windows)
|
||||||
|
| Felkod | Beskrivning | PowerShell för att hitta fel | Åtgärd |
|
||||||
|
|--------------|---------------------------------------|--------------------------------------------------|------------------------------------------------------------------------|
|
||||||
|
| **TS2304** | Okänd variabel/import | `Select-String -Pattern "TS2304"` | Lägg till import eller deklarera variabeln. |
|
||||||
|
| **TS2339** | Egenskap saknas på objekt | `Select-String -Pattern "TS2339"` | Utöka interfacet eller använd `as`-typning. |
|
||||||
|
| **TS2551** | Felaktig egenskapsåtkomst | `Select-String -Pattern "TS2551"` | Kontrollera typdefinitionen. |
|
||||||
|
| **TS1128** | Saknad deklaration eller statement | `Select-String -Pattern "TS1128"` | Lägg till kodblock eller semikolon. |
|
||||||
|
| **TS7006** | Parameter saknar typ | `Select-String -Pattern "TS7006"` | Lägg till typannotation (t.ex. `: string`). |
|
||||||
|
| **TS1005** | Saknad semikolon | `Select-String -Pattern "TS1005"` | Lägg till semikolon om `tsconfig.json` kräver det. |
|
||||||
|
|
||||||
|
### 8.3 Åtgärdsförslag (PowerShell-exempel)
|
||||||
|
|
||||||
|
#### 8.3.1 TS2304: "Cannot find name"
|
||||||
|
**Orsak**: Variabel, funktion eller import saknas.
|
||||||
|
**Lösningar**:
|
||||||
|
1. **Lägg till import**:
|
||||||
|
```powershell
|
||||||
|
# Exempel: Saknad import för `axios`
|
||||||
|
Get-Content "src\api\service.ts" | Select-String "axios"
|
||||||
|
```
|
||||||
|
```diff
|
||||||
|
- fetchData();
|
||||||
|
+ import axios from 'axios';
|
||||||
|
+ axios.get('/api/data');
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Installera saknade typer**:
|
||||||
|
```powershell
|
||||||
|
npm install --save-dev @types/node
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.3.2 TS2339/TS2551: "Property does not exist"
|
||||||
|
**Orsak**: Egenskap saknas i typdefinitionen.
|
||||||
|
**Lösningar**:
|
||||||
|
1. **Utöka interfacet**:
|
||||||
|
```diff
|
||||||
|
- interface User { name: string; }
|
||||||
|
+ interface User { name: string; address?: { city: string; }; }
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Använd `as`-typning (temporärt)**:
|
||||||
|
```ts
|
||||||
|
const city = (user as { address: { city: string } }).address.city;
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.3.3 TS1128: "Declaration or statement expected"
|
||||||
|
**Orsak**: Ogiltig syntax (t.ex. saknat kodblock).
|
||||||
|
**Lösningar**:
|
||||||
|
1. **Lägg till kodblock**:
|
||||||
|
```diff
|
||||||
|
- function foo() return 5;
|
||||||
|
+ function foo() { return 5; }
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Kontrollera semikolon** (om `tsconfig.json` kräver det):
|
||||||
|
```diff
|
||||||
|
- const x = 5
|
||||||
|
+ const x = 5;
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.3.4 TS7006: "Parameter implicitly has 'any' type"
|
||||||
|
**Orsak**: Parameter saknar typ.
|
||||||
|
**Lösningar**:
|
||||||
|
1. **Lägg till typannotation**:
|
||||||
|
```diff
|
||||||
|
- function greet(name) { ... }
|
||||||
|
+ function greet(name: string) { ... }
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Stäng av `noImplicitAny`** (ej rekommenderat):
|
||||||
|
```json
|
||||||
|
{
|
||||||
|
"compilerOptions": {
|
||||||
|
"noImplicitAny": false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.4 Exempel på Korrigeringar (PowerShell)
|
||||||
|
|
||||||
|
#### 8.4.1 Fixa saknad import (TS2304)
|
||||||
|
**Felaktig kod**:
|
||||||
|
```ts
|
||||||
|
getUser(); // TS2304: Cannot find name 'getUser'
|
||||||
|
```
|
||||||
|
**Fix**:
|
||||||
|
```powershell
|
||||||
|
# Kontrollera om funktionen existerar i projektet
|
||||||
|
Get-ChildItem -Recurse -Include *.ts | Select-String -Pattern "function getUser"
|
||||||
|
```
|
||||||
|
```ts
|
||||||
|
import { getUser } from './api'; // Lägg till import
|
||||||
|
getUser();
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.4.2 Fixa ogiltig egenskap (TS2551)
|
||||||
|
**Felaktig kod**:
|
||||||
|
```ts
|
||||||
|
interface User { name: string; }
|
||||||
|
const user: User = { name: 'Alice' };
|
||||||
|
console.log(user.age); // TS2551: Property 'age' does not exist
|
||||||
|
```
|
||||||
|
**Fix**:
|
||||||
|
```ts
|
||||||
|
interface User { name: string; age?: number; } // Gör 'age' valfritt
|
||||||
|
const user: User = { name: 'Alice' };
|
||||||
|
console.log(user.age); // OK (kan vara `undefined`)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.5 PowerShell-specifika Tips
|
||||||
|
|
||||||
|
#### 8.5.1 Sökvägar och Filtrering
|
||||||
|
- **Använd dubbla citattecken (`"`) för sökvägar**:
|
||||||
|
```powershell
|
||||||
|
Get-ChildItem -Path "C:\Users\Nils-JohanGynther\dev\recipe-app\src\*.ts"
|
||||||
|
```
|
||||||
|
- **Escape specialtecken** med backtick (`\`):
|
||||||
|
```powershell
|
||||||
|
Select-String -Pattern "Property\`|does not exist"
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.5.2 Kör `tsc` med full sökväg (om nödvändigt)
|
||||||
|
```powershell
|
||||||
|
& "C:\Users\Nils-JohanGynther\dev\recipe-app\node_modules\.bin\tsc" --noEmit
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.5.3 Spara felutdata till fil
|
||||||
|
```powershell
|
||||||
|
tsc --noEmit | Out-File -FilePath "ts_errors.log" -Encoding utf8
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.6 Rekommenderat Arbetsflöde (PowerShell)
|
||||||
|
1. **Lista alla TypeScript-fel**:
|
||||||
|
```powershell
|
||||||
|
tsc --noEmit --pretty | Out-File -FilePath "ts_errors.log" -Encoding utf8
|
||||||
|
```
|
||||||
|
2. **Filtrera efter felkod**:
|
||||||
|
```powershell
|
||||||
|
Select-String -Path "ts_errors.log" -Pattern "TS2304|TS2551" | Format-Table -AutoSize
|
||||||
|
```
|
||||||
|
3. **Åtgärda felen** enligt tabellen ovan.
|
||||||
|
4. **Validera fixar**:
|
||||||
|
```powershell
|
||||||
|
tsc --noEmit
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.7 Vanliga PowerShell-kommandon
|
||||||
|
| Syfte | PowerShell-kommando |
|
||||||
|
|--------------------------------|-------------------------------------------------------|
|
||||||
|
| Lista TypeScript-filer | `Get-ChildItem -Recurse -Include *.ts,*.tsx` |
|
||||||
|
| Sök efter text i filer | `Select-String -Path "src\*.ts" -Pattern "TS2304"` |
|
||||||
|
| Kör TypeScript-compilern | `tsc --noEmit` |
|
||||||
|
| Spara felutdata till fil | `tsc --noEmit | Out-File "errors.log"` |
|
||||||
|
| Visa innehåll i en fil | `Get-Content "src\app.ts"` |
|
||||||
|
| Kontrollera git-status | `git status` |
|
||||||
|
| Lista ändrade filer | `git diff --name-only --diff-filter=d` |
|
||||||
|
|
||||||
|
### 8.8 Output-format (för pre-commit)
|
||||||
|
När du kör analysen, returnera resultatet i detta format:
|
||||||
|
```markdown
|
||||||
|
### Scope
|
||||||
|
- **Analyserade filer**:
|
||||||
|
- `src\api\service.ts` (2 TS2304-fel)
|
||||||
|
- `src\models\user.ts` (1 TS2551-fel)
|
||||||
|
- **Exkluderade filer**:
|
||||||
|
- `node_modules\` (ignorerad)
|
||||||
|
- `dist\` (genererad kod)
|
||||||
|
|
||||||
|
### Gate-beslut: `PASS_WITH_WARNINGS`
|
||||||
|
- **Critical**: 0
|
||||||
|
- **High**: 1 (TS2551 i `user.ts`)
|
||||||
|
- **Medium**: 2
|
||||||
|
- **Low**: 0
|
||||||
|
|
||||||
|
### Blocking Findings (Critical/High)
|
||||||
|
1. **TS2551** i `src\models\user.ts:15`
|
||||||
|
- **Risk**: Egenskapen `address` saknas i `User`-interfacet.
|
||||||
|
- **Åtgärd**: Utöka interfacet eller använd `as`-typning.
|
||||||
|
- **Verifiering**: Kör `tsc --noEmit` efter fix.
|
||||||
|
|
||||||
|
### Informational Findings (Medium/Low)
|
||||||
|
1. **TS2304** i `src\api\service.ts:8`
|
||||||
|
- **Förbättring**: Lägg till import för `axios`.
|
||||||
|
- **Kommando**: `npm install axios --save`
|
||||||
|
|
||||||
|
2. **TS7006** i `src\utils\helpers.ts:3`
|
||||||
|
- **Förbättring**: Lägg till typ för parametern `data`.
|
||||||
|
- **Exempel**: `function parse(data: string) { ... }`
|
||||||
|
|
||||||
|
### Fixplan
|
||||||
|
1. Åtgärda `TS2551` i `user.ts` (blockerande).
|
||||||
|
2. Lägg till saknade imports i `service.ts`.
|
||||||
|
3. Typa parametrar i `helpers.ts`.
|
||||||
|
|
||||||
|
### Sammanfattning
|
||||||
|
- **Topp 3 åtgärder**:
|
||||||
|
1. Fixa `User`-interfacet (5 min).
|
||||||
|
2. Installera `axios` (2 min).
|
||||||
|
3. Lägg till typer i `helpers.ts` (3 min).
|
||||||
|
- **Tidsestimat**: 10 minuter.
|
||||||
|
- **Rekommenderade automatiserade kontroller**:
|
||||||
|
- Lägg till `tsc --noEmit` i `pre-commit`-hook.
|
||||||
|
- Konfigurera ESLint för TypeScript (`@typescript-eslint`).
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.9 Felhantering i PowerShell
|
||||||
|
Använd `try/catch` för att fånga fel i PowerShell-skript:
|
||||||
|
```powershell
|
||||||
|
try {
|
||||||
|
tsc --noEmit | Out-File -FilePath "ts_errors.log" -Encoding utf8 -ErrorAction Stop
|
||||||
|
} catch {
|
||||||
|
Write-Error "TypeScript-compilering misslyckades: $_"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.10 Dynamiska sökvägar och validering
|
||||||
|
|
||||||
|
#### 8.10.1 Använd dynamiska sökvägar
|
||||||
|
Ersätt hårdkodade sökvägar med variabler för bättre portabilitet:
|
||||||
|
```powershell
|
||||||
|
$projectRoot = Resolve-Path "."
|
||||||
|
$tsconfigPath = Join-Path $projectRoot "tsconfig.json"
|
||||||
|
tsc --project $tsconfigPath --noEmit
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.10.2 Validera TypeScript-installation
|
||||||
|
Kontrollera att `tsc` är tillgängligt innan analys:
|
||||||
|
```powershell
|
||||||
|
if (-not (Get-Command tsc -ErrorAction SilentlyContinue)) {
|
||||||
|
Write-Error "TypeScript är inte installerat. Kör: npm install -g typescript"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 8.10.3 Förbättrad git-integration
|
||||||
|
Hämta ändrade filer med fullständiga sökvägar:
|
||||||
|
```powershell
|
||||||
|
$changedFiles = git diff --name-only --diff-filter=d | ForEach-Object {
|
||||||
|
$filePath = Resolve-Path $_ -ErrorAction SilentlyContinue
|
||||||
|
if ($filePath -and $filePath -match '\.tsx?$') { $filePath }
|
||||||
|
}
|
||||||
|
if ($changedFiles) {
|
||||||
|
tsc --noEmit $changedFiles | Out-File -FilePath "ts_errors_staged.log" -Encoding utf8
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 8.11 Stöd för PowerShell Core (pwsh)
|
||||||
|
> **Notera**: Alla kommandon i denna guide är testade och fungerar i både:
|
||||||
|
> - **Windows PowerShell 5.1** (standard i Windows 10/11)
|
||||||
|
> - **PowerShell Core 7+** (`pwsh`)
|
||||||
|
|
||||||
|
För bästa resultat, använd PowerShell Core (`pwsh`) för:
|
||||||
|
- Snabbare exekvering.
|
||||||
|
- Bättre Unicode-stöd (t.ex. emojis i felmeddelanden).
|
||||||
|
- Kompatibilitet med multiplattforms-projekt.
|
||||||
|
|
||||||
|
Installera PowerShell Core:
|
||||||
|
```powershell
|
||||||
|
winget install --id Microsoft.Powershell --source winget
|
||||||
|
```
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://app.kilo.ai/config.json"
|
||||||
|
}
|
||||||
@@ -0,0 +1,225 @@
|
|||||||
|
# Plan: Fortsatt implementation av FlyerImport (autoflöde + UX i `/import` Flutter)
|
||||||
|
|
||||||
|
## Målbild
|
||||||
|
Implementera ett komplett flyer-flöde med så få klick som möjligt där:
|
||||||
|
- användaren markerar planerade inköp i `FlyerImportTab`
|
||||||
|
- kvittoimporten matchar automatiskt mot öppna `FlyerSelection` och sätter `status=bought`
|
||||||
|
- användaren bara behöver ingripa vid osäker matchning
|
||||||
|
|
||||||
|
Detta följer båda underlagen:
|
||||||
|
1) ingen befintlig flyer-UX i `/import` ännu (behöver byggas)
|
||||||
|
2) maximal automation i punkt 3 (sync med kvittoimport)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Principer för “så få klick som möjligt”
|
||||||
|
- Default är automation: matcha och uppdatera utan extra dialoger.
|
||||||
|
- UI ska vara “review first, edit only when needed”.
|
||||||
|
- Endast två manuella åtgärder i happy path:
|
||||||
|
1. markera planerade flyer-varor
|
||||||
|
2. importera kvitto
|
||||||
|
- Manuell override ska finnas men inte blockera flödet.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 1: Backend-kontrakt för auto-sync
|
||||||
|
|
||||||
|
### 1.1 Nya/utökade endpoints
|
||||||
|
Implementera i `backend/src/flyer-selection`:
|
||||||
|
|
||||||
|
- `POST /flyer-selections/receipt-match-preview`
|
||||||
|
- Input: kvittorader (normaliserad struktur), `weekKey` (optional), `sessionId` (optional)
|
||||||
|
- Output: matchförslag per kvittorad + confidence + reasonCodes + kandidat-selection
|
||||||
|
- Används för transparent UI-annotering före commit
|
||||||
|
|
||||||
|
- `POST /flyer-selections/receipt-match-commit`
|
||||||
|
- Input: samma payload + optional overrides
|
||||||
|
- Output: antal uppdaterade selections, listor över `bought`, `unmatched`, `ambiguous`
|
||||||
|
- Utför transaktionell statusuppdatering (`planned -> bought`)
|
||||||
|
|
||||||
|
- `GET /flyer-selections/open`
|
||||||
|
- Query: `weekKey`, `retailer`, pagination
|
||||||
|
- Returnerar öppna selections (`status=planned`) för snabb klienthämtning
|
||||||
|
|
||||||
|
Notering: Behåll befintliga CRUD-rutter under `/flyer-sessions/:sessionId/selections`.
|
||||||
|
|
||||||
|
### 1.2 Matchningsmotor (service-nivå)
|
||||||
|
I `FlyerSelectionService` lägg till en intern matcher med prioriterad strategi:
|
||||||
|
1. `productId` exact (högsta prio)
|
||||||
|
2. normalized name exact
|
||||||
|
3. alias/ordöverlap (token)
|
||||||
|
4. quantity/unit-stöd som förstärkning (inte ensam källa)
|
||||||
|
|
||||||
|
Regler:
|
||||||
|
- En `FlyerSelection` kan bara konsumeras en gång per commit.
|
||||||
|
- Confidence-trösklar:
|
||||||
|
- `>=0.90`: auto-commit-kandidat
|
||||||
|
- `0.70-0.89`: ambiguous (kräver override för commit)
|
||||||
|
- `<0.70`: unmatched
|
||||||
|
- Returnera alltid `matchedVia`, `confidence`, `reasonCodes`.
|
||||||
|
|
||||||
|
### 1.3 Datamodell-justeringar (om behövs)
|
||||||
|
Nuvarande schema räcker i stort, men planera följande icke-blockerande förbättringar:
|
||||||
|
- `FlyerSelection`:
|
||||||
|
- `boughtAt DateTime?`
|
||||||
|
- `boughtSource String?` (t.ex. `receipt_auto`, `receipt_manual`)
|
||||||
|
- `receiptImportBatchId String?` för spårbarhet
|
||||||
|
- Index:
|
||||||
|
- `(userId, status, updatedAt)` för snabb hämtning av öppna poster
|
||||||
|
|
||||||
|
Migration i separat steg efter kod.
|
||||||
|
|
||||||
|
### 1.4 Säkerhet och robusthet
|
||||||
|
- Validera alltid user-scope i alla nya endpoints.
|
||||||
|
- Rate-limit på match-endpoints (liknande befintlig throttle-nivå).
|
||||||
|
- Transaktion (`prisma.$transaction`) för commit så statusuppdatering blir atomisk.
|
||||||
|
- Idempotens: commit med samma `receiptImportBatchId` ska inte dubbeluppdatera.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 2: Flutter UX i `/import` (ny flyer-tab)
|
||||||
|
|
||||||
|
### 2.1 Lägg till `FlyerImportTab`
|
||||||
|
Uppdatera `ImportScreen` så tabbar blir:
|
||||||
|
1. Recept
|
||||||
|
2. Kvitto
|
||||||
|
3. Flyer
|
||||||
|
|
||||||
|
Skapa:
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart`
|
||||||
|
- `flutter/lib/features/import/data/flyer_import_repository.dart`
|
||||||
|
- `flutter/lib/features/import/data/flyer_import_providers.dart`
|
||||||
|
- `flutter/lib/features/import/domain/flyer_item.dart`
|
||||||
|
- `flutter/lib/features/import/domain/flyer_selection.dart`
|
||||||
|
|
||||||
|
### 2.2 Flyer-tabens minimalklick-flöde
|
||||||
|
Steg i UI:
|
||||||
|
1. Upload flyerfil
|
||||||
|
2. Visa parserader med förvald checkbox för matchade varor
|
||||||
|
3. Primär CTA: `Planera markerade` (bulk-create/upsert)
|
||||||
|
4. Direkt visning av statuschips (`planned/bought/skipped`)
|
||||||
|
|
||||||
|
Klickoptimering:
|
||||||
|
- Förifyll `plannedQuantity/plannedUnit` från flyerdata.
|
||||||
|
- Batch-upsert selections i ett enda API-anrop.
|
||||||
|
- Visa inline varningar istället för modaler där möjligt.
|
||||||
|
|
||||||
|
### 2.3 Statusöversikt
|
||||||
|
I flyer-tabben visa sektioner:
|
||||||
|
- `Planerade` (öppna)
|
||||||
|
- `Nyligen köpta` (autouppdaterade från kvitto)
|
||||||
|
- `Ej matchade vid senaste kvitto` (för snabb manuell hantering)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 3: Integrera auto-sync i `ReceiptImportTab`
|
||||||
|
|
||||||
|
### 3.1 Hook efter receipt parse
|
||||||
|
I befintlig `_submit()` i `receipt_import_tab.dart`:
|
||||||
|
1. importera kvitto som idag
|
||||||
|
2. anropa `receipt-match-preview`
|
||||||
|
3. annotera UI-rader med matchstatus (icon/chip)
|
||||||
|
4. vid `Lägg till markerade`: anropa `receipt-match-commit` parallellt/sekventiellt med saveReceipt
|
||||||
|
|
||||||
|
### 3.2 Zero-click commit i happy path
|
||||||
|
Defaultbeteende vid `Lägg till markerade`:
|
||||||
|
- auto-committa alla matcher med confidence `>=0.90`
|
||||||
|
- lämna ambiguous som `planned`
|
||||||
|
- visa en kompakt snackbar:
|
||||||
|
- `2 planerade markerades som köpta`
|
||||||
|
- `1 kräver manuell kontroll`
|
||||||
|
|
||||||
|
Ingen extra dialog i standardfall.
|
||||||
|
|
||||||
|
### 3.3 Manuell override (endast vid behov)
|
||||||
|
Lägg till valfri expandrad i resultatlistan:
|
||||||
|
- “Föreslagen flyer-match” + knapp `Bekräfta ändå`
|
||||||
|
- används endast för ambiguous fall
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 4: API- och UI-detaljer för låg friktion
|
||||||
|
|
||||||
|
### 4.1 Payload-standard (receipt -> matcher)
|
||||||
|
Standardisera kvittorad till:
|
||||||
|
- `rowId` (lokalt index eller UUID)
|
||||||
|
- `rawName`
|
||||||
|
- `normalizedName`
|
||||||
|
- `productId` (om redan mappad)
|
||||||
|
- `quantity`
|
||||||
|
- `unit`
|
||||||
|
- `price`
|
||||||
|
|
||||||
|
### 4.2 UX-copy
|
||||||
|
Konsekventa texter i UI:
|
||||||
|
- `Automatchad mot flyer`
|
||||||
|
- `Osäker matchning`
|
||||||
|
- `Ej matchad`
|
||||||
|
|
||||||
|
### 4.3 WeekKey-hantering
|
||||||
|
Fallback-ordning vid matchning:
|
||||||
|
1. explicit `sessionId`
|
||||||
|
2. explicit `weekKey`
|
||||||
|
3. server beräknar aktuell `weekKey`
|
||||||
|
|
||||||
|
Detta minimerar klientlogik och fel.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 5: Test och kvalitetssäkring
|
||||||
|
|
||||||
|
### 5.1 Backend
|
||||||
|
- Unit-tester för matcher-regler och confidence-nivåer
|
||||||
|
- Service-tester för commit-idempotens
|
||||||
|
- Controller-e2e för user-scope + throttling + felkoder
|
||||||
|
- Prisma-transaktionsscenarion (dubbelklick/duplicerat commit)
|
||||||
|
|
||||||
|
### 5.2 Flutter
|
||||||
|
- Widget-tester för:
|
||||||
|
- `FlyerImportTab` listning/bulk-planering
|
||||||
|
- kvitto-rad med automatch-chip
|
||||||
|
- Integrationstester för `ReceiptImportTab` + auto-sync callback
|
||||||
|
|
||||||
|
### 5.3 Acceptanskriterier (måste uppfyllas)
|
||||||
|
- Happy path kräver max 2 aktiva klick från planering till auto-bought.
|
||||||
|
- Minst 90% av high-confidence-matchningar autouppdateras korrekt i test-fixtures.
|
||||||
|
- Inga writes till `Product/Inventory` sker i flyer-planeringsfas.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 6: Gradvis lansering
|
||||||
|
|
||||||
|
1. Backend-endpoints bakom feature flag: `flyerReceiptAutoSyncEnabled`
|
||||||
|
2. Aktivera för intern/test-användare först
|
||||||
|
3. Mät:
|
||||||
|
- andel auto-match
|
||||||
|
- andel ambiguous
|
||||||
|
- manuell override-frekvens
|
||||||
|
4. Finjustera thresholds innan full rollout
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Implementeringsordning (konkret)
|
||||||
|
1. Backend: matcher + preview/commit endpoints
|
||||||
|
2. Backend: idempotens + spårbarhetsfält + migration
|
||||||
|
3. Flutter: ny `FlyerImportTab` + repository/providers
|
||||||
|
4. Flutter: integrera preview/commit i `ReceiptImportTab`
|
||||||
|
5. Tester backend + Flutter
|
||||||
|
6. Feature flag rollout
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Risker och mitigering
|
||||||
|
- Felmatchningar: håll konservativ tröskel och auto-commit bara vid hög confidence.
|
||||||
|
- Dubbla commits: idempotensnyckel + transaktion.
|
||||||
|
- UX-brus: visa detaljer först vid ambiguous, inte i happy path.
|
||||||
|
- Prestanda: batcha matchning och undvik N+1-frågor via prefetch av öppna selections.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- `/import` har en fungerande `FlyerImportTab`.
|
||||||
|
- Kvittoimport auto-synkar mot `FlyerSelection` med minimal friktion.
|
||||||
|
- `planned -> bought` uppdateras automatiskt för high-confidence.
|
||||||
|
- Ambiguous fall kan hanteras manuellt utan att blockera flödet.
|
||||||
|
- Tester gröna och feature flag klar för kontrollerad utrullning.
|
||||||
@@ -0,0 +1,125 @@
|
|||||||
|
# Plan: Omgjord flyerimport (pdf-parse + tesseract + Mistral Tiny)
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Ersätta nuvarande flyerimportflöde (som idag delegerar till `importer-api`) med en robust pipeline som:
|
||||||
|
1) extraherar text från flyer-PDF (primärt `pdf-parse`, fallback OCR via Tesseract),
|
||||||
|
2) skickar normaliserad text till Mistral Tiny,
|
||||||
|
3) returnerar strikt strukturerad JSON,
|
||||||
|
4) behåller befintlig matchning/planeringsflöde i backend + Flutter men förbättrar UX kring importresultat och fel.
|
||||||
|
|
||||||
|
## Nulägesanalys (projektanpassad)
|
||||||
|
- Backend endpoint finns: `POST /flyer-import/parse` i `backend/src/flyer-import/flyer-import.controller.ts`.
|
||||||
|
- Nuvarande backendlogik i `backend/src/flyer-import/flyer-import.service.ts` anropar extern tjänst via `IMPORTER_SERVICE_URL` (`/api/flyer/parse`).
|
||||||
|
- Flutter har redan komplett flyerflik i `flutter/lib/features/import/presentation/flyer_import_tab.dart`:
|
||||||
|
- filval, importknapp, preview, radrendering med checkboxar, bulk-planering.
|
||||||
|
- Datamodell för sessions/items finns redan i Prisma (`FlyerSession`, `FlyerItem`, `FlyerSelection`) och stödjer parse+match-metadata.
|
||||||
|
- `flyerimporter.md` beskriver rätt riktning men är generisk; projektet behöver NestJS-integration och kompatibilitet med befintliga DTO/Flutter-modeller.
|
||||||
|
|
||||||
|
## Föreslagen arkitektur (ersättning av dagens lösning)
|
||||||
|
|
||||||
|
### 1) Ny intern parser i recipe-api (NestJS)
|
||||||
|
- Ersätt `parseViaImporter(...)` i `FlyerImportService` med lokal pipeline:
|
||||||
|
- `extractFlyerText(file)`
|
||||||
|
- PDF/text-extraktion via `pdf-parse`.
|
||||||
|
- Fallback OCR via Tesseract för sidor/underlag utan användbar text.
|
||||||
|
- `parseFlyerWithMistral(text)`
|
||||||
|
- Mistral Tiny-anrop med strikt JSON-schema-prompt.
|
||||||
|
- `normalizeFlyerItems(aiJson)`
|
||||||
|
- validering, typkonvertering, enhetsnormalisering, confidence/reasonCodes.
|
||||||
|
- Behåll resten av tjänsten intakt (matchning, sessionpersistens, selections-kompatibilitet).
|
||||||
|
|
||||||
|
### 2) AI-kontrakt (strikt JSON)
|
||||||
|
- Introducera explicit schema för AI-svar (intern typ + runtime-validering):
|
||||||
|
- `rawName`, `normalizedName`, `category`, `price`, `priceUnit`, `comparisonPrice`, `comparisonUnit`, `offerText`, `confidence`, `reasonCodes`.
|
||||||
|
- Promptdesign:
|
||||||
|
- svensk flyer-kontext,
|
||||||
|
- tydlig enhets- och prisnormalisering,
|
||||||
|
- "returnera ENDAST JSON" + exempel,
|
||||||
|
- fallback vid saknade fält (`null`, tomma listor).
|
||||||
|
- Robust parsing av modelloutput:
|
||||||
|
- ta bort ev. markdown fences,
|
||||||
|
- fail-fast med tydligt felmeddelande om ogiltigt JSON.
|
||||||
|
|
||||||
|
### 3) OCR-strategi
|
||||||
|
- Primärväg: `pdf-parse` (snabb, billig).
|
||||||
|
- OCR-fallback: bara när extraherad text är tom/under tröskel.
|
||||||
|
- Preprocess för OCR (vid behov): sidvis rasterisering + språk `swe` (ev. `swe+eng`).
|
||||||
|
- Timeout/guardrails per steg för att undvika låsta importer.
|
||||||
|
|
||||||
|
### 4) API/infra-anpassning
|
||||||
|
- Controller (`flyer-import.controller.ts`):
|
||||||
|
- uppdatera tillåtna MIME-typer så de matchar Flutter-filtyper (PDF + bilder om vi ska stödja bildflyers).
|
||||||
|
- `compose.yml`/env:
|
||||||
|
- gör `IMPORTER_SERVICE_URL` optional eller avveckla för flyerflödet.
|
||||||
|
- säkerställ `MISTRAL_API_KEY` används av `recipe-api` för flyer.
|
||||||
|
- Dokumentation:
|
||||||
|
- uppdatera teknisk beskrivning så flyerimport inte längre kräver extern flyer-parser.
|
||||||
|
|
||||||
|
## UX-analys Flutter (nuvarande) och planerade förbättringar
|
||||||
|
|
||||||
|
### Nuvarande UX (bra att bygga vidare på)
|
||||||
|
- Enkel 3-stegsinteraktion: välj fil -> importera -> markera/planera.
|
||||||
|
- Förhandsvisning finns och passar arbetsflödet.
|
||||||
|
- Offer-badge + pris/jämförpris + matchvisning ger snabb scanning.
|
||||||
|
|
||||||
|
### UX-gap att täppa till i denna implementation
|
||||||
|
- Ingen tydlig visning av parserwarnings från backend (fältet `warnings` finns i modellen).
|
||||||
|
- Ingen kvalitetssignal i UI trots att `parseConfidence/matchConfidence` finns.
|
||||||
|
- Felmeddelanden är relativt råa; saknar råd per feltyp (timeout, ogiltig fil, AI-svar oformaterat).
|
||||||
|
|
||||||
|
### Föreslagna UX-förbättringar (inkrementella, kompatibla)
|
||||||
|
1. Visa `warnings` över resultatlistan i en kompakt varningspanel.
|
||||||
|
2. Lägg till "kvalitetsindikator" per rad (t.ex. låg/medel/hög) baserat på `parseConfidence` + `matchConfidence`.
|
||||||
|
3. Lägg till filterchips: `Endast erbjudanden`, `Saknar matchning`, `Låg kvalitet`.
|
||||||
|
4. Förbättra loading-state med stegnära text ("Extraherar text", "Tolkar med AI", "Matchar produkter").
|
||||||
|
5. Felmappning till användarvänliga meddelanden i `showErrorDialog` (teknisk detalj i kopierbar sekundärtext).
|
||||||
|
|
||||||
|
## Implementationsplan (ordning)
|
||||||
|
|
||||||
|
### Fas A - Backend kärna
|
||||||
|
1. Lägg till dependencies i `backend/package.json` för PDF/OCR/Mistral-klient.
|
||||||
|
2. Skapa intern flyer-parser service i `backend/src/flyer-import/` (text extraction + AI parse).
|
||||||
|
3. Byt `parseViaImporter` till intern implementation i `FlyerImportService`.
|
||||||
|
4. Lägg till runtime-validering och normalisering av AI-svar.
|
||||||
|
|
||||||
|
### Fas B - Kontrakt och robusthet
|
||||||
|
5. Säkerställ att response-format fortsatt matchar `FlyerImportResponse` (ingen breaking change mot Flutter).
|
||||||
|
6. Förbättra controller MIME-regler så de stämmer med faktiska stödda format.
|
||||||
|
7. Lägg till tydliga felkoder/meddelanden för:
|
||||||
|
- tom/oläsbar flyer,
|
||||||
|
- AI-parsefel,
|
||||||
|
- timeout/service unavailable.
|
||||||
|
|
||||||
|
### Fas C - Flutter UX på befintlig skärm
|
||||||
|
8. Visa backend `warnings` i `flyer_import_tab.dart`.
|
||||||
|
9. Lägg till kvalitetsindikator + minimala filterchips.
|
||||||
|
10. Förfina loading/feltexter utan att ändra grundlayouten.
|
||||||
|
|
||||||
|
### Fas D - Verifiering
|
||||||
|
11. Backendtester för intern flyer-parser (happy path + fallback + felbanor).
|
||||||
|
12. Uppdatera/addera Flutter widgettester för warnings/indikator/filter.
|
||||||
|
13. Manuell E2E: PDF med text, PDF med skannade sidor, bildflyer, trasig fil.
|
||||||
|
|
||||||
|
## Filer som sannolikt berörs vid implementation
|
||||||
|
- `backend/src/flyer-import/flyer-import.service.ts`
|
||||||
|
- `backend/src/flyer-import/flyer-import.controller.ts`
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts` (endast om extra metadata behövs)
|
||||||
|
- `backend/package.json`
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart`
|
||||||
|
- Ev. `flutter/lib/features/import/domain/flyer_import_item.dart` (om ny UI-metadata exponeras)
|
||||||
|
- Dokumentation: `TEKNISK_BESKRIVNING.md` (kort uppdatering av arkitektur)
|
||||||
|
|
||||||
|
## Risker och mitigering
|
||||||
|
- OCR-prestanda/latens: använd fallback-only och timeout.
|
||||||
|
- Mistral kan ge semistrukturerat svar: strikt schema + robust JSON-sanitizing + validering.
|
||||||
|
- Kostnad/kvot på AI-anrop: minimera promptstorlek, trunkera brus, återanvänd normalisering.
|
||||||
|
- Driftöverraskningar: behåll endpoint-kontrakt oförändrat mot Flutter.
|
||||||
|
|
||||||
|
## Acceptance criteria
|
||||||
|
- Flyerimport fungerar utan beroende av extern `/api/flyer/parse` i importer-api.
|
||||||
|
- Minst en PDF med inbäddad text och en skannad PDF importeras framgångsrikt.
|
||||||
|
- Backend returnerar valid `FlyerImportResponse` och befintlig planeringsfunktion fortsätter fungera.
|
||||||
|
- Flutter visar warnings och gör det tydligare vilka rader som behöver manuell granskning.
|
||||||
|
|
||||||
|
## Fastställt beslut
|
||||||
|
- Första leveransen ska stödja **PDF + bildfiler** (`png/jpg/webp`) fullt ut.
|
||||||
@@ -0,0 +1,152 @@
|
|||||||
|
# Åtgärdsplan utifrån E2E-fynd (Flyer + Inventory)
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
- Göra flyerflödet praktiskt användbart för jämförelse, redigering och planering till inköpslista.
|
||||||
|
- Säkerställa att inventory/pantry visar korrekta kategorier i stället för att allt hamnar i `Övrigt`.
|
||||||
|
|
||||||
|
## Scope (utifrån dina punkter)
|
||||||
|
1. Flyer-vy:
|
||||||
|
- Visa importerad flyer-PDF för jämförelse mot extraherade rader.
|
||||||
|
- Redigera poster (namn + kategori) med samma kategorikälla som products/pantry.
|
||||||
|
- `Planera X markerade` ska skapa en faktisk inköpslista i en egen flik.
|
||||||
|
2. Inventory:
|
||||||
|
- Felsöka och åtgärda varför poster visas under `Övrigt`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nulägesbild (från kodbasen)
|
||||||
|
- Flutter har redan `FlyerImportTab` med:
|
||||||
|
- filval/import,
|
||||||
|
- checkboxar,
|
||||||
|
- `Planera X markerade` -> `POST /flyer-sessions/:id/selections/bulk`.
|
||||||
|
- PDF-visning finns idag bara för aktuell uppladdad fil i minnet (`_pickedFile.bytes`) och kan inte återöppnas säkert vid återställd session/app-omstart.
|
||||||
|
- Flyer-rader kan ännu inte redigeras i UI (ingen inline edit-dialog för flyer-item).
|
||||||
|
- Meal Plan har en shopping-sektion, men ingen dedikerad flik för flyer-planerade köp.
|
||||||
|
- Kategori-träd finns redan och används i flera vyer via `/categories/tree`.
|
||||||
|
- Inventory läser kategori via `product.categoryRef`; null blir `Övrigt` i UI.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Genomförandeplan
|
||||||
|
|
||||||
|
### 1) Flyer-PDF: beständig förhandsvisning per session
|
||||||
|
**Backend**
|
||||||
|
- Lägg till lagring av originalfil för flyer-session (MVP: lokal filstore eller DB blob beroende på befintligt mönster i projektet).
|
||||||
|
- Utöka `flyer_session` metadata med filreferens (filnamn, mime, storlek, storageKey).
|
||||||
|
- Ny endpoint: `GET /flyer-import/sessions/:sessionId/source` (auth + ägarskap) som streamar PDF/bild.
|
||||||
|
|
||||||
|
**Flutter**
|
||||||
|
- I `FlyerImportTab`:
|
||||||
|
- använd befintlig local preview direkt efter uppladdning,
|
||||||
|
- när session återställs: hämta source-endpoint och visa `Visa flyer` även då.
|
||||||
|
- Behåll fallback-meddelande för plattformar som inte kan öppna PDF direkt.
|
||||||
|
|
||||||
|
**Klart-kriterium**
|
||||||
|
- Samma importerade flyer kan öppnas efter tab-byte och app-omstart för samma användare.
|
||||||
|
|
||||||
|
### 2) Redigering av flyer-poster (namn + kategori)
|
||||||
|
**Backend**
|
||||||
|
- Lägg till endpoint för uppdatering av flyer-item i session, t.ex.
|
||||||
|
- `PATCH /flyer-import/sessions/:sessionId/items/:itemId`
|
||||||
|
- fält: `rawName` (eller `displayName`) och `categoryId` (ev. `categoryHintPath` för visning).
|
||||||
|
- Validera att kategori finns i samma kategoriträd (`categories`).
|
||||||
|
- Ägarskapskontroll via sessionens `userId`.
|
||||||
|
|
||||||
|
**Flutter**
|
||||||
|
- I listan i `FlyerImportTab`: lägg till `Redigera`-action per rad.
|
||||||
|
- Edit-dialog:
|
||||||
|
- textfält för namn,
|
||||||
|
- kategori-väljare baserad på samma träd/komponentmönster som inventory/pantry/admin.
|
||||||
|
- Spara uppdatering till backend och uppdatera lokal/session state.
|
||||||
|
|
||||||
|
**Klart-kriterium**
|
||||||
|
- Användaren kan ändra namn och kategori på en flyer-rad och ser ändringen direkt i listan.
|
||||||
|
|
||||||
|
### 3) Flyer -> Inköpslista i egen flik
|
||||||
|
**Backend**
|
||||||
|
- Definiera enkel shopping-list-resurs för MVP (user-scoped):
|
||||||
|
- tabell t.ex. `shopping_list_item` (name/productId/categoryId/quantity/unit/source/status/userId).
|
||||||
|
- Ny endpoint för att skapa inköpsrader från flyer-selections:
|
||||||
|
- `POST /flyer-sessions/:sessionId/selections/plan-to-shopping-list`
|
||||||
|
- alternativt återanvänd bulk-create i shopping-modul.
|
||||||
|
- Deduplicering/regler:
|
||||||
|
- om samma `productId+unit` finns öppet: summera eller hoppa över (bestäms i implementation; rekommenderat: summera).
|
||||||
|
|
||||||
|
**Flutter**
|
||||||
|
- Lägg till ny flik/skärm `Inköpslista` i app-shell.
|
||||||
|
- `Planera X markerade` i flyer-vyn ska:
|
||||||
|
1) skapa/uppdatera flyer selections,
|
||||||
|
2) trigga backend-mappning till shopping-list,
|
||||||
|
3) visa snackbar med antal tillagda/uppdaterade rader.
|
||||||
|
- Inköpslista-vyn (MVP): lista rader + enkel check/avprickning.
|
||||||
|
|
||||||
|
**Klart-kriterium**
|
||||||
|
- Klick på `Planera X markerade` flyttar markerade flyer-produkter till Inköpslista-fliken.
|
||||||
|
|
||||||
|
### 4) Inventory-fel: allt i `Övrigt`
|
||||||
|
**Felsökning**
|
||||||
|
- Verifiera varför `product.categoryId/categoryRef` blir null i aktuella poster:
|
||||||
|
- skapade produkter utan kategori,
|
||||||
|
- importflöden som inte persistar vald kategori,
|
||||||
|
- äldre data utan backfill.
|
||||||
|
|
||||||
|
**Åtgärd**
|
||||||
|
- Säkerställ att produktskapande från import/edit alltid skickar/sätter kategori när sådan är vald.
|
||||||
|
- Lägg skydd i backend så kategori inte tappas vid update-flöden.
|
||||||
|
- Engångs-backfill för befintliga produkter utan kategori:
|
||||||
|
- använd befintlig kategoriseringslogik (regel/AI) + fallback till rimlig underkategori.
|
||||||
|
- Kör re-fetch/invalidations i Flutter inventory/pantry efter backfill.
|
||||||
|
|
||||||
|
**Klart-kriterium**
|
||||||
|
- Inventory/pantry visar blandade korrekta kategorier; endast okända poster ligger kvar i `Övrigt`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Testplan
|
||||||
|
|
||||||
|
### Backend
|
||||||
|
- Nya tester för:
|
||||||
|
- auth/ownership på source-endpoint och item-edit endpoint,
|
||||||
|
- validering av kategori-id,
|
||||||
|
- plan-to-shopping-list (antal skapade, dedupe, idempotens).
|
||||||
|
|
||||||
|
### Flutter widget/integration
|
||||||
|
- Flyer:
|
||||||
|
- render av `Visa flyer` efter restore,
|
||||||
|
- edit-dialog uppdaterar rad,
|
||||||
|
- `Planera X markerade` ger förväntad feedback.
|
||||||
|
- Inköpslista:
|
||||||
|
- ny flik syns,
|
||||||
|
- mottar rader från flyer.
|
||||||
|
- Inventory regression:
|
||||||
|
- kategori visas från product category path när satt,
|
||||||
|
- `Övrigt` endast fallback.
|
||||||
|
|
||||||
|
### E2E-checklista
|
||||||
|
- Importera flyer PDF -> öppna PDF -> redigera 2 rader -> planera markerade -> verifiera Inköpslista-fliken.
|
||||||
|
- Starta om app -> återöppna samma flyer-PDF -> verifiera ändringar kvar.
|
||||||
|
- Kontrollera inventory/pantry-kategorier efter backfill.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Leveransordning (rekommenderad)
|
||||||
|
1. Inventory-kategori bugfix + backfill (snabbt värde, hög påverkan).
|
||||||
|
2. Flyer item-redigering (namn/kategori).
|
||||||
|
3. Inköpslista-flik + backend-mappning från flyer.
|
||||||
|
4. Beständig flyer-PDF source-visning (kan byggas parallellt med 2/3 om backendkapacitet finns).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Risker och mitigering
|
||||||
|
- **Datamigrering/backfill-risk**: kör först mot staging + logga träffsäkerhet och antal fallback till `Övrigt`.
|
||||||
|
- **Dubbelposter i inköpslista**: inför tydlig dedupe-regel och testfall.
|
||||||
|
- **PDF-hantering per plattform**: behåll web-first öppning och tydligt fallback-meddelande där native viewer saknas.
|
||||||
|
- **Prestanda vid stora flyers**: paginera/virtuallista om UI blir tungt.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- Flyer-vyn har fungerande: PDF-visning, redigering av namn/kategori, planering till inköpslista.
|
||||||
|
- Inköpslista finns som separat flik och visar planerade flyer-rader.
|
||||||
|
- Inventory/pantry kategoriserar korrekt och `Övrigt` används endast som verklig fallback.
|
||||||
|
- Nya backend- och Flutter-tester gröna.
|
||||||
@@ -0,0 +1,369 @@
|
|||||||
|
# Plan: Förbättrad dokumentationsstruktur för Recipe-app
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
Projektet har idag **20+ .md-filer** spridda över olika mappar, inklusive:
|
||||||
|
- **Aktiva filer** i rotmappen (t.ex. `TEKNISK_BESKRIVNING.md`, `NEXT_STEPS.md`).
|
||||||
|
- **Arkiverade filer** i `_archive/docs/` (t.ex. session-specifika anteckningar, gamla refaktoringsplaner).
|
||||||
|
- **Fragmenterade guider** (t.ex. `flyerimporter.md`, `filanalys.md`).
|
||||||
|
- **GitHub-specifika filer** (t.ex. `.github/copilot-instructions.md`).
|
||||||
|
|
||||||
|
**Problem**:
|
||||||
|
- **Svårt att hitta information**: Relaterat innehåll är splittrat (t.ex. Flutter-dokumentation i `_archive/docs/flutter/` vs. backend-dokumentation i rotmappen).
|
||||||
|
- **Föråldrat innehåll**: Arkiverade filer blandas med aktiva (t.ex. `SESSION_CHECKPOINT_2026-05-12.md`).
|
||||||
|
- **Icke-optimerat för språkmodeller**: Saknar tydlig hierarki och kontextuella länkar.
|
||||||
|
- **Duplicering**: Samma koncept (t.ex. "kategoriträd") dokumenteras på flera ställen.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Mål med ny struktur
|
||||||
|
1. **Användarvänligt för utvecklare**:
|
||||||
|
- Logisk gruppering av innehåll (t.ex. "Backend", "Flutter", "Deploy").
|
||||||
|
- Tydliga **steg-för-steg-guider** för vanliga arbetsflöden.
|
||||||
|
- **Sökbart** med tydliga rubriker och nyckelord.
|
||||||
|
|
||||||
|
2. **Optimerat för språkmodeller (LLMs):
|
||||||
|
- **Kontextuell sammanhang**: Varje fil innehåller tillräcklig bakgrund för att förstå dess syfte.
|
||||||
|
- **Länkat innehåll**: Korsreferenser mellan filer för att ge fullständig bild.
|
||||||
|
- **Strukturera data**: Använd tabeller, listor och diagram för att göra informationen maskinläsbar.
|
||||||
|
|
||||||
|
3. **Underhållbart**:
|
||||||
|
- **Versionerat**: Tydlig separation mellan aktiv dokumentation och arkiv.
|
||||||
|
- **Modulärt**: Uppdateringar i en modul (t.ex. "Databas") påverkar inte andra.
|
||||||
|
- **Automatiseringsvänligt**: Filer som `CONTRIBUTING.md` och `README.md` kan genereras delvis från andra källor.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Föreslagen struktur
|
||||||
|
```
|
||||||
|
/
|
||||||
|
├── docs/ # **Huvudkatalog för ALL aktiv dokumentation**
|
||||||
|
│ ├── 01-overview/ # Övergripande projektbeskrivning
|
||||||
|
│ │ ├── README.md # Huvudsaklig README (ersätter rot-README.md)
|
||||||
|
│ │ ├── ARCHITECTURE.md # Systemarkitektur (flytta från TEKNISK_BESKRIVNING.md)
|
||||||
|
│ │ └── GLOSSARY.md # Termer och definitioner (t.ex. "kategoriträd", "flyer session")
|
||||||
|
│ │
|
||||||
|
│ ├── 02-setup/ # Installation och konfiguration
|
||||||
|
│ │ ├── INSTALL.md # Miljökrav, beroenden, första uppstart
|
||||||
|
│ │ ├── CONFIG.md # Konfigurationsfiler (.env, Docker, etc.)
|
||||||
|
│ │ └── TROUBLESHOOTING.md # Vanliga problem och lösningar
|
||||||
|
│ │
|
||||||
|
│ ├── 03-development/ # Utvecklingsguider
|
||||||
|
│ │ ├── CONTRIBUTING.md # Bidragsregler, kodstandard, PR-process
|
||||||
|
│ │ ├── WORKFLOWS.md # Git-flöden, branch-strategi, CI/CD
|
||||||
|
│ │ ├── DATABASE.md # Schema, migrationer, seedning (flytta från TEKNISK_BESKRIVNING.md)
|
||||||
|
│ │ ├── API.md # Backend-API:er, Swagger-länkar, exempelanrop
|
||||||
|
│ │ ├── FLUTTER.md # Flutter-specifik dokumentation (flytta från _archive/docs/flutter/)
|
||||||
|
│ │ └── MICROSERVICES.md # Importer-AI, Todo-microservice, etc.
|
||||||
|
│ │
|
||||||
|
│ ├── 04-deploy/ # Driftsättning och underhåll
|
||||||
|
│ │ ├── DEPLOY.md # Steg-för-steg deploy (ersätter delar av TEKNISK_BESKRIVNING.md)
|
||||||
|
│ │ ├── MAINTENANCE.md # Underhållsskript, backup, monitorering
|
||||||
|
│ │ └── SCALING.md # Prestanda, skalning, lasttest
|
||||||
|
│ │
|
||||||
|
│ ├── 05-features/ # Djupdyk i funktioner
|
||||||
|
│ │ ├── RECIPE_IMPORT.md # Kvittosimport (ersätter flyerimporter.md)
|
||||||
|
│ │ ├── CATEGORY_TREE.md # Kategorihantering och L3-integration
|
||||||
|
│ │ ├── SHOPPING_LIST.md # Inköpslistor och flyer-integration
|
||||||
|
│ │ └── ... # Övriga funktioner (t.ex. måltidsplanering)
|
||||||
|
│ │
|
||||||
|
│ └── 06-archive/ # **Arkiverade dokument** (flytta hit från _archive/)
|
||||||
|
│ ├── sessions/ # Gamla sessionsanteckningar
|
||||||
|
│ ├── legacy/ # Föråldrade planer (t.ex. RECIPE_IMPORT_REFACTOR_PLAN.md)
|
||||||
|
│ └── ...
|
||||||
|
│
|
||||||
|
├── .github/ # GitHub-specifika filer
|
||||||
|
│ ├── COPILOT_INSTRUCTIONS.md # Flytta hit från .github/copilot-instructions.md
|
||||||
|
│ └── ...
|
||||||
|
│
|
||||||
|
└── ... # Övriga projektfiler (backend/, flutter/, etc.)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Detaljerad filstruktur och innehåll
|
||||||
|
|
||||||
|
### 1. `docs/01-overview/`
|
||||||
|
| Fil | Syfte | Källor (befintliga filer) |
|
||||||
|
|-------------------|-----------------------------------------------------------------------|---------------------------------------------------|
|
||||||
|
| `README.md` | **Huvudsaklig ingress**: Projektbeskrivning, mål, snabbstart, länkar. | `README.md`, delar av `TEKNISK_BESKRIVNING.md` |
|
||||||
|
| `ARCHITECTURE.md` | **Systemarkitektur**: Komponentdiagram, databasrelationer, flöden. | `TEKNISK_BESKRIVNING.md` (avsnitt om arkitektur) |
|
||||||
|
| `GLOSSARY.md` | **Ordförklaringar**: Definitioner av projekt-specifika termer. | Ny fil |
|
||||||
|
|
||||||
|
**Exempelinnehåll för `ARCHITECTURE.md`**:
|
||||||
|
```markdown
|
||||||
|
# Systemarkitektur
|
||||||
|
|
||||||
|
```mermaid
|
||||||
|
graph TD
|
||||||
|
A[Flutter App] -->|HTTP/REST| B[Backend API]
|
||||||
|
B -->|Prisma Client| C[MariaDB]
|
||||||
|
B -->|gRPC| D[Importer Microservice]
|
||||||
|
D -->|HTTP| E[Externa API:er]
|
||||||
|
C -->|Seed| F[Initial Data]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Komponenter
|
||||||
|
1. **Flutter App**:
|
||||||
|
- State management: Riverpod
|
||||||
|
- UI: Material Design + anpassade widgets
|
||||||
|
- Integreringar: Kamera (kvittoscan), PDF-rendering
|
||||||
|
|
||||||
|
2. **Backend API**:
|
||||||
|
- Ramverk: NestJS
|
||||||
|
- Databas: Prisma + MariaDB
|
||||||
|
- Autentisering: JWT
|
||||||
|
|
||||||
|
3. **Microservices**:
|
||||||
|
- Importer: Node.js + Puppeteer (för kvittosimport)
|
||||||
|
- AI: Python + Mistral (för kategorisering)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 2. `docs/02-setup/`
|
||||||
|
| Fil | Syfte | Källor |
|
||||||
|
|-------------------|-----------------------------------------------------------------------|----------------------------------------------|
|
||||||
|
| `INSTALL.md` | **Miljösetup**: Krav, beroenden, första körning. | Delar av `README.md` och `TEKNISK_BESKRIVNING.md` |
|
||||||
|
| `CONFIG.md` | **Konfiguration**: `.env`-variabler, Docker-compose, nätverk. | `TEKNISK_BESKRIVNING.md` (avsnitt om miljö) |
|
||||||
|
| `TROUBLESHOOTING.md` | **Felsökning**: Vanliga fel, lösningar, debug-tips. | Ny fil |
|
||||||
|
|
||||||
|
**Exempelinnehåll för `INSTALL.md`**:
|
||||||
|
```markdown
|
||||||
|
# Installation
|
||||||
|
|
||||||
|
## Krav
|
||||||
|
| Komponent | Version | Notering |
|
||||||
|
|-----------------|---------------|-----------------------------------|
|
||||||
|
| Node.js | 24.15.0 | LTS-version rekommenderas |
|
||||||
|
| Docker | 24.x | Krävs för databas och microservices|
|
||||||
|
| Flutter | 3.41.9 | Kanal: stable |
|
||||||
|
| MariaDB | 11.x | Inkluderas via Docker-compose |
|
||||||
|
|
||||||
|
## Steg-för-steg
|
||||||
|
1. **Klona repo**:
|
||||||
|
```bash
|
||||||
|
git clone https://github.com/recipe-app/recipe-app.git
|
||||||
|
cd recipe-app
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Konfigurera miljö**:
|
||||||
|
```bash
|
||||||
|
cp .env.example .env
|
||||||
|
# Redigera .env (se CONFIG.md för detaljer)
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **Starta tjänster**:
|
||||||
|
```bash
|
||||||
|
docker compose up -d
|
||||||
|
```
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 3. `docs/03-development/`
|
||||||
|
| Fil | Syfte | Källor |
|
||||||
|
|-------------------|-----------------------------------------------------------------------|----------------------------------------------|
|
||||||
|
| `CONTRIBUTING.md` | **Bidragsregler**: Kodstandard, PR-process, testkrav. | Ny fil (inspirerad av GitHub-standard) |
|
||||||
|
| `WORKFLOWS.md` | **Arbetsflöden**: Git-strategi, CI/CD, release-process. | `TEKNISK_BESKRIVNING.md` (avsnitt om Git) |
|
||||||
|
| `DATABASE.md` | **Databas**: Schema, migrationer, seedning, underhållsskript. | `TEKNISK_BESKRIVNING.md` + nya avsnitt |
|
||||||
|
| `API.md` | **Backend-API**: Endpoints, autentisering, exempelanrop. | Ny fil |
|
||||||
|
| `FLUTTER.md` | **Flutter-utveckling**: Widget-träd, state management, teman. | `_archive/docs/flutter/` |
|
||||||
|
| `MICROSERVICES.md`| **Microservices**: Importer, AI, kommunikation med backend. | Ny fil |
|
||||||
|
|
||||||
|
**Exempelinnehåll för `DATABASE.md`**:
|
||||||
|
```markdown
|
||||||
|
# Databas
|
||||||
|
|
||||||
|
## Schema
|
||||||
|
```mermaid
|
||||||
|
erDiagram
|
||||||
|
User ||--o{ Recipe : creates
|
||||||
|
User ||--o{ InventoryItem : owns
|
||||||
|
Category ||--o{ Product : "L3"
|
||||||
|
FlyerSession ||--o{ FlyerItem : contains
|
||||||
|
```
|
||||||
|
|
||||||
|
## Migrationer
|
||||||
|
### Standardflöde
|
||||||
|
1. Uppdatera `prisma/schema.prisma`.
|
||||||
|
2. Skapa migration:
|
||||||
|
```bash
|
||||||
|
npx prisma migrate dev --name add_feature_x
|
||||||
|
```
|
||||||
|
3. Testa lokalt:
|
||||||
|
```bash
|
||||||
|
npx prisma migrate reset
|
||||||
|
npx prisma db seed
|
||||||
|
```
|
||||||
|
|
||||||
|
### Underhållsskript
|
||||||
|
- **Rensa databas** (behåll kategorier):
|
||||||
|
```bash
|
||||||
|
./deploy.sh --clean-database
|
||||||
|
```
|
||||||
|
> Obs! Uppdatera `prisma/maintenance/clean-database.sql` när nya tabeller läggs till.
|
||||||
|
|
||||||
|
## Seedning
|
||||||
|
- **Initial data**: Laddas från `db/seeds/seed_all.sql`.
|
||||||
|
- **Kör seed**:
|
||||||
|
```bash
|
||||||
|
./deploy.sh --seed
|
||||||
|
```
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 4. `docs/04-deploy/`
|
||||||
|
| Fil | Syfte | Källor |
|
||||||
|
|-------------------|-----------------------------------------------------------------------|----------------------------------------------|
|
||||||
|
| `DEPLOY.md` | **Deploy-guider**: Steg-för-steg för staging/produktion. | `TEKNISK_BESKRIVNING.md` (avsnitt om deploy) |
|
||||||
|
| `MAINTENANCE.md` | **Underhåll**: Backup, monitorering, logghantering. | Ny fil |
|
||||||
|
| `SCALING.md` | **Skalning**: Prestandaoptimering, lasttest, caching. | Ny fil |
|
||||||
|
|
||||||
|
**Exempelinnehåll för `DEPLOY.md`**:
|
||||||
|
```markdown
|
||||||
|
# Driftsättning
|
||||||
|
|
||||||
|
## Miljöer
|
||||||
|
| Miljö | Domän | Syfte |
|
||||||
|
|-------------|---------------------|--------------------------------|
|
||||||
|
| Lokal | localhost:8080 | Utveckling |
|
||||||
|
| Staging | staging.app.com | Test перед prod |
|
||||||
|
| Produktion | app.recipe.com | Live-trafik |
|
||||||
|
|
||||||
|
## Steg-för-steg
|
||||||
|
1. **Bygg och pusha images**:
|
||||||
|
```bash
|
||||||
|
docker compose build
|
||||||
|
docker compose push
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **Kör migrationer**:
|
||||||
|
```bash
|
||||||
|
./deploy.sh --backend --migrate
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **Starta tjänster**:
|
||||||
|
```bash
|
||||||
|
docker compose up -d
|
||||||
|
```
|
||||||
|
|
||||||
|
## Vanliga flaggor
|
||||||
|
| Flagga | Beskrivning |
|
||||||
|
|-------------------|----------------------------------------------|
|
||||||
|
| `--migrate` | Kör Prisma-migrationer. |
|
||||||
|
| `--clean-database`| Rensar data (behåller kategorier). |
|
||||||
|
| `--seed` | Laddar initial data. |
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 5. `docs/05-features/`
|
||||||
|
| Fil | Syfte | Källor |
|
||||||
|
|-------------------|-----------------------------------------------------------------------|----------------------------------------------|
|
||||||
|
| `RECIPE_IMPORT.md`| **Kvittosimport**: Flyer-parsing, AI-kategorisering, lagring. | `flyerimporter.md` |
|
||||||
|
| `CATEGORY_TREE.md`| **Kategoriträd**: L3-integration, hierarki, synkronisering. | Delar av `TEKNISK_BESKRIVNING.md` |
|
||||||
|
| `SHOPPING_LIST.md`| **Inköpslistor**: Flyer-integration, kvantitetsberäkning, delning. | Ny fil |
|
||||||
|
|
||||||
|
**Exempelinnehåll för `RECIPE_IMPORT.md`**:
|
||||||
|
```markdown
|
||||||
|
# Kvittosimport
|
||||||
|
|
||||||
|
## Flöde
|
||||||
|
```mermaid
|
||||||
|
flowchart TD
|
||||||
|
A[Ladda upp PDF] --> B[Extrahera text]
|
||||||
|
B --> C[AI-kategorisering]
|
||||||
|
C --> D[Spara som FlyerSession]
|
||||||
|
D --> E[Mappa till inköpslista]
|
||||||
|
```
|
||||||
|
|
||||||
|
## API-endpoints
|
||||||
|
| Endpoint | Metod | Beskrivning |
|
||||||
|
|-----------------------------------|-------|--------------------------------------|
|
||||||
|
| `/api/flyer-sessions` | POST | Ladda upp och parsa PDF. |
|
||||||
|
| `/api/flyer-sessions/:id/items` | PATCH | Uppdatera produktnamn/kategori. |
|
||||||
|
| `/api/shopping-list/from-flyer` | POST | Konvertera flyer till inköpslista. |
|
||||||
|
|
||||||
|
## Underhåll
|
||||||
|
- **Uppdatera AI-modell**: Se `MICROSERVICES.md`.
|
||||||
|
- **Lägg till nya butiker**: Uppdatera `src/flyer-import/parsers/`.
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 6. `docs/06-archive/`
|
||||||
|
- **Syfte**: Flytta alla föråldrade filer hit, organiserade efter typ:
|
||||||
|
```
|
||||||
|
docs/06-archive/
|
||||||
|
├── sessions/ # Gamla sessionscheckpoints
|
||||||
|
│ ├── SESSION_2026-05-09_RECEIPT_IMPORT.md
|
||||||
|
│ └── ...
|
||||||
|
├── legacy/ # Föråldrade planer
|
||||||
|
│ ├── RECIPE_IMPORT_REFACTOR_PLAN.md
|
||||||
|
│ └── ...
|
||||||
|
└── flutter_legacy/ # Gamla Flutter-dokument
|
||||||
|
├── teknisk_beskrivning_flutter.md
|
||||||
|
└── ...
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Migrationsplan
|
||||||
|
|
||||||
|
### Steg 1: Rensa och organisera befintliga filer
|
||||||
|
| Åtgärd | Källfil(er) | Målfil |
|
||||||
|
|---------------------------------|---------------------------------------------|-----------------------------------------|
|
||||||
|
| Flytta och uppdatera | `TEKNISK_BESKRIVNING.md` | `docs/01-overview/ARCHITECTURE.md` |
|
||||||
|
| | `TEKNISK_BESKRIVNING.md` (deploy-avsnitt) | `docs/04-deploy/DEPLOY.md` |
|
||||||
|
| | `TEKNISK_BESKRIVNING.md` (databas-avsnitt) | `docs/03-development/DATABASE.md` |
|
||||||
|
| Flytta och slå samman | `flyerimporter.md` | `docs/05-features/RECIPE_IMPORT.md` |
|
||||||
|
| | `_archive/docs/flutter/*` | `docs/03-development/FLUTTER.md` |
|
||||||
|
| Arkivera | `_archive/docs/SESSION_*.md` | `docs/06-archive/sessions/` |
|
||||||
|
| | `MVP_CHECKLISTA.md` | `docs/06-archive/legacy/` |
|
||||||
|
| Uppdatera och flytta | `README.md` | `docs/01-overview/README.md` |
|
||||||
|
| | `.github/copilot-instructions.md` | `.github/COPILOT_INSTRUCTIONS.md` |
|
||||||
|
|
||||||
|
### Steg 2: Skapa nya filer
|
||||||
|
| Fil | Syfte |
|
||||||
|
|-----------------------------|-----------------------------------------------------------------------|
|
||||||
|
| `docs/03-development/CONTRIBUTING.md` | Standardiserade bidragsregler (branches, PR, code review). |
|
||||||
|
| `docs/03-development/API.md` | Dokumentation av backend-API:er (OpenAPI/Swagger-länkar). |
|
||||||
|
| `docs/03-development/MICROSERVICES.md` | Beskrivning av microservices (Importer, AI). |
|
||||||
|
| `docs/05-features/CATEGORY_TREE.md` | Djupdyk i kategorihantering och L3-integration. |
|
||||||
|
| `docs/04-deploy/MAINTENANCE.md` | Backup, monitorering, logghantering. |
|
||||||
|
|
||||||
|
### Steg 3: Lägg till kontext för språkmodeller
|
||||||
|
- **Länka filer**: Korsreferenser mellan relaterade ämnen (t.ex. länka från `DATABASE.md` till `DEPLOY.md` för migrationssteg).
|
||||||
|
- **Metadatarubriker**: Lägg till `## Syfte` och `## Målgrupp` i varje fil.
|
||||||
|
- **Diagram**: Använd Mermaid för att visualisera flöden och relationer.
|
||||||
|
- **Exempel**: Inkludera kopierbara kodblock för vanliga operationer.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fördelar med den nya strukturen
|
||||||
|
|
||||||
|
### För utvecklare
|
||||||
|
✅ **Lätt att hitta**: Logisk gruppering (t.ex. all Flutter-dokumentation på ett ställe).
|
||||||
|
✅ **Uppdaterad**: Arkiverade filer separerade från aktiv dokumentation.
|
||||||
|
✅ **Steg-för-steg**: Guider med tydliga exempel (t.ex. `INSTALL.md`).
|
||||||
|
|
||||||
|
### För språkmodeller (LLMs)
|
||||||
|
🤖 **Kontextuell förståelse**:
|
||||||
|
- Varje fil har ett tydligt syfte och målgrupp.
|
||||||
|
- Korsreferenser ger fullständig bild (t.ex. länka från `ARCHITECTURE.md` till `DATABASE.md`).
|
||||||
|
- Diagram och tabeller gör informationen maskinläsbar.
|
||||||
|
|
||||||
|
📚 **Sökbarhet**:
|
||||||
|
- Hierarkisk struktur (`01-overview/`, `02-setup/`, etc.) underlättar navigering.
|
||||||
|
- Nyckelord i rubriker (t.ex. "Flutter State Management" i `FLUTTER.md`).
|
||||||
|
|
||||||
|
🔗 **Länkat innehåll**:
|
||||||
|
- Relaterade ämnen länkas explicit (t.ex. "Se [DATABASE.md](../03-development/DATABASE.md) för schema").
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nästa steg
|
||||||
|
1. **Godkänn planen**: Bekräfta att den föreslagna strukturen uppfyller kraven.
|
||||||
|
2. **Prioritera filer**: Vilka filer ska migreras först? (t.ex. `TEKNISK_BESKRIVNING.md` → flera nya filer).
|
||||||
|
3. **Implementera**: Skapa den nya strukturen och flytta innehåll stegvis.
|
||||||
@@ -0,0 +1,135 @@
|
|||||||
|
# Plan: Separat Admin-AI huvudtabb + AI-insyn för Kvitto/Flyer
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
- Flytta ut `AI` från `Admin > Databas` till en egen huvudtabb i admin (samma nivå som `Users` och `Database`).
|
||||||
|
- På nya `AI`-fliken visa två underflikar:
|
||||||
|
- `Kvitto` (AI-funktioner för receipt-import)
|
||||||
|
- `Flyer` (AI-funktioner för flyer-import)
|
||||||
|
- Ge admin insyn i:
|
||||||
|
- Prompt (vad modellen fick)
|
||||||
|
- Output (vad modellen returnerade)
|
||||||
|
- Per import/sessionshistorik
|
||||||
|
|
||||||
|
## Nuvarande läge (verifierat)
|
||||||
|
- Huvudtabbar i admin definieras i:
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_screen.dart`
|
||||||
|
- `flutter/lib/core/ui/app_shell.dart`
|
||||||
|
- `AI` ligger idag som intern databas-tab i:
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_database_panel.dart`
|
||||||
|
- Nuvarande `AdminAiPanel` visar bara modellinfo:
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_ai_panel.dart`
|
||||||
|
- Flyer har sessions-API och sparar parsat resultat, men ingen API-yta för prompt/output:
|
||||||
|
- `backend/src/flyer-import/flyer-import.controller.ts`
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts`
|
||||||
|
- Receipt-import har ingen sessionhistorik i recipe-api och ingen prompt/output i svar:
|
||||||
|
- `backend/src/receipt-import/receipt-import.controller.ts`
|
||||||
|
- `backend/src/receipt-import/dto/parsed-receipt-item.dto.ts`
|
||||||
|
|
||||||
|
## UX-förslag (enkelt och snyggt)
|
||||||
|
- Ny huvudflik `AI` i admin med tydlig struktur:
|
||||||
|
- Topp: två chips/segmenterade knappar `Kvitto` och `Flyer`
|
||||||
|
- Innehåll: 2-kolumnslayout på desktop, enkel stack på mobil
|
||||||
|
- Vänster: lista med senaste importer (tid, användare, fil, status)
|
||||||
|
- Höger: detaljer för vald import
|
||||||
|
- Detaljvyn har tre kort:
|
||||||
|
1. **Prompt** (monospace, copy-knapp, expand/collapse)
|
||||||
|
2. **Model Output** (formatterad JSON, copy-knapp)
|
||||||
|
3. **Sammanfattning** (modell, duration, chunk/retry, warnings)
|
||||||
|
- Filter högst upp:
|
||||||
|
- Källa: Kvitto/Flyer
|
||||||
|
- Period: senaste 24h / 7d / 30d
|
||||||
|
- Endast fel
|
||||||
|
- Default-beteende:
|
||||||
|
- Välj senaste import automatiskt
|
||||||
|
- Visa läs-only data (ingen redigering av prompt i denna iteration)
|
||||||
|
|
||||||
|
## Föreslagen implementation
|
||||||
|
|
||||||
|
### 1) Flutter: ny Admin-huvudtabb AI
|
||||||
|
1. Utöka enum och query-hantering:
|
||||||
|
- `AdminViewTab` får `ai`
|
||||||
|
- query-stöd: `?tab=ai`
|
||||||
|
2. Uppdatera admin-title chips i `AppShell`:
|
||||||
|
- Lägg till `AI` bredvid `Användare` och `Databas`
|
||||||
|
3. Rendra ny panel i `AdminScreen`:
|
||||||
|
- `AdminAiPanel` blir panel för huvudtabben
|
||||||
|
4. Ta bort AI från `AdminDatabasePanel` interna tabs
|
||||||
|
|
||||||
|
Berörda filer:
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_screen.dart`
|
||||||
|
- `flutter/lib/core/ui/app_shell.dart`
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_database_panel.dart`
|
||||||
|
|
||||||
|
### 2) Flutter: bygg om `AdminAiPanel` till AI-observability
|
||||||
|
1. Inför underflikar `Kvitto` / `Flyer`
|
||||||
|
2. Lägg till vänster lista + höger detalj
|
||||||
|
3. Lägg till komponenter:
|
||||||
|
- `PromptCard` (text/copy)
|
||||||
|
- `OutputJsonCard` (pretty JSON/copy)
|
||||||
|
- `TraceMetaCard` (modell, tid, status)
|
||||||
|
4. Lägg till `adminRepository`-metoder för att hämta traces
|
||||||
|
|
||||||
|
Berörda filer:
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_ai_panel.dart`
|
||||||
|
- `flutter/lib/features/admin/data/admin_repository.dart`
|
||||||
|
- `flutter/lib/core/api/api_paths.dart`
|
||||||
|
- ev. nya domänmodeller under `flutter/lib/features/admin/domain/`
|
||||||
|
|
||||||
|
### 3) Backend: exponera AI trace-data (admin-only)
|
||||||
|
1. Lägg till admin-endpoints för trace-lista + detalj
|
||||||
|
2. Returnera prompt/output samt metadata
|
||||||
|
3. Begränsa åtkomst till admin
|
||||||
|
|
||||||
|
Föreslagen API-yta:
|
||||||
|
- `GET /ai/traces?source=receipt|flyer&limit=...&cursor=...`
|
||||||
|
- `GET /ai/traces/:id`
|
||||||
|
|
||||||
|
### 4) Datalagring för prompt/output
|
||||||
|
För stabil UX behövs persistens, inte bara loggar.
|
||||||
|
|
||||||
|
Föreslagen modell:
|
||||||
|
- Ny Prisma-tabell `AiTrace`
|
||||||
|
- `id`, `source` (`receipt`/`flyer`), `userId`, `sessionId?`, `model`, `prompt`, `rawOutput`, `normalizedOutput`, `status`, `error`, `durationMs`, `createdAt`
|
||||||
|
|
||||||
|
Integration:
|
||||||
|
- Flyer: skapa trace i `AiFlyerParserService` vid varje AI-anrop/chunk (sammanfatta till en sessionsrad eller flera child-rader)
|
||||||
|
- Receipt: recipe-api behöver trace från importer-service eller egen instrumentation av prompt/output
|
||||||
|
|
||||||
|
## Viktig teknisk avgränsning (receipt)
|
||||||
|
- I nuvarande repo byggs flyer-prompt i `recipe-api` och är enkel att visa.
|
||||||
|
- Receipt-AI sker i importer-flöde; prompt/output finns sannolikt inte i recipe-api idag.
|
||||||
|
- Därför två realistiska steg:
|
||||||
|
1. **Steg 1 (snabbt):** full trace-visning för Flyer + modellinfo för Kvitto
|
||||||
|
2. **Steg 2:** utöka receipt/importer så prompt/output skickas eller lagras som trace och visas i samma UI
|
||||||
|
|
||||||
|
## Säkerhet
|
||||||
|
- Endast admin får läsa traces.
|
||||||
|
- Prompt/output kan innehålla känslig text från uppladdade filer:
|
||||||
|
- visa som read-only
|
||||||
|
- möjlighet till maskning av persondata i senare steg
|
||||||
|
- paginering + kort retention (t.ex. 30 dagar) rekommenderas
|
||||||
|
|
||||||
|
## Testplan
|
||||||
|
- Flutter widget-test:
|
||||||
|
- Ny huvudtabb `AI` syns och route `?tab=ai` fungerar
|
||||||
|
- Underflikar `Kvitto`/`Flyer` växlar korrekt
|
||||||
|
- Prompt/output renderas och copy-knappar fungerar
|
||||||
|
- Backend tester:
|
||||||
|
- admin-only behörighet på trace-endpoints
|
||||||
|
- lista/detalj svarar korrekt
|
||||||
|
- trace skapas för flyer parse-flöde
|
||||||
|
- Regression:
|
||||||
|
- Admin `Users`/`Database` fungerar oförändrat
|
||||||
|
|
||||||
|
## Genomförandeordning
|
||||||
|
1. Flytta AI till huvudtabb i Flutter (utan backend-ändring först)
|
||||||
|
2. Bygg ny AI-panelstruktur med underflikar
|
||||||
|
3. Inför backend trace-endpoints + Prisma-migration
|
||||||
|
4. Koppla Flyer trace end-to-end
|
||||||
|
5. Koppla Receipt trace (beroende på importer-instrumentation)
|
||||||
|
6. Sluttest + docs
|
||||||
|
|
||||||
|
## Rekommenderat beslut inför implementation
|
||||||
|
- Implementera i två faser för låg risk:
|
||||||
|
- Fas A: Ny UX + full Flyer-insyn direkt
|
||||||
|
- Fas B: Receipt prompt/output när importer-trace är tillgänglig
|
||||||
@@ -0,0 +1,154 @@
|
|||||||
|
# Plan: Implementera automatiserad datarensning för AiTrace
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Implementera en automatiserad rensning av gamla `AiTrace`-poster för att säkerställa att känsliga data inte lagras längre än nödvändigt och för att följa GDPR-krav.
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
- `AiTrace`-tabellen lagrar känsliga data (t.ex. maskerade promptar och AI-svar) utan någon retention-policy.
|
||||||
|
- Risk för att data ackumuleras obehindrat, vilket kan leda till lagringsproblem och GDPR-brott.
|
||||||
|
- Enligt GDPR bör känsliga data rensas efter en viss tid om de inte längre behövs för felsökning eller analys.
|
||||||
|
|
||||||
|
## Krav
|
||||||
|
1. Rensa `AiTrace`-poster äldre än 30 dagar.
|
||||||
|
2. Schemalägg rensningen att köra dagligen vid midnatt.
|
||||||
|
3. Logga antalet rensade poster för övervakning.
|
||||||
|
4. Säkerställa att rensningen inte påverkar systemets prestanda.
|
||||||
|
|
||||||
|
## Implementeringsplan
|
||||||
|
|
||||||
|
### Steg 1: Installera beroenden
|
||||||
|
Installera `NestJS Schedule`-modulen för att möjliggöra schemalagda jobb.
|
||||||
|
|
||||||
|
**Kommando:**
|
||||||
|
```bash
|
||||||
|
npm install @nestjs/schedule
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 2: Konfigurera ScheduleModule
|
||||||
|
Lägg till `ScheduleModule` i `AppModule` för att aktivera schemalagda jobb.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/app.module.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
import { ScheduleModule } from '@nestjs/schedule';
|
||||||
|
|
||||||
|
@Module({
|
||||||
|
imports: [ScheduleModule.forRoot()],
|
||||||
|
})
|
||||||
|
export class AppModule {}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 3: Skapa AiTraceCleanupService
|
||||||
|
Skapa en ny tjänst för att hantera rensningen av `AiTrace`-poster.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/ai/ai-trace-cleanup.service.ts`
|
||||||
|
**Innehåll:**
|
||||||
|
```typescript
|
||||||
|
import { Injectable, Logger } from '@nestjs/common';
|
||||||
|
import { Cron, CronExpression } from '@nestjs/schedule';
|
||||||
|
import { PrismaService } from '../prisma/prisma.service';
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class AiTraceCleanupService {
|
||||||
|
private readonly logger = new Logger(AiTraceCleanupService.name);
|
||||||
|
|
||||||
|
constructor(private readonly prisma: PrismaService) {}
|
||||||
|
|
||||||
|
@Cron(CronExpression.EVERY_DAY_AT_MIDNIGHT)
|
||||||
|
async cleanupOldTraces() {
|
||||||
|
this.logger.log('Starting cleanup of old AiTrace records...');
|
||||||
|
const thirtyDaysAgo = new Date();
|
||||||
|
thirtyDaysAgo.setDate(thirtyDaysAgo.getDate() - 30);
|
||||||
|
|
||||||
|
const result = await this.prisma.aiTrace.deleteMany({
|
||||||
|
where: {
|
||||||
|
createdAt: {
|
||||||
|
lt: thirtyDaysAgo,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
this.logger.log(`Cleaned up ${result.count} old AiTrace records.`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 4: Registrera AiTraceCleanupService
|
||||||
|
Lägg till `AiTraceCleanupService` i `AiTraceModule` för att aktivera tjänsten.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/ai/ai-trace.module.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
import { AiTraceCleanupService } from './ai-trace-cleanup.service';
|
||||||
|
|
||||||
|
@Module({
|
||||||
|
providers: [AiTraceService, AiTraceCleanupService],
|
||||||
|
})
|
||||||
|
export class AiTraceModule {}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 5: Testa rensningen manuellt
|
||||||
|
Skapa en testmetod för att manuellt köra rensningen och verifiera att den fungerar som förväntat.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/ai/ai-trace.controller.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
import { AiTraceCleanupService } from './ai-trace-cleanup.service';
|
||||||
|
|
||||||
|
@Controller('ai/traces')
|
||||||
|
export class AiTraceController {
|
||||||
|
constructor(
|
||||||
|
private readonly aiTraceService: AiTraceService,
|
||||||
|
private readonly aiTraceCleanupService: AiTraceCleanupService,
|
||||||
|
) {}
|
||||||
|
|
||||||
|
@Post('cleanup')
|
||||||
|
@Roles('admin')
|
||||||
|
async manualCleanup() {
|
||||||
|
await this.aiTraceCleanupService.cleanupOldTraces();
|
||||||
|
return { success: true, message: 'Manual cleanup completed.' };
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 6: Verifiera implementationen
|
||||||
|
1. Skapa några testposter i `AiTrace`-tabellen med olika `createdAt`-datum.
|
||||||
|
2. Kör den manuella rensningen via `POST /api/ai/traces/cleanup`.
|
||||||
|
3. Verifiera att endast poster äldre än 30 dagar har rensats.
|
||||||
|
4. Kontrollera loggarna för att säkerställa att antalet rensade poster loggas korrekt.
|
||||||
|
|
||||||
|
### Steg 7: Dokumentera ändringarna
|
||||||
|
Uppdatera `TEKNISK_BESKRIVNING.md` med information om den automatiserade rensningen.
|
||||||
|
|
||||||
|
**Fil:** `TEKNISK_BESKRIVNING.md`
|
||||||
|
**Ändring:**
|
||||||
|
```markdown
|
||||||
|
## Automatiserad datarensning för AiTrace
|
||||||
|
|
||||||
|
För att säkerställa att känsliga data inte lagras längre än nödvändigt, har en automatiserad rensning implementerats:
|
||||||
|
|
||||||
|
- **Rensningsintervall**: Dagligen vid midnatt.
|
||||||
|
- **Retention-period**: 30 dagar.
|
||||||
|
- **Loggning**: Antalet rensade poster loggas för övervakning.
|
||||||
|
|
||||||
|
### Implementation
|
||||||
|
- **Tjänst**: `AiTraceCleanupService` i `backend/src/ai/ai-trace-cleanup.service.ts`.
|
||||||
|
- **Schemaläggning**: Använder `@nestjs/schedule` för att köra rensningen dagligen.
|
||||||
|
- **Manuell rensning**: Tillgänglig via `POST /api/ai/traces/cleanup` (kräver admin-behörighet).
|
||||||
|
|
||||||
|
### GDPR-efterlevnad
|
||||||
|
- Rensningen säkerställer att känsliga data raderas efter 30 dagar, vilket uppfyller GDPR-krav på dataminimering.
|
||||||
|
- Användare kan begära att deras data raderas tidigare via admin-panelen.
|
||||||
|
```
|
||||||
|
|
||||||
|
## Frågor och överväganden
|
||||||
|
1. **Retention-period**: Är 30 dagar en lämplig period, eller bör den justeras baserat påelsökningsbehov?
|
||||||
|
2. **Loggning**: Bör loggarna för rensningen sparas längre för revisionsändamål?
|
||||||
|
3. **Prestanda**: Bör rensningen köra under lågtrafikperioder för att minimera påverkan på systemet?
|
||||||
|
|
||||||
|
## Nästa steg
|
||||||
|
1. Implementera planen enligt ovan.
|
||||||
|
2. Testa rensningen i en testmiljö.
|
||||||
|
3. Verifiera att loggarna är korrekta och att rensningen fungerar som förväntat.
|
||||||
|
4. Dokumentera ändringarna i `TEKNISK_BESKRIVNING.md`.
|
||||||
|
5. Informera teamet om den nya funktionaliteten och dess påverkan på GDPR-efterlevnaden.
|
||||||
@@ -0,0 +1,215 @@
|
|||||||
|
# Plan: Implementera användarinitierad radering av personuppgifter
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Skapa en tydlig och stegvis plan för hur användare kan ta bort sina personuppgifter från sin profil på plattformen, inklusive teknisk implementation och användarflöde.
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
- GDPR kräver att användare ska kunna begära radering av sina personuppgifter.
|
||||||
|
- Nuvarande plattform saknar ett tydligt användarflöde för att initiera radering av personuppgifter.
|
||||||
|
- Användare bör kunna ta bort sin profil och associerade data på ett säkert och transparent sätt.
|
||||||
|
|
||||||
|
## Krav
|
||||||
|
1. Lägg till en "Ta bort min profil"-knapp i användarens profilinställningar.
|
||||||
|
2. Implementera en bekräftelsedialog för att förhindra oavsiktlig radering.
|
||||||
|
3. Skapa en backend-endpoint för att hantera raderingsbegäran.
|
||||||
|
4. Se till att all användardata (profil, produkter, recept, etc.) raderas eller anonymiseras.
|
||||||
|
5. Logga raderingsbegäran för revisionsändamål.
|
||||||
|
6. Skicka ett bekräftelsemeddelande till användaren efter radering.
|
||||||
|
|
||||||
|
## Implementeringsplan
|
||||||
|
|
||||||
|
### Steg 1: Lägg till "Ta bort min profil"-knapp i Flutter UI
|
||||||
|
Lägg till en knapp i användarens profilinställningar som låter användaren initiera radering av sin profil.
|
||||||
|
|
||||||
|
**Fil:** `flutter/lib/features/profile/presentation/profile_screen.dart`
|
||||||
|
**Ändring:**
|
||||||
|
```dart
|
||||||
|
ElevatedButton(
|
||||||
|
onPressed: () {
|
||||||
|
_showDeleteProfileConfirmation();
|
||||||
|
},
|
||||||
|
child: Text('Ta bort min profil'),
|
||||||
|
style: ElevatedButton.styleFrom(
|
||||||
|
backgroundColor: Colors.red,
|
||||||
|
),
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 2: Implementera bekräftelsedialog
|
||||||
|
Skapa en dialog som kräver att användaren bekräftar raderingen.
|
||||||
|
|
||||||
|
**Fil:** `flutter/lib/features/profile/presentation/profile_screen.dart`
|
||||||
|
**Ändring:**
|
||||||
|
```dart
|
||||||
|
Future<void> _showDeleteProfileConfirmation() async {
|
||||||
|
return showDialog<void>(
|
||||||
|
context: context,
|
||||||
|
barrierDismissible: false,
|
||||||
|
builder: (BuildContext context) {
|
||||||
|
return AlertDialog(
|
||||||
|
title: Text('Bekräfta radering'),
|
||||||
|
content: SingleChildScrollView(
|
||||||
|
child: ListBody(
|
||||||
|
children: <Widget>[
|
||||||
|
Text('Är du säker på att du vill ta bort din profil?'),
|
||||||
|
Text('Alla dina data kommer att raderas permanent.'),
|
||||||
|
],
|
||||||
|
),
|
||||||
|
),
|
||||||
|
actions: <Widget>[
|
||||||
|
TextButton(
|
||||||
|
child: Text('Avbryt'),
|
||||||
|
onPressed: () {
|
||||||
|
Navigator.of(context).pop();
|
||||||
|
},
|
||||||
|
),
|
||||||
|
TextButton(
|
||||||
|
child: Text('Ta bort'),
|
||||||
|
onPressed: () {
|
||||||
|
_deleteProfile();
|
||||||
|
Navigator.of(context).pop();
|
||||||
|
},
|
||||||
|
),
|
||||||
|
],
|
||||||
|
);
|
||||||
|
},
|
||||||
|
);
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 3: Skapa backend-endpoint för radering
|
||||||
|
Implementera en endpoint som hanterar raderingsbegäran och raderar all associerad data.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/users/users.controller.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
@Delete('me')
|
||||||
|
@UseGuards(JwtAuthGuard)
|
||||||
|
async deleteProfile(@CurrentUser() user: UserEntity) {
|
||||||
|
await this.usersService.deleteUserAndData(user.id);
|
||||||
|
return { success: true, message: 'Din profil och data har tagits bort.' };
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 4: Implementera raderingslogik i UsersService
|
||||||
|
Skapa en metod som raderar användaren och all associerad data.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/users/users.service.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
async deleteUserAndData(userId: number) {
|
||||||
|
await this.prisma.$transaction([
|
||||||
|
this.prisma.product.deleteMany({ where: { ownerId: userId } }),
|
||||||
|
this.prisma.recipe.deleteMany({ where: { ownerId: userId } }),
|
||||||
|
this.prisma.inventoryItem.deleteMany({ where: { userId } }),
|
||||||
|
this.prisma.mealPlanEntry.deleteMany({ where: { userId } }),
|
||||||
|
this.prisma.user.delete({ where: { id: userId } }),
|
||||||
|
]);
|
||||||
|
this.logger.log(`User ${userId} and associated data deleted.`);
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 5: Logga raderingsbegäran
|
||||||
|
Lägg till loggning för att spåra raderingsbegäran för revisionsändamål.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/users/users.service.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
async logDeletionRequest(userId: number, userEmail: string) {
|
||||||
|
await this.prisma.auditLog.create({
|
||||||
|
data: {
|
||||||
|
action: 'USER_DELETION',
|
||||||
|
userId,
|
||||||
|
email: userEmail,
|
||||||
|
metadata: { message: 'User initiated deletion of their profile and data.' },
|
||||||
|
},
|
||||||
|
});
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 6: Skicka bekräftelsemeddelande
|
||||||
|
Skicka ett e-postmeddelande till användaren för att bekräfta raderingen.
|
||||||
|
|
||||||
|
**Fil:** `backend/src/users/users.service.ts`
|
||||||
|
**Ändring:**
|
||||||
|
```typescript
|
||||||
|
async sendDeletionConfirmationEmail(email: string) {
|
||||||
|
await this.emailService.sendEmail({
|
||||||
|
to: email,
|
||||||
|
subject: 'Bekräftelse på radering av din profil',
|
||||||
|
text: 'Din profil och alla associerade data har tagits bort från vår plattform.',
|
||||||
|
});
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 7: Uppdatera Flutter för att anropa backend-endpoint
|
||||||
|
Implementera metoden för att anropa backend-endpoint för radering.
|
||||||
|
|
||||||
|
**Fil:** `flutter/lib/features/profile/presentation/profile_screen.dart`
|
||||||
|
**Ändring:**
|
||||||
|
```dart
|
||||||
|
Future<void> _deleteProfile() async {
|
||||||
|
try {
|
||||||
|
final response = await ApiService.delete('/users/me');
|
||||||
|
if (response.statusCode == 200) {
|
||||||
|
ScaffoldMessenger.of(context).showSnackBar(
|
||||||
|
SnackBar(content: Text('Din profil har tagits bort.'));
|
||||||
|
);
|
||||||
|
Navigator.of(context).pushNamedAndRemoveUntil('/login', (route) => false);
|
||||||
|
}
|
||||||
|
} catch (e) {
|
||||||
|
ScaffoldMessenger.of(context).showSnackBar(
|
||||||
|
SnackBar(content: Text('Ett fel uppstod vid radering av din profil.'));
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 8: Testa implementeringen
|
||||||
|
1. Skapa en testanvändare i systemet.
|
||||||
|
2. Navigera till profilinställningar och klicka på "Ta bort min profil".
|
||||||
|
3. Bekräfta raderingen i dialogrutan.
|
||||||
|
4. Verifiera att användaren och all associerad data har tagits bort från databasen.
|
||||||
|
5. Kontrollera att ett bekräftelsemeddelande har skickats till användarens e-post.
|
||||||
|
6. Verifiera att raderingsbegäran har loggats i `AuditLog`.
|
||||||
|
|
||||||
|
### Steg 9: Dokumentera ändringarna
|
||||||
|
Uppdatera `TEKNISK_BESKRIVNING.md` med information om den nya funktionaliteten.
|
||||||
|
|
||||||
|
**Fil:** `TEKNISK_BESKRIVNING.md`
|
||||||
|
**Ändring:**
|
||||||
|
```markdown
|
||||||
|
## Användarinitierad radering av personuppgifter
|
||||||
|
|
||||||
|
För att uppfylla GDPR-krav har en funktion implementerats som låter användare ta bort sin profil och associerade data:
|
||||||
|
|
||||||
|
- **Användarflöde**: Användaren kan initiera radering via en knapp i profilinställningarna.
|
||||||
|
- **Bekräftelse**: En dialog kräver bekräftelse för att förhindra oavsiktlig radering.
|
||||||
|
- **Backend-endpoint**: `DELETE /users/me` hanterar raderingsbegäran.
|
||||||
|
- **Data som raderas**: Profil, produkter, recept, inventarieposter och matplaner.
|
||||||
|
- **Loggning**: Raderingsbegäran loggas i `AuditLog` för revisionsändamål.
|
||||||
|
- **Bekräftelse**: Ett e-postmeddelande skickas till användaren efter radering.
|
||||||
|
|
||||||
|
### Implementation
|
||||||
|
- **Frontend**: `flutter/lib/features/profile/presentation/profile_screen.dart`
|
||||||
|
- **Backend**: `backend/src/users/users.controller.ts` och `backend/src/users/users.service.ts`
|
||||||
|
- **Loggning**: `AuditLog`-poster skapas för varje raderingsbegäran.
|
||||||
|
- **E-postbekräftelse**: Skickas via `EmailService`.
|
||||||
|
|
||||||
|
### GDPR-efterlevnad
|
||||||
|
- Användare har full kontroll över sina personuppgifter.
|
||||||
|
- Raderingsprocessen är transparent och dokumenterad.
|
||||||
|
- All data raderas eller anonymiseras enligt GDPR-krav.
|
||||||
|
```
|
||||||
|
|
||||||
|
## Frågor och överväganden
|
||||||
|
1. **Dataretention**: Bör vissa data (t.ex. transaktionshistorik) sparas för revisionsändamål även efter radering?
|
||||||
|
2. **Anonymisering**: Bör vi anonymisera data istället för att radera dem helt?
|
||||||
|
3. **Ångerperiod**: Bör vi implementera en ångerperiod där användaren kan återställa sin profil inom en viss tid?
|
||||||
|
|
||||||
|
## Nästa steg
|
||||||
|
1. Implementera planen enligt ovan.
|
||||||
|
2. Testa funktionaliteten i en testmiljö.
|
||||||
|
3. Verifiera att all data raderas korrekt och att loggning fungerar.
|
||||||
|
4. Dokumentera ändringarna i `TEKNISK_BESKRIVNING.md`.
|
||||||
|
5. Informera teamet om den nya funktionaliteten och dess påverkan på GDPR-efterlevnaden.
|
||||||
@@ -0,0 +1,146 @@
|
|||||||
|
# Plan: Projektanpassad Lighthouse-plan for Flutter-web
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Höja Lighthouse-resultaten för Flutter-webklienten i detta repo utan att bryta befintlig Docker/Caddy-deploy, med fokus på mätbar förbättring av prestanda, tillgänglighet och grundläggande SEO.
|
||||||
|
|
||||||
|
## Kontext och nuläge (verifierat i projektet)
|
||||||
|
- Flutter-web byggs redan i release-läge i `flutter/Dockerfile` via `flutter build web --release`.
|
||||||
|
- Webb klient körs via Caddy i `flutter/Caddyfile` och har redan `encode gzip`.
|
||||||
|
- `flutter/web/index.html` är minimal och innehåller redan korrekt viewport utan `user-scalable=no`.
|
||||||
|
- `flutter/web/` innehåller idag endast `index.html` (ingen `robots.txt`/`sitemap.xml` i Flutter-mappen).
|
||||||
|
- API-basurl injiceras redan korrekt med `--dart-define=API_BASE_URL=/api` via `compose.flutter.yml`.
|
||||||
|
|
||||||
|
## Problem i befintlig flutter-lighthouse.md som inte passar repo exakt
|
||||||
|
- Planen utgår delvis från Nginx/Apache, men projektet använder Caddy för Flutter-spåret.
|
||||||
|
- Påståendet om `user-scalable=no` gäller inte nuvarande `flutter/web/index.html`.
|
||||||
|
- Påståendet om ogiltig `robots.txt` kan inte verifieras i nuvarande Flutter-webmapp.
|
||||||
|
- Förslag om tvingad HTML-renderer är för grovt; bör vara experiment med mätning och rollback-kriterier.
|
||||||
|
|
||||||
|
## Strategi
|
||||||
|
Arbeta i tre iterationer med baseline -> lågriskoptimeringar -> tyngre optimeringar, och låt varje steg vara datadrivet.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 1: Baseline och mätprotokoll (dag 1)
|
||||||
|
1. Skapa en reproducerbar mätbaseline för både lokal container och produktionsdomän.
|
||||||
|
2. Kör Lighthouse minst 3 gånger per miljö och ta median för:
|
||||||
|
- Performance score
|
||||||
|
- LCP
|
||||||
|
- TBT
|
||||||
|
- INP (om rapporteras)
|
||||||
|
- Transfer size / antal requests
|
||||||
|
3. Dokumentera nuläge och tröskelvärden före ändringar.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 1
|
||||||
|
- Baseline-tabell finns med mätvärden från 3 körningar per miljö.
|
||||||
|
- Samma URL, samma nätprofil och samma emulering används konsekvent.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 2: Lågriskfixar med hög nytta (dag 1-2)
|
||||||
|
|
||||||
|
### 2.1 Index och metadata (`flutter/web/index.html`)
|
||||||
|
- Lägg till `lang="sv"` på `<html>`.
|
||||||
|
- Lägg till relevant `meta description` för appens huvudsakliga nytta.
|
||||||
|
- Behåll `viewport` som den är (ingen ändring behövs kring zoom-blockering).
|
||||||
|
|
||||||
|
### 2.2 Caddy-headerhygien (`flutter/Caddyfile`)
|
||||||
|
- Behåll `encode gzip`.
|
||||||
|
- Lägg till explicita cache-headers för hashade statiska assets (js/wasm/fonts) med lång TTL och immutable.
|
||||||
|
- Lägg till kortare/konservativ cache för `index.html` så nya deploys slår igenom snabbt.
|
||||||
|
- Lägg till säkerhetsheaders som är kompatibla med Flutter-web (minst grundnivå: `X-Content-Type-Options`, `X-Frame-Options`, `Referrer-Policy`).
|
||||||
|
|
||||||
|
### 2.3 Byggoptimering (`flutter/Dockerfile`)
|
||||||
|
- Utvärdera `--no-source-maps` i produktionsbuild för mindre artifact-storlek.
|
||||||
|
- Säkerställ att eventuella ändringar inte påverkar felsökning i miljö där sourcemaps behövs.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 2
|
||||||
|
- Lighthouse visar förbättring i minst två nyckelmått (t.ex. LCP/TBT).
|
||||||
|
- Ingen regress i appstart, routning eller API-proxy `/api/*`.
|
||||||
|
- Build pipeline passerar oförändrat i Docker.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 3: Prestandaexperiment med tydlig rollback (dag 2-4)
|
||||||
|
|
||||||
|
### 3.1 Rendering-strategi (CanvasKit vs HTML/Skwasm)
|
||||||
|
- Kör A/B-test av rendererstrategi i en separat branch/buildvariant.
|
||||||
|
- Mät skillnad i initial transfer size, LCP och renderingkvalitet på kritiska vyer.
|
||||||
|
- Beslut endast baserat på mätdata + visuell/regressionskontroll.
|
||||||
|
|
||||||
|
### 3.2 Deferred loading i tunga featureflöden
|
||||||
|
- Identifiera kandidater för deferred imports (exempel: import/admin-vyer med hög kodvikt).
|
||||||
|
- Introducera gradvis och validera att navigation inte blir ryckig.
|
||||||
|
|
||||||
|
### 3.3 Bootstrap-laddning
|
||||||
|
- Behåll asynkron laddning i `index.html` om mätning visar bäst resultat.
|
||||||
|
- Undvik manuella hacks som injicerar canvaskit-script ad hoc utan evidens i mätning.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 3
|
||||||
|
- Minst 15-25% förbättring i TBT eller tydlig minskning i JS-exekveringstid jämfört med baseline.
|
||||||
|
- Ingen funktionell regress i kärnflöden (login, inventarie, recept, import).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 4: Tillgänglighet (A11y) med repo-fokus (dag 3-5)
|
||||||
|
1. Inventera ikonknappar och actions i Flutter-kod och säkra `tooltip`/`semanticsLabel` där det saknas.
|
||||||
|
2. Lägg till/justera `Semantics` för centrala actions (import, spara, ta bort, navigering).
|
||||||
|
3. Verifiera tangentbordsnavigering i webbläsare för huvudflöden.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 4
|
||||||
|
- Lighthouse Accessibility förbättras mätbart.
|
||||||
|
- Inga nya fokusfällor eller förlorad keyboard-navigering introduceras.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 5: SEO-minimum för app-shell (dag 4-5)
|
||||||
|
1. Säkerställ att titel och meta description är korrekta för startsidan.
|
||||||
|
2. Besluta om `robots.txt` och `sitemap.xml` ska hanteras i Flutter-web, Caddy eller upstream-domänkonfiguration (inte antagande).
|
||||||
|
3. Implementera endast den väg som matchar faktisk domänrouting i drift.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 5
|
||||||
|
- Lighthouse SEO får förbättring från baseline.
|
||||||
|
- Robots/sitemap-lösning är verifierad mot faktisk driftarkitektur.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas 6: Säkerhet och CSP (dag 5)
|
||||||
|
1. Introducera en pragmatisk CSP för Flutter-web i Caddy med minsta nödvändiga undantag.
|
||||||
|
2. Testa särskilt att Flutter bootstrap, API-anrop och ev. externa resurser fungerar.
|
||||||
|
3. Strama åt policyn iterativt istället för en aggressiv engångspolicy.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas 6
|
||||||
|
- Säkerhetsheaders levereras korrekt från Flutter-Caddy.
|
||||||
|
- Ingen blockerad kärnfunktion pga CSP.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Prioriterad genomförandeordning
|
||||||
|
1. Fas 1 (baseline)
|
||||||
|
2. Fas 2 (lågriskfixar)
|
||||||
|
3. Re-mätning
|
||||||
|
4. Fas 3 (prestandaexperiment)
|
||||||
|
5. Fas 4 (tillgänglighet)
|
||||||
|
6. Fas 5 (SEO-minimum)
|
||||||
|
7. Fas 6 (CSP hardening)
|
||||||
|
8. Slutlig Lighthouse-jämförelse och dokumentation
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- Reproducerbar före/efter-mätning finns dokumenterad.
|
||||||
|
- Performance, Accessibility och SEO har förbättrats jämfört med baseline.
|
||||||
|
- Inga regressioner i Docker/Caddy-flödet eller appens kärnflöden.
|
||||||
|
- Åtgärderna är anpassade till faktisk stack (Flutter + Caddy), inte generiska Nginx-råd.
|
||||||
|
|
||||||
|
## Konkreta filer som sannolikt berörs vid implementation
|
||||||
|
- `flutter/web/index.html`
|
||||||
|
- `flutter/Caddyfile`
|
||||||
|
- `flutter/Dockerfile`
|
||||||
|
- ev. flera Flutter-vyer med knapp-/ikonsemantik under `flutter/lib/**`
|
||||||
|
|
||||||
|
## Risker och motåtgärder
|
||||||
|
- **Risk:** För aggressiv CSP bryter Flutter-bootstrap.
|
||||||
|
**Motåtgärd:** Iterativ policy + verifiering efter varje ändring.
|
||||||
|
- **Risk:** Rendererbyte förbättrar vikt men försämrar visual fidelity.
|
||||||
|
**Motåtgärd:** A/B-test med tydliga rollback-kriterier.
|
||||||
|
- **Risk:** Cache-policy gör deploys "stale".
|
||||||
|
**Motåtgärd:** Lång cache endast för fingerprintade assets, kort cache för `index.html`.
|
||||||
@@ -0,0 +1,346 @@
|
|||||||
|
# Plan: Flyerimport - specialtecken, beskrivande felmeddelanden, synlig prompt
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Tre sammanhängande förbättringar av flyerimport-pipelinen så att användaren får begripligt feedback och korrekt data:
|
||||||
|
|
||||||
|
1. Säkerställ att svenska tecken (ä, å, ö, é) bevaras i produktnamn som "Prästost", "Herrgårdsost", "Grevéost".
|
||||||
|
2. Ersätt opaka koder som `parse:ai_parsed` och `match:no_match` med människovänliga svenska förklaringar som beskriver "vad" som hände och "var" det hände.
|
||||||
|
3. Visa promptens innehåll (inte bara output) för operatörer/admins och vid behov i importflödet vid varningar.
|
||||||
|
|
||||||
|
Allt arbete ska respektera nuvarande arkitektur: NestJS backend (`backend/src/flyer-import`, `backend/src/ai`), Flutter web frontend (`flutter/lib/features/import`, `flutter/lib/features/admin`).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Verifierad nulägesbild (källkodsbevis)
|
||||||
|
|
||||||
|
### Specialtecken
|
||||||
|
- `ai-flyer-parser.service.ts:189-293` skickar prompt utan diakritiska tecken (skriver "Prastost", "Herrgardsost", "Greveost", "ARLA KO", "ä" undviks medvetet i prompt-instruktionerna). Detta gör att modellen tränas/uppmuntras att returnera namnen utan ä/å/é.
|
||||||
|
- `ai-flyer-parser.service.ts:358-364` (`normalizeName`) tar bort allt som inte är `[a-zåäö0-9\s]` men `rawName` skickas vidare som det är, så ä/å bevaras tekniskt om AI returnerar dem.
|
||||||
|
- `flyer-normalizer.service.ts:26-30` har en hårdkodad mappning för cheese variants:
|
||||||
|
- `prast: 'Prästost'`
|
||||||
|
- `herrgard: 'Herrgårdsost'`
|
||||||
|
- `greve: 'Greveost'` (saknar `é`! Bör vara `Grevéost`)
|
||||||
|
- `flyer-normalizer.service.ts:196-227` (`expandCheeseVariants`) gör `stripDiacritics` på rawName innan den jämför med token-list. Detta funkar för matchning men producerar diakrit-fria varianter om mappningen inte är korrekt.
|
||||||
|
- `flyer-normalizer.service.ts:140-146` (`normalizeName`) fungerar med `[a-zåäö0-9\s]` så svenska tecken behålls i normaliserat namn när inputen har dem.
|
||||||
|
|
||||||
|
### "parse:ai_parsed" och "match:no_match"
|
||||||
|
- Konstanter genereras som "reason codes" i koden:
|
||||||
|
- `ai-flyer-parser.service.ts:354`: `reasonCodes: ['ai_parsed']` - sätts på alla AI-parsade items.
|
||||||
|
- `flyer-import.service.ts:496`: `reasons: ['no_match']` - sätts när inget produktnamn matchar.
|
||||||
|
- Reason codes prefixas med `parse:` eller `match:` av `ai-trace.service.ts:435-452` (`collectWarnings`):
|
||||||
|
```ts
|
||||||
|
warnings.add(`parse:${text}`);
|
||||||
|
warnings.add(`match:${text}`);
|
||||||
|
```
|
||||||
|
- Dessa visas i admin AI-traces-vyn (`admin_ai_panel.dart:355-362`, `_WarningsCard`) och möjligen i import-UI:t via `_buildWarningsPanel` (`flyer_import_tab.dart:497-539`) om `_result.warnings` innehåller dem.
|
||||||
|
- Slutsats: koderna är inte fel - de är obegripliga utan översättning.
|
||||||
|
|
||||||
|
### Promptens synlighet
|
||||||
|
- Admin AI-panelen (`admin_ai_panel.dart:444-508`, `_PromptCard`) visar redan prompt med expand/copy-knappar.
|
||||||
|
- Importflödet (`flyer_import_tab.dart`, `receipt_import_tab.dart`) visar idag bara `warnings`-listan. Ingen promptvisning, ingen mappning från reason codes till begripligt språk, ingen länk till AI-trace.
|
||||||
|
- AI-trace lagras alltid i DB (`flyer-import.service.ts:148-164`, `persistFlyerTrace`). Promptens innehåll finns alltså redan tillgängligt.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Strategi och faser
|
||||||
|
|
||||||
|
Tre paralleliserbara delprojekt med varsin egen fas. Slutlig sammanflätning verifieras med befintliga tester och ny smoke-test.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas A: Specialtecken i produktnamn (lågriskfix, hög nytta)
|
||||||
|
|
||||||
|
### A1. Korrigera hårdkodad cheese-mappning
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.ts:26-30`
|
||||||
|
- Ändra `greve: 'Greveost'` till `greve: 'Grevéost'`.
|
||||||
|
- Behåll `prast: 'Prästost'` och `herrgard: 'Herrgårdsost'`.
|
||||||
|
|
||||||
|
### A2. Skydda diakritiska tecken hela vägen från AI-svar till klient
|
||||||
|
- `backend/src/flyer-import/services/ai-flyer-parser.service.ts`
|
||||||
|
- Säkerställ att Mistralklientens response.choices[0].message.content tolkas som UTF-8. Logga hex-dump i debug-läge om tecken förvanskas.
|
||||||
|
- I `sanitizeJsonResponse`/`normalizeAiItem`: säkerställ att `rawName` inte normaliseras eller stripps innan `normalize`-steget.
|
||||||
|
- Uppdatera prompten:
|
||||||
|
- Lägg till explicit instruktion: `Behåll svenska diakritiska tecken (ä, å, ö, é) i produktnamn. Returnera "Prästost", "Herrgårdsost", "Grevéost" - inte ASCII-versioner.`
|
||||||
|
- Uppdatera exempel-utdata i prompten (rad 256-286) från "Prastost"/"Herrgardsost" till "Prästost"/"Herrgårdsost"/"Grevéost" så modellen tränas att returnera korrekt.
|
||||||
|
- Behåll fortfarande `prast/herrgard/greve` som tokens i instruktion 9 men kräv normalisering till diakrit-versionen i utdatan.
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.ts`
|
||||||
|
- I `expandCheeseVariants` (rad 196-227): efter `stripDiacritics`-tokenisering, mappa via `CHEESE_VARIANT_TO_NAME` så slutnamnet alltid har korrekta tecken.
|
||||||
|
- I `fixKnownOcrTypos` (rad 250-262): lägg till regel som korrigerar "Greveost" -> "Grevéost" (men bara när det är klart att det är ostnamnet, inte personnamn). Använd kontext: bara om `category` antyder hårdost/ost eller `rawName` slutar på `ost`.
|
||||||
|
|
||||||
|
### A3. Säkra Caddy/HTTP-respons för UTF-8
|
||||||
|
- Verifiera att `Content-Type: application/json; charset=utf-8` returneras från NestJS (default i `@nestjs/platform-express`, men kontrollera att ingen middleware skriver om).
|
||||||
|
- Caddy gör inte byteomvandling som standard, men dubbelkolla att `flutter/Caddyfile` inte har någon `replace`-direktiv (det har det inte i nuläget).
|
||||||
|
|
||||||
|
### A4. Test
|
||||||
|
- Utöka `flyer-normalizer.service.spec.ts` med:
|
||||||
|
- Test som matar in rawName "PRAST" och kontrollerar att outputens rawName blir "Prästost" (inte "Prastost").
|
||||||
|
- Test som matar in rawName "GREVE" och kontrollerar att outputens rawName blir "Grevéost".
|
||||||
|
- Test som verifierar att `é`-tecken bevaras i hela pipen.
|
||||||
|
- Snapshot-test för prompten i `ai-flyer-parser.service.spec.ts` så att ändringar i prompten är medvetna.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas A
|
||||||
|
- En flyer som innehåller "PRAST, HERRGARD, GREVE" producerar rader med rawName `Prästost`, `Herrgårdsost`, `Grevéost`.
|
||||||
|
- Ingen befintlig test går sönder.
|
||||||
|
- UI:t (Flutter) visar de korrekta tecknen utan encoding-artifacts.
|
||||||
|
|
||||||
|
### Risker
|
||||||
|
- Mistral kan ignorera diakritiska tecken i instruktioner. Motåtgärd: post-normalisering i `flyer-normalizer.service.ts` är hårda fallback-regeln.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas B: Beskrivande felmeddelanden ersätter `parse:ai_parsed` och `match:no_match`
|
||||||
|
|
||||||
|
### B1. Centraliserad reason-code-katalog (backend)
|
||||||
|
- Skapa `backend/src/flyer-import/services/reason-codes.ts` (eller `backend/src/ai/reason-codes.ts` om det är delat med receipt) som exporterar:
|
||||||
|
- `ParseReasonCode = 'ai_parsed' | 'split_cheese_variants' | 'normalized' | 'low_confidence' | ...`
|
||||||
|
- `MatchReasonCode = 'no_match' | 'alias_exact' | 'normalized_exact' | 'token_overlap' | 'alias_points_to_missing_product' | 'empty_name'`
|
||||||
|
- Funktion `describeParseReason(code, context?): { title, message, severity, location? }`
|
||||||
|
- Funktion `describeMatchReason(code, context?): { title, message, severity }`
|
||||||
|
- Exempelmappning:
|
||||||
|
- `ai_parsed` -> `severity: 'info', title: 'AI-tolkad rad', message: 'Raden tolkades av AI utan att en deterministisk regel matchade.'`
|
||||||
|
- `split_cheese_variants` -> `severity: 'info', title: 'Variant-split', message: 'AI-svarade en gruppannons som expanderades till individuella ostvarianter.'`
|
||||||
|
- `low_confidence` -> `severity: 'warning', title: 'Låg parsningskvalitet', message: 'Modellens säkerhet är låg, granska raden manuellt.'`
|
||||||
|
- `no_match` -> `severity: 'warning', title: 'Ingen produktmatchning', message: 'Vi kunde inte hitta någon befintlig produkt som matchar texten på flyern.'`
|
||||||
|
- `alias_points_to_missing_product` -> `severity: 'error', title: 'Trasig alias-koppling', message: 'Ett alias pekar på en produkt som inte längre finns.'`
|
||||||
|
- `empty_name` -> `severity: 'error', title: 'Tomt produktnamn', message: 'Raden saknar tolkbart produktnamn.'`
|
||||||
|
- Inkludera `location` när relevant: t ex `'Steg: AI-parser, chunk N/M'` eller `'Steg: matchning mot dina produkter'`.
|
||||||
|
|
||||||
|
### B2. Returnera strukturerade reasons i API
|
||||||
|
- Utöka `backend/src/flyer-import/dto/flyer-import.response.ts`:
|
||||||
|
```ts
|
||||||
|
export type FlyerReasonDescriptor = {
|
||||||
|
code: string; // 'ai_parsed', 'no_match', ...
|
||||||
|
kind: 'parse' | 'match';
|
||||||
|
title: string; // Människovänlig titel
|
||||||
|
message: string; // Förklarande text
|
||||||
|
severity: 'info' | 'warning' | 'error';
|
||||||
|
location: string | null; // T ex 'Steg: matchning mot dina produkter'
|
||||||
|
};
|
||||||
|
```
|
||||||
|
- Lägg till på `FlyerImportItem`:
|
||||||
|
- `parseReasonsDetailed: FlyerReasonDescriptor[]`
|
||||||
|
- `matchReasonsDetailed: FlyerReasonDescriptor[]`
|
||||||
|
- Behåll befintliga `parseReasons: string[]` och `matchReasons: string[]` för bakåtkompatibilitet.
|
||||||
|
- I `flyer-import.service.ts:110-144` (där `FlyerImportItem` byggs): mappa via `describeParseReason`/`describeMatchReason`.
|
||||||
|
- Detsamma för session-läs-paths (`toFlyerImportItem` rad 721-799 och `toFlyerImportResponseFromSession`).
|
||||||
|
|
||||||
|
### B3. Uppdatera AI-trace warnings (admin)
|
||||||
|
- `backend/src/ai/ai-trace.service.ts:435-452` (`collectWarnings`):
|
||||||
|
- Ändra till att returnera strukturerade objekt istället för `parse:xxx`/`match:xxx`-strängar:
|
||||||
|
```ts
|
||||||
|
type AdminAiWarning = {
|
||||||
|
code: string;
|
||||||
|
kind: 'parse' | 'match';
|
||||||
|
title: string;
|
||||||
|
message: string;
|
||||||
|
severity: 'info' | 'warning' | 'error';
|
||||||
|
itemIndex?: number; // Pekar på vilken rad i sessionen
|
||||||
|
};
|
||||||
|
```
|
||||||
|
- Uppdatera `AdminAiTraceDetail.warnings` schema till strukturerat format.
|
||||||
|
- Bibehåll en `legacyWarnings: string[]` med gamla formatet ifall någon klient ännu inte uppdaterats.
|
||||||
|
|
||||||
|
### B4. Uppdatera Flutter-modeller och vyer
|
||||||
|
- `flutter/lib/features/import/domain/flyer_import_item.dart`:
|
||||||
|
- Lägg till `parseReasonsDetailed: List<FlyerReasonDescriptor>` och `matchReasonsDetailed: List<FlyerReasonDescriptor>` med `fromJson`/`toJson`.
|
||||||
|
- Skapa `flutter/lib/features/import/domain/flyer_reason_descriptor.dart`:
|
||||||
|
- `class FlyerReasonDescriptor { final String code; final String kind; final String title; final String message; final String severity; final String? location; ... }`
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart`:
|
||||||
|
- I `_buildWarningsPanel` (rad 497-539): visa enbart sessionens egentliga warnings (existerande) men gör dem klickbara så de kan kopieras.
|
||||||
|
- Per rad: visa en summerande badge "X varningar" som expanderar till en lista med titel + message istället för tekniska koder. Använd ikoner per severity (info/warning/error).
|
||||||
|
- Behåll befintlig kvalitetsbadge (Hög/Medel/Låg).
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_ai_panel.dart`:
|
||||||
|
- `_WarningsCard` (rad 583+): byt ut SelectableText med rå-strängar mot strukturerad rendering: titel (fet), message (vanlig), severity-färg, eventuellt itemIndex som länk.
|
||||||
|
- Behåll copy-funktion - kopierar då en formaterad sträng `"[severity] title: message"`.
|
||||||
|
|
||||||
|
### B5. Test
|
||||||
|
- Backend: enhetstest för `describeParseReason`/`describeMatchReason` som täcker alla codes.
|
||||||
|
- Backend: integrationstest som verifierar att `FlyerImportResponse` innehåller `parseReasonsDetailed` med rätt fält.
|
||||||
|
- Flutter: widget-test för warnings-panel som verifierar att `parse:ai_parsed` ALDRIG visas, utan ersätts av "AI-tolkad rad".
|
||||||
|
- Uppdatera `flutter/test/features/admin/presentation/admin_ai_panel_test.dart` som idag verifierar `find.text('parse:low_confidence')` - testet ska istället leta efter "Låg parsningskvalitet".
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas B
|
||||||
|
- Inga `parse:xxx`- eller `match:xxx`-strängar visas i UI:t (varken admin eller import).
|
||||||
|
- Varje warning har: titel, beskrivande text, severity-ikon, och om relevant en location ("Steg: ...").
|
||||||
|
- API:et returnerar både legacy- och nytt format, så ingen klient bryts.
|
||||||
|
|
||||||
|
### Risker
|
||||||
|
- Översättning av code -> human text måste hållas i sync mellan backend och Flutter. Motåtgärd: sätt textmappningen ENBART i backend och returnera färdig string. Flutter renderar bara.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fas C: Synlig prompt i import-flödet och vid varningar
|
||||||
|
|
||||||
|
### C1. Bestäm synlighetspolicy
|
||||||
|
- Operatörer/admins ska kunna se prompten direkt i admin AI-panelen (finns redan, fortsätter fungera).
|
||||||
|
- Vanliga användare ska kunna se prompten **efter behov** för att felsöka eller rapportera fel - men inte by default eftersom prompten är teknisk.
|
||||||
|
- Föreslagen UX: när en rad har varningar (parse eller match), visa knapp "Visa AI-detaljer" som öppnar modal med:
|
||||||
|
- Använd modell + retry/chunk-info
|
||||||
|
- Prompten (expanderbar)
|
||||||
|
- AI-svar (raw output, expanderbar)
|
||||||
|
- Lista över alla parse/match-reasons med deras `describeXxxReason`-output
|
||||||
|
- Promptvisning i adminpanelen redan komplett (`_PromptCard`) - bara verifiera att det fortsätter funka efter Fas B.
|
||||||
|
|
||||||
|
### C2. Backend-ändringar
|
||||||
|
- Ny endpoint `GET /api/flyer-import/sessions/:sessionId/ai-trace` som returnerar:
|
||||||
|
```ts
|
||||||
|
{
|
||||||
|
sessionId: number;
|
||||||
|
model: string;
|
||||||
|
prompt: string;
|
||||||
|
rawOutput: string;
|
||||||
|
chunkCount: number | null;
|
||||||
|
retryCount: number | null;
|
||||||
|
durationMs: number | null;
|
||||||
|
status: 'success' | 'warning' | 'error';
|
||||||
|
warnings: AdminAiWarning[];
|
||||||
|
}
|
||||||
|
```
|
||||||
|
- Återanvänd existerande `aiTrace`-tabellen. Auth: kräv att `userId` ägar sessionen (samma policy som `getSessionSource`).
|
||||||
|
- Eventuellt feature-flagga visa-prompt-för-användare (`FLYER_AI_USER_PROMPT_VISIBLE` env). Default: `true` för admin, `true` för användare som äger sessionen.
|
||||||
|
|
||||||
|
### C3. Flutter-ändringar
|
||||||
|
- `flutter/lib/features/import/data/import_repository.dart`: ny metod `getFlyerSessionAiTrace(sessionId, token)`.
|
||||||
|
- `flutter/lib/features/import/domain/`: ny modell `FlyerAiTrace`.
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart`:
|
||||||
|
- Lägg till en "AI-detaljer"-knapp i headern (efter Importera-knappen) eller i varje rads expanderingspanel.
|
||||||
|
- Visa prompt + rawOutput i en modal/expanderbar Card med samma look-and-feel som admin (`_PromptCard` + `_OutputJsonCard` kan extraheras till delad widget under `flutter/lib/features/import/presentation/widgets/ai_trace_view.dart`).
|
||||||
|
- Lägg till samma åtgärd för `receipt_import_tab.dart` om motsvarande backend-stöd finns (det finns - receipts har också AI-trace).
|
||||||
|
|
||||||
|
### C4. Säkerhet och PII
|
||||||
|
- Innan prompt visas till slutanvändare: kör `maskSensitiveText` (finns redan i `ai-trace.service.ts`).
|
||||||
|
- Alla loggade prompts/rawOutputs ska redan vara maskerade i nuvarande pipeline. Verifiera att det fortsätter gälla.
|
||||||
|
|
||||||
|
### C5. Test
|
||||||
|
- Backend: e2e-test för nya endpointen, inklusive 403 för icke-ägare och 200 för ägare.
|
||||||
|
- Flutter: widget-test för att modalen öppnas och visar prompten.
|
||||||
|
- Manuell QA: Importera en flyer, klicka "AI-detaljer", verifiera att prompten visas och att kopiera-knappen fungerar.
|
||||||
|
|
||||||
|
### Acceptanskriterier Fas C
|
||||||
|
- Användare kan se prompten som skickades vid sin egen flyerimport.
|
||||||
|
- Adminpanelen visar fortfarande prompten oförändrat.
|
||||||
|
- PII-mask appliceras innan prompten skickas till klienten.
|
||||||
|
|
||||||
|
### Risker
|
||||||
|
- Prompten är lång (>5000 tecken). Motåtgärd: använd existerande expand/collapse-mönster (`_PromptCard.expanded`).
|
||||||
|
- Prompten kan innehålla användardata. Motåtgärd: maskning + tydlig "Detta innehåller text från din flyer"-disclaimer.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Prioriterad genomförandeordning
|
||||||
|
1. **Fas A** (specialtecken) - lågrisk, snabb seger för UX.
|
||||||
|
2. **Fas B** (mänskliga felmeddelanden) - medelarbete, hög UX-impact.
|
||||||
|
3. **Fas C** (prompt-synlighet) - mer komplex pga ny endpoint + UI, men oberoende av A och B.
|
||||||
|
|
||||||
|
Faserna kan implementeras i parallella PR:er om så önskas; Fas A och B berör delvis samma kodvägar i `flyer-normalizer.service.ts` och `flyer-import.service.ts`, och bör samordnas så att en PR mergas före nästa.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- "Prästost", "Herrgårdsost", "Grevéost" och `é`/`å`/`ä` syns korrekt i flyerimport-UI.
|
||||||
|
- Inga råa `parse:ai_parsed`/`match:no_match`-strängar visas för användare eller admin.
|
||||||
|
- Användare och admin kan se vilken prompt som skickades till AI.
|
||||||
|
- Befintliga tester passerar; nya tester täcker varje fas separat.
|
||||||
|
- Inga regressioner i Docker-bygget (`backend/Dockerfile` kör `npm test -- --runInBand`).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Konkreta filer som berörs
|
||||||
|
|
||||||
|
Backend:
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.ts` (Fas A)
|
||||||
|
- `backend/src/flyer-import/services/ai-flyer-parser.service.ts` (Fas A, eventuellt B)
|
||||||
|
- `backend/src/flyer-import/services/reason-codes.ts` (ny, Fas B)
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts` (Fas B)
|
||||||
|
- `backend/src/flyer-import/flyer-import.service.ts` (Fas B, Fas C)
|
||||||
|
- `backend/src/flyer-import/flyer-import.controller.ts` (Fas C, ny endpoint)
|
||||||
|
- `backend/src/ai/ai-trace.service.ts` (Fas B)
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.spec.ts` (Fas A)
|
||||||
|
- `backend/src/flyer-import/services/ai-flyer-parser.service.spec.ts` (Fas A, B)
|
||||||
|
|
||||||
|
Flutter:
|
||||||
|
- `flutter/lib/features/import/domain/flyer_import_item.dart` (Fas B)
|
||||||
|
- `flutter/lib/features/import/domain/flyer_reason_descriptor.dart` (ny, Fas B)
|
||||||
|
- `flutter/lib/features/import/domain/flyer_ai_trace.dart` (ny, Fas C)
|
||||||
|
- `flutter/lib/features/import/data/import_repository.dart` (Fas C)
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart` (Fas A-C)
|
||||||
|
- `flutter/lib/features/import/presentation/widgets/ai_trace_view.dart` (ny, Fas C)
|
||||||
|
- `flutter/lib/features/admin/domain/admin_ai_trace_detail.dart` (Fas B)
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_ai_panel.dart` (Fas B)
|
||||||
|
- `flutter/test/features/admin/presentation/admin_ai_panel_test.dart` (Fas B)
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Riskanalys och rollback
|
||||||
|
|
||||||
|
| Risk | Sannolikhet | Motåtgärd |
|
||||||
|
| --- | --- | --- |
|
||||||
|
| Mistral returnerar fortfarande ASCII-versioner | Medel | Hård post-normalisering i `flyer-normalizer.service.ts` (Fas A2) |
|
||||||
|
| Strukturerade reasons bryter befintlig admin-vy | Låg | Behåll legacy-format parallellt under en release |
|
||||||
|
| Promptens längd försämrar mobil-UX | Låg | Default collapsed med expand-knapp |
|
||||||
|
| AI-trace exponerar PII oavsiktligt | Medel | Återanvänd befintlig `maskSensitiveText` + tydlig disclaimer |
|
||||||
|
| Ändrade reason codes bryter andra konsumenter (t ex flyer-selection-matcher) | Låg | Sökning visar att `reasonCodes` används endast i flyer-import + ai-trace; uppdatera samtliga callsites i samma PR |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Beslut tagna med dig
|
||||||
|
|
||||||
|
1. **Promptens synlighet**: endast admin. Vanliga användare ser inte prompten - bara översatta reasons. Detta förenklar Fas C avsevärt: ingen ny användarendpoint, ingen PII-mask för slutanvändare, ingen ny användar-UI.
|
||||||
|
2. **Reason-codes översätts i backend**: backend returnerar färdig svensk text (`title`, `message`) i `FlyerReasonDescriptor`. Frontend renderar bara strängarna utan översättning. Lang-parameter förbereds för framtida flerspråksstöd.
|
||||||
|
3. **Kopiera felrapport-knapp**: ja. Lägg till "Kopiera felrapport"-knapp i admin AI-panelens detail-vy som producerar formaterad text:
|
||||||
|
```
|
||||||
|
[AI-trace flyer-123]
|
||||||
|
Modell: ministral-8b-2512
|
||||||
|
Status: warning (3 varningar)
|
||||||
|
Tid: 2026-05-23T20:12:00
|
||||||
|
|
||||||
|
Varningar:
|
||||||
|
- [warning] Ingen produktmatchning (rad 5): Vi kunde inte hitta...
|
||||||
|
- [info] AI-tolkad rad (rad 7): Raden tolkades av AI...
|
||||||
|
|
||||||
|
Prompt:
|
||||||
|
...
|
||||||
|
|
||||||
|
Raw output:
|
||||||
|
...
|
||||||
|
```
|
||||||
|
4. **Stavning**: `Grevéost` med `é` (Arlas officiella stavning).
|
||||||
|
|
||||||
|
## Konsekvenser av besluten på faserna
|
||||||
|
|
||||||
|
### Fas A (oförändrad)
|
||||||
|
- `Grevéost` används i mappningen.
|
||||||
|
|
||||||
|
### Fas B (oförändrad)
|
||||||
|
- Backend översätter och returnerar färdig svensk text i `title`/`message`.
|
||||||
|
- Behåll `code`-fältet så frontend kan filtrera/rendera olika per typ.
|
||||||
|
|
||||||
|
### Fas C (förenklad)
|
||||||
|
- **Tas bort**: Ny användarendpoint `GET /api/flyer-import/sessions/:id/ai-trace`.
|
||||||
|
- **Tas bort**: Ny Flutter-modell `FlyerAiTrace` och repository-metod för användarvy.
|
||||||
|
- **Tas bort**: Ny widget `ai_trace_view.dart` för importflödet.
|
||||||
|
- **Behålls**: Adminpanelens promptvisning (`_PromptCard`) - finns redan, fungerar.
|
||||||
|
- **Läggs till**: "Kopiera felrapport"-knapp i adminpanelens detail-vy. Genererar formaterad text enligt mallen ovan.
|
||||||
|
- **Användarflöde uppdateras**: i flyer/receipt-import-tabben visa endast översatta reasons via Fas B; ingen prompt-knapp för användare.
|
||||||
|
|
||||||
|
## Uppdaterade konkreta filer (efter beslut)
|
||||||
|
|
||||||
|
Backend:
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.ts` (Fas A)
|
||||||
|
- `backend/src/flyer-import/services/ai-flyer-parser.service.ts` (Fas A)
|
||||||
|
- `backend/src/flyer-import/services/reason-codes.ts` (ny, Fas B)
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts` (Fas B)
|
||||||
|
- `backend/src/flyer-import/flyer-import.service.ts` (Fas B)
|
||||||
|
- `backend/src/ai/ai-trace.service.ts` (Fas B)
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.spec.ts` (Fas A)
|
||||||
|
- `backend/src/flyer-import/services/ai-flyer-parser.service.spec.ts` (Fas A)
|
||||||
|
- *Inte längre*: ny endpoint i `flyer-import.controller.ts` (utgår med beslut 1).
|
||||||
|
|
||||||
|
Flutter:
|
||||||
|
- `flutter/lib/features/import/domain/flyer_import_item.dart` (Fas B)
|
||||||
|
- `flutter/lib/features/import/domain/flyer_reason_descriptor.dart` (ny, Fas B)
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart` (Fas A-B)
|
||||||
|
- `flutter/lib/features/admin/domain/admin_ai_trace_detail.dart` (Fas B)
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_ai_panel.dart` (Fas B + felrapportknapp)
|
||||||
|
- `flutter/test/features/admin/presentation/admin_ai_panel_test.dart` (Fas B)
|
||||||
|
- *Inte längre*: `flyer_ai_trace.dart`, `ai_trace_view.dart`, repository-metod (utgår med beslut 1).
|
||||||
@@ -0,0 +1,198 @@
|
|||||||
|
# Plan: Harmonisera flyer-import och kvitto-import
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Implementera en gemensam importmodell och matchningspipeline så att flyer-import och kvitto-import beter sig så likt som möjligt, med fokus på:
|
||||||
|
- Automatisk strukturering av namn/brand/vikt samt bundle-detaljer
|
||||||
|
- Automatiskt kategoriupplösning (`categoryHint -> categoryId`)
|
||||||
|
- Matchning mot befintliga produkter via normaliserade namn + signaler
|
||||||
|
- Ingen automatisk skapning av produkter
|
||||||
|
- Förberedelse för framtida automation via strukturerade signaler (`signals` JSON)
|
||||||
|
|
||||||
|
## Icke-mål (denna implementation)
|
||||||
|
- Ingen auto-create av produkter i produktkatalog
|
||||||
|
- Ingen ändring av övergripande UI-flöde (manuell import/validering kvar)
|
||||||
|
- Ingen full omskrivning av receipt-import; vi extraherar och återanvänder delar stegvis
|
||||||
|
|
||||||
|
## Nuvarande gap (från kodbasen)
|
||||||
|
1. `FlyerItem.categoryId` sätts till `null` i parse-flödet trots `categoryHint`.
|
||||||
|
2. Flyer-matchning använder enklare strategi än receipt-import (färre regler/signalvikter).
|
||||||
|
3. Ingen strukturerad lagring av ursprung/etiketter (t.ex. Sverige, Eko) i flyer.
|
||||||
|
4. Bundleinformation finns men exponeras inte tydligt som detaljnamn i payload.
|
||||||
|
5. Receipt och flyer använder olika “kontrakt” för mellanrepresentation.
|
||||||
|
|
||||||
|
## Övergripande design
|
||||||
|
Inför en gemensam intern domänmodell för importerade rader (backend), och låt både flyer- och kvittoflöde mappa till den innan kategori/matchning.
|
||||||
|
|
||||||
|
### Gemensam intern modell (ny)
|
||||||
|
`ImportedItemCandidate` (internt, ej API-brytande initialt):
|
||||||
|
- `rawName`, `normalizedName`, `brand`
|
||||||
|
- `weight`, `bundleWeight`, `isBundle`, `bundleItems`
|
||||||
|
- `price`, `priceUnit`, `comparisonPrice`, `comparisonUnit`
|
||||||
|
- `categoryHint`, `categoryId`
|
||||||
|
- `matchedProductId`, `matchedProductName`, `matchedVia`, `matchConfidence`, `matchReasons`
|
||||||
|
- `signals` (JSON):
|
||||||
|
- `originCountries: string[]`
|
||||||
|
- `labels: string[]` (ekologisk, laktosfri, etc)
|
||||||
|
- `qualityFlags: string[]` (normaliserade flaggor, ex `eco`)
|
||||||
|
- `variant: string | null`
|
||||||
|
- `packaging: string | null`
|
||||||
|
- `displayNameDetailed` (beräknat fält, kan persistas eller beräknas vid response)
|
||||||
|
|
||||||
|
## Faser och implementation
|
||||||
|
|
||||||
|
## Fas 1: Datamodell och migration
|
||||||
|
1. Uppdatera `backend/prisma/schema.prisma`:
|
||||||
|
- Lägg till `signals Json?` på `FlyerItem`
|
||||||
|
- Lägg till `displayNameDetailed String?` på `FlyerItem`
|
||||||
|
2. Skapa Prisma-migration.
|
||||||
|
3. Säkerställ bakåtkompatibilitet:
|
||||||
|
- Nullabla fält
|
||||||
|
- Ingen ändring av befintliga constraints/index som bryter drift
|
||||||
|
4. (Valfritt i samma fas) indexera vanligt använda JSON-signaler senare först efter verifierad nytta.
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 1
|
||||||
|
- Migration appliceras lokalt utan dataförlust.
|
||||||
|
- Befintliga endpoints fungerar med gamla rader (`signals = null`).
|
||||||
|
|
||||||
|
## Fas 2: Gemensamma normaliserings-/signalverktyg
|
||||||
|
1. Skapa gemensam utility-modul i backend, exempel:
|
||||||
|
- `backend/src/import-common/import-item.types.ts`
|
||||||
|
- `backend/src/import-common/import-signals.util.ts`
|
||||||
|
- `backend/src/import-common/import-display-name.util.ts`
|
||||||
|
2. Implementera signal-extraktion från textfält (`rawName`, `brand`, `offerText`):
|
||||||
|
- Ursprungsländer till `originCountries`
|
||||||
|
- Etiketter/märkningar till `labels`/`qualityFlags`
|
||||||
|
- Pack-format till `packaging`
|
||||||
|
3. Normalisera utan att förlora information:
|
||||||
|
- Ta bort signalord från primär matchsträng men spara i `signals`
|
||||||
|
- Ex: `Fläskytterfilé (Sverige)` -> matchsträng `flaskytterfile`, `signals.originCountries=["Sverige"]`
|
||||||
|
4. Implementera `displayNameDetailed`:
|
||||||
|
- Bundle: inkludera `bundleItems` i visningsnamn
|
||||||
|
- Ex: `Kaptenens Favoriter (Chumlax 3x100g + Alaska pollock 3x100g)`
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 2
|
||||||
|
- Signals extraheras deterministiskt för kända mönster (Sverige/Tyskland/Eko/Ekologiskt).
|
||||||
|
- `displayNameDetailed` genereras för bundles.
|
||||||
|
|
||||||
|
## Fas 3: Kategoriupplösning i flyer (paritet med kvitto)
|
||||||
|
1. Extrahera/återanvänd kategori-regelmotorn från receipt-import till gemensam tjänst:
|
||||||
|
- Ex: `backend/src/import-common/category-resolver.service.ts`
|
||||||
|
2. Använd den i flyer-import efter normalisering:
|
||||||
|
- `categoryHint` + signaltext + regler -> `categoryId`
|
||||||
|
3. Prioritet:
|
||||||
|
- Produktmatchad kategori (om säkert matchad produkt har kategori) kan väga högst
|
||||||
|
- Annars regelbaserad kategori
|
||||||
|
- Annars behåll `categoryHint` utan `categoryId`
|
||||||
|
4. Specifika regler för kött/fläskytterfilé verifieras.
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 3
|
||||||
|
- `Fläskytterfilé` får korrekt `categoryId` i flyer-session.
|
||||||
|
- `categoryId` sätts automatiskt för en betydande andel rader med tydlig signal.
|
||||||
|
|
||||||
|
## Fas 4: Matchningsparitet flyer <-> kvitto
|
||||||
|
1. Bryt ut matchning till gemensam matcher (eller harmonisera algoritm):
|
||||||
|
- alias exact
|
||||||
|
- canonical/normalized exact
|
||||||
|
- token/fuzzy
|
||||||
|
- bonus för brand/weight/signalträffar
|
||||||
|
2. Matchning ska använda signalrensad namnsträng + metadata:
|
||||||
|
- Länder och eco-etiketter ska inte sabotera namnmatch
|
||||||
|
3. Standardisera reason codes mellan flöden (så långt möjligt utan brytande API):
|
||||||
|
- `alias_exact`, `normalized_exact`, `token_overlap:*`, `no_match`
|
||||||
|
4. Behåll strikt policy: ingen auto-create produkt.
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 4
|
||||||
|
- Färre `no_match` på samma flyer-input jämfört med baseline.
|
||||||
|
- Matchningsorsaker blir mer förklarbara och konsekventa.
|
||||||
|
|
||||||
|
## Fas 5: API/DTO och persistens
|
||||||
|
1. Uppdatera flyer DTO:
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts`
|
||||||
|
- Lägg till `signals` och `displayNameDetailed`.
|
||||||
|
2. Uppdatera persistens i `flyer-import.service.ts`:
|
||||||
|
- Spara `signals`, `displayNameDetailed`, `categoryId`.
|
||||||
|
3. Säkerställ att `getSession`, `getLatestSession`, `updateSessionItem` returnerar nya fält.
|
||||||
|
4. Behåll kompatibilitet mot klient:
|
||||||
|
- Nya fält adderas utan att ta bort befintliga.
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 5
|
||||||
|
- Response innehåller tydlig bundle-info och signaler per rad.
|
||||||
|
- Inga regressions i existerande frontend-parsing.
|
||||||
|
|
||||||
|
## Fas 6: Frontend (flyer import-tab)
|
||||||
|
1. Uppdatera domänmodeller i Flutter:
|
||||||
|
- `flutter/lib/features/import/domain/flyer_import_item.dart`
|
||||||
|
- ev. session/result-objekt
|
||||||
|
2. Visa `displayNameDetailed` där tillgängligt, annars fallback `rawName`.
|
||||||
|
3. Visa `bundleItems` tydligt i list-/detaljrad.
|
||||||
|
4. Visa badge/metadata för signaler (`Sverige`, `Ekologisk`) utan att skriva över produktnamn.
|
||||||
|
5. Säkerställ att manuellt urval till inköpslista fortsätter fungera.
|
||||||
|
|
||||||
|
### Acceptanskriterier fas 6
|
||||||
|
- Bundle-rader är tydligare i UI.
|
||||||
|
- Ursprung/eko syns som metadata.
|
||||||
|
|
||||||
|
## Fas 7: Teststrategi
|
||||||
|
|
||||||
|
### Backend enhetstester
|
||||||
|
- `flyer-normalizer.service.spec.ts`
|
||||||
|
- extraktion av `signals` (origin/labels)
|
||||||
|
- bundle-detaljnamn
|
||||||
|
- Ny kategori-resolver-spec
|
||||||
|
- `Fläskytterfilé` -> köttkategori
|
||||||
|
- `flyer-import.service.spec.ts`
|
||||||
|
- `categoryId` sätts vid tydlig signal
|
||||||
|
- `signals` och `displayNameDetailed` persisteras/returneras
|
||||||
|
- Matchningstester
|
||||||
|
- namn med land/eko matchar korrekt produkt
|
||||||
|
|
||||||
|
### Integrationstester
|
||||||
|
- End-to-end parseAndMatch med representativ flyer-fixture.
|
||||||
|
- Verifiera att inga produkter auto-skaps.
|
||||||
|
- Verifiera att shopping-list insertion fungerar med/utan `matchedProductId`.
|
||||||
|
|
||||||
|
### Frontendtester
|
||||||
|
- Serialisering av nya fält i import-session.
|
||||||
|
- Rendering av `displayNameDetailed` + `bundleItems`.
|
||||||
|
|
||||||
|
## Fas 8: Mätning och rollout
|
||||||
|
1. Lägg till enkel före/efter-mätning i logg/trace:
|
||||||
|
- andel `no_match`
|
||||||
|
- andel med satt `categoryId`
|
||||||
|
2. Soft rollout via feature flag (om möjligt), annars stegvis release.
|
||||||
|
3. Utvärdera verkliga flyer-sessioner innan vidare automatisering.
|
||||||
|
|
||||||
|
## Konkreta filer att ändra (planerad)
|
||||||
|
- `backend/prisma/schema.prisma`
|
||||||
|
- `backend/src/flyer-import/flyer-import.service.ts`
|
||||||
|
- `backend/src/flyer-import/services/flyer-normalizer.service.ts`
|
||||||
|
- `backend/src/flyer-import/dto/flyer-import.response.ts`
|
||||||
|
- `backend/src/receipt-import/receipt-import.service.ts` (endast för extraktion/återanvändning av gemensamma delar)
|
||||||
|
- Nya gemensamma filer under `backend/src/import-common/*`
|
||||||
|
- `flutter/lib/features/import/domain/flyer_import_item.dart`
|
||||||
|
- `flutter/lib/features/import/data/flyer_import_session.dart`
|
||||||
|
- `flutter/lib/features/import/presentation/flyer_import_tab.dart`
|
||||||
|
- Relevanta spec/test-filer i backend + flutter
|
||||||
|
|
||||||
|
## Risker och mitigering
|
||||||
|
- Risk: API-kontraktsändringar bryter klient.
|
||||||
|
- Mitigering: endast additive fält, fallback på gamla fält.
|
||||||
|
- Risk: Felkategori vid aggressiva regler.
|
||||||
|
- Mitigering: regelprioritet + reason-codes + tester för edge cases.
|
||||||
|
- Risk: Övermatchning av produkter.
|
||||||
|
- Mitigering: tröskelvärden + konservativ confidence för fuzzy.
|
||||||
|
|
||||||
|
## Leveransordning (rekommenderad)
|
||||||
|
1. Fas 1–2 (schema + signals + utilities)
|
||||||
|
2. Fas 3 (kategoriupplösning flyer)
|
||||||
|
3. Fas 4 (matchningsparitet)
|
||||||
|
4. Fas 5 (DTO/persistens)
|
||||||
|
5. Fas 6 (frontend)
|
||||||
|
6. Fas 7–8 (tester + mätning/rollout)
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- Flyer och kvitto använder samma centrala regler för kategorisering/matchning där möjligt.
|
||||||
|
- Flyer-rader innehåller `signals` och tydligare produktrepresentation (`displayNameDetailed`, bundle-innehåll).
|
||||||
|
- `categoryId` sätts automatiskt i flyer när tillräcklig signal finns (inkl. fläskytterfilé-fall).
|
||||||
|
- Ingen automatisk produktskapning sker.
|
||||||
|
- Tester uppdaterade och gröna.
|
||||||
@@ -0,0 +1,98 @@
|
|||||||
|
# Plan: Hantera deprecated dependencies (`inflight` / `glob`) i backend
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Minska säkerhets- och stabilitetsrisk från deprecated/transitiva paket i `backend` genom kontrollerad uppgradering, verifiering och CI-skydd utan att bryta befintliga flöden.
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
`npm ci` i `backend` visar varningar för:
|
||||||
|
- `inflight@1.0.6` (ej underhållen, memory leak)
|
||||||
|
- `glob@7.2.3` (föråldrad med kända sårbarheter)
|
||||||
|
|
||||||
|
Detta är normalt transitiva beroenden, men bör ändå adresseras systematiskt.
|
||||||
|
|
||||||
|
## Scope
|
||||||
|
- Endast Node-backend (`backend/`)
|
||||||
|
- Inga funktionella ändringar i app-logik
|
||||||
|
- Fokus: dependency graph, lockfile, CI-kontroller, dokumentation
|
||||||
|
|
||||||
|
## Implementationsplan
|
||||||
|
|
||||||
|
1. **Kartlägg källan till transitiva paket**
|
||||||
|
- Kör i `backend/`:
|
||||||
|
- `npm ls inflight`
|
||||||
|
- `npm ls glob`
|
||||||
|
- Dokumentera exakt vilka toppnivåpaket som drar in versionerna.
|
||||||
|
- Syfte: avgöra om problemet löses via toppnivåuppdatering eller `overrides`.
|
||||||
|
|
||||||
|
2. **Uppdatera direkta beroenden först (minst invasivt)**
|
||||||
|
- Kör riktad uppdatering av paket som identifieras i steg 1 (t.ex. test-/build-verktyg först, runtime efteråt).
|
||||||
|
- Kör därefter:
|
||||||
|
- `npm ci`
|
||||||
|
- `npm ls inflight glob`
|
||||||
|
- Beslutspunkt:
|
||||||
|
- Om `glob@7`/`inflight` försvinner: gå vidare till verifiering.
|
||||||
|
- Om kvarstår: gå till steg 3.
|
||||||
|
|
||||||
|
3. **Inför `overrides` i `backend/package.json` vid behov**
|
||||||
|
- Lägg till kontrollerade `overrides` för att styra bort sårbara/föråldrade versioner.
|
||||||
|
- Prioritet:
|
||||||
|
- `glob` till modern, kompatibel version i aktiv support.
|
||||||
|
- Undvik tvingad ersättning av `inflight` med inkompatibla alias om konsumentpaket inte stödjer det.
|
||||||
|
- Regenerera lockfile via normal npm-process och verifiera installationsflöde.
|
||||||
|
|
||||||
|
4. **Säkerhetsverifiera dependency-trädet**
|
||||||
|
- Kör:
|
||||||
|
- `npm audit --audit-level=high`
|
||||||
|
- `npm audit` (för full kontext)
|
||||||
|
- Klassificera återstående fynd:
|
||||||
|
- fixbara nu
|
||||||
|
- accepterad residualrisk (med motivering)
|
||||||
|
|
||||||
|
5. **Regressionstest av backend efter dependency-ändringar**
|
||||||
|
- Kör samma kvalitetskedja som används i projektet:
|
||||||
|
- `npm run prisma:validate`
|
||||||
|
- `npm run prisma:generate`
|
||||||
|
- `npm run typecheck`
|
||||||
|
- `npm run lint`
|
||||||
|
- `npm test`
|
||||||
|
- `npm run build`
|
||||||
|
- Syfte: säkerställa att dependency-upgrade inte skapar drift-/build-regressioner.
|
||||||
|
|
||||||
|
6. **Skärp CI-policy (om inte redan tillräcklig)**
|
||||||
|
- Verifiera att `.github/workflows/test.yml` fortsatt kör `npm audit --audit-level=high` för backend-push.
|
||||||
|
- Om önskat: höj till `critical` eller behåll `high` enligt teamets riskprofil.
|
||||||
|
- Rekommendation: behåll `high` i nuläget för bättre tidig signal i ett aktivt projekt.
|
||||||
|
|
||||||
|
7. **Dokumentera beslut och operativ hantering**
|
||||||
|
- Uppdatera `README.md` kort med:
|
||||||
|
- att deprecated-varningar hanterats
|
||||||
|
- hur man felsöker nya transitiva varningar (`npm ls <paket>`)
|
||||||
|
- policy för hur snabbt dependencies ska uppdateras
|
||||||
|
|
||||||
|
## Risker och mitigering
|
||||||
|
- **Risk: Breaking changes vid dependency bump**
|
||||||
|
- Mitigering: uppgradera stegvis + full kvalitetskedja i steg 5.
|
||||||
|
- **Risk: `overrides` maskerar underliggande kompatibilitetsproblem**
|
||||||
|
- Mitigering: använd `overrides` endast när toppnivåuppdatering inte räcker; dokumentera tydligt varför.
|
||||||
|
- **Risk: Kvarvarande audit-fynd blockerar release**
|
||||||
|
- Mitigering: klassificera residualrisk och skapa uppföljningsärende med ägare och deadline.
|
||||||
|
|
||||||
|
## Leverabler
|
||||||
|
- Uppdaterat `backend/package.json` (ev. `overrides` + uppdaterade versionsintervall)
|
||||||
|
- Uppdaterad `backend/package-lock.json`
|
||||||
|
- Eventuell liten CI-justering i `.github/workflows/test.yml`
|
||||||
|
- Kort dokumentationsnotis i `README.md`
|
||||||
|
|
||||||
|
## Acceptanskriterier
|
||||||
|
- `npm ls inflight` visar inte problematisk kedja, eller tydligt dokumenterad residualrisk med motivering.
|
||||||
|
- `npm ls glob` visar ingen osäker/föråldrad kedja (eller dokumenterad temporär avvikelse med plan).
|
||||||
|
- `npm audit --audit-level=high` passerar, eller kvarvarande fynd är explicit riskaccepterade.
|
||||||
|
- Backend-kvalitetskedjan passerar utan regression.
|
||||||
|
- CI för backend fortsätter passera.
|
||||||
|
|
||||||
|
## Rekommenderad genomförandeordning
|
||||||
|
1) Kartlägg (`npm ls`)
|
||||||
|
2) Riktade uppdateringar
|
||||||
|
3) `overrides` endast vid behov
|
||||||
|
4) Audit + full testkedja
|
||||||
|
5) CI/dokumentation
|
||||||
@@ -0,0 +1,69 @@
|
|||||||
|
# Plan: Harmonisering av importfält baserat på inventory-tabellen
|
||||||
|
|
||||||
|
## Mål
|
||||||
|
Skapa konsistens mellan kvitto-import, flyer-import och inventory-tabellen genom att anpassa fältnamn, datatyper och struktur. Detta kommer att förenkla integrationen och minska risken för fel.
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
- `inventory`-tabellen är central och har en väletablerad struktur.
|
||||||
|
- Kvitto-import och flyer-import använder olika fältnamn och datatyper, vilket skapar inkonsistenser.
|
||||||
|
- Flyer-import använder `signals.originCountries` (array), medan `inventory` använder `origin` (string).
|
||||||
|
|
||||||
|
## Scope
|
||||||
|
- Uppdatera `ParsedReceiptItem` och `FlyerImportItem` för att matcha `inventory`-tabellen.
|
||||||
|
- Uppdatera mappningslogiken i importfunktionerna.
|
||||||
|
- Uppdatera databasen för att stödja `originCountries` som en array (lång sikt).
|
||||||
|
|
||||||
|
## Implementationsplan
|
||||||
|
|
||||||
|
### 1. Uppdatera `ParsedReceiptItem` (kvitto-import)
|
||||||
|
- **Mål**: Anpassa fältnamn och datatyper för att matcha `inventory`-tabellen.
|
||||||
|
- **Åtgärder**:
|
||||||
|
- Lägg till `categoryId` för att möjliggöra kategorisättning.
|
||||||
|
- Använd `rawName` istället för `receiptName` för konsistens.
|
||||||
|
- Mappa `origin` till `inventory.origin`.
|
||||||
|
|
||||||
|
### 2. Uppdatera `FlyerImportItem` (flyer-import)
|
||||||
|
- **Mål**: Anpassa fältnamn och datatyper för att matcha `inventory`-tabellen.
|
||||||
|
- **Åtgärder**:
|
||||||
|
- Använd `rawName` istället för `receiptName` för konsistens.
|
||||||
|
- Mappa `signals.originCountries[0]` till `inventory.origin`.
|
||||||
|
- Mappa `categoryId` till `product.categoryId` om en produkt skapas/uppdateras.
|
||||||
|
|
||||||
|
### 3. Uppdatera mappningslogiken
|
||||||
|
- **Mål**: Förenkla mappningen från importfunktionerna till `inventory`-tabellen.
|
||||||
|
- **Åtgärder**:
|
||||||
|
- Uppdatera `receipt-import.service.ts` för att använda `inventory`-fältnamn.
|
||||||
|
- Uppdatera `flyer-import.service.ts` för att använda `inventory`-fältnamn.
|
||||||
|
|
||||||
|
### 4. Uppdatera databasen (lång sikt)
|
||||||
|
- **Mål**: Stödja `originCountries` som en array i `inventory`-tabellen.
|
||||||
|
- **Åtgärder**:
|
||||||
|
- Lägg till `originCountries Json?` i `inventory`-tabellen.
|
||||||
|
- Uppdatera `CreateInventoryDto` för att inkludera `originCountries`.
|
||||||
|
|
||||||
|
### 5. Uppdatera DTO:er
|
||||||
|
- **Mål**: Säkerställa att DTO:er matchar `inventory`-tabellen.
|
||||||
|
- **Åtgärder**:
|
||||||
|
- Uppdatera `CreateInventoryDto` för att inkludera `originCountries`.
|
||||||
|
|
||||||
|
## Leverabler
|
||||||
|
- Uppdaterade `ParsedReceiptItem` och `FlyerImportItem` som matchar `inventory`-tabellen.
|
||||||
|
- Uppdaterad mappningslogik i `receipt-import.service.ts` och `flyer-import.service.ts`.
|
||||||
|
- Uppdaterad databas för att stödja `originCountries` som en array.
|
||||||
|
- Uppdaterade DTO:er för att inkludera `originCountries`.
|
||||||
|
|
||||||
|
## Acceptanskriterier
|
||||||
|
- `ParsedReceiptItem` och `FlyerImportItem` använder samma fältnamn och datatyper som `inventory`-tabellen.
|
||||||
|
- Mappningslogiken i importfunktionerna är förenklad och använder `inventory`-fältnamn.
|
||||||
|
- `inventory`-tabellen stödjer `originCountries` som en array.
|
||||||
|
- `CreateInventoryDto` inkluderar `originCountries`.
|
||||||
|
|
||||||
|
## Rekommenderad genomförandeordning
|
||||||
|
1. Uppdatera `ParsedReceiptItem` och `FlyerImportItem`.
|
||||||
|
2. Uppdatera mappningslogiken i importfunktionerna.
|
||||||
|
3. Uppdatera databasen för att stödja `originCountries` som en array.
|
||||||
|
4. Uppdatera DTO:er för att inkludera `originCountries`.
|
||||||
|
|
||||||
|
## Handover from Planning Session
|
||||||
|
- Planen är klar och redo för implementering.
|
||||||
|
- Inga frågor eller otydligheter kvarstår.
|
||||||
@@ -0,0 +1,706 @@
|
|||||||
|
🚨 Kritiska Problem (Prioritet 1: Fixa Omedelbart)
|
||||||
|
Dessa problem påverkar användarupplevelsen mest och bör åtgärdas först.
|
||||||
|
|
||||||
|
1. Prestanda: Långsam inladdning & Stora Filer
|
||||||
|
🔴 Problem:
|
||||||
|
|
||||||
|
Total storlek: 2,978 KiB (för stor för en webbapp).
|
||||||
|
|
||||||
|
/main.dart.js: 1,216 KiB (Flutter’s kompilade JavaScript).
|
||||||
|
canvaskit.wasm: 1,592 KiB (Flutter’s CanvasKit-renderare).
|
||||||
|
MaterialIcons-Regular.otf: 9.8 KiB (ikoner).
|
||||||
|
|
||||||
|
Largest Contentful Paint (LCP) misslyckades (tidsgräns överskreds).
|
||||||
|
Total Blocking Time (TBT) misslyckades (långa JavaScript-uppgifter blockerar huvudtråden).
|
||||||
|
JavaScript-exekveringstid: 1.8s (för långt).
|
||||||
|
🟢 Lösningar:
|
||||||
|
A. Optimera Flutter för Web
|
||||||
|
Flutter-webbappar är tyngre än traditionella webbappar på grund av CanvasKit. Här är hur du minskar storleken:
|
||||||
|
|
||||||
|
|
||||||
|
Använd HTML-renderaren istället för CanvasKit
|
||||||
|
|
||||||
|
CanvasKit ger bättre grafik men är mycket tyngre.
|
||||||
|
Ändra i index.html:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<script>
|
||||||
|
window.flutterConfiguration = {
|
||||||
|
renderMode: "html", // Istället för "canvas" (CanvasKit)
|
||||||
|
};
|
||||||
|
</script>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Fördel: Minskar storleken med ~1.5MB (WASM-filen laddas inte).
|
||||||
|
Nackdel: Vissa avancerade animationer/efekter fungerar inte lika bra.
|
||||||
|
|
||||||
|
|
||||||
|
Aktivera komprimering (GZIP/Brotli)
|
||||||
|
|
||||||
|
Din server skickar okomprimerade filer.
|
||||||
|
Lösning:
|
||||||
|
|
||||||
|
Nginx: Lägg till i konfigurationen:
|
||||||
|
nginx
|
||||||
|
Copy
|
||||||
|
|
||||||
|
gzip on;
|
||||||
|
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
|
||||||
|
brotli on;
|
||||||
|
brotli_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Apache: Använd mod_deflate eller mod_brotli.
|
||||||
|
Cloudflare: Aktivera "Brotli Compression" i inställningarna.
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Cachea statiska resurser
|
||||||
|
|
||||||
|
Problem: /main.dart.js och flutter_bootstrap.js har ingen cache-TTL.
|
||||||
|
Lösning: Lägg till Cache-Control-headers:
|
||||||
|
nginx
|
||||||
|
Copy
|
||||||
|
|
||||||
|
location ~* \.(js|css|png|jpg|jpeg|gif|ico|wasm|otf)$ {
|
||||||
|
expires 1y;
|
||||||
|
add_header Cache-Control "public, immutable";
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Besparing: ~1.2MB vid upprepade besök.
|
||||||
|
|
||||||
|
|
||||||
|
Dela upp JavaScript-koden (Code Splitting)
|
||||||
|
|
||||||
|
Flutter laddar allt i en stor fil (main.dart.js).
|
||||||
|
Lösning: Använd deferred imports för att ladda funktioner på begäran:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
// I din Dart-kod:
|
||||||
|
import 'package:flutter_web_plugins/flutter_web_plugins.dart';
|
||||||
|
import 'package:my_app/receipt_import.dart' deferred as receipt_import;
|
||||||
|
|
||||||
|
// Ladda endast när behövs:
|
||||||
|
Future<void> loadReceiptImport() async {
|
||||||
|
await receipt_import.loadLibrary();
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Effekt: Minskar initial laddningstid.
|
||||||
|
|
||||||
|
|
||||||
|
Optimera bilder
|
||||||
|
|
||||||
|
Problem: Bilder laddas inte optimalt.
|
||||||
|
Lösning:
|
||||||
|
|
||||||
|
Använd flutter_image_compress för att komprimera bilder innan uppladdning.
|
||||||
|
För webb: Använd <picture> med srcset för responsiva bilder.
|
||||||
|
Exempel:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<picture>
|
||||||
|
<source srcset="image-480w.jpg" media="(max-width: 600px)">
|
||||||
|
<source srcset="image-800w.jpg" media="(max-width: 1200px)">
|
||||||
|
<img src="image-1200w.jpg" alt="Receptbild">
|
||||||
|
</picture>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
B. Förbättra Laddningsordningen
|
||||||
|
|
||||||
|
Fördröj laddning av icke-kritiska resurser
|
||||||
|
|
||||||
|
Ladda canvaskit.wasm efter att sidan har renderats:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<script>
|
||||||
|
window.addEventListener('load', () => {
|
||||||
|
const script = document.createElement('script');
|
||||||
|
script.src = 'https://www.gstatic.com/canvaskit/v1/chromium/canvaskit.wasm';
|
||||||
|
document.body.appendChild(script);
|
||||||
|
});
|
||||||
|
</script>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Använd preload för kritiska resurser
|
||||||
|
|
||||||
|
Lägg till i <head>:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<link rel="preload" href="/main.dart.js" as="script">
|
||||||
|
<link rel="preload" href="/flutter_bootstrap.js" as="script">
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
2. Tillgänglighet: Grundläggande Problem
|
||||||
|
🔴 Problem:
|
||||||
|
|
||||||
|
[user-scalable="no"] i viewport-meta-taggen
|
||||||
|
|
||||||
|
Varför det är dåligt: Användare med nedsatt syn kan inte zooma in.
|
||||||
|
Lösning: Ta bort user-scalable="no":
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Saknas alt-texter på bilder
|
||||||
|
|
||||||
|
Problem: Skärmläsare kan inte beskriva bilder.
|
||||||
|
Lösning: Lägg till alt-texter i Flutter:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
Image.network(
|
||||||
|
'https://example.com/recept.jpg',
|
||||||
|
semanticLabel: 'Bild på lasagne med ost och tomatsås', // Alt-text
|
||||||
|
),
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Saknas lang-attribut
|
||||||
|
|
||||||
|
Problem: Skärmläsare vet inte vilket språk sidan använder.
|
||||||
|
Lösning: Lägg till i <html>:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<html lang="sv">
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
3. SEO: Grundläggande Problem
|
||||||
|
🔴 Problem:
|
||||||
|
|
||||||
|
Saknas meta description
|
||||||
|
|
||||||
|
Varför det är dåligt: Sökmotorer visar ingen beskrivning i resultaten.
|
||||||
|
Lösning: Lägg till i <head>:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<meta name="description" content="Upptäck och lagra dina recept. Importera kvitton och håll koll på ditt kylskåp med vår smarta app.">
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Ogiltig robots.txt
|
||||||
|
|
||||||
|
Problem: Din robots.txt innehåller HTML-kod istället för korrekt syntax.
|
||||||
|
Lösning: Skapa en korrekt robots.txt:
|
||||||
|
text
|
||||||
|
Copy
|
||||||
|
|
||||||
|
User-agent: *
|
||||||
|
Allow: /
|
||||||
|
Sitemap: https://recept.gynther.se/sitemap.xml
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
⚠️ Viktiga Förbättringar (Prioritet 2: Fixa Inom 1-2 Veckor)
|
||||||
|
Dessa problem påverkar användarupplevelsen och SEO, men är inte lika kritiska.
|
||||||
|
|
||||||
|
1. Prestanda: JavaScript & Rendering
|
||||||
|
🟡 Problem:
|
||||||
|
|
||||||
|
Lång JavaScript-exekveringstid (1.8s)
|
||||||
|
|
||||||
|
Orsak: Flutter’s main.dart.js tar 1.7s att parsas och exekveras.
|
||||||
|
|
||||||
|
Minify CSS/JS misslyckades
|
||||||
|
|
||||||
|
Flutter genererar redan minifierad kod, men du kan optimera vidare.
|
||||||
|
|
||||||
|
🟢 Lösningar:
|
||||||
|
|
||||||
|
|
||||||
|
Aktivera Flutter’s --release flagga
|
||||||
|
|
||||||
|
Bygg appen med:
|
||||||
|
bash
|
||||||
|
Copy
|
||||||
|
|
||||||
|
flutter build web --release
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Detta genererar optimerad och minifierad kod.
|
||||||
|
|
||||||
|
|
||||||
|
Använd flutter build web --no-source-maps
|
||||||
|
|
||||||
|
Source maps ökar filstorleken. Ta bort dem i produktion:
|
||||||
|
bash
|
||||||
|
Copy
|
||||||
|
|
||||||
|
flutter build web --no-source-maps
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Fördröj laddning av icke-kritisk JavaScript
|
||||||
|
|
||||||
|
Använd defer eller async för skript som inte behövs omedelbart:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<script src="/flutter_bootstrap.js" defer></script>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Reducera DOM-storlek
|
||||||
|
|
||||||
|
Problem: Din sida har 21 element med en max-djup på 7 (acceptabelt, men kan optimeras).
|
||||||
|
Lösning: Undvik onödiga Container-widgets i Flutter. Använd const widgets där möjligt.
|
||||||
|
|
||||||
|
|
||||||
|
2. Tillgänglighet: Interaktiva Element
|
||||||
|
🟡 Problem:
|
||||||
|
|
||||||
|
Saknas focus-indikatorer
|
||||||
|
|
||||||
|
Användare som navigerar med tangentbord ser inte vilka element som är fokuserade.
|
||||||
|
|
||||||
|
Saknas aria-label på anpassade knappar
|
||||||
|
|
||||||
|
Skärmläsare vet inte vad knapparna gör.
|
||||||
|
|
||||||
|
🟢 Lösningar:
|
||||||
|
|
||||||
|
Lägg till focus-stilar i CSS
|
||||||
|
|
||||||
|
Exempel:
|
||||||
|
css
|
||||||
|
Copy
|
||||||
|
|
||||||
|
button:focus, [tabindex="0"]:focus {
|
||||||
|
outline: 2px solid #4285F4;
|
||||||
|
outline-offset: 2px;
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Använd semantics i Flutter för tillgänglighet
|
||||||
|
|
||||||
|
Exempel för en knapp:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
Semantics(
|
||||||
|
label: 'Importera kvitto',
|
||||||
|
button: true,
|
||||||
|
child: ElevatedButton(
|
||||||
|
onPressed: () => _importReceipt(),
|
||||||
|
child: Text('Importera'),
|
||||||
|
),
|
||||||
|
),
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Lägg till aria-label på ikonknappar
|
||||||
|
|
||||||
|
Exempel:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
IconButton(
|
||||||
|
icon: Icon(Icons.upload),
|
||||||
|
onPressed: () => _uploadFile(),
|
||||||
|
tooltip: 'Ladda upp kvitto', // Visas på hover
|
||||||
|
semanticsLabel: 'Ladda upp kvitto', // För skärmläsare
|
||||||
|
),
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
3. Säkerhet: Content Security Policy (CSP)
|
||||||
|
🟡 Problem:
|
||||||
|
|
||||||
|
Saknas CSP-header
|
||||||
|
|
||||||
|
Din sida är sårbar för XSS-attacker (Cross-Site Scripting).
|
||||||
|
|
||||||
|
🟢 Lösning:
|
||||||
|
Lägg till en stark CSP i din serverkonfiguration:
|
||||||
|
nginx
|
||||||
|
Copy
|
||||||
|
|
||||||
|
add_header Content-Security-Policy "default-src 'self'; script-src 'self' 'unsafe-inline' 'unsafe-eval' https://www.gstatic.com; style-src 'self' 'unsafe-inline'; img-src 'self' data: https://*.gstatic.com; font-src 'self' https://fonts.gstatic.com; connect-src 'self' https://recept.gynther.se; frame-src 'none'; object-src 'none';";
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Förklaring:
|
||||||
|
|
||||||
|
script-src: Tillåter skript från self och gstatic.com (för Flutter).
|
||||||
|
unsafe-inline: Nödvändigt för Flutter (men försök minska användningen).
|
||||||
|
img-src: Tillåter bilder från self och gstatic.com.
|
||||||
|
|
||||||
|
|
||||||
|
📌 Mindre Problem (Prioritet 3: Fixa När Tid Finns)
|
||||||
|
Dessa är förbättringar som inte är kritiska men kan förbättra UX och SEO.
|
||||||
|
|
||||||
|
1. Prestanda: Bildoptimering
|
||||||
|
|
||||||
|
Problem: Bilder laddas utan width och height (orsakar layout shifts).
|
||||||
|
Lösning: Använd Image.network med explicit storlek:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
Image.network(
|
||||||
|
'https://example.com/recept.jpg',
|
||||||
|
width: 300,
|
||||||
|
height: 200,
|
||||||
|
fit: BoxFit.cover,
|
||||||
|
),
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
2. SEO: Structured Data
|
||||||
|
|
||||||
|
Problem: Saknas schema.org-markup för recept (gör att Google kan visa "rich results").
|
||||||
|
Lösning: Lägg till JSON-LD i <head>:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<script type="application/ld+json">
|
||||||
|
{
|
||||||
|
"@context": "https://schema.org",
|
||||||
|
"@type": "Recipe",
|
||||||
|
"name": "Lasagne",
|
||||||
|
"author": {
|
||||||
|
"@type": "Person",
|
||||||
|
"name": "Nils-Johan Gynther"
|
||||||
|
},
|
||||||
|
"datePublished": "2026-05-21",
|
||||||
|
"description": "En klassisk lasagne med köttfärs och bechamelsås.",
|
||||||
|
"prepTime": "PT30M",
|
||||||
|
"cookTime": "PT45M",
|
||||||
|
"totalTime": "PT1H15M",
|
||||||
|
"recipeYield": "4 portioner",
|
||||||
|
"recipeCategory": "Middag",
|
||||||
|
"recipeCuisine": "Italiensk",
|
||||||
|
"keywords": "lasagne, pasta, köttfärs",
|
||||||
|
"recipeIngredient": ["500g köttfärs", "250g ost", "1 paket lasagneplattor"],
|
||||||
|
"recipeInstructions": [
|
||||||
|
{
|
||||||
|
"@type": "HowToStep",
|
||||||
|
"name": "Börja med att fräsa köttfärsen.",
|
||||||
|
"text": "Fräs köttfärsen i en stekpanna tills den är genomstekt."
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"@type": "HowToStep",
|
||||||
|
"name": "Lagra lasagnen i ugnen.",
|
||||||
|
"text": "Skikta lasagneplattor, köttfärs och sås i en ugnsform. Grädda i 45 minuter på 200°C."
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
</script>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Effekt: Google kan visa receptkort i sökresultaten (ökad klickfrekvens).
|
||||||
|
|
||||||
|
3. Tillgänglighet: Logisk Tab-Order
|
||||||
|
|
||||||
|
Problem: Användare kan tabba till element som är dolda eller off-screen.
|
||||||
|
Lösning: Använd FocusableAction i Flutter för att kontrollera tab-order:
|
||||||
|
dart
|
||||||
|
Copy
|
||||||
|
|
||||||
|
FocusableActionDetector(
|
||||||
|
autofocus: true,
|
||||||
|
onFocusChange: (hasFocus) {
|
||||||
|
if (hasFocus) {
|
||||||
|
// Hantera focus
|
||||||
|
}
|
||||||
|
},
|
||||||
|
child: MyWidget(),
|
||||||
|
),
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📊 Sammanfattning av Prioriteringar
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Prioritet
|
||||||
|
Problem
|
||||||
|
Lösning
|
||||||
|
Tidsuppskattning
|
||||||
|
Impact
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
1 (Kritisk)
|
||||||
|
Stora filer (2.9MB)
|
||||||
|
Byt till HTML-renderare, aktivera GZIP, cachea resurser
|
||||||
|
1-2 timmar
|
||||||
|
⭐⭐⭐⭐⭐ (Hög)
|
||||||
|
|
||||||
|
|
||||||
|
1 (Kritisk)
|
||||||
|
Lång JavaScript-exekvering (1.8s)
|
||||||
|
Code splitting, defer non-critical JS
|
||||||
|
2-4 timmar
|
||||||
|
⭐⭐⭐⭐⭐ (Hög)
|
||||||
|
|
||||||
|
|
||||||
|
1 (Kritisk)
|
||||||
|
user-scalable="no"
|
||||||
|
Ta bort från viewport-meta-taggen
|
||||||
|
5 minuter
|
||||||
|
⭐⭐⭐⭐ (Hög)
|
||||||
|
|
||||||
|
|
||||||
|
1 (Kritisk)
|
||||||
|
Saknas meta description
|
||||||
|
Lägg till i
|
||||||
|
5 minuter
|
||||||
|
⭐⭐⭐ (Medel)
|
||||||
|
|
||||||
|
|
||||||
|
1 (Kritisk)
|
||||||
|
Ogiltig robots.txt
|
||||||
|
Skapa korrekt robots.txt
|
||||||
|
10 minuter
|
||||||
|
⭐⭐⭐ (Medel)
|
||||||
|
|
||||||
|
|
||||||
|
2 (Viktig)
|
||||||
|
Saknas CSP-header
|
||||||
|
Lägg till i serverkonfigurationen
|
||||||
|
1 timme
|
||||||
|
⭐⭐⭐⭐ (Hög)
|
||||||
|
|
||||||
|
|
||||||
|
2 (Viktig)
|
||||||
|
Saknas alt-texter
|
||||||
|
Lägg till semanticLabel i Flutter
|
||||||
|
1-2 timmar
|
||||||
|
⭐⭐⭐ (Medel)
|
||||||
|
|
||||||
|
|
||||||
|
2 (Viktig)
|
||||||
|
Lång DOM-parsning
|
||||||
|
Minska onödiga widgets
|
||||||
|
1-2 timmar
|
||||||
|
⭐⭐ (Låg)
|
||||||
|
|
||||||
|
|
||||||
|
3 (Mindre)
|
||||||
|
Saknas structured data
|
||||||
|
Lägg till JSON-LD för recept
|
||||||
|
1 timme
|
||||||
|
⭐⭐ (Låg)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
🛠️ Konkreta Åtgärder (Steg-för-Steg)
|
||||||
|
Steg 1: Fixa Prestanda (1-2 dagar)
|
||||||
|
|
||||||
|
Byt till HTML-renderare (sparar ~1.5MB):
|
||||||
|
|
||||||
|
Ändra index.html som visat ovan.
|
||||||
|
|
||||||
|
Aktivera GZIP/Brotli på servern.
|
||||||
|
Cachea statiska filer (1 år för JS/CSS).
|
||||||
|
Bygg appen med --release:
|
||||||
|
bash
|
||||||
|
Copy
|
||||||
|
|
||||||
|
flutter build web --release --no-source-maps
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Ladd upp den optimerade versionen till din server.
|
||||||
|
|
||||||
|
Steg 2: Fixa Tillgänglighet (1 dag)
|
||||||
|
|
||||||
|
Ta bort user-scalable="no" från viewport.
|
||||||
|
Lägg till lang="sv" i <html>.
|
||||||
|
Lägg till alt-texter på alla bilder.
|
||||||
|
Lägg till semanticsLabel på knappar och ikoner.
|
||||||
|
|
||||||
|
Steg 3: Fixa SEO (1 dag)
|
||||||
|
|
||||||
|
Lägg till meta description.
|
||||||
|
Fixa robots.txt.
|
||||||
|
Lägg till structured data för recept.
|
||||||
|
|
||||||
|
Steg 4: Säkerhet (1 timme)
|
||||||
|
|
||||||
|
Lägg till CSP-header i serverkonfigurationen.
|
||||||
|
|
||||||
|
📈 Förväntade Resultat
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Mätning
|
||||||
|
Nuvarande
|
||||||
|
Efter Fixar
|
||||||
|
Förbättring
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Total storlek
|
||||||
|
2,978 KiB
|
||||||
|
~500-800 KiB
|
||||||
|
-70%
|
||||||
|
|
||||||
|
|
||||||
|
Laddningstid (LCP)
|
||||||
|
Timeout
|
||||||
|
< 2.5s
|
||||||
|
✅ Fixad
|
||||||
|
|
||||||
|
|
||||||
|
JavaScript-exekvering
|
||||||
|
1.8s
|
||||||
|
< 1s
|
||||||
|
-45%
|
||||||
|
|
||||||
|
|
||||||
|
Tillgänglighet
|
||||||
|
82/100
|
||||||
|
95+/100
|
||||||
|
+15 poäng
|
||||||
|
|
||||||
|
|
||||||
|
SEO
|
||||||
|
6/10
|
||||||
|
9/10
|
||||||
|
+50%
|
||||||
|
|
||||||
|
|
||||||
|
Säkerhet
|
||||||
|
Risk för XSS
|
||||||
|
Skyddad
|
||||||
|
✅ Fixad
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
🔍 Hur du Testar Förbättringarna
|
||||||
|
|
||||||
|
Kör Lighthouse igen i Chrome DevTools (F12 → "Lighthouse").
|
||||||
|
Testa på mobil (använd Chrome’s "Device Toolbar").
|
||||||
|
Använd WebPageTest (webpagetest.org) för att mäta prestanda globalt.
|
||||||
|
Testa tillgänglighet med:
|
||||||
|
|
||||||
|
WAVE Evaluation Tool
|
||||||
|
Skärmläsare (t.ex. NVDA eller VoiceOver).
|
||||||
|
|
||||||
|
|
||||||
|
💡 Extra Tips för Flutter-Webbappar
|
||||||
|
|
||||||
|
|
||||||
|
Använd flutter build web --target=lib/main_deferred.dart
|
||||||
|
|
||||||
|
Förbättrar code splitting.
|
||||||
|
|
||||||
|
|
||||||
|
Ladda Flutter asynkront
|
||||||
|
|
||||||
|
Lägg till async i <script>-taggen:
|
||||||
|
html
|
||||||
|
Copy
|
||||||
|
|
||||||
|
<script src="/flutter_bootstrap.js" async></script>
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
Använd flutter_tex för text-rendering
|
||||||
|
|
||||||
|
Minskar beroendet av CanvasKit.
|
||||||
|
|
||||||
|
|
||||||
|
Override Flutter’s default fonts
|
||||||
|
|
||||||
|
Använd systemtypsnitt för snabbare laddning:
|
||||||
|
css
|
||||||
|
Copy
|
||||||
|
|
||||||
|
@font-face {
|
||||||
|
font-family: 'Roboto';
|
||||||
|
src: local('Roboto'), local('Roboto-Regular');
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
🎯 Sammanfattning: Vad du ska göra nu
|
||||||
|
|
||||||
|
Fixa de kritiska prestandaproblemen (HTML-renderare, GZIP, caching).
|
||||||
|
Fixa tillgänglighetsproblemen (user-scalable, alt-texter, lang).
|
||||||
|
Fixa SEO (meta description, robots.txt).
|
||||||
|
Lägg till säkerhetsheaders (CSP).
|
||||||
|
Testa och iterera med Lighthouse.
|
||||||
@@ -0,0 +1,359 @@
|
|||||||
|
flyerimporter.md
|
||||||
|
📌 Steg 1: Skapa en funktion för att extrahera text från PDF:en
|
||||||
|
Använd pdf-parse som primär metod och Tesseract.js som fallback för OCR.
|
||||||
|
Kod: extractFlyerText.ts
|
||||||
|
typescript
|
||||||
|
Copy
|
||||||
|
|
||||||
|
import * as fs from 'fs';
|
||||||
|
import * as pdf from 'pdf-parse';
|
||||||
|
import Tesseract from 'tesseract.js';
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Extraherar text från en PDF-fil (flyer), med fallback till OCR.
|
||||||
|
* @param pdfPath Sökväg till PDF-filen.
|
||||||
|
* @returns Extraherad text.
|
||||||
|
*/
|
||||||
|
export async function extractFlyerText(pdfPath: string): Promise<string> {
|
||||||
|
try {
|
||||||
|
// Försök med pdf-parse först
|
||||||
|
const dataBuffer = fs.readFileSync(pdfPath);
|
||||||
|
const data = await pdf(dataBuffer);
|
||||||
|
if (data.text.trim()) {
|
||||||
|
return data.text;
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
console.warn('pdf-parse misslyckades, försöker med OCR...');
|
||||||
|
}
|
||||||
|
|
||||||
|
// Fallback till Tesseract.js för OCR
|
||||||
|
try {
|
||||||
|
const { data: { text } } = await Tesseract.recognize(pdfPath, 'swe', {
|
||||||
|
logger: (m) => console.log(m),
|
||||||
|
});
|
||||||
|
return text;
|
||||||
|
} catch (error) {
|
||||||
|
console.error('OCR misslyckades:', error);
|
||||||
|
throw new Error('Kunde inte extrahera text från PDF:en.');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 2: Skapa en funktion för att skicka texten till Mistral Tiny
|
||||||
|
Använd Mistral Tiny för att extrahera och strukturera all produktinformation från flyern.
|
||||||
|
Kod: importFlyerWithAI.ts
|
||||||
|
typescript
|
||||||
|
Copy
|
||||||
|
|
||||||
|
import { MistralClient } from '@mistralai/mistralai';
|
||||||
|
|
||||||
|
const mistral = new MistralClient({
|
||||||
|
apiKey: process.env.MISTRAL_API_KEY,
|
||||||
|
});
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Skickar flyer-texten till Mistral Tiny för att extrahera strukturerad data.
|
||||||
|
* @param text Texten från flyern.
|
||||||
|
* @returns Strukturerad data (JSON-array).
|
||||||
|
*/
|
||||||
|
export async function importFlyerWithAI(text: string): Promise<any[]> {
|
||||||
|
const prompt = `
|
||||||
|
Du är en expert på att tolka svenska matvaruflyers (t.ex. från Willys).
|
||||||
|
Extrahera ALL produktinformation från följande text och returnera den som en JSON-array.
|
||||||
|
|
||||||
|
För varje produkt, inkludera:
|
||||||
|
- name: Produktnamn (fullständigt namn)
|
||||||
|
- weight: Vikt (om tillgänglig, t.ex. "150g", "Ca 1kg")
|
||||||
|
- origin: Ursprung/land/märke (om tillgänglig, t.ex. "FALKENBERG", "NYBERGS DELI • Sverige")
|
||||||
|
- price: Pris (som ett nummer, t.ex. 39.90)
|
||||||
|
- comparisonPrice: Jämförpris (som ett nummer, t.ex. 266.00)
|
||||||
|
- unit: Enhet (kg, st, förp, l, etc.)
|
||||||
|
- offer: Erbjudande (t.ex. ["Max 3 köp/hushåll", "Lägsta 30-dgrspris 125:00 kr"])
|
||||||
|
- category: Kategori (t.ex. "Fisk", "Kött", "Mejeri", "Grönsaker", "Frukt", "Dryck")
|
||||||
|
- validFrom: Giltig från (datum i formatet YYYY-MM-DD, om tillgängligt)
|
||||||
|
- validTo: Giltig till (datum i formatet YYYY-MM-DD, om tillgängligt)
|
||||||
|
|
||||||
|
Texten att tolka:
|
||||||
|
${text}
|
||||||
|
|
||||||
|
Returnera ENDAST en JSON-array. Inga andra kommentarer.
|
||||||
|
Exempel på utdata:
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "KALLRÖKT LAX, GRAVAD LAX",
|
||||||
|
"weight": "150g",
|
||||||
|
"origin": "FALKENBERG",
|
||||||
|
"price": 39.90,
|
||||||
|
"comparisonPrice": 266.00,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 3 köp/hushåll"],
|
||||||
|
"category": "Fisk",
|
||||||
|
"validFrom": "2026-05-18",
|
||||||
|
"validTo": "2026-05-24"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
`;
|
||||||
|
|
||||||
|
try {
|
||||||
|
const response = await mistral.chat({
|
||||||
|
model: 'mistral-tiny', // Använder den enklaste modellen
|
||||||
|
messages: [{ role: 'user', content: prompt }],
|
||||||
|
temperature: 0.1, // Låg temperatur för mer deterministiska svar
|
||||||
|
});
|
||||||
|
|
||||||
|
// Rensa upp JSON-strängen
|
||||||
|
const jsonString = response.choices[0].message.content
|
||||||
|
.replace(/```json|```/g, '')
|
||||||
|
.trim();
|
||||||
|
|
||||||
|
// Parsa JSON:en
|
||||||
|
return JSON.parse(jsonString);
|
||||||
|
} catch (error) {
|
||||||
|
console.error('Fel vid AI-import:', error);
|
||||||
|
throw new Error('Kunde inte importera flyern med AI.');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 3: Fullständigt importflöde
|
||||||
|
Kombinera text-extrahering och AI-import i ett fullständigt flöde.
|
||||||
|
Kod: flyerImportService.ts
|
||||||
|
typescript
|
||||||
|
Copy
|
||||||
|
|
||||||
|
import { extractFlyerText } from './extractFlyerText';
|
||||||
|
import { importFlyerWithAI } from './importFlyerWithAI';
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Importerar en flyer (PDF) och returnerar strukturerad data.
|
||||||
|
* @param pdfPath Sökväg till PDF-filen.
|
||||||
|
* @returns Strukturerad data från flyern.
|
||||||
|
*/
|
||||||
|
export async function importFlyer(pdfPath: string) {
|
||||||
|
try {
|
||||||
|
// 1. Extrahera text från PDF:en
|
||||||
|
console.log('Extraherar text från flyern...');
|
||||||
|
const text = await extractFlyerText(pdfPath);
|
||||||
|
|
||||||
|
// 2. Skicka texten till Mistral Tiny för att extrahera data
|
||||||
|
console.log('Skickar text till Mistral Tiny för extrahering...');
|
||||||
|
const products = await importFlyerWithAI(text);
|
||||||
|
|
||||||
|
return {
|
||||||
|
success: true,
|
||||||
|
products,
|
||||||
|
text,
|
||||||
|
};
|
||||||
|
} catch (error) {
|
||||||
|
console.error('Fel vid import:', error);
|
||||||
|
return {
|
||||||
|
success: false,
|
||||||
|
error: error instanceof Error ? error.message : 'Okänt fel',
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 4: API-Endpoint för flyer-import
|
||||||
|
Skapa en Express-endpoint för att hantera uppladdning och import av flyers.
|
||||||
|
Kod: flyerImportRouter.ts
|
||||||
|
typescript
|
||||||
|
Copy
|
||||||
|
|
||||||
|
import express from 'express';
|
||||||
|
import multer from 'multer';
|
||||||
|
import { importFlyer } from '../services/flyerImportService';
|
||||||
|
import * as fs from 'fs';
|
||||||
|
|
||||||
|
const router = express.Router();
|
||||||
|
const upload = multer({ dest: 'uploads/' });
|
||||||
|
|
||||||
|
// Endpoint för att ladda upp och importera en flyer
|
||||||
|
router.post('/import/flyer', upload.single('flyer'), async (req, res) => {
|
||||||
|
try {
|
||||||
|
if (!req.file) {
|
||||||
|
return res.status(400).json({ error: 'Ingen flyer uppladdad.' });
|
||||||
|
}
|
||||||
|
|
||||||
|
const result = await importFlyer(req.file.path);
|
||||||
|
|
||||||
|
// Rensa upp uppladdad fil
|
||||||
|
fs.unlinkSync(req.file.path);
|
||||||
|
|
||||||
|
if (!result.success) {
|
||||||
|
return res.status(500).json({ error: result.error });
|
||||||
|
}
|
||||||
|
|
||||||
|
res.json(result);
|
||||||
|
} catch (error) {
|
||||||
|
console.error('Fel vid flyer-import:', error);
|
||||||
|
res.status(500).json({ error: 'Kunde inte importera flyern.' });
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
export default router;
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 5: Exempel på utdata
|
||||||
|
När du skickar texten från Willys flyer till Mistral Tiny, kommer du att få tillbaka en JSON-array med alla produkter, t.ex.:
|
||||||
|
json
|
||||||
|
Copy
|
||||||
|
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "KALLRÖKT LAX, GRAVAD LAX",
|
||||||
|
"weight": "150g",
|
||||||
|
"origin": "FALKENBERG",
|
||||||
|
"price": 39.9,
|
||||||
|
"comparisonPrice": 266.0,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 3 köp/hushåll"],
|
||||||
|
"category": "Fisk",
|
||||||
|
"validFrom": "2026-05-18",
|
||||||
|
"validTo": "2026-05-24"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"name": "FLÄSKYTTERFILÉ",
|
||||||
|
"weight": "Ca 1kg",
|
||||||
|
"origin": "NYBERGS DELI • Sverige",
|
||||||
|
"price": 64.9,
|
||||||
|
"comparisonPrice": 64.9,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 3 förp/hushåll"],
|
||||||
|
"category": "Kött",
|
||||||
|
"validFrom": "2026-05-18",
|
||||||
|
"validTo": "2026-05-24"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 6: Använda den extraherade datan
|
||||||
|
När du har den strukturerade datan, kan du:
|
||||||
|
|
||||||
|
Lagra den i din databas (t.ex. för att jämföra med inventory).
|
||||||
|
Visa den för användaren (t.ex. i en tabell).
|
||||||
|
Använda den för att generera recept (med eller utan AI).
|
||||||
|
Exempel: Lagra i databasen
|
||||||
|
typescript
|
||||||
|
Copy
|
||||||
|
|
||||||
|
// Antas att du har en Prisma-modell för flyer-produkter
|
||||||
|
await prisma.flyerProduct.createMany({
|
||||||
|
data: products.map((product) => ({
|
||||||
|
name: product.name,
|
||||||
|
weight: product.weight,
|
||||||
|
origin: product.origin,
|
||||||
|
price: product.price,
|
||||||
|
comparisonPrice: product.comparisonPrice,
|
||||||
|
unit: product.unit,
|
||||||
|
offer: JSON.stringify(product.offer),
|
||||||
|
category: product.category,
|
||||||
|
validFrom: product.validFrom ? new Date(product.validFrom) : null,
|
||||||
|
validTo: product.validTo ? new Date(product.validTo) : null,
|
||||||
|
})),
|
||||||
|
});
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Steg 7: Frontend-Integrering (Exempel: React)
|
||||||
|
Här är hur du kan integrera flyer-importen i din frontend:
|
||||||
|
Kod: FlyerImportForm.tsx
|
||||||
|
tsx
|
||||||
|
Copy
|
||||||
|
|
||||||
|
import { useState } from 'react';
|
||||||
|
import axios from 'axios';
|
||||||
|
|
||||||
|
function FlyerImportForm() {
|
||||||
|
const [file, setFile] = useState<File | null>(null);
|
||||||
|
const [isLoading, setIsLoading] = useState(false);
|
||||||
|
const [result, setResult] = useState<any>(null);
|
||||||
|
|
||||||
|
const handleSubmit = async (e: React.FormEvent) => {
|
||||||
|
e.preventDefault();
|
||||||
|
if (!file) return;
|
||||||
|
|
||||||
|
setIsLoading(true);
|
||||||
|
const formData = new FormData();
|
||||||
|
formData.append('flyer', file);
|
||||||
|
|
||||||
|
try {
|
||||||
|
const response = await axios.post('/api/import/flyer', formData, {
|
||||||
|
headers: { 'Content-Type': 'multipart/form-data' },
|
||||||
|
});
|
||||||
|
setResult(response.data);
|
||||||
|
} catch (error) {
|
||||||
|
console.error('Fel vid uppladdning:', error);
|
||||||
|
} finally {
|
||||||
|
setIsLoading(false);
|
||||||
|
}
|
||||||
|
};
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div>
|
||||||
|
<h2>Importera flyer</h2>
|
||||||
|
<form onSubmit={handleSubmit}>
|
||||||
|
<input
|
||||||
|
type="file"
|
||||||
|
accept=".pdf"
|
||||||
|
onChange={(e) => setFile(e.target.files?.[0] || null)}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
<button type="submit" disabled={isLoading}>
|
||||||
|
{isLoading ? 'Importerar...' : 'Importera flyer'}
|
||||||
|
</button>
|
||||||
|
</form>
|
||||||
|
|
||||||
|
{result?.success && (
|
||||||
|
<div>
|
||||||
|
<h3>Importerade produkter ({result.products.length})</h3>
|
||||||
|
<table>
|
||||||
|
<thead>
|
||||||
|
<tr>
|
||||||
|
<th>Namn</th>
|
||||||
|
<th>Pris</th>
|
||||||
|
<th>Jämförpris</th>
|
||||||
|
<th>Kategori</th>
|
||||||
|
<th>Erbjudande</th>
|
||||||
|
</tr>
|
||||||
|
</thead>
|
||||||
|
<tbody>
|
||||||
|
{result.products.map((product: any, index: number) => (
|
||||||
|
<tr key={index}>
|
||||||
|
<td>{product.name}</td>
|
||||||
|
<td>{product.price} {product.unit}</td>
|
||||||
|
<td>{product.comparisonPrice} {product.unit}</td>
|
||||||
|
<td>{product.category}</td>
|
||||||
|
<td>{product.offer.join(', ')}</td>
|
||||||
|
</tr>
|
||||||
|
))}
|
||||||
|
</tbody>
|
||||||
|
</table>
|
||||||
|
</div>
|
||||||
|
)}
|
||||||
|
</div>
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
export default FlyerImportForm;
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
📌 Miljövariabler (.env)
|
||||||
|
env
|
||||||
|
Copy
|
||||||
|
|
||||||
|
# Mistral API-nyckel
|
||||||
|
MISTRAL_API_KEY=din_api_nyckel_här
|
||||||
@@ -0,0 +1,169 @@
|
|||||||
|
# Plan för förbättrad dokumentationsstruktur
|
||||||
|
|
||||||
|
## Bakgrund
|
||||||
|
Projektet har idag över 20 `.md`-filer spridda över olika mappar, vilket gör det svårt att hitta information och förstå projektets helhet. Den nya strukturen syftar till att:
|
||||||
|
- **Göra dokumentationen användarvänlig** för både utvecklare och språkmodeller.
|
||||||
|
- **Optimerad för underhåll** med tydlig separation mellan aktiv och arkiverad dokumentation.
|
||||||
|
- **Skapa kontextuell sammanhang** genom länkade filer och tydliga hierarkier.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nuvarande problem
|
||||||
|
- **Fragmentering**: Relaterat innehåll är splittrat (t.ex. Flutter-dokumentation i `_archive/docs/flutter/` vs. backend-dokumentation i rotmappen).
|
||||||
|
- **Föråldrat innehåll**: Arkiverade filer blandas med aktiva (t.ex. `SESSION_CHECKPOINT_2026-05-12.md`).
|
||||||
|
- **Duplicering**: Samma koncept dokumenteras på flera ställen (t.ex. kategoriträd).
|
||||||
|
- **Icke-optimerat för språkmodeller**: Saknar tydlig hierarki och kontextuella länkar.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Föreslagen struktur
|
||||||
|
```
|
||||||
|
/
|
||||||
|
├── docs/ # Huvudkatalog för ALL aktiv dokumentation
|
||||||
|
│ ├── 01-overview/ # Övergripande projektbeskrivning
|
||||||
|
│ │ ├── README.md # Huvudsaklig ingress (ersätter rot-README.md)
|
||||||
|
│ │ ├── ARCHITECTURE.md # Systemarkitektur
|
||||||
|
│ │ └── GLOSSARY.md # Termer och definitioner
|
||||||
|
│ │
|
||||||
|
│ ├── 02-setup/ # Installation och konfiguration
|
||||||
|
│ │ ├── INSTALL.md # Miljökrav, beroenden, första uppstart
|
||||||
|
│ │ ├── CONFIG.md # Konfigurationsfiler (.env, Docker, etc.)
|
||||||
|
│ │ └── TROUBLESHOOTING.md # Vanliga problem och lösningar
|
||||||
|
│ │
|
||||||
|
│ ├── 03-development/ # Utvecklingsguider
|
||||||
|
│ │ ├── CONTRIBUTING.md # Bidragsregler, kodstandard, PR-process
|
||||||
|
│ │ ├── WORKFLOWS.md # Git-flöden, branch-strategi, CI/CD
|
||||||
|
│ │ ├── DATABASE.md # Schema, migrationer, seedning
|
||||||
|
│ │ ├── API.md # Backend-API:er, Swagger-länkar
|
||||||
|
│ │ ├── FLUTTER.md # Flutter-specifik dokumentation
|
||||||
|
│ │ └── MICROSERVICES.md # Importer, AI, etc.
|
||||||
|
│ │
|
||||||
|
│ ├── 04-deploy/ # Driftsättning och underhåll
|
||||||
|
│ │ ├── DEPLOY.md # Steg-för-steg deploy
|
||||||
|
│ │ ├── MAINTENANCE.md # Underhållsskript, backup, monitorering
|
||||||
|
│ │ └── SCALING.md # Prestanda, skalning
|
||||||
|
│ │
|
||||||
|
│ ├── 05-features/ # Djupdyk i funktioner
|
||||||
|
│ │ ├── RECIPE_IMPORT.md # Kvittosimport och flyer-parsing
|
||||||
|
│ │ ├── CATEGORY_TREE.md # Kategorihantering och L3-integration
|
||||||
|
│ │ ├── SHOPPING_LIST.md # Inköpslistor och flyer-integration
|
||||||
|
│ │ └── ... # Övriga funktioner
|
||||||
|
│ │
|
||||||
|
│ └── 06-archive/ # Arkiverade dokument
|
||||||
|
│ ├── sessions/ # Gamla sessionsanteckningar
|
||||||
|
│ ├── legacy/ # Föråldrade planer
|
||||||
|
│ └── flutter_legacy/ # Gamla Flutter-dokument
|
||||||
|
│
|
||||||
|
├── .github/ # GitHub-specifika filer
|
||||||
|
│ ├── COPILOT_INSTRUCTIONS.md
|
||||||
|
│ └── ...
|
||||||
|
│
|
||||||
|
└── ... # Övriga projektfiler (backend/, flutter/, etc.)
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Migrationsplan
|
||||||
|
|
||||||
|
### Steg 1: Skapa den nya strukturen
|
||||||
|
```bash
|
||||||
|
mkdir -p docs/{01-overview,02-setup,03-development,04-deploy,05-features,06-archive/sessions,06-archive/legacy,06-archive/flutter_legacy}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Steg 2: Flytta och uppdatera filer
|
||||||
|
|
||||||
|
| Källfil(er) | Målfil | Åtgärd |
|
||||||
|
|---------------------------------------------|-----------------------------------------|------------------------------------------------------------------------|
|
||||||
|
| `TEKNISK_BESKRIVNING.md` | `docs/01-overview/ARCHITECTURE.md` | Extrahera arkitekturavsnitt. |
|
||||||
|
| `TEKNISK_BESKRIVNING.md` (deploy) | `docs/04-deploy/DEPLOY.md` | Extrahera deploy-avsnitt. |
|
||||||
|
| `TEKNISK_BESKRIVNING.md` (databas) | `docs/03-development/DATABASE.md` | Extrahera databasavsnitt + lägg till underhållsskript. |
|
||||||
|
| `flyerimporter.md` | `docs/05-features/RECIPE_IMPORT.md` | Uppdatera med nya flöden och API-endpoints. |
|
||||||
|
| `_archive/docs/flutter/*` | `docs/03-development/FLUTTER.md` | Slå samman och uppdatera Flutter-dokumentation. |
|
||||||
|
| `README.md` | `docs/01-overview/README.md` | Uppdatera med länkar till nya dokument. |
|
||||||
|
| `.github/copilot-instructions.md` | `.github/COPILOT_INSTRUCTIONS.md` | Flytta och uppdatera. |
|
||||||
|
| `_archive/docs/SESSION_*.md` | `docs/06-archive/sessions/` | Arkivera gamla sessionsanteckningar. |
|
||||||
|
| `MVP_CHECKLISTA.md` | `docs/06-archive/legacy/` | Arkivera föråldrade planer. |
|
||||||
|
|
||||||
|
### Steg 3: Skapa nya filer
|
||||||
|
|
||||||
|
| Fil | Syfte |
|
||||||
|
|-----------------------------|-----------------------------------------------------------------------|
|
||||||
|
| `docs/03-development/CONTRIBUTING.md` | Standardiserade bidragsregler (branches, PR, code review). |
|
||||||
|
| `docs/03-development/API.md` | Dokumentation av backend-API:er (OpenAPI-länkar, exempel). |
|
||||||
|
| `docs/03-development/MICROSERVICES.md` | Beskrivning av microservices (Importer, AI). |
|
||||||
|
| `docs/05-features/CATEGORY_TREE.md` | Djupdyk i kategorihantering och L3-integration. |
|
||||||
|
| `docs/04-deploy/MAINTENANCE.md` | Backup, monitorering, logghantering. |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Exempel på innehåll
|
||||||
|
|
||||||
|
### `docs/01-overview/ARCHITECTURE.md`
|
||||||
|
```markdown
|
||||||
|
# Systemarkitektur
|
||||||
|
|
||||||
|
```mermaid
|
||||||
|
graph TD
|
||||||
|
A[Flutter App] -->|HTTP/REST| B[Backend API]
|
||||||
|
B -->|Prisma Client| C[MariaDB]
|
||||||
|
B -->|gRPC| D[Importer Microservice]
|
||||||
|
D -->|HTTP| E[Externa API:er]
|
||||||
|
C -->|Seed| F[Initial Data]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Komponenter
|
||||||
|
1. **Flutter App**: State management med Riverpod, UI med Material Design.
|
||||||
|
2. **Backend API**: NestJS + Prisma, autentisering via JWT.
|
||||||
|
3. **Microservices**: Importer (Node.js + Puppeteer), AI (Python + Mistral).
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### `docs/03-development/DATABASE.md`
|
||||||
|
```markdown
|
||||||
|
# Databas
|
||||||
|
|
||||||
|
## Schema
|
||||||
|
```mermaid
|
||||||
|
erDiagram
|
||||||
|
User ||--o{ Recipe : creates
|
||||||
|
User ||--o{ InventoryItem : owns
|
||||||
|
Category ||--o{ Product : "L3"
|
||||||
|
FlyerSession ||--o{ FlyerItem : contains
|
||||||
|
```
|
||||||
|
|
||||||
|
## Migrationer
|
||||||
|
### Standardflöde
|
||||||
|
1. Uppdatera `prisma/schema.prisma`.
|
||||||
|
2. Skapa migration:
|
||||||
|
```bash
|
||||||
|
npx prisma migrate dev --name add_feature_x
|
||||||
|
```
|
||||||
|
3. Testa lokalt:
|
||||||
|
```bash
|
||||||
|
npx prisma migrate reset
|
||||||
|
npx prisma db seed
|
||||||
|
```
|
||||||
|
|
||||||
|
### Underhållsskript
|
||||||
|
- **Rensa databas** (behåll kategorier):
|
||||||
|
```bash
|
||||||
|
./deploy.sh --clean-database
|
||||||
|
```
|
||||||
|
> Obs! Uppdatera `prisma/maintenance/clean-database.sql` när nya tabeller läggs till.
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Fördelar
|
||||||
|
- **Lätt att hitta**: Logisk gruppering (t.ex. all Flutter-dokumentation på ett ställe).
|
||||||
|
- **Uppdaterad**: Arkiverade filer separerade från aktiv dokumentation.
|
||||||
|
- **Optimerad för språkmodeller**: Tydliga rubriker, länkar, och maskinläsbara format.
|
||||||
|
- **Underhållbar**: Modulär struktur gör det enkelt att uppdatera enskilda delar.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nästa steg
|
||||||
|
1. **Godkänn planen**: Bekräfta att strukturen uppfyller era behov.
|
||||||
|
2. **Implementera**: Skapa den nya strukturen och flytta filer stegvis.
|
||||||
|
3. **Uppdatera länkar**: Se till att alla referenser pekar på de nya platserna.
|
||||||
@@ -0,0 +1,118 @@
|
|||||||
|
# Plan: Anpassad multiplattformsplan for recipe-app
|
||||||
|
|
||||||
|
## Mal
|
||||||
|
Gora Flutter-klienten i `flutter/` till en riktig multiplattformsklient (web + Android + iOS) utan att bryta befintligt webbflode via Docker/Caddy, och med tydlig miljohantering for API-anrop pa mobil.
|
||||||
|
|
||||||
|
## Nulagesanalys (projektanpassad)
|
||||||
|
- Flutter-projektet ar i praktiken web-only just nu: `flutter/` saknar `android/` och `ios/`.
|
||||||
|
- Webbbygget ar redan etablerat och stabilt via Docker:
|
||||||
|
- `flutter/Dockerfile` bygger `flutter build web --dart-define=API_BASE_URL=/api`.
|
||||||
|
- `compose.flutter.yml` och `flutter/Caddyfile` proxar `/api/*` till `recipe-api:8080`.
|
||||||
|
- API-basurl hanteras redan med `--dart-define` (bra grund for multiplattform):
|
||||||
|
- `flutter/lib/core/api/api_client.dart`
|
||||||
|
- `flutter/lib/features/import/data/import_repository.dart`
|
||||||
|
- Token-lagring ar forberedd for mobil men inte implementerad:
|
||||||
|
- `flutter/lib/core/platform/token_storage.dart`
|
||||||
|
- `flutter/lib/core/platform/platform_providers.dart` (har TODO om secure storage).
|
||||||
|
|
||||||
|
## Viktig skillnad mot gamla planen
|
||||||
|
- Ingen hardkodad `Config.apiUrl` med fasta domaner ska inforas som huvudlosning.
|
||||||
|
- Projektet anvander redan `String.fromEnvironment('API_BASE_URL')`; vi behaller detta och utokar till mobil.
|
||||||
|
- Befintlig Docker-setup for web ska inte ersattas, bara kompletteras med mobil-byggflode.
|
||||||
|
|
||||||
|
## Foreslagen implementation
|
||||||
|
|
||||||
|
### Fas 1: Aktivera plattformsstommar utan att rora webdeploy
|
||||||
|
1. Skapa Android/iOS-mappar i `flutter/`:
|
||||||
|
- `flutter create --platforms android,ios .`
|
||||||
|
2. Verifiera att webfiler och befintliga Dart-filer inte overskrivs pa ett destruktivt satt.
|
||||||
|
3. Bekrafta att Docker-webbygget fortfarande fungerar oforandrat.
|
||||||
|
|
||||||
|
**Leverabel:** Projektet innehaller `flutter/android/` och `flutter/ios/` samtidigt som webflodet ar intakt.
|
||||||
|
|
||||||
|
### Fas 2: Plattformsaker konfiguration av API-basurl
|
||||||
|
1. Standardisera API-konfiguration kring en enda kontraktspunkt:
|
||||||
|
- Behall `API_BASE_URL` via `--dart-define`.
|
||||||
|
2. Satt tydliga miljoer:
|
||||||
|
- Web i Docker: `API_BASE_URL=/api` (som idag).
|
||||||
|
- Android emulator lokalt: t.ex. `http://10.0.2.2:8080/api` (vid lokal backend utan reverse proxy).
|
||||||
|
- Fysisk mobil/test/prod: publik HTTPS-url (doman som ar natbar utanfor Docker).
|
||||||
|
3. Se over alla direkta API-basar i Flutter-koden sa att de gar via samma pattern (inga hardkodade hostnamn).
|
||||||
|
|
||||||
|
**Leverabel:** Samma kodbas fungerar pa web och mobil genom miljoinjektering, inte forks av API-klient.
|
||||||
|
|
||||||
|
### Fas 3: Mobilanpassad auth/tokenlagring
|
||||||
|
1. Implementera `SecureTokenStorage` med `flutter_secure_storage` for mobil.
|
||||||
|
2. Uppdatera `platform_providers.dart` till plattformsval:
|
||||||
|
- Web -> befintlig `WebTokenStorage`.
|
||||||
|
- Android/iOS -> `SecureTokenStorage`.
|
||||||
|
3. Verifiera att inloggning/logout/session beter sig lika mellan web och mobil.
|
||||||
|
|
||||||
|
**Leverabel:** JWT lagras sakert pa mobil, befintligt webbeteende bibehalls.
|
||||||
|
|
||||||
|
### Fas 4: UI- och UX-hardning for mindre skarmar
|
||||||
|
1. Identifiera skarmar med hog informationsdensitet (admin/import/tabeller).
|
||||||
|
2. Lagg in responsiva brytpunkter med `LayoutBuilder`/`MediaQuery` dar det behovs.
|
||||||
|
3. Prioritera funktionellt minimum for mobil i forsta iteration:
|
||||||
|
- Login
|
||||||
|
- Inventarie
|
||||||
|
- Receptlista
|
||||||
|
- Grundlaggande importfloden
|
||||||
|
4. Markera admin-tunga vyer som sekundara om de inte ar mobilkritiska i fas 1.
|
||||||
|
|
||||||
|
**Leverabel:** Nyckelfloden ar anvandbara pa telefon utan horisontell overflow eller blockerande layoutfel.
|
||||||
|
|
||||||
|
### Fas 5: Build- och releaseflode (utan att blanda ihop med Docker-runtime)
|
||||||
|
1. Dokumentera separata kommandon:
|
||||||
|
- Web (befintligt): Docker/compose.
|
||||||
|
- Android: `flutter build apk --release` (och ev. `appbundle`).
|
||||||
|
- iOS: `flutter build ios --release` (kraver macOS/Xcode).
|
||||||
|
2. Behall principen: mobilappar kor inte i Docker; Docker far anvandas som byggmiljo dar det ar rimligt.
|
||||||
|
3. Om CI ska byggas senare: separera web-jobb och mobil-jobb for tydlighet.
|
||||||
|
|
||||||
|
**Leverabel:** Reproducerbar byggprocess for web och mobil med tydlig ansvarsskillnad.
|
||||||
|
|
||||||
|
### Fas 6: Test- och verifieringsplan
|
||||||
|
1. Statisk kvalitet:
|
||||||
|
- `flutter analyze`
|
||||||
|
- `flutter test`
|
||||||
|
2. Plattformsverifiering:
|
||||||
|
- Web via befintlig container
|
||||||
|
- Android emulator + fysisk enhet
|
||||||
|
- iOS simulator (pa macOS)
|
||||||
|
3. Natverksverifiering:
|
||||||
|
- Bekrafta att mobil kan na vald `API_BASE_URL` over HTTPS/CORS/proxyregler.
|
||||||
|
4. Regression:
|
||||||
|
- Inloggning, token-refresh/logout
|
||||||
|
- CRUD i inventarie/recept
|
||||||
|
- Importendpoints med storre payloads
|
||||||
|
|
||||||
|
**Leverabel:** Checklista med passerade verifieringspunkter innan distribution.
|
||||||
|
|
||||||
|
## Konkreta filer som sannolikt berors
|
||||||
|
- `flutter/pubspec.yaml` (nytt beroende for secure storage)
|
||||||
|
- `flutter/lib/core/platform/platform_providers.dart`
|
||||||
|
- `flutter/lib/core/platform/token_storage.dart` (ev. endast kontraktsjustering)
|
||||||
|
- Ny fil: `flutter/lib/core/platform/secure_token_storage.dart`
|
||||||
|
- Mobilplattformar som genereras: `flutter/android/**`, `flutter/ios/**`
|
||||||
|
- Dokumentation: `README.md` och/eller `TEKNISK_BESKRIVNING.md` (kommandon och miljoexempel)
|
||||||
|
|
||||||
|
## Risker och hantering
|
||||||
|
- iOS-bygg kan inte verifieras i Windows/Linux-miljo -> hanteras med separat macOS-steg.
|
||||||
|
- Hardkodade URL:er kan smyga sig in i featurekod -> hanteras med kodsok + central konfigpolicy.
|
||||||
|
- UI-regression pa web vid responsiva andringar -> hanteras med web-regressionstest av kritiska vyer.
|
||||||
|
|
||||||
|
## Prioriterad ordning for implementation
|
||||||
|
1. Fas 1 (plattformsstommar)
|
||||||
|
2. Fas 2 (API-konfiguration)
|
||||||
|
3. Fas 3 (secure token storage)
|
||||||
|
4. Fas 6 del 1 (analyze/test tidigt)
|
||||||
|
5. Fas 4 (mobil UI-hardning)
|
||||||
|
6. Fas 5 + Fas 6 slutlig verifiering och dokumentation
|
||||||
|
|
||||||
|
## Definition of Done
|
||||||
|
- Flutter-projektet bygger for web + android (och ios dar macOS finns).
|
||||||
|
- Mobil och web anvander samma API-konfigmodell via `--dart-define`.
|
||||||
|
- Mobil lagrar token sakert; webflodet ar oforandrat.
|
||||||
|
- Minst nyckelfloden login/inventarie/recept/import ar verifierade pa mobil.
|
||||||
|
- Dokumentationen beskriver exakt hur man bygger och kor respektive plattform i detta repo.
|
||||||
@@ -0,0 +1,134 @@
|
|||||||
|
# Session Checkpoint (2026-05-12)
|
||||||
|
|
||||||
|
> Föregående checkpoint: [SESSION_CHECKPOINT_2026-05-11.md](SESSION_CHECKPOINT_2026-05-11.md)
|
||||||
|
|
||||||
|
## Status
|
||||||
|
|
||||||
|
- Alla ändringar är lokalt implementerade och verifierade (tester gröna, inga type-fel, 0 npm-sårbarheter).
|
||||||
|
- Ej committat/pushat.
|
||||||
|
|
||||||
|
## Klart i denna session
|
||||||
|
|
||||||
|
### 1. Alias-scopehantering (admin kan höja privat → globalt)
|
||||||
|
|
||||||
|
**Backend (`receipt-alias`):**
|
||||||
|
- `UpdateReceiptAliasDto` utökat med `isGlobal?: boolean` (`@IsBoolean()`).
|
||||||
|
- `receipt-alias.service.ts`: `update()` hanterar scope-byte med:
|
||||||
|
- Admin-only-regel: vanlig användare → `ForbiddenException`.
|
||||||
|
- Global → privat utan owner → `BadRequestException`.
|
||||||
|
- Beräknar `nextIsGlobal` + `nextOwnerId` korrekt och sparar.
|
||||||
|
- Konfliktcheck baseras på nästa scope, inte gammalt.
|
||||||
|
|
||||||
|
**Admin-UI (`flutter/lib/features/admin/presentation/admin_aliases_panel.dart`):**
|
||||||
|
- Edit-dialog har scope-switch.
|
||||||
|
- Switch är **låst (disabled)** om aliaset redan är globalt — endast privat → global är möjligt.
|
||||||
|
- Subtitel förklarar läget dynamiskt.
|
||||||
|
- Bekräftelse-chip visas i listan i 6 sekunder efter genomförd scope-ändring.
|
||||||
|
- `_scopeChangedAliasId` / `_scopeChangedToGlobal` state-fält med Timer + dispose-cleanup.
|
||||||
|
|
||||||
|
**Admin repository (`flutter/lib/features/admin/data/admin_repository.dart`):**
|
||||||
|
- `updateReceiptAlias` tar emot `bool? isGlobal` och inkluderar det i PATCH-body.
|
||||||
|
|
||||||
|
**Tester (16/16 passerar):**
|
||||||
|
- `receipt-alias.service.spec.ts`: admin kan höja privat → global; användare blockeras; global → privat utan owner ger `BadRequestException`.
|
||||||
|
- `receipt-alias.security.spec.ts`: controller delegerar DTO med `isGlobal` korrekt.
|
||||||
|
|
||||||
|
### 2. Kategori-chip fallback
|
||||||
|
|
||||||
|
- Den gemensamma chip-buildern returnerar nu `SizedBox.shrink()` vid tom kategoriväg — "okänd"-chip visas inte längre i admin- eller importpaneler.
|
||||||
|
|
||||||
|
### 3. Beroendehärdning
|
||||||
|
|
||||||
|
**recipe-app backend:**
|
||||||
|
- Uppgraderat till **NestJS 11** (`@nestjs/common/core/platform-express/testing` 11.1.19, `@nestjs/jwt` 11.0.2, `@nestjs/passport` 11.0.5).
|
||||||
|
- `multer` uppgraderat till **2.1.1** (åtgärdar high-severity CVE i transitivt beroende).
|
||||||
|
- `@types/express` → **5.0.5**, `@nestjs/cli` → **11.0.21**, `@nestjs/schematics` → **11.1.0**.
|
||||||
|
- `jwt.strategy.ts`: fail-fast check för `JWT_SECRET` + typed `secretOrKey`.
|
||||||
|
- `JWT_SECRET: ci-test-secret` satt i CI-env i `.gitea/workflows/test.yml`.
|
||||||
|
- `npm audit --audit-level=high` = **0 sårbarheter**.
|
||||||
|
|
||||||
|
**microservice-importer backend:**
|
||||||
|
- Samma uppgradering till Nest 11 + multer 2.1.1 + `@types/express` 5.
|
||||||
|
- `npm audit --audit-level=high` = **0 sårbarheter**.
|
||||||
|
|
||||||
|
### 4. Quality-gate scripts
|
||||||
|
|
||||||
|
**recipe-app/backend/package.json** – nya scripts:
|
||||||
|
|
||||||
|
| Script | Syfte |
|
||||||
|
|---|---|
|
||||||
|
| `prisma:validate` | `prisma validate --schema prisma/schema.prisma` |
|
||||||
|
| `typecheck` | `tsc --noEmit` |
|
||||||
|
| `audit:high` | `npm audit --audit-level=high` |
|
||||||
|
| `quality:ci` | Kedja: validate → generate → typecheck → test → build → audit |
|
||||||
|
|
||||||
|
**recipe-app/.gitea/workflows/test.yml** – uppdateringar:
|
||||||
|
- Prisma-steg kör `npm run prisma:validate`.
|
||||||
|
- Audit-steg kör `npm run audit:high`.
|
||||||
|
- Nytt **Typecheck backend**-steg i PR-snabbjobb och push-fulljobb.
|
||||||
|
|
||||||
|
**microservice-importer/backend/package.json** – nya scripts:
|
||||||
|
|
||||||
|
| Script | Syfte |
|
||||||
|
|---|---|
|
||||||
|
| `typecheck` | `tsc --noEmit` |
|
||||||
|
| `audit:high` | `npm audit --audit-level=high` |
|
||||||
|
| `quality:ci` | Kedja: typecheck → build → audit |
|
||||||
|
|
||||||
|
**microservice-importer/.github/workflows/test.yml** – uppdateringar:
|
||||||
|
- `npm install` → `npm ci`.
|
||||||
|
- Prisma/test-steg ersatta med: typecheck → build → audit.
|
||||||
|
- `continue-on-error` borttagen från build.
|
||||||
|
|
||||||
|
## Ändrade filer (recipe-app)
|
||||||
|
|
||||||
|
- `backend/src/receipt-alias/dto/update-receipt-alias.dto.ts`
|
||||||
|
- `backend/src/receipt-alias/receipt-alias.service.ts`
|
||||||
|
- `backend/src/receipt-alias/receipt-alias.service.spec.ts`
|
||||||
|
- `backend/src/receipt-alias/receipt-alias.security.spec.ts`
|
||||||
|
- `backend/src/auth/jwt.strategy.ts`
|
||||||
|
- `backend/package.json`
|
||||||
|
- `backend/package-lock.json`
|
||||||
|
- `.gitea/workflows/test.yml`
|
||||||
|
- `flutter/lib/features/admin/data/admin_repository.dart`
|
||||||
|
- `flutter/lib/features/admin/presentation/admin_aliases_panel.dart`
|
||||||
|
- `TEKNISK_BESKRIVNING.md`
|
||||||
|
- `NEXT_STEPS.md`
|
||||||
|
- `_archive/docs/SESSION_CHECKPOINT_2026-05-12.md` (denna fil)
|
||||||
|
|
||||||
|
## Ändrade filer (microservice-importer)
|
||||||
|
|
||||||
|
- `backend/package.json`
|
||||||
|
- `.github/workflows/test.yml`
|
||||||
|
- `TEKNISK_BESKRIVNING.md`
|
||||||
|
- `next_steps_MSImporter.md`
|
||||||
|
|
||||||
|
## Snabb återstart nästa gång
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Verifiera status
|
||||||
|
cd recipe-app/backend
|
||||||
|
npm run quality:ci
|
||||||
|
|
||||||
|
cd ../../microservice-importer/backend
|
||||||
|
npm run quality:ci
|
||||||
|
```
|
||||||
|
|
||||||
|
Flutter-analys:
|
||||||
|
```bash
|
||||||
|
cd recipe-app/flutter
|
||||||
|
flutter analyze lib/features/admin/presentation/admin_aliases_panel.dart
|
||||||
|
```
|
||||||
|
|
||||||
|
Alias-tester:
|
||||||
|
```bash
|
||||||
|
cd recipe-app/backend
|
||||||
|
npm test -- src/receipt-alias/receipt-alias.service.spec.ts src/receipt-alias/receipt-alias.security.spec.ts --runInBand
|
||||||
|
```
|
||||||
|
|
||||||
|
## Nästa rekommenderade steg
|
||||||
|
|
||||||
|
1. Commit och push av samtliga lokala ändringar.
|
||||||
|
2. Deploy till produktionsmiljö och verifiera alias-flöde med riktiga kvitton.
|
||||||
|
3. Manuell verifiering: admin kan höja privat → globalt via UI; vanlig användare kan inte.
|
||||||
|
4. Widgettester för alias-panelens switch (privat → global, disabled-state om globalt).
|
||||||
@@ -0,0 +1,87 @@
|
|||||||
|
# Session Checkpoint (2026-05-21)
|
||||||
|
|
||||||
|
> Föregående checkpoint: [SESSION_CHECKPOINT_2026-05-12.md](SESSION_CHECKPOINT_2026-05-12.md)
|
||||||
|
|
||||||
|
## Status
|
||||||
|
|
||||||
|
- Arbetsytan är ren (`git status --short` gav ingen output).
|
||||||
|
- Kritiska build-blockers för Flutter-l10n är åtgärdade.
|
||||||
|
- Backend build + backend tester + Flutter tester verifierade gröna i denna session.
|
||||||
|
|
||||||
|
## Klart i denna session
|
||||||
|
|
||||||
|
### 1. Felsökning och fix av Docker-fel i Flutter `gen-l10n`
|
||||||
|
|
||||||
|
**Problem:** Docker-bygg kraschade vid `flutter gen-l10n` p.g.a. ogiltig ARB-JSON och konflikt i locale-filer.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- `flutter/lib/l10n/app_en.arb` reparerad (felaktig JSON-struktur, saknade/utanförliggande nycklar).
|
||||||
|
- Krock mellan engelska locale-filer hanterad (dubbla `en`-källor var en del av tidigare felsymptom).
|
||||||
|
- `flutter gen-l10n` kördes om utan formatteringsfel.
|
||||||
|
|
||||||
|
### 2. Fix av Flutter test-fel: saknad l10n-nyckel `required`
|
||||||
|
|
||||||
|
**Problem:** `flutter test` föll på:
|
||||||
|
- `The getter 'required' isn't defined for the type 'AppLocalizations'`
|
||||||
|
- fel i `lib/features/admin/presentation/admin_users_panel.dart`.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Återställde saknade nycklar i `flutter/lib/l10n/app_en.arb`:
|
||||||
|
- `required`
|
||||||
|
- `logoutAction`
|
||||||
|
- `adminAiDescription`
|
||||||
|
- `adminPagePrefix`
|
||||||
|
- Synkade svenska ARB-filen och la till saknad nyckel:
|
||||||
|
- `profileDatabaseDescription`
|
||||||
|
- Regenererade lokaliseringar med `flutter gen-l10n`.
|
||||||
|
|
||||||
|
### 3. Kvalitetsverifiering
|
||||||
|
|
||||||
|
Körda verifieringar:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# Backend
|
||||||
|
cd backend
|
||||||
|
npm run build
|
||||||
|
npm run test
|
||||||
|
|
||||||
|
# Flutter
|
||||||
|
cd ../flutter
|
||||||
|
flutter gen-l10n
|
||||||
|
flutter test --reporter compact
|
||||||
|
```
|
||||||
|
|
||||||
|
**Resultat:**
|
||||||
|
- Backend build: OK
|
||||||
|
- Backend tests: OK (29/29 suites, 245/245 tester)
|
||||||
|
- Flutter tests: OK (alla passerar)
|
||||||
|
|
||||||
|
## Viktig kontext inför nästa session
|
||||||
|
|
||||||
|
- Root-varningen från Flutter i Docker (`trying to run flutter as root`) är en varning och blockerar inte i sig.
|
||||||
|
- Den blockerande orsaken var ARB/l10n-konsistens, inte root-varningen.
|
||||||
|
- Nuvarande l10n-läge är stabilt efter regeneration.
|
||||||
|
|
||||||
|
## Rekommenderad snabbstart imorgon
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 1) Verifiera ren arbetsyta
|
||||||
|
git status --short
|
||||||
|
|
||||||
|
# 2) Reprova hela lokala verifieringen
|
||||||
|
cd backend
|
||||||
|
npm run build && npm run test
|
||||||
|
|
||||||
|
cd ../flutter
|
||||||
|
flutter gen-l10n
|
||||||
|
flutter test --reporter compact
|
||||||
|
|
||||||
|
# 3) Om allt är grönt, kör deploy/build-pipeline igen
|
||||||
|
```
|
||||||
|
|
||||||
|
## Ändrade filer i denna session (huvudsakligen)
|
||||||
|
|
||||||
|
- `flutter/lib/l10n/app_en.arb`
|
||||||
|
- `flutter/lib/l10n/app_sv.arb`
|
||||||
|
- genererade l10n-filer under `flutter/lib/l10n/generated/*`
|
||||||
|
- mindre korrigeringar i backend-test/service under felsökningen, slutläge verifierat grönt.
|
||||||
@@ -3,7 +3,7 @@
|
|||||||
Detta dokument ar for anvandare och operativa testare.
|
Detta dokument ar for anvandare och operativa testare.
|
||||||
Har beskriver vi vad som fungerar i Flutter-klienten och hur den anvands i praktiken.
|
Har beskriver vi vad som fungerar i Flutter-klienten och hur den anvands i praktiken.
|
||||||
|
|
||||||
## Dokumentstatus (2026-05-03)
|
## Dokumentstatus (2026-05-19)
|
||||||
|
|
||||||
- Fokus: anvandarflode, inte implementation.
|
- Fokus: anvandarflode, inte implementation.
|
||||||
- Teknisk detaljniva finns i `teknisk_beskrivning_flutter.md`.
|
- Teknisk detaljniva finns i `teknisk_beskrivning_flutter.md`.
|
||||||
@@ -14,12 +14,14 @@ Har beskriver vi vad som fungerar i Flutter-klienten och hur den anvands i prakt
|
|||||||
Flutter-webben ar en klient for Recipe App som kors i Docker och exponeras via Caddy.
|
Flutter-webben ar en klient for Recipe App som kors i Docker och exponeras via Caddy.
|
||||||
Den anvands parallellt med Next-frontenden under migrering och verifiering.
|
Den anvands parallellt med Next-frontenden under migrering och verifiering.
|
||||||
|
|
||||||
## Senaste forbattringar
|
## Senaste forbattringar
|
||||||
|
|
||||||
- Kvittoimportens granskningsflode ar klart och stabiliserat.
|
- Kvittoimportens granskningsflode ar klart och stabiliserat.
|
||||||
- Pagande kvittoimport sparas i klientens session och kan atertas efter refresh/navigation.
|
- Pagande kvittoimport sparas i klientens session och kan atertas efter refresh/navigation.
|
||||||
- Tolkning av antal/forpackning i kvittorader ar forbattrad, inklusive format som `2st`.
|
- Tolkning av antal/forpackning i kvittorader ar forbattrad, inklusive format som `2st`.
|
||||||
- AI-kategoriforslag och produktforslag visas separerat for tydligare val.
|
- AI-kategoriforslag och produktforslag visas separerat for tydligare val.
|
||||||
|
- Flyerimport har nu sessionpersistens med lattviktig cache (`sessionId`, filnamn, valda rader).
|
||||||
|
- Flyer-tabben hydrerar tillstand via backend-sessioner vid aterbesok och app-omstart.
|
||||||
|
|
||||||
## Aktuella anvandarfloden
|
## Aktuella anvandarfloden
|
||||||
|
|
||||||
@@ -46,8 +48,6 @@ Den anvands parallellt med Next-frontenden under migrering och verifiering.
|
|||||||
- `teknisk_beskrivning_flutter.md` - teknisk referens for drift/utveckling.
|
- `teknisk_beskrivning_flutter.md` - teknisk referens for drift/utveckling.
|
||||||
- `../README.md` - overgripande produktinformation.
|
- `../README.md` - overgripande produktinformation.
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
## Notering
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
Aktiv och detaljerad status for Flutter-sparet finns i rotens dokumentation och i teknisk Flutter-dokumentation i samma katalog.
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|||||||
@@ -3,22 +3,24 @@
|
|||||||
Detta dokument ar Flutter-teamets roadmap och prioriteringslista.
|
Detta dokument ar Flutter-teamets roadmap och prioriteringslista.
|
||||||
All historik och implementationdetaljer finns i `teknisk_beskrivning_flutter.md`.
|
All historik och implementationdetaljer finns i `teknisk_beskrivning_flutter.md`.
|
||||||
|
|
||||||
## Dokumentstatus (2026-05-03)
|
## Dokumentstatus (2026-05-19)
|
||||||
|
|
||||||
- Fokus: aktiv planering framat.
|
- Fokus: aktiv planering framat.
|
||||||
- Endast en roadmap for Flutter for att undvika dubbletter.
|
- Endast en roadmap for Flutter for att undvika dubbletter.
|
||||||
|
|
||||||
## Klart senaste sessionerna
|
## Klart senaste sessionerna
|
||||||
|
|
||||||
|
- Fas 6b: granskningsflode for kvittoimport (edit, destination, merge, spara).
|
||||||
|
- Fas 6c: separering av AI-kategorichip och produktforslagschip.
|
||||||
|
- Fas 6d: klientpersistens for pagande kvittoimport + forbattrad antal/forpackningsinferens.
|
||||||
|
- Flyerimport: sessionpersistens i klient och backend-hydrering via sessions-endpoints.
|
||||||
|
|
||||||
- Fas 6b: granskningsflode for kvittoimport (edit, destination, merge, spara).
|
## Pagande arbete
|
||||||
- Fas 6c: separering av AI-kategorichip och produktforslagschip.
|
|
||||||
- Fas 6d: klientpersistens for pagande kvittoimport + forbattrad antal/forpackningsinferens.
|
- Robust bildimport och diagnostik i drift.
|
||||||
|
- Aliasstrategi i kvittoimport (hybrid user-scope + global fallback via admin).
|
||||||
## Pagande arbete
|
- Utokad adminfunktionalitet i Flutter-sparet.
|
||||||
|
- E2E-verifiering av flyerimport: tab-byte, refresh och app-omstart i staging.
|
||||||
- Robust bildimport och diagnostik i drift.
|
|
||||||
- Aliasstrategi i kvittoimport (hybrid user-scope + global fallback via admin).
|
|
||||||
- Utokad adminfunktionalitet i Flutter-sparet.
|
|
||||||
|
|
||||||
## Prioriterade nasta steg
|
## Prioriterade nasta steg
|
||||||
|
|
||||||
@@ -34,11 +36,11 @@ All historik och implementationdetaljer finns i `teknisk_beskrivning_flutter.md`
|
|||||||
- AI-guiding labels ("Denna rad matchade mejeri automatiskt")
|
- AI-guiding labels ("Denna rad matchade mejeri automatiskt")
|
||||||
- Implementering: ~8h
|
- Implementering: ~8h
|
||||||
|
|
||||||
2. Verifiera bildimport och felhantering end-to-end i testmiljo.
|
2. Verifiera bildimport och felhantering end-to-end i testmiljo.
|
||||||
3. Implementera alias-inlarning vid manuell korrigering i importflodet.
|
3. Implementera alias-inlarning vid manuell korrigering i importflodet.
|
||||||
4. Forbattra UI/UX i granskningsfloden for kvittoimport.
|
4. Forbattra UI/UX i granskningsfloden for kvittoimport.
|
||||||
5. Fortsatt migrering av kvarvarande adminfloden.
|
5. Fortsatt migrering av kvarvarande adminfloden.
|
||||||
6. Lokalisera kvarvarande delar i import- och inventarievyer.
|
6. Lokalisera kvarvarande delar i import- och inventarievyer.
|
||||||
|
|
||||||
## Viktiga beslut
|
## Viktiga beslut
|
||||||
|
|
||||||
@@ -52,20 +54,7 @@ All historik och implementationdetaljer finns i `teknisk_beskrivning_flutter.md`
|
|||||||
- `teknisk_beskrivning_flutter.md` - teknisk referens.
|
- `teknisk_beskrivning_flutter.md` - teknisk referens.
|
||||||
- `../NEXT_STEPS.md` - overgripande roadmap for hela produkten.
|
- `../NEXT_STEPS.md` - overgripande roadmap for hela produkten.
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
## Notering
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
Denna fil ar arkiv/planunderlag for Flutter-sparet. Primar status och prioritering finns i rotens `NEXT_STEPS.md`.
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
|
||||||
|
|||||||
@@ -1,52 +1,157 @@
|
|||||||
# Plan for produktlansering
|
# Plan för produktlansering
|
||||||
|
|
||||||
Detta dokument ar en releasechecklista.
|
Detta dokument är en releasechecklista.
|
||||||
Det kompletterar `NEXT_STEPS.md` och ska inte duplicera backloggen.
|
Det kompletterar `NEXT_STEPS.md` och ska inte duplicera backloggen.
|
||||||
|
|
||||||
## Dokumentstatus (2026-05-03)
|
## Dokumentstatus (2026-05-21)
|
||||||
|
|
||||||
- Malgrupp: produktagare, systemadministratorer, utvecklingsteam.
|
- Målgrupp: produktägare, systemadministratörer, utvecklingsteam.
|
||||||
- Fokus: vad som maste vara verifierat innan release.
|
- Fokus: vad som måste vara verifierat innan release.
|
||||||
|
|
||||||
## 1. Sakerhet och data
|
## 1. Säkerhet och dataskydd
|
||||||
|
|
||||||
- [ ] Kansliga uppgifter krypterade enligt beslutad modell.
|
- [ ] Känsliga uppgifter krypterade enligt beslutad modell.
|
||||||
- [ ] Rate limiting aktiv pa relevanta API/AI-endpoints.
|
- [ ] Rate limiting aktiv på relevanta API/AI-endpoints.
|
||||||
- [ ] Secret-hantering verifierad (inga hardkodade hemligheter).
|
- [ ] Secret-hantering verifierad (inga hardkodade hemligheter).
|
||||||
- [ ] Roll- och accesskontroller testade i praktiken.
|
- [ ] Roll- och accesskontroller testade i praktiken.
|
||||||
|
- [ ] Migrera autentisering från `localStorage` till `httpOnly`-cookies i Flutter Web.
|
||||||
## 2. DevOps och stabilitet
|
- [ ] Implementera automatiserad datarensning för `AiTrace` (retention-policy).
|
||||||
|
- [ ] Utför penetrationstest för IDOR och XSS.
|
||||||
- [ ] CI/CD for build, test och deploy pa plats.
|
- [ ] Dokumentera GDPR-processer (t.ex. rätt att glömmas, dataportabilitet).
|
||||||
- [ ] Migreringar + seedning kor konsekvent vid release.
|
|
||||||
- [ ] Health checks och loggning verifierade.
|
## 2. DevOps och stabilitet
|
||||||
- [ ] Backup/restore testad for datavolymer.
|
|
||||||
|
- [ ] CI/CD för build, test och deploy på plats.
|
||||||
## 3. Kvalitet och test
|
- [ ] Migreringar + seedning kör konsekvent vid release.
|
||||||
|
- [ ] Health checks och loggning verifierade.
|
||||||
- [ ] Kritiska floden har testtackning (auth, import, CRUD, AI).
|
- [ ] Backup/restore testad för datavolymer.
|
||||||
- [ ] Minst en end-to-end verifiering i testmiljo per release.
|
|
||||||
- [ ] DTO-validering och felhantering kontrollerad.
|
## 3. Kvalitet och test
|
||||||
|
|
||||||
## 4. Funktionell releaseklarhet
|
- [ ] Kritiska flöden har testtäckning (auth, import, CRUD, AI).
|
||||||
|
- [ ] Minst en end-to-end verifiering i testmiljö per release.
|
||||||
- [ ] Kvittoimport fungerar end-to-end med granskningssteg.
|
- [ ] DTO-validering och felhantering kontrollerad.
|
||||||
- [ ] User-scoped produktmodell verifierad med flera testanvandare.
|
- [ ] Skapa E2E-tester för flyer- och kvittoimport (t.ex. Cypress eller Playwright).
|
||||||
- [ ] Kategoritrad seedat och validerat i aktuell miljo.
|
- [ ] Validera OCR-korrigeringar med ett större dataset.
|
||||||
- [ ] Bildimport och fallbackfloden fungerar i driftmiljo.
|
|
||||||
|
## 4. Funktionell releaseklarhet
|
||||||
## 5. Riskhantering
|
|
||||||
|
- [ ] Kvittoimport fungerar end-to-end med granskningsteg.
|
||||||
- [ ] AI-kostnad, timeout och fallback beteende verifierat.
|
- [ ] User-scoped produktmodell verifierad med flera testanvändare.
|
||||||
- [ ] Ingen osynk mellan migrationer och seedskript.
|
- [ ] Kategoriträd seedat och validerat i aktuell miljö.
|
||||||
- [ ] Kanda release-risker dokumenterade med ansvarig agare.
|
- [ ] Bildimport och fallbackflöde fungerar i driftmiljö.
|
||||||
|
- [ ] Genomför manuell testning av aliasflödet med riktiga kvitton.
|
||||||
## Relaterade dokument
|
- [ ] Test sessionhydrering i olika scenarier (t.ex. flikbyte, app-krasch).
|
||||||
|
|
||||||
- `NEXT_STEPS.md` - overgripande prioriteringar.
|
## 5. Riskhantering
|
||||||
- `TEKNISK_BESKRIVNING.md` - teknisk implementation.
|
|
||||||
- `flutter/next_steps_flutter.md` - Flutter-specifik leveransplan.
|
- [ ] AI-kostnad, timeout och fallback-beteende verifierat.
|
||||||
|
- [ ] Ingen osynk mellan migrationer och seedskript.
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
- [ ] Kända release-risker dokumenterade med ansvarig ägare.
|
||||||
|
- [ ] Implementera adaptiv retry-logik med exponentiell backoff för AI-anrop.
|
||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
- [ ] Lägg till kostnadsgränser och varningar i `AiTraceService`.
|
||||||
|
- [ ] Dokumentera fallback-beteende (t.ex. cache, manuell granskning).
|
||||||
|
|
||||||
|
## 6. Prestanda och skalbarhet
|
||||||
|
|
||||||
|
- [ ] Optimera Prisma-frågor med `EXPLAIN ANALYZE` och indexering.
|
||||||
|
- [ ] Implementera virtuell scrollning i Flutter för stora listor.
|
||||||
|
- [ ] Dokumentera belastningsgränser för `importer-api` och planera för skalning.
|
||||||
|
- [ ] Lägg till Redis-cache för vanliga frågor (t.ex. produkt-sökning).
|
||||||
|
|
||||||
|
## 7. Dokumentation och användarstöd
|
||||||
|
|
||||||
|
- [ ] Skapa admin-handbok med vanliga arbetsflöden.
|
||||||
|
- [ ] Förbättra felmeddelanden i UI med tydliga instruktioner.
|
||||||
|
- [ ] Utöka `HelpTextsModule` med kontextuella guider för alla huvudfunktioner.
|
||||||
|
- [ ] Generera OpenAPI-specifikation för backend (t.ex. med `@nestjs/swagger`).
|
||||||
|
|
||||||
|
## Relaterade dokument
|
||||||
|
|
||||||
|
- `NEXT_STEPS.md` — övergripande prioriteringar.
|
||||||
|
- `TEKNISK_BESKRIVNING.md` — teknisk implementation.
|
||||||
|
- `flutter/next_steps_flutter.md` — Flutter-specifik leveransplan.
|
||||||
|
- `MVP_CHECKLISTA.md` — testchecklista för MVP.
|
||||||
|
|
||||||
|
## Kritiska utvecklingsområden
|
||||||
|
|
||||||
|
### 1. Säkerhet och dataskydd (Högsta prioritet)
|
||||||
|
**Motivering:**
|
||||||
|
- Känsliga uppgifter (t.ex. JWT i localStorage) och AI-trace-loggar innehåller maskerade men potentiellt känsliga uppgifter.
|
||||||
|
- Risk för XSS-attacker och IDOR om inte åtgärdat.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Migrera autentisering till `httpOnly`-cookies.
|
||||||
|
- Implementera automatiserad datarensning för `AiTrace`.
|
||||||
|
- Utför penetrationstester.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 2. Stabilitet i AI-integration (Hög prioritet)
|
||||||
|
**Motivering:**
|
||||||
|
- Timeout och retry-logik kan leda till 503-fel.
|
||||||
|
- Saknad kostnadskontroll för AI-anrop.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Implementera adaptiv retry-logik.
|
||||||
|
- Lägg till kostnadsgränser i `AiTraceService`.
|
||||||
|
- Dokumentera fallback-beteende.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 3. Sluttestning av importflöden (Hög prioritet)
|
||||||
|
**Motivering:**
|
||||||
|
- Alias-strategin och sessionhydrering är ej fullt testade.
|
||||||
|
- Saknas E2E-tester för hela importflödet.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Genomför manuell testning med riktiga kvitton.
|
||||||
|
- Skapa E2E-tester.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 4. Prestanda och skalbarhet (Medel prioritet)
|
||||||
|
**Motivering:**
|
||||||
|
- Långsamma Prisma-frågor och renderingsproblem i Flutter-UI.
|
||||||
|
- Saknad caching-strategi.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Optimera databasfrågor.
|
||||||
|
- Implementera virtuell scrollning.
|
||||||
|
- Lägg till Redis-cache.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 5. Dokumentation och användarstöd (Medel prioritet)
|
||||||
|
**Motivering:**
|
||||||
|
- Saknas admin-guider och tydliga felmeddelanden.
|
||||||
|
- Begränsat innehåll i `HelpTextsModule`.
|
||||||
|
|
||||||
|
**Åtgärder:**
|
||||||
|
- Skapa admin-handbok.
|
||||||
|
- Utöka hjälptexter.
|
||||||
|
- Generera OpenAPI-dokumentation.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Prioriteringsordning
|
||||||
|
|
||||||
|
| **Område** | **Prioritet** | **Berörda filer/dokument** |
|
||||||
|
|---------------------------------|---------------|-----------------------------------------------------|
|
||||||
|
| 1. Säkerhet och dataskydd | ⭐⭐⭐⭐⭐ | `TEKNISK_BESKRIVNING.md`, `flutter/.../auth/` |
|
||||||
|
| 2. Stabilitet i AI-integration | ⭐⭐⭐⭐ | `flyerimporter.md`, `backend/src/ai/` |
|
||||||
|
| 3. Sluttestning av importflöden | ⭐⭐⭐⭐ | `MVP_CHECKLISTA.md`, `NEXT_STEPS.md` |
|
||||||
|
| 4. Prestanda och skalbarhet | ⭐⭐⭐ | `backend/src/flyer-import/`, `flutter/lib/admin/` |
|
||||||
|
| 5. Dokumentation och stöd | ⭐⭐ | `README.md`, `HelpTextsModule`, `backend/src/ai/` |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Nästa steg
|
||||||
|
|
||||||
|
1. Låsa säkerhetsbristerna (särskilt autentisering och dataskydd).
|
||||||
|
2. Stabilisera AI-integration med bättre felhantering och kostnadskontroll.
|
||||||
|
3. Kör sluttestning av importflöden och rätta eventuella regressioner.
|
||||||
|
4. Optimera prestanda i databas och UI.
|
||||||
|
5. Förbättra dokumentationen för admin och slutanvändare.
|
||||||
|
|
||||||
|
Dessa åtgärder säkerställer en **stabil, säker och användarvänlig lansering**.
|
||||||
@@ -1 +1,5 @@
|
|||||||
## 2026-05-10: Admin-inventarie (CRUD, merge, filter, sortering, preview, säkerhet), user-scope, IDOR-skydd, säkerhetshärdning, optimeringar och utökad testtäckning är nu genomförda och dokumenterade i README, TEKNISK_BESKRIVNING, SÄKERHETSHÄRDNINGSPLAN och SESSIONLOGGAR.
|
## Arkiverad frontend-dokumentation
|
||||||
|
|
||||||
|
- Den aktiva dokumentationen finns i rotens `README.md`, `TEKNISK_BESKRIVNING.md` och `NEXT_STEPS.md`.
|
||||||
|
- Senaste uppdatering (2026-05-19): flyerimport har session-endpoints i backend och klientpersistens/hydrering i Flutter.
|
||||||
|
- Denna fil behålls endast som arkivreferens för äldre frontend-spår.
|
||||||
|
|||||||
@@ -0,0 +1 @@
|
|||||||
|
min-release-age=1
|
||||||
+2
-2
@@ -17,7 +17,7 @@ COPY prisma ./prisma
|
|||||||
COPY src ./src
|
COPY src ./src
|
||||||
COPY tsconfig.json nest-cli.json ./
|
COPY tsconfig.json nest-cli.json ./
|
||||||
RUN ./node_modules/.bin/prisma generate
|
RUN ./node_modules/.bin/prisma generate
|
||||||
RUN npm test
|
RUN npm test -- --runInBand
|
||||||
RUN npm run build
|
RUN npm run build
|
||||||
|
|
||||||
# Stage 3: Kör applikationen
|
# Stage 3: Kör applikationen
|
||||||
@@ -31,4 +31,4 @@ COPY --from=builder /app/prisma ./prisma
|
|||||||
COPY --from=builder /app/dist ./dist
|
COPY --from=builder /app/dist ./dist
|
||||||
|
|
||||||
EXPOSE 8080
|
EXPOSE 8080
|
||||||
CMD ["sh", "-c", "until ./node_modules/.bin/prisma migrate deploy; do echo 'Migration failed, retrying in 5s...'; sleep 5; done && node dist/main"]
|
CMD ["sh", "-c", "if [ \"${SKIP_MIGRATION:-false}\" != \"true\" ]; then echo 'Running automatic Prisma migration...'; until ./node_modules/.bin/prisma migrate deploy --schema prisma/schema.prisma; do echo 'Migration failed, retrying in 5s...'; sleep 5; done; else echo 'Skipping automatic Prisma migration (SKIP_MIGRATION=true).'; fi && node dist/main"]
|
||||||
|
|||||||
@@ -0,0 +1,26 @@
|
|||||||
|
import tseslint from '@typescript-eslint/eslint-plugin';
|
||||||
|
import tsParser from '@typescript-eslint/parser';
|
||||||
|
|
||||||
|
export default [
|
||||||
|
{
|
||||||
|
ignores: ['dist/**', 'node_modules/**'],
|
||||||
|
},
|
||||||
|
{
|
||||||
|
files: ['src/**/*.ts'],
|
||||||
|
languageOptions: {
|
||||||
|
parser: tsParser,
|
||||||
|
parserOptions: {
|
||||||
|
sourceType: 'module',
|
||||||
|
},
|
||||||
|
},
|
||||||
|
plugins: {
|
||||||
|
'@typescript-eslint': tseslint,
|
||||||
|
},
|
||||||
|
rules: {
|
||||||
|
'@typescript-eslint/no-unused-vars': [
|
||||||
|
'warn',
|
||||||
|
{ argsIgnorePattern: '^_', varsIgnorePattern: '^_' },
|
||||||
|
],
|
||||||
|
},
|
||||||
|
},
|
||||||
|
];
|
||||||
Generated
+3598
-1916
File diff suppressed because it is too large
Load Diff
+33
-14
@@ -7,49 +7,65 @@
|
|||||||
"start": "node dist/main",
|
"start": "node dist/main",
|
||||||
"start:dev": "nest start --watch",
|
"start:dev": "nest start --watch",
|
||||||
"prisma:generate": "prisma generate",
|
"prisma:generate": "prisma generate",
|
||||||
|
"prisma:validate": "prisma validate --schema prisma/schema.prisma",
|
||||||
"prisma:migrate": "prisma migrate dev",
|
"prisma:migrate": "prisma migrate dev",
|
||||||
"prisma:deploy": "prisma migrate deploy",
|
"prisma:deploy": "prisma migrate deploy",
|
||||||
|
"typecheck": "tsc --noEmit",
|
||||||
|
"lint": "eslint \"src/**/*.ts\"",
|
||||||
|
"audit:high": "npm audit --audit-level=high",
|
||||||
|
"quality:ci": "npm run prisma:validate && npm run prisma:generate && npm run typecheck && npm run lint && npm test && npm run build && npm run audit:high",
|
||||||
"test": "jest",
|
"test": "jest",
|
||||||
"test:watch": "jest --watch"
|
"test:watch": "jest --watch"
|
||||||
},
|
},
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
"@nestjs/common": "^10.3.0",
|
"@mistralai/mistralai": "^0.5.0",
|
||||||
"@nestjs/core": "^10.3.0",
|
"@nestjs/common": "^11.1.19",
|
||||||
"@nestjs/jwt": "^10.2.0",
|
"@nestjs/core": "^11.1.19",
|
||||||
"@nestjs/passport": "^10.0.3",
|
"@nestjs/jwt": "^11.0.2",
|
||||||
"@nestjs/platform-express": "^10.3.0",
|
"@nestjs/passport": "^11.0.5",
|
||||||
|
"@nestjs/platform-express": "^11.1.19",
|
||||||
|
"@nestjs/schedule": "^6.1.3",
|
||||||
"@nestjs/throttler": "^6.4.0",
|
"@nestjs/throttler": "^6.4.0",
|
||||||
"@prisma/client": "6.12.0",
|
"@prisma/client": "6.12.0",
|
||||||
"bcryptjs": "^2.4.3",
|
"bcryptjs": "^2.4.3",
|
||||||
"class-transformer": "^0.5.1",
|
"class-transformer": "^0.5.1",
|
||||||
"class-validator": "^0.15.1",
|
"class-validator": "^0.15.1",
|
||||||
"helmet": "^8.0.0",
|
"helmet": "^8.0.0",
|
||||||
"multer": "^1.4.5-lts.2",
|
"multer": "^2.1.1",
|
||||||
"passport": "^0.7.0",
|
"passport": "^0.7.0",
|
||||||
"passport-jwt": "^4.0.1",
|
"passport-jwt": "^4.0.1",
|
||||||
|
"pdf-parse": "^1.1.1",
|
||||||
"prisma": "6.12.0",
|
"prisma": "6.12.0",
|
||||||
"reflect-metadata": "^0.2.2",
|
"reflect-metadata": "^0.2.2",
|
||||||
"rxjs": "^7.8.1",
|
"rxjs": "^7.8.1",
|
||||||
"sharp": "^0.33.5",
|
"sharp": "^0.33.5",
|
||||||
|
"tesseract.js": "^5.1.1",
|
||||||
"uuid": "^11.1.0"
|
"uuid": "^11.1.0"
|
||||||
},
|
},
|
||||||
"devDependencies": {
|
"devDependencies": {
|
||||||
"@nestjs/cli": "^10.3.0",
|
"@nestjs/cli": "^11.0.21",
|
||||||
"@nestjs/schematics": "^10.1.1",
|
"@nestjs/schematics": "^11.1.0",
|
||||||
"@nestjs/testing": "^10.3.0",
|
"@nestjs/testing": "^11.1.19",
|
||||||
"@types/bcryptjs": "^2.4.6",
|
"@types/bcryptjs": "^2.4.6",
|
||||||
"@types/express": "^4.17.21",
|
"@types/express": "^5.0.5",
|
||||||
"@types/jest": "^29.5.14",
|
"@types/jest": "^30.0.0",
|
||||||
"@types/multer": "^1.4.12",
|
"@types/multer": "^1.4.12",
|
||||||
"@types/node": "^22.15.29",
|
"@types/node": "^22.19.19",
|
||||||
"@types/passport-jwt": "^4.0.1",
|
"@types/passport-jwt": "^4.0.1",
|
||||||
|
"@types/pdf-parse": "^1.1.5",
|
||||||
"@types/supertest": "^7.2.0",
|
"@types/supertest": "^7.2.0",
|
||||||
"@types/uuid": "^10.0.0",
|
"@types/uuid": "^10.0.0",
|
||||||
"jest": "^29.7.0",
|
"@typescript-eslint/eslint-plugin": "^8.46.2",
|
||||||
|
"@typescript-eslint/parser": "^8.46.2",
|
||||||
|
"eslint": "^9.38.0",
|
||||||
|
"jest": "^30.4.2",
|
||||||
"supertest": "^7.2.2",
|
"supertest": "^7.2.2",
|
||||||
"ts-jest": "^29.2.6",
|
"ts-jest": "^29.4.11",
|
||||||
"typescript": "^5.4.5"
|
"typescript": "^5.4.5"
|
||||||
},
|
},
|
||||||
|
"overrides": {
|
||||||
|
"test-exclude": "^8.0.0"
|
||||||
|
},
|
||||||
"jest": {
|
"jest": {
|
||||||
"preset": "ts-jest",
|
"preset": "ts-jest",
|
||||||
"testEnvironment": "node",
|
"testEnvironment": "node",
|
||||||
@@ -59,6 +75,9 @@
|
|||||||
"js",
|
"js",
|
||||||
"json",
|
"json",
|
||||||
"ts"
|
"ts"
|
||||||
|
],
|
||||||
|
"transformIgnorePatterns": [
|
||||||
|
"node_modules/(@mistralai)"
|
||||||
]
|
]
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,40 @@
|
|||||||
|
-- Rensar applikationsdata men behaller kategorier och anvandare.
|
||||||
|
-- Uppdatera denna fil när nya tabeller läggs till i schema.prisma.
|
||||||
|
|
||||||
|
SET FOREIGN_KEY_CHECKS = 0;
|
||||||
|
|
||||||
|
-- Flyer-related tables (tabeller för flyer-import)
|
||||||
|
DELETE FROM `FlyerSelection`;
|
||||||
|
DELETE FROM `FlyerItem`;
|
||||||
|
DELETE FROM `FlyerSession`;
|
||||||
|
|
||||||
|
-- Shopping list (om tabellen existerar)
|
||||||
|
DELETE FROM `ShoppingListItem`;
|
||||||
|
|
||||||
|
-- Inventory (lagerhålling)
|
||||||
|
DELETE FROM `InventoryConsumption`;
|
||||||
|
DELETE FROM `InventoryItem`;
|
||||||
|
|
||||||
|
-- Recipes (recept)
|
||||||
|
DELETE FROM `RecipeShare`;
|
||||||
|
DELETE FROM `RecipeIngredient`;
|
||||||
|
DELETE FROM `Recipe`;
|
||||||
|
|
||||||
|
-- Meal planning (måltidsplanering)
|
||||||
|
DELETE FROM `MealPlanEntry`;
|
||||||
|
|
||||||
|
-- Pantry (skafferi)
|
||||||
|
DELETE FROM `PantryItem`;
|
||||||
|
|
||||||
|
-- Products (produkter) - BEHAL KATEGORIER OCH ANVANDARE
|
||||||
|
DELETE FROM `Nutrition`;
|
||||||
|
DELETE FROM `ProductTag`;
|
||||||
|
DELETE FROM `ReceiptAlias`;
|
||||||
|
DELETE FROM `UnitMapping`;
|
||||||
|
DELETE FROM `UserProduct`;
|
||||||
|
DELETE FROM `Product`;
|
||||||
|
|
||||||
|
-- Help texts (hjälptexter)
|
||||||
|
DELETE FROM `HelpText`;
|
||||||
|
|
||||||
|
SET FOREIGN_KEY_CHECKS = 1;
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
CREATE TABLE `HelpText` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`key` VARCHAR(191) NOT NULL,
|
||||||
|
`scope` VARCHAR(191) NOT NULL DEFAULT 'default',
|
||||||
|
`title` VARCHAR(191) NOT NULL,
|
||||||
|
`content` TEXT NOT NULL,
|
||||||
|
`isActive` BOOLEAN NOT NULL DEFAULT true,
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
|
||||||
|
UNIQUE INDEX `HelpText_key_scope_key`(`key`, `scope`),
|
||||||
|
INDEX `HelpText_key_isActive_idx`(`key`, `isActive`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
INSERT INTO `HelpText` (`key`, `scope`, `title`, `content`, `isActive`, `createdAt`, `updatedAt`)
|
||||||
|
VALUES
|
||||||
|
(
|
||||||
|
'receipt_import',
|
||||||
|
'default',
|
||||||
|
'Hjälp: Kvittoimport',
|
||||||
|
'Kvittoimporten hjälper dig att tolka kvitton och lägga till varor i inventarie eller baslager.\n\nSteg:\n1. Ladda upp PDF eller bild.\n2. Granska raderna och justera produkt, mängd och enhet vid behov.\n3. Välj destination (inventarie eller baslager).\n4. Spara markerade rader.\n\nTips:\n- Om en rad är osäker, redigera innan du sparar.\n- Du kan lära in alias för bättre träffar nästa gång.',
|
||||||
|
true,
|
||||||
|
NOW(3),
|
||||||
|
NOW(3)
|
||||||
|
),
|
||||||
|
(
|
||||||
|
'receipt_import',
|
||||||
|
'admin',
|
||||||
|
'Hjälp: Kvittoimport för administratörer',
|
||||||
|
'Kvittoimporten hjälper dig att läsa in kvitton och omvandla rader till produkter i inventarie eller baslager. Som administratör har du utökade möjligheter att förbättra träffsäkerheten för hela systemet.\n\nSå fungerar flödet:\n1. Ladda upp kvitto som PDF eller bild.\n2. Systemet tolkar raderna och föreslår produktmatchning, mängd och enhet.\n3. Granska varje rad innan du sparar.\n4. Välj destination: Inventarie eller Baslager.\n5. Spara valda rader.\n\nMatchning och förslag:\n- Alias-träff: raden matchar mot inlärda alias.\n- Ordbaserad träff: systemet hittar sannolik produkt, men du bör bekräfta.\n- AI-kategoriförslag: visas som stöd när produkt inte matchas direkt.\n\nDet du kan göra per rad:\n- Byta till annan befintlig produkt.\n- Skapa ny produkt om ingen passande finns.\n- Justera mängd, enhet och paketinformation.\n- Välja kategori manuellt vid behov.\n- Markera om alias ska läras in.\n\nAdmin-funktioner i kvittoimport:\n- Du kan spara globala alias som blir fallback för alla användare.\n- Du kan använda privata alias för egna avvikelser.\n- Du kan efter import gå vidare till admin-vyer för att städa dubbletter och kvalitetssäkra data.\n\nRekommenderat arbetssätt:\n- Kontrollera rader med låg säkerhet först.\n- Skapa globala alias bara för stabila och återkommande kvittonamn.\n- Undvik att skapa för många nästan-identiska produkter.',
|
||||||
|
true,
|
||||||
|
NOW(3),
|
||||||
|
NOW(3)
|
||||||
|
);
|
||||||
+85
@@ -0,0 +1,85 @@
|
|||||||
|
CREATE TABLE `FlyerSession` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`userId` INTEGER NOT NULL,
|
||||||
|
`retailer` VARCHAR(191) NOT NULL,
|
||||||
|
`weekKey` VARCHAR(191) NOT NULL,
|
||||||
|
`status` VARCHAR(191) NOT NULL DEFAULT 'draft',
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
`expiresAt` DATETIME(3) NULL,
|
||||||
|
|
||||||
|
INDEX `FlyerSession_userId_idx`(`userId`),
|
||||||
|
INDEX `FlyerSession_weekKey_idx`(`weekKey`),
|
||||||
|
INDEX `FlyerSession_status_idx`(`status`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
CREATE TABLE `FlyerItem` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`sessionId` INTEGER NOT NULL,
|
||||||
|
`rawName` VARCHAR(191) NOT NULL,
|
||||||
|
`normalizedName` VARCHAR(191) NOT NULL,
|
||||||
|
`categoryHint` VARCHAR(191) NULL,
|
||||||
|
`price` DECIMAL(10, 2) NULL,
|
||||||
|
`priceUnit` VARCHAR(191) NULL,
|
||||||
|
`comparisonPrice` DECIMAL(10, 2) NULL,
|
||||||
|
`comparisonUnit` VARCHAR(191) NULL,
|
||||||
|
`offerText` VARCHAR(191) NULL,
|
||||||
|
`parseConfidence` DOUBLE NOT NULL,
|
||||||
|
`parseReasons` JSON NULL,
|
||||||
|
`matchedProductId` INTEGER NULL,
|
||||||
|
`matchedProductName` VARCHAR(191) NULL,
|
||||||
|
`matchedVia` VARCHAR(191) NULL,
|
||||||
|
`matchConfidence` DOUBLE NULL,
|
||||||
|
`matchReasons` JSON NULL,
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
|
||||||
|
INDEX `FlyerItem_sessionId_idx`(`sessionId`),
|
||||||
|
INDEX `FlyerItem_normalizedName_idx`(`normalizedName`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
CREATE TABLE `FlyerSelection` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`sessionId` INTEGER NOT NULL,
|
||||||
|
`itemId` INTEGER NOT NULL,
|
||||||
|
`userId` INTEGER NOT NULL,
|
||||||
|
`plannedQuantity` DECIMAL(10, 2) NULL,
|
||||||
|
`plannedUnit` VARCHAR(191) NULL,
|
||||||
|
`priority` VARCHAR(191) NOT NULL DEFAULT 'normal',
|
||||||
|
`note` VARCHAR(191) NULL,
|
||||||
|
`status` VARCHAR(191) NOT NULL DEFAULT 'planned',
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
|
||||||
|
UNIQUE INDEX `FlyerSelection_sessionId_itemId_key`(`sessionId`, `itemId`),
|
||||||
|
INDEX `FlyerSelection_sessionId_idx`(`sessionId`),
|
||||||
|
INDEX `FlyerSelection_userId_status_idx`(`userId`, `status`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerSession`
|
||||||
|
ADD CONSTRAINT `FlyerSession_userId_fkey`
|
||||||
|
FOREIGN KEY (`userId`) REFERENCES `User`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerItem`
|
||||||
|
ADD CONSTRAINT `FlyerItem_sessionId_fkey`
|
||||||
|
FOREIGN KEY (`sessionId`) REFERENCES `FlyerSession`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerSelection`
|
||||||
|
ADD CONSTRAINT `FlyerSelection_sessionId_fkey`
|
||||||
|
FOREIGN KEY (`sessionId`) REFERENCES `FlyerSession`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerSelection`
|
||||||
|
ADD CONSTRAINT `FlyerSelection_itemId_fkey`
|
||||||
|
FOREIGN KEY (`itemId`) REFERENCES `FlyerItem`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerSelection`
|
||||||
|
ADD CONSTRAINT `FlyerSelection_userId_fkey`
|
||||||
|
FOREIGN KEY (`userId`) REFERENCES `User`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
+51
@@ -0,0 +1,51 @@
|
|||||||
|
ALTER TABLE `FlyerSession`
|
||||||
|
ADD COLUMN `sourceFileName` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `sourceMimeType` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `sourceFileSize` INTEGER NULL,
|
||||||
|
ADD COLUMN `sourceStorageKey` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `sourceData` LONGBLOB NULL;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerItem`
|
||||||
|
ADD COLUMN `categoryId` INTEGER NULL;
|
||||||
|
|
||||||
|
ALTER TABLE `FlyerItem`
|
||||||
|
ADD CONSTRAINT `FlyerItem_categoryId_fkey`
|
||||||
|
FOREIGN KEY (`categoryId`) REFERENCES `Category`(`id`)
|
||||||
|
ON DELETE SET NULL ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
CREATE INDEX `FlyerItem_categoryId_idx` ON `FlyerItem`(`categoryId`);
|
||||||
|
|
||||||
|
CREATE TABLE `ShoppingListItem` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`userId` INTEGER NOT NULL,
|
||||||
|
`name` VARCHAR(191) NOT NULL,
|
||||||
|
`productId` INTEGER NULL,
|
||||||
|
`categoryId` INTEGER NULL,
|
||||||
|
`quantity` DECIMAL(10, 2) NULL,
|
||||||
|
`unit` VARCHAR(191) NULL,
|
||||||
|
`source` VARCHAR(191) NOT NULL DEFAULT 'manual',
|
||||||
|
`status` VARCHAR(191) NOT NULL DEFAULT 'open',
|
||||||
|
`checkedAt` DATETIME(3) NULL,
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
|
||||||
|
INDEX `ShoppingListItem_userId_status_idx`(`userId`, `status`),
|
||||||
|
INDEX `ShoppingListItem_productId_unit_status_idx`(`productId`, `unit`, `status`),
|
||||||
|
INDEX `ShoppingListItem_categoryId_idx`(`categoryId`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
ALTER TABLE `ShoppingListItem`
|
||||||
|
ADD CONSTRAINT `ShoppingListItem_userId_fkey`
|
||||||
|
FOREIGN KEY (`userId`) REFERENCES `User`(`id`)
|
||||||
|
ON DELETE CASCADE ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `ShoppingListItem`
|
||||||
|
ADD CONSTRAINT `ShoppingListItem_productId_fkey`
|
||||||
|
FOREIGN KEY (`productId`) REFERENCES `Product`(`id`)
|
||||||
|
ON DELETE SET NULL ON UPDATE CASCADE;
|
||||||
|
|
||||||
|
ALTER TABLE `ShoppingListItem`
|
||||||
|
ADD CONSTRAINT `ShoppingListItem_categoryId_fkey`
|
||||||
|
FOREIGN KEY (`categoryId`) REFERENCES `Category`(`id`)
|
||||||
|
ON DELETE SET NULL ON UPDATE CASCADE;
|
||||||
@@ -0,0 +1,7 @@
|
|||||||
|
-- AlterTable
|
||||||
|
ALTER TABLE `FlyerItem`
|
||||||
|
ADD COLUMN `brand` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `weight` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `bundleWeight` VARCHAR(191) NULL,
|
||||||
|
ADD COLUMN `isBundle` BOOLEAN NOT NULL DEFAULT false,
|
||||||
|
ADD COLUMN `bundleItems` JSON NULL;
|
||||||
@@ -0,0 +1,24 @@
|
|||||||
|
-- CreateTable
|
||||||
|
CREATE TABLE `AiTrace` (
|
||||||
|
`id` INTEGER NOT NULL AUTO_INCREMENT,
|
||||||
|
`source` VARCHAR(191) NOT NULL,
|
||||||
|
`userId` INTEGER NULL,
|
||||||
|
`sessionId` INTEGER NULL,
|
||||||
|
`model` VARCHAR(191) NULL,
|
||||||
|
`prompt` LONGTEXT NULL,
|
||||||
|
`rawOutput` LONGTEXT NULL,
|
||||||
|
`normalizedOutput` JSON NULL,
|
||||||
|
`status` VARCHAR(191) NOT NULL,
|
||||||
|
`error` TEXT NULL,
|
||||||
|
`durationMs` INTEGER NULL,
|
||||||
|
`createdAt` DATETIME(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3),
|
||||||
|
`updatedAt` DATETIME(3) NOT NULL,
|
||||||
|
|
||||||
|
INDEX `AiTrace_source_createdAt_idx`(`source`, `createdAt`),
|
||||||
|
INDEX `AiTrace_userId_createdAt_idx`(`userId`, `createdAt`),
|
||||||
|
INDEX `AiTrace_status_createdAt_idx`(`status`, `createdAt`),
|
||||||
|
PRIMARY KEY (`id`)
|
||||||
|
) DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
|
||||||
|
|
||||||
|
-- AddForeignKey
|
||||||
|
ALTER TABLE `AiTrace` ADD CONSTRAINT `AiTrace_userId_fkey` FOREIGN KEY (`userId`) REFERENCES `User`(`id`) ON DELETE SET NULL ON UPDATE CASCADE;
|
||||||
+4
@@ -0,0 +1,4 @@
|
|||||||
|
-- AlterTable
|
||||||
|
ALTER TABLE `FlyerItem`
|
||||||
|
ADD COLUMN `signals` JSON NULL,
|
||||||
|
ADD COLUMN `displayNameDetailed` VARCHAR(191) NULL;
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
-- Add originCountries field to InventoryItem table
|
||||||
|
-- This migration adds support for multiple origin countries as a JSON array
|
||||||
|
|
||||||
|
ALTER TABLE `InventoryItem`
|
||||||
|
ADD COLUMN `originCountries` JSON NULL
|
||||||
|
AFTER `origin`;
|
||||||
|
|
||||||
|
-- Create an index for the originCountries field for better query performance
|
||||||
|
CREATE INDEX `IDX_InventoryItem_originCountries` ON `InventoryItem` ((CAST(`originCountries` AS CHAR(255))));
|
||||||
@@ -27,10 +27,14 @@ model User {
|
|||||||
ownedProducts Product[]
|
ownedProducts Product[]
|
||||||
inventoryItems InventoryItem[]
|
inventoryItems InventoryItem[]
|
||||||
pantryItems PantryItem[]
|
pantryItems PantryItem[]
|
||||||
mealPlanEntries MealPlanEntry[]
|
mealPlanEntries MealPlanEntry[]
|
||||||
receiptAliases ReceiptAlias[]
|
receiptAliases ReceiptAlias[]
|
||||||
unitMappings UnitMapping[]
|
unitMappings UnitMapping[]
|
||||||
}
|
flyerSessions FlyerSession[]
|
||||||
|
flyerSelections FlyerSelection[]
|
||||||
|
shoppingListItems ShoppingListItem[]
|
||||||
|
aiTraces AiTrace[]
|
||||||
|
}
|
||||||
|
|
||||||
model Product {
|
model Product {
|
||||||
id Int @id @default(autoincrement())
|
id Int @id @default(autoincrement())
|
||||||
@@ -55,16 +59,19 @@ model Product {
|
|||||||
categoryId Int?
|
categoryId Int?
|
||||||
categoryRef Category? @relation(fields: [categoryId], references: [id], onDelete: SetNull)
|
categoryRef Category? @relation(fields: [categoryId], references: [id], onDelete: SetNull)
|
||||||
isPrivate Boolean @default(false)
|
isPrivate Boolean @default(false)
|
||||||
unitMappings UnitMapping[]
|
unitMappings UnitMapping[]
|
||||||
}
|
shoppingListItems ShoppingListItem[]
|
||||||
|
}
|
||||||
|
|
||||||
model Category {
|
model Category {
|
||||||
id Int @id @default(autoincrement())
|
id Int @id @default(autoincrement())
|
||||||
name String
|
name String
|
||||||
parentId Int?
|
parentId Int?
|
||||||
parent Category? @relation("CategoryTree", fields: [parentId], references: [id], onDelete: SetNull)
|
parent Category? @relation("CategoryTree", fields: [parentId], references: [id], onDelete: SetNull)
|
||||||
children Category[] @relation("CategoryTree")
|
children Category[] @relation("CategoryTree")
|
||||||
products Product[]
|
products Product[]
|
||||||
|
flyerItems FlyerItem[]
|
||||||
|
shoppingListItems ShoppingListItem[]
|
||||||
|
|
||||||
@@unique([name, parentId])
|
@@unique([name, parentId])
|
||||||
@@index([parentId])
|
@@index([parentId])
|
||||||
@@ -97,6 +104,7 @@ model InventoryItem {
|
|||||||
unit String
|
unit String
|
||||||
brand String?
|
brand String?
|
||||||
origin String?
|
origin String?
|
||||||
|
originCountries Json?
|
||||||
receiptName String?
|
receiptName String?
|
||||||
location String?
|
location String?
|
||||||
purchaseDate DateTime?
|
purchaseDate DateTime?
|
||||||
@@ -263,3 +271,146 @@ model UnitMapping {
|
|||||||
@@index([productId])
|
@@index([productId])
|
||||||
@@index([userId])
|
@@index([userId])
|
||||||
}
|
}
|
||||||
|
|
||||||
|
model HelpText {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
key String
|
||||||
|
scope String @default("default")
|
||||||
|
title String
|
||||||
|
content String @db.Text
|
||||||
|
isActive Boolean @default(true)
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
|
||||||
|
@@unique([key, scope])
|
||||||
|
@@index([key, isActive])
|
||||||
|
}
|
||||||
|
|
||||||
|
model FlyerSession {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
userId Int
|
||||||
|
retailer String
|
||||||
|
weekKey String
|
||||||
|
status String @default("draft")
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
expiresAt DateTime?
|
||||||
|
sourceFileName String?
|
||||||
|
sourceMimeType String?
|
||||||
|
sourceFileSize Int?
|
||||||
|
sourceStorageKey String?
|
||||||
|
sourceData Bytes?
|
||||||
|
|
||||||
|
user User @relation(fields: [userId], references: [id], onDelete: Cascade)
|
||||||
|
items FlyerItem[]
|
||||||
|
selections FlyerSelection[]
|
||||||
|
|
||||||
|
@@index([userId])
|
||||||
|
@@index([weekKey])
|
||||||
|
@@index([status])
|
||||||
|
}
|
||||||
|
|
||||||
|
model FlyerItem {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
sessionId Int
|
||||||
|
rawName String
|
||||||
|
normalizedName String
|
||||||
|
brand String?
|
||||||
|
categoryHint String?
|
||||||
|
categoryId Int?
|
||||||
|
price Decimal? @db.Decimal(10, 2)
|
||||||
|
priceUnit String?
|
||||||
|
comparisonPrice Decimal? @db.Decimal(10, 2)
|
||||||
|
comparisonUnit String?
|
||||||
|
weight String?
|
||||||
|
bundleWeight String?
|
||||||
|
isBundle Boolean @default(false)
|
||||||
|
bundleItems Json?
|
||||||
|
signals Json?
|
||||||
|
displayNameDetailed String?
|
||||||
|
offerText String?
|
||||||
|
parseConfidence Float
|
||||||
|
parseReasons Json?
|
||||||
|
matchedProductId Int?
|
||||||
|
matchedProductName String?
|
||||||
|
matchedVia String?
|
||||||
|
matchConfidence Float?
|
||||||
|
matchReasons Json?
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
|
||||||
|
session FlyerSession @relation(fields: [sessionId], references: [id], onDelete: Cascade)
|
||||||
|
categoryRef Category? @relation(fields: [categoryId], references: [id], onDelete: SetNull)
|
||||||
|
selections FlyerSelection[]
|
||||||
|
|
||||||
|
@@index([sessionId])
|
||||||
|
@@index([normalizedName])
|
||||||
|
@@index([categoryId])
|
||||||
|
}
|
||||||
|
|
||||||
|
model FlyerSelection {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
sessionId Int
|
||||||
|
itemId Int
|
||||||
|
userId Int
|
||||||
|
plannedQuantity Decimal? @db.Decimal(10, 2)
|
||||||
|
plannedUnit String?
|
||||||
|
priority String @default("normal")
|
||||||
|
note String?
|
||||||
|
status String @default("planned")
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
|
||||||
|
session FlyerSession @relation(fields: [sessionId], references: [id], onDelete: Cascade)
|
||||||
|
item FlyerItem @relation(fields: [itemId], references: [id], onDelete: Cascade)
|
||||||
|
user User @relation(fields: [userId], references: [id], onDelete: Cascade)
|
||||||
|
|
||||||
|
@@unique([sessionId, itemId])
|
||||||
|
@@index([sessionId])
|
||||||
|
@@index([userId, status])
|
||||||
|
}
|
||||||
|
|
||||||
|
model ShoppingListItem {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
userId Int
|
||||||
|
name String
|
||||||
|
productId Int?
|
||||||
|
categoryId Int?
|
||||||
|
quantity Decimal? @db.Decimal(10, 2)
|
||||||
|
unit String?
|
||||||
|
source String @default("manual")
|
||||||
|
status String @default("open")
|
||||||
|
checkedAt DateTime?
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
|
||||||
|
user User @relation(fields: [userId], references: [id], onDelete: Cascade)
|
||||||
|
product Product? @relation(fields: [productId], references: [id], onDelete: SetNull)
|
||||||
|
categoryRef Category? @relation(fields: [categoryId], references: [id], onDelete: SetNull)
|
||||||
|
|
||||||
|
@@index([userId, status])
|
||||||
|
@@index([productId, unit, status])
|
||||||
|
@@index([categoryId])
|
||||||
|
}
|
||||||
|
|
||||||
|
model AiTrace {
|
||||||
|
id Int @id @default(autoincrement())
|
||||||
|
source String
|
||||||
|
userId Int?
|
||||||
|
sessionId Int?
|
||||||
|
model String?
|
||||||
|
prompt String? @db.LongText
|
||||||
|
rawOutput String? @db.LongText
|
||||||
|
normalizedOutput Json?
|
||||||
|
status String
|
||||||
|
error String? @db.Text
|
||||||
|
durationMs Int?
|
||||||
|
createdAt DateTime @default(now())
|
||||||
|
updatedAt DateTime @updatedAt
|
||||||
|
|
||||||
|
user User? @relation(fields: [userId], references: [id], onDelete: SetNull)
|
||||||
|
|
||||||
|
@@index([source, createdAt])
|
||||||
|
@@index([userId, createdAt])
|
||||||
|
@@index([status, createdAt])
|
||||||
|
}
|
||||||
|
|||||||
@@ -0,0 +1,30 @@
|
|||||||
|
import { Injectable, Logger } from '@nestjs/common';
|
||||||
|
import { Cron, CronExpression } from '@nestjs/schedule';
|
||||||
|
import { PrismaService } from '../prisma/prisma.service';
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class AiTraceCleanupService {
|
||||||
|
private readonly logger = new Logger(AiTraceCleanupService.name);
|
||||||
|
private readonly retentionDays: number;
|
||||||
|
|
||||||
|
constructor(private readonly prisma: PrismaService) {
|
||||||
|
this.retentionDays = parseInt(process.env.AI_TRACE_RETENTION_DAYS ?? '30', 10);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Cron(CronExpression.EVERY_DAY_AT_MIDNIGHT)
|
||||||
|
async cleanupOldTraces() {
|
||||||
|
this.logger.log('Starting cleanup of old AiTrace records...');
|
||||||
|
const cutoffDate = new Date();
|
||||||
|
cutoffDate.setDate(cutoffDate.getDate() - this.retentionDays);
|
||||||
|
|
||||||
|
const result = await this.prisma.aiTrace.deleteMany({
|
||||||
|
where: {
|
||||||
|
createdAt: {
|
||||||
|
lt: cutoffDate,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
this.logger.log(`Cleaned up ${result.count} old AiTrace records.`);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,213 @@
|
|||||||
|
import { AiTraceService } from './ai-trace.service';
|
||||||
|
|
||||||
|
describe('AiTraceService receipt masking', () => {
|
||||||
|
const prismaMock = {
|
||||||
|
aiTrace: {
|
||||||
|
findFirst: jest.fn(),
|
||||||
|
findMany: jest.fn(),
|
||||||
|
},
|
||||||
|
flyerSession: {
|
||||||
|
findMany: jest.fn(),
|
||||||
|
findUnique: jest.fn(),
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
const service = new AiTraceService(prismaMock as any);
|
||||||
|
|
||||||
|
beforeEach(() => {
|
||||||
|
jest.clearAllMocks();
|
||||||
|
});
|
||||||
|
|
||||||
|
it('masks sensitive data in receipt prompt and rawOutput', async () => {
|
||||||
|
prismaMock.aiTrace.findFirst.mockResolvedValue({
|
||||||
|
id: 42,
|
||||||
|
source: 'receipt',
|
||||||
|
status: 'success',
|
||||||
|
createdAt: new Date('2026-05-21T10:00:00.000Z'),
|
||||||
|
userId: 7,
|
||||||
|
sessionId: null,
|
||||||
|
model: 'importer-receipt-ai',
|
||||||
|
durationMs: 240,
|
||||||
|
error: null,
|
||||||
|
prompt: 'Kund email anna@example.com och telefon 070-123 45 67',
|
||||||
|
rawOutput: JSON.stringify({
|
||||||
|
personnummer: '850101-1234',
|
||||||
|
email: 'anna@example.com',
|
||||||
|
nested: {
|
||||||
|
namn: 'Anna Andersson',
|
||||||
|
phone: '+46701234567',
|
||||||
|
},
|
||||||
|
}),
|
||||||
|
normalizedOutput: {
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
rawName: 'Mjolk',
|
||||||
|
customerEmail: 'anna@example.com',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
},
|
||||||
|
user: {
|
||||||
|
username: 'admin',
|
||||||
|
email: 'admin@example.com',
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
const result = await service.getTraceById('receipt-42');
|
||||||
|
|
||||||
|
expect(result.prompt).not.toContain('anna@example.com');
|
||||||
|
expect(result.prompt).not.toContain('070-123 45 67');
|
||||||
|
expect(result.prompt).toContain('[MASKED]');
|
||||||
|
|
||||||
|
expect(result.rawOutput).not.toContain('850101-1234');
|
||||||
|
expect(result.rawOutput).not.toContain('anna@example.com');
|
||||||
|
expect(result.rawOutput).not.toContain('Anna Andersson');
|
||||||
|
expect(result.rawOutput).toContain('[MASKED]');
|
||||||
|
|
||||||
|
expect(result.normalizedOutput).toEqual({
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
rawName: 'Mjolk',
|
||||||
|
customerEmail: '[MASKED]',
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
it('filters flyer list by errors in database query', async () => {
|
||||||
|
prismaMock.flyerSession.findMany.mockResolvedValue([]);
|
||||||
|
|
||||||
|
await service.listTraces({
|
||||||
|
source: 'flyer',
|
||||||
|
limit: 20,
|
||||||
|
onlyErrors: true,
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(prismaMock.flyerSession.findMany).toHaveBeenCalledWith(
|
||||||
|
expect.objectContaining({
|
||||||
|
where: expect.objectContaining({
|
||||||
|
items: { none: {} },
|
||||||
|
}),
|
||||||
|
}),
|
||||||
|
);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('returns flyer prompt/rawOutput and trace counters from aiTrace supplement', async () => {
|
||||||
|
prismaMock.flyerSession.findUnique.mockResolvedValue({
|
||||||
|
id: 101,
|
||||||
|
userId: 7,
|
||||||
|
createdAt: new Date('2026-05-21T12:00:00.000Z'),
|
||||||
|
sourceFileName: 'willys.pdf',
|
||||||
|
sourceMimeType: 'application/pdf',
|
||||||
|
sourceFileSize: 12345,
|
||||||
|
user: { username: 'admin', email: 'admin@example.com' },
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
id: 1,
|
||||||
|
rawName: 'Tomat',
|
||||||
|
normalizedName: 'tomat',
|
||||||
|
brand: null,
|
||||||
|
categoryHint: 'Grönsaker',
|
||||||
|
categoryId: null,
|
||||||
|
price: null,
|
||||||
|
priceUnit: null,
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
parseConfidence: 0.9,
|
||||||
|
parseReasons: ['low_confidence'],
|
||||||
|
matchedProductId: null,
|
||||||
|
matchedProductName: null,
|
||||||
|
matchedVia: 'none',
|
||||||
|
matchConfidence: null,
|
||||||
|
matchReasons: [],
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
prismaMock.aiTrace.findMany.mockResolvedValue([
|
||||||
|
{
|
||||||
|
sessionId: 101,
|
||||||
|
prompt: 'Flyer prompt med email kund@example.com',
|
||||||
|
rawOutput: '{"ok":true}',
|
||||||
|
normalizedOutput: { retryCount: 2, chunkCount: 4 },
|
||||||
|
},
|
||||||
|
]);
|
||||||
|
|
||||||
|
const result = await service.getTraceById('flyer-101');
|
||||||
|
|
||||||
|
expect(result.prompt).toContain('[MASKED]');
|
||||||
|
expect(result.rawOutput).toContain('{"ok":true}');
|
||||||
|
expect(result.retryCount).toBe(2);
|
||||||
|
expect(result.chunkCount).toBe(4);
|
||||||
|
expect(result.warnings).toEqual(
|
||||||
|
expect.arrayContaining([
|
||||||
|
expect.objectContaining({
|
||||||
|
kind: 'parse',
|
||||||
|
code: 'low_confidence',
|
||||||
|
title: 'Låg parsningskvalitet',
|
||||||
|
severity: 'warning',
|
||||||
|
}),
|
||||||
|
]),
|
||||||
|
);
|
||||||
|
expect(result.legacyWarnings).toContain('parse:low_confidence');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('keeps multiple token_overlap warnings for same row', async () => {
|
||||||
|
prismaMock.flyerSession.findUnique.mockResolvedValue({
|
||||||
|
id: 202,
|
||||||
|
userId: 9,
|
||||||
|
createdAt: new Date('2026-05-23T09:00:00.000Z'),
|
||||||
|
sourceFileName: 'willys-v21.pdf',
|
||||||
|
sourceMimeType: 'application/pdf',
|
||||||
|
sourceFileSize: 2222,
|
||||||
|
user: { username: 'admin', email: 'admin@example.com' },
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
id: 11,
|
||||||
|
rawName: 'Tomatmix',
|
||||||
|
normalizedName: 'tomatmix',
|
||||||
|
brand: null,
|
||||||
|
categoryHint: 'Grönsaker',
|
||||||
|
categoryId: null,
|
||||||
|
price: null,
|
||||||
|
priceUnit: null,
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
parseConfidence: 0.9,
|
||||||
|
parseReasons: [],
|
||||||
|
matchedProductId: null,
|
||||||
|
matchedProductName: null,
|
||||||
|
matchedVia: 'token',
|
||||||
|
matchConfidence: 0.7,
|
||||||
|
matchReasons: ['token_overlap:0.42', 'token_overlap:0.73'],
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
prismaMock.aiTrace.findMany.mockResolvedValue([
|
||||||
|
{
|
||||||
|
sessionId: 202,
|
||||||
|
prompt: 'prompt',
|
||||||
|
rawOutput: '{"ok":true}',
|
||||||
|
normalizedOutput: { retryCount: 0, chunkCount: 1 },
|
||||||
|
},
|
||||||
|
]);
|
||||||
|
|
||||||
|
const result = await service.getTraceById('flyer-202');
|
||||||
|
|
||||||
|
const tokenWarnings = result.warnings.filter((warning) => warning.code === 'token_overlap');
|
||||||
|
expect(tokenWarnings).toHaveLength(2);
|
||||||
|
expect(result.legacyWarnings).toEqual(
|
||||||
|
expect.arrayContaining(['match:token_overlap:0.42', 'match:token_overlap:0.73']),
|
||||||
|
);
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,634 @@
|
|||||||
|
import { Injectable, NotFoundException } from '@nestjs/common';
|
||||||
|
import { PrismaService } from '../prisma/prisma.service';
|
||||||
|
import {
|
||||||
|
describeMatchReason,
|
||||||
|
describeParseReason,
|
||||||
|
FlyerReasonDescriptor,
|
||||||
|
} from '../flyer-import/services/reason-codes';
|
||||||
|
|
||||||
|
export type AiTraceSource = 'receipt' | 'flyer';
|
||||||
|
|
||||||
|
export type AiTraceStatus = 'success' | 'warning' | 'error';
|
||||||
|
|
||||||
|
const AI_TRACE_MASK_FIELDS = ['personnummer', 'telefon', 'email', 'address', 'namn'];
|
||||||
|
const SWEDISH_PERSONAL_ID_REGEX = /\b(\d{2})?(\d{6})[-+ ]?(\d{4})\b/g;
|
||||||
|
const EMAIL_REGEX = /\b[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,}\b/gi;
|
||||||
|
const PHONE_REGEX = /\b(?:\+46|0)\s?\d(?:[\d\s-]{6,}\d)\b/g;
|
||||||
|
|
||||||
|
export type AiTraceListItem = {
|
||||||
|
id: string;
|
||||||
|
source: AiTraceSource;
|
||||||
|
status: AiTraceStatus;
|
||||||
|
createdAt: string;
|
||||||
|
userId: number;
|
||||||
|
userLabel: string;
|
||||||
|
sessionId: number | null;
|
||||||
|
fileName: string | null;
|
||||||
|
model: string | null;
|
||||||
|
durationMs: number | null;
|
||||||
|
warningsCount: number;
|
||||||
|
hasPrompt: boolean;
|
||||||
|
hasOutput: boolean;
|
||||||
|
error: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type AiTraceListResponse = {
|
||||||
|
items: AiTraceListItem[];
|
||||||
|
nextCursor: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type AiTraceDetail = {
|
||||||
|
id: string;
|
||||||
|
source: AiTraceSource;
|
||||||
|
status: AiTraceStatus;
|
||||||
|
createdAt: string;
|
||||||
|
userId: number;
|
||||||
|
userLabel: string;
|
||||||
|
sessionId: number | null;
|
||||||
|
fileName: string | null;
|
||||||
|
model: string | null;
|
||||||
|
durationMs: number | null;
|
||||||
|
retryCount: number | null;
|
||||||
|
chunkCount: number | null;
|
||||||
|
warnings: AdminAiWarning[];
|
||||||
|
legacyWarnings: string[];
|
||||||
|
error: string | null;
|
||||||
|
prompt: string | null;
|
||||||
|
rawOutput: string | null;
|
||||||
|
normalizedOutput: Record<string, unknown> | null;
|
||||||
|
summary: Record<string, unknown>;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type AdminAiWarning = FlyerReasonDescriptor & {
|
||||||
|
itemIndex?: number;
|
||||||
|
};
|
||||||
|
|
||||||
|
type FlyerTraceSupplement = {
|
||||||
|
prompt: string | null;
|
||||||
|
rawOutput: string | null;
|
||||||
|
retryCount: number | null;
|
||||||
|
chunkCount: number | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class AiTraceService {
|
||||||
|
constructor(private readonly prisma: PrismaService) {}
|
||||||
|
|
||||||
|
async listTraces(params: {
|
||||||
|
source: AiTraceSource;
|
||||||
|
limit: number;
|
||||||
|
cursor?: string;
|
||||||
|
period?: '24h' | '7d' | '30d';
|
||||||
|
onlyErrors?: boolean;
|
||||||
|
}): Promise<AiTraceListResponse> {
|
||||||
|
if (params.source === 'receipt') {
|
||||||
|
return this.listReceiptTraces(params);
|
||||||
|
}
|
||||||
|
|
||||||
|
const take = Math.max(1, Math.min(params.limit || 20, 100));
|
||||||
|
const cursorId = this.parseCursor(params.cursor);
|
||||||
|
const periodStart = this.periodStart(params.period);
|
||||||
|
|
||||||
|
const sessions = await this.prisma.flyerSession.findMany({
|
||||||
|
where: {
|
||||||
|
...(periodStart ? { createdAt: { gte: periodStart } } : {}),
|
||||||
|
...(cursorId ? { id: { lt: cursorId } } : {}),
|
||||||
|
...(params.onlyErrors ? { items: { none: {} } } : {}),
|
||||||
|
},
|
||||||
|
orderBy: { id: 'desc' },
|
||||||
|
take: take + 1,
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
userId: true,
|
||||||
|
createdAt: true,
|
||||||
|
sourceFileName: true,
|
||||||
|
user: { select: { username: true, email: true } },
|
||||||
|
items: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
parseReasons: true,
|
||||||
|
matchReasons: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
const hasMore = sessions.length > take;
|
||||||
|
const page = hasMore ? sessions.slice(0, take) : sessions;
|
||||||
|
|
||||||
|
const items: AiTraceListItem[] = page.map((session) => {
|
||||||
|
const warningSet = this.collectWarnings(
|
||||||
|
session.items.map((item, itemIndex) => ({
|
||||||
|
parseReasons: item.parseReasons,
|
||||||
|
matchReasons: item.matchReasons,
|
||||||
|
itemIndex,
|
||||||
|
})),
|
||||||
|
);
|
||||||
|
const warningsCount = this.countActionableWarnings(warningSet.warnings);
|
||||||
|
const status = this.statusFromSession(session.items.length, warningsCount);
|
||||||
|
return {
|
||||||
|
id: this.flyerTraceId(session.id),
|
||||||
|
source: 'flyer',
|
||||||
|
status,
|
||||||
|
createdAt: session.createdAt.toISOString(),
|
||||||
|
userId: session.userId,
|
||||||
|
userLabel: this.userLabel(session.user?.username, session.user?.email, session.userId),
|
||||||
|
sessionId: session.id,
|
||||||
|
fileName: session.sourceFileName,
|
||||||
|
model: 'ministral-8b-2512',
|
||||||
|
durationMs: null,
|
||||||
|
warningsCount,
|
||||||
|
hasPrompt: false,
|
||||||
|
hasOutput: session.items.length > 0,
|
||||||
|
error: status === 'error' ? 'Inga produkter kunde extraheras från flyern.' : null,
|
||||||
|
};
|
||||||
|
});
|
||||||
|
|
||||||
|
const supplements = await this.getFlyerTraceSupplements(page.map((session) => session.id));
|
||||||
|
|
||||||
|
const withSupplements = items.map((item) => {
|
||||||
|
const sessionId = item.sessionId ?? 0;
|
||||||
|
const supplement = supplements.get(sessionId);
|
||||||
|
const hasPrompt = item.hasPrompt || !!supplement?.prompt;
|
||||||
|
const hasOutput = item.hasOutput || !!supplement?.rawOutput;
|
||||||
|
const error = item.status === 'warning' && item.warningsCount > 0
|
||||||
|
? `Det finns ${item.warningsCount} varningar i detaljvyn.`
|
||||||
|
: item.error;
|
||||||
|
return {
|
||||||
|
...item,
|
||||||
|
hasPrompt,
|
||||||
|
hasOutput,
|
||||||
|
error,
|
||||||
|
};
|
||||||
|
});
|
||||||
|
|
||||||
|
return {
|
||||||
|
items: withSupplements,
|
||||||
|
nextCursor: hasMore ? String(page[page.length - 1]?.id ?? '') : null,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
async getTraceById(id: string): Promise<AiTraceDetail> {
|
||||||
|
const parsed = this.parseTraceId(id);
|
||||||
|
if (parsed.source === 'receipt') {
|
||||||
|
return this.getReceiptTraceById(parsed.numericId);
|
||||||
|
}
|
||||||
|
|
||||||
|
const session = await this.prisma.flyerSession.findUnique({
|
||||||
|
where: { id: parsed.numericId },
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
userId: true,
|
||||||
|
createdAt: true,
|
||||||
|
sourceFileName: true,
|
||||||
|
sourceMimeType: true,
|
||||||
|
sourceFileSize: true,
|
||||||
|
user: { select: { username: true, email: true } },
|
||||||
|
items: {
|
||||||
|
orderBy: { id: 'asc' },
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
brand: true,
|
||||||
|
categoryHint: true,
|
||||||
|
categoryId: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
comparisonPrice: true,
|
||||||
|
comparisonUnit: true,
|
||||||
|
weight: true,
|
||||||
|
bundleWeight: true,
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: true,
|
||||||
|
offerText: true,
|
||||||
|
parseConfidence: true,
|
||||||
|
parseReasons: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
matchedVia: true,
|
||||||
|
matchConfidence: true,
|
||||||
|
matchReasons: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
if (!session) {
|
||||||
|
throw new NotFoundException('AI-trace hittades inte.');
|
||||||
|
}
|
||||||
|
|
||||||
|
const warningSet = this.collectWarnings(
|
||||||
|
session.items.map((item, itemIndex) => ({
|
||||||
|
parseReasons: item.parseReasons,
|
||||||
|
matchReasons: item.matchReasons,
|
||||||
|
itemIndex,
|
||||||
|
})),
|
||||||
|
);
|
||||||
|
const warnings = warningSet.warnings;
|
||||||
|
const status = this.statusFromSession(
|
||||||
|
session.items.length,
|
||||||
|
this.countActionableWarnings(warnings),
|
||||||
|
);
|
||||||
|
const supplement = await this.getFlyerTraceSupplementBySessionId(session.id);
|
||||||
|
|
||||||
|
const normalizedOutput = {
|
||||||
|
sessionId: session.id,
|
||||||
|
source: 'flyer',
|
||||||
|
sourceFileName: session.sourceFileName,
|
||||||
|
sourceMimeType: session.sourceMimeType,
|
||||||
|
sourceFileSize: session.sourceFileSize,
|
||||||
|
itemCount: session.items.length,
|
||||||
|
items: session.items.map((item) => ({
|
||||||
|
id: item.id,
|
||||||
|
rawName: item.rawName,
|
||||||
|
normalizedName: item.normalizedName,
|
||||||
|
brand: item.brand,
|
||||||
|
categoryHint: item.categoryHint,
|
||||||
|
categoryId: item.categoryId,
|
||||||
|
price: item.price != null ? Number(item.price) : null,
|
||||||
|
priceUnit: item.priceUnit,
|
||||||
|
comparisonPrice: item.comparisonPrice != null ? Number(item.comparisonPrice) : null,
|
||||||
|
comparisonUnit: item.comparisonUnit,
|
||||||
|
weight: item.weight,
|
||||||
|
bundleWeight: item.bundleWeight,
|
||||||
|
isBundle: item.isBundle,
|
||||||
|
bundleItems: Array.isArray(item.bundleItems) ? item.bundleItems : [],
|
||||||
|
offerText: item.offerText,
|
||||||
|
parseConfidence: item.parseConfidence,
|
||||||
|
parseReasons: Array.isArray(item.parseReasons) ? item.parseReasons : [],
|
||||||
|
matchedProductId: item.matchedProductId,
|
||||||
|
matchedProductName: item.matchedProductName,
|
||||||
|
matchedVia: item.matchedVia,
|
||||||
|
matchConfidence: item.matchConfidence,
|
||||||
|
matchReasons: Array.isArray(item.matchReasons) ? item.matchReasons : [],
|
||||||
|
})),
|
||||||
|
warnings,
|
||||||
|
legacyWarnings: warningSet.legacyWarnings,
|
||||||
|
} as Record<string, unknown>;
|
||||||
|
|
||||||
|
return {
|
||||||
|
id: this.flyerTraceId(session.id),
|
||||||
|
source: 'flyer',
|
||||||
|
status,
|
||||||
|
createdAt: session.createdAt.toISOString(),
|
||||||
|
userId: session.userId,
|
||||||
|
userLabel: this.userLabel(session.user?.username, session.user?.email, session.userId),
|
||||||
|
sessionId: session.id,
|
||||||
|
fileName: session.sourceFileName,
|
||||||
|
model: 'ministral-8b-2512',
|
||||||
|
durationMs: null,
|
||||||
|
retryCount: supplement.retryCount,
|
||||||
|
chunkCount: supplement.chunkCount,
|
||||||
|
warnings,
|
||||||
|
legacyWarnings: warningSet.legacyWarnings,
|
||||||
|
error: session.items.length === 0 ? 'Inga produkter kunde extraheras från flyern.' : null,
|
||||||
|
prompt: supplement.prompt,
|
||||||
|
rawOutput:
|
||||||
|
this.maskRawOutput(supplement.rawOutput) ?? JSON.stringify(this.maskSensitiveData(normalizedOutput)),
|
||||||
|
normalizedOutput: this.maskSensitiveData(normalizedOutput),
|
||||||
|
summary: {
|
||||||
|
source: 'flyer',
|
||||||
|
sessionId: session.id,
|
||||||
|
itemCount: session.items.length,
|
||||||
|
warningsCount: this.countActionableWarnings(warnings),
|
||||||
|
promptAvailable: !!supplement.prompt,
|
||||||
|
outputAvailable: true,
|
||||||
|
retentionHintDays: 30,
|
||||||
|
maskedFields: AI_TRACE_MASK_FIELDS,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private async getFlyerTraceSupplements(sessionIds: number[]): Promise<Map<number, FlyerTraceSupplement>> {
|
||||||
|
if (sessionIds.length === 0) return new Map<number, FlyerTraceSupplement>();
|
||||||
|
|
||||||
|
const rows = await this.prisma.aiTrace.findMany({
|
||||||
|
where: {
|
||||||
|
source: 'flyer',
|
||||||
|
sessionId: { in: sessionIds },
|
||||||
|
},
|
||||||
|
orderBy: [{ sessionId: 'desc' }, { createdAt: 'desc' }],
|
||||||
|
select: {
|
||||||
|
sessionId: true,
|
||||||
|
prompt: true,
|
||||||
|
rawOutput: true,
|
||||||
|
normalizedOutput: true,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
const out = new Map<number, FlyerTraceSupplement>();
|
||||||
|
for (const row of rows) {
|
||||||
|
if (row.sessionId == null || out.has(row.sessionId)) continue;
|
||||||
|
out.set(row.sessionId, {
|
||||||
|
prompt: row.prompt ? this.maskSensitiveText(row.prompt) : null,
|
||||||
|
rawOutput: row.rawOutput,
|
||||||
|
retryCount: this.extractTraceNumber(row.normalizedOutput, 'retryCount'),
|
||||||
|
chunkCount: this.extractTraceNumber(row.normalizedOutput, 'chunkCount'),
|
||||||
|
});
|
||||||
|
}
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
|
||||||
|
private async getFlyerTraceSupplementBySessionId(sessionId: number): Promise<FlyerTraceSupplement> {
|
||||||
|
const rows = await this.getFlyerTraceSupplements([sessionId]);
|
||||||
|
return rows.get(sessionId) ?? {
|
||||||
|
prompt: null,
|
||||||
|
rawOutput: null,
|
||||||
|
retryCount: null,
|
||||||
|
chunkCount: null,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private extractTraceNumber(value: unknown, key: string): number | null {
|
||||||
|
if (!value || typeof value !== 'object') return null;
|
||||||
|
const entry = (value as Record<string, unknown>)[key];
|
||||||
|
if (typeof entry === 'number' && Number.isFinite(entry)) return entry;
|
||||||
|
if (typeof entry === 'string') {
|
||||||
|
const parsed = Number.parseInt(entry, 10);
|
||||||
|
return Number.isFinite(parsed) ? parsed : null;
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private statusFromSession(itemCount: number, warningsCount: number): AiTraceStatus {
|
||||||
|
if (itemCount <= 0) return 'error';
|
||||||
|
if (warningsCount > 0) return 'warning';
|
||||||
|
return 'success';
|
||||||
|
}
|
||||||
|
|
||||||
|
private maskSensitiveData(data: Record<string, unknown>): Record<string, unknown> {
|
||||||
|
const clone = JSON.parse(JSON.stringify(data)) as Record<string, unknown>;
|
||||||
|
return this.maskDeep(clone) as Record<string, unknown>;
|
||||||
|
}
|
||||||
|
|
||||||
|
private maskDeep(value: unknown): unknown {
|
||||||
|
if (typeof value === 'string') {
|
||||||
|
return this.maskSensitiveText(value);
|
||||||
|
}
|
||||||
|
if (Array.isArray(value)) {
|
||||||
|
return value.map((entry) => this.maskDeep(entry));
|
||||||
|
}
|
||||||
|
if (value && typeof value === 'object') {
|
||||||
|
const out: Record<string, unknown> = {};
|
||||||
|
for (const [key, nested] of Object.entries(value as Record<string, unknown>)) {
|
||||||
|
const lowerKey = key.toLowerCase();
|
||||||
|
if (AI_TRACE_MASK_FIELDS.some((field) => lowerKey.includes(field))) {
|
||||||
|
out[key] = '[MASKED]';
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
out[key] = this.maskDeep(nested);
|
||||||
|
}
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
return value;
|
||||||
|
}
|
||||||
|
|
||||||
|
private maskSensitiveText(value: string): string {
|
||||||
|
return value
|
||||||
|
.replace(EMAIL_REGEX, '[MASKED]')
|
||||||
|
.replace(SWEDISH_PERSONAL_ID_REGEX, '[MASKED]')
|
||||||
|
.replace(PHONE_REGEX, '[MASKED]');
|
||||||
|
}
|
||||||
|
|
||||||
|
private maskRawOutput(rawOutput: string | null | undefined): string | null {
|
||||||
|
if (typeof rawOutput !== 'string' || rawOutput.trim().length === 0) {
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
try {
|
||||||
|
const parsed = JSON.parse(rawOutput);
|
||||||
|
if (parsed && typeof parsed === 'object') {
|
||||||
|
const masked = this.maskDeep(parsed);
|
||||||
|
return JSON.stringify(masked);
|
||||||
|
}
|
||||||
|
if (typeof parsed === 'string') {
|
||||||
|
return this.maskSensitiveText(parsed);
|
||||||
|
}
|
||||||
|
return this.maskSensitiveText(String(parsed));
|
||||||
|
} catch {
|
||||||
|
return this.maskSensitiveText(rawOutput);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private parseCursor(cursor?: string): number | null {
|
||||||
|
if (!cursor) return null;
|
||||||
|
const value = Number.parseInt(cursor, 10);
|
||||||
|
return Number.isFinite(value) && value > 0 ? value : null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private periodStart(period?: '24h' | '7d' | '30d'): Date | null {
|
||||||
|
if (!period) return null;
|
||||||
|
const now = Date.now();
|
||||||
|
const map: Record<string, number> = {
|
||||||
|
'24h': 24 * 60 * 60 * 1000,
|
||||||
|
'7d': 7 * 24 * 60 * 60 * 1000,
|
||||||
|
'30d': 30 * 24 * 60 * 60 * 1000,
|
||||||
|
};
|
||||||
|
const duration = map[period];
|
||||||
|
if (!duration) return null;
|
||||||
|
return new Date(now - duration);
|
||||||
|
}
|
||||||
|
|
||||||
|
private parseTraceId(id: string): { source: AiTraceSource; numericId: number } {
|
||||||
|
const trimmed = id.trim();
|
||||||
|
if (trimmed.startsWith('flyer-')) {
|
||||||
|
const value = Number.parseInt(trimmed.replace('flyer-', ''), 10);
|
||||||
|
if (Number.isFinite(value) && value > 0) {
|
||||||
|
return { source: 'flyer', numericId: value };
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (trimmed.startsWith('receipt-')) {
|
||||||
|
const value = Number.parseInt(trimmed.replace('receipt-', ''), 10);
|
||||||
|
if (Number.isFinite(value) && value > 0) {
|
||||||
|
return { source: 'receipt', numericId: value };
|
||||||
|
}
|
||||||
|
}
|
||||||
|
throw new NotFoundException('AI-trace hittades inte.');
|
||||||
|
}
|
||||||
|
|
||||||
|
private flyerTraceId(sessionId: number): string {
|
||||||
|
return `flyer-${sessionId}`;
|
||||||
|
}
|
||||||
|
|
||||||
|
private userLabel(username: string | null | undefined, email: string | null | undefined, userId: number): string {
|
||||||
|
if (username && username.trim().length > 0) return username.trim();
|
||||||
|
if (email && email.trim().length > 0) return email.trim();
|
||||||
|
return `user:${userId}`;
|
||||||
|
}
|
||||||
|
|
||||||
|
private collectWarnings(items: Array<{ parseReasons: unknown; matchReasons: unknown; itemIndex?: number; rawName?: string }>): {
|
||||||
|
warnings: AdminAiWarning[];
|
||||||
|
legacyWarnings: string[];
|
||||||
|
} {
|
||||||
|
const warnings: AdminAiWarning[] = [];
|
||||||
|
const legacyWarnings = new Set<string>();
|
||||||
|
const dedupe = new Set<string>();
|
||||||
|
|
||||||
|
for (const item of items) {
|
||||||
|
const itemIndex = item.itemIndex != null ? item.itemIndex + 1 : undefined;
|
||||||
|
const productName = item.rawName?.trim() || 'okänt';
|
||||||
|
|
||||||
|
if (Array.isArray(item.parseReasons)) {
|
||||||
|
for (const reason of item.parseReasons) {
|
||||||
|
const text = String(reason ?? '').trim();
|
||||||
|
if (!text) continue;
|
||||||
|
const warning: AdminAiWarning = {
|
||||||
|
...describeParseReason(text),
|
||||||
|
itemIndex,
|
||||||
|
productName,
|
||||||
|
} as AdminAiWarning;
|
||||||
|
const key = `${warning.kind}:${text}:${warning.itemIndex ?? 0}`;
|
||||||
|
if (dedupe.has(key)) continue;
|
||||||
|
dedupe.add(key);
|
||||||
|
warnings.push(warning);
|
||||||
|
legacyWarnings.add(`parse:${text}`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (Array.isArray(item.matchReasons)) {
|
||||||
|
for (const reason of item.matchReasons) {
|
||||||
|
const text = String(reason ?? '').trim();
|
||||||
|
if (!text) continue;
|
||||||
|
const warning: AdminAiWarning = {
|
||||||
|
...describeMatchReason(text),
|
||||||
|
itemIndex,
|
||||||
|
productName,
|
||||||
|
} as AdminAiWarning;
|
||||||
|
const key = `${warning.kind}:${text}:${warning.itemIndex ?? 0}`;
|
||||||
|
if (dedupe.has(key)) continue;
|
||||||
|
dedupe.add(key);
|
||||||
|
warnings.push(warning);
|
||||||
|
legacyWarnings.add(`match:${text}`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return {
|
||||||
|
warnings,
|
||||||
|
legacyWarnings: Array.from(legacyWarnings),
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private countActionableWarnings(warnings: AdminAiWarning[]): number {
|
||||||
|
return warnings.filter((warning) => warning.severity !== 'info').length;
|
||||||
|
}
|
||||||
|
|
||||||
|
private async listReceiptTraces(params: {
|
||||||
|
source: AiTraceSource;
|
||||||
|
limit: number;
|
||||||
|
cursor?: string;
|
||||||
|
period?: '24h' | '7d' | '30d';
|
||||||
|
onlyErrors?: boolean;
|
||||||
|
}): Promise<AiTraceListResponse> {
|
||||||
|
const take = Math.max(1, Math.min(params.limit || 20, 100));
|
||||||
|
const cursorId = this.parseCursor(params.cursor);
|
||||||
|
const periodStart = this.periodStart(params.period);
|
||||||
|
|
||||||
|
const rows = await this.prisma.aiTrace.findMany({
|
||||||
|
where: {
|
||||||
|
source: 'receipt',
|
||||||
|
...(periodStart ? { createdAt: { gte: periodStart } } : {}),
|
||||||
|
...(cursorId ? { id: { lt: cursorId } } : {}),
|
||||||
|
...(params.onlyErrors ? { status: 'error' } : {}),
|
||||||
|
},
|
||||||
|
orderBy: { id: 'desc' },
|
||||||
|
take: take + 1,
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
source: true,
|
||||||
|
status: true,
|
||||||
|
createdAt: true,
|
||||||
|
userId: true,
|
||||||
|
sessionId: true,
|
||||||
|
model: true,
|
||||||
|
durationMs: true,
|
||||||
|
error: true,
|
||||||
|
prompt: true,
|
||||||
|
rawOutput: true,
|
||||||
|
user: { select: { username: true, email: true } },
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
const hasMore = rows.length > take;
|
||||||
|
const page = hasMore ? rows.slice(0, take) : rows;
|
||||||
|
|
||||||
|
return {
|
||||||
|
items: page.map((row) => ({
|
||||||
|
id: `receipt-${row.id}`,
|
||||||
|
source: 'receipt',
|
||||||
|
status: row.status === 'error' ? 'error' : row.status === 'warning' ? 'warning' : 'success',
|
||||||
|
createdAt: row.createdAt.toISOString(),
|
||||||
|
userId: row.userId ?? 0,
|
||||||
|
userLabel: this.userLabel(row.user?.username, row.user?.email, row.userId ?? 0),
|
||||||
|
sessionId: row.sessionId,
|
||||||
|
fileName: null,
|
||||||
|
model: row.model,
|
||||||
|
durationMs: row.durationMs,
|
||||||
|
warningsCount: 0,
|
||||||
|
hasPrompt: !!row.prompt,
|
||||||
|
hasOutput: !!row.rawOutput,
|
||||||
|
error: row.error,
|
||||||
|
})),
|
||||||
|
nextCursor: hasMore ? String(page[page.length - 1]?.id ?? '') : null,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private async getReceiptTraceById(traceId: number): Promise<AiTraceDetail> {
|
||||||
|
const row = await this.prisma.aiTrace.findFirst({
|
||||||
|
where: { id: traceId, source: 'receipt' },
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
source: true,
|
||||||
|
status: true,
|
||||||
|
createdAt: true,
|
||||||
|
userId: true,
|
||||||
|
sessionId: true,
|
||||||
|
model: true,
|
||||||
|
durationMs: true,
|
||||||
|
error: true,
|
||||||
|
prompt: true,
|
||||||
|
rawOutput: true,
|
||||||
|
normalizedOutput: true,
|
||||||
|
user: { select: { username: true, email: true } },
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
if (!row) {
|
||||||
|
throw new NotFoundException('AI-trace hittades inte.');
|
||||||
|
}
|
||||||
|
|
||||||
|
const normalizedOutput = row.normalizedOutput && typeof row.normalizedOutput === 'object'
|
||||||
|
? this.maskSensitiveData(row.normalizedOutput as Record<string, unknown>)
|
||||||
|
: null;
|
||||||
|
|
||||||
|
return {
|
||||||
|
id: `receipt-${row.id}`,
|
||||||
|
source: 'receipt',
|
||||||
|
status: row.status === 'error' ? 'error' : row.status === 'warning' ? 'warning' : 'success',
|
||||||
|
createdAt: row.createdAt.toISOString(),
|
||||||
|
userId: row.userId ?? 0,
|
||||||
|
userLabel: this.userLabel(row.user?.username, row.user?.email, row.userId ?? 0),
|
||||||
|
sessionId: row.sessionId,
|
||||||
|
fileName: null,
|
||||||
|
model: row.model,
|
||||||
|
durationMs: row.durationMs,
|
||||||
|
retryCount: null,
|
||||||
|
chunkCount: null,
|
||||||
|
warnings: [],
|
||||||
|
legacyWarnings: [],
|
||||||
|
error: row.error,
|
||||||
|
prompt: row.prompt ? this.maskSensitiveText(row.prompt) : null,
|
||||||
|
rawOutput: this.maskRawOutput(row.rawOutput),
|
||||||
|
normalizedOutput,
|
||||||
|
summary: {
|
||||||
|
source: 'receipt',
|
||||||
|
traceId: row.id,
|
||||||
|
promptAvailable: !!row.prompt,
|
||||||
|
outputAvailable: !!row.rawOutput || normalizedOutput != null,
|
||||||
|
retentionHintDays: 30,
|
||||||
|
maskedFields: AI_TRACE_MASK_FIELDS,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -1,6 +1,10 @@
|
|||||||
import { Controller, Get } from '@nestjs/common';
|
import { Controller, Get, Param, ParseIntPipe, Query, Post } from '@nestjs/common';
|
||||||
|
import { Roles } from '../auth/decorators/roles.decorator';
|
||||||
import { Public } from '../auth/decorators/public.decorator';
|
import { Public } from '../auth/decorators/public.decorator';
|
||||||
import { AI_CATEGORIZATION_MODEL } from './ai.service';
|
import { AI_CATEGORIZATION_MODEL } from './ai.service';
|
||||||
|
import { AiTraceService } from './ai-trace.service';
|
||||||
|
import { AiTraceCleanupService } from './ai-trace-cleanup.service';
|
||||||
|
import { ListAiTracesQueryDto } from './dto/list-ai-traces.query.dto';
|
||||||
|
|
||||||
const RECEIPT_IMPORT_MODEL = 'mistral-small-2603';
|
const RECEIPT_IMPORT_MODEL = 'mistral-small-2603';
|
||||||
|
|
||||||
@@ -16,9 +20,14 @@ export interface AiModelInfo {
|
|||||||
|
|
||||||
@Controller('ai')
|
@Controller('ai')
|
||||||
export class AiController {
|
export class AiController {
|
||||||
@Get('models')
|
constructor(
|
||||||
@Public()
|
private readonly aiTraceService: AiTraceService,
|
||||||
getModels(): AiModelInfo[] {
|
private readonly aiTraceCleanupService: AiTraceCleanupService,
|
||||||
|
) {}
|
||||||
|
|
||||||
|
@Get('models')
|
||||||
|
@Public()
|
||||||
|
getModels(): AiModelInfo[] {
|
||||||
return [
|
return [
|
||||||
{
|
{
|
||||||
id: 'receipt-pdf',
|
id: 'receipt-pdf',
|
||||||
@@ -64,7 +73,32 @@ export class AiController {
|
|||||||
path: '/admin/products',
|
path: '/admin/products',
|
||||||
trigger: 'Manuell — knappen "✨ AI-kategorisera okategoriserade"',
|
trigger: 'Manuell — knappen "✨ AI-kategorisera okategoriserade"',
|
||||||
access: 'Admin',
|
access: 'Admin',
|
||||||
},
|
},
|
||||||
];
|
];
|
||||||
|
}
|
||||||
|
|
||||||
|
@Roles('admin')
|
||||||
|
@Get('traces')
|
||||||
|
listTraces(@Query() query: ListAiTracesQueryDto) {
|
||||||
|
return this.aiTraceService.listTraces({
|
||||||
|
source: query.source ?? 'flyer',
|
||||||
|
limit: query.limit ?? 20,
|
||||||
|
cursor: query.cursor,
|
||||||
|
period: query.period,
|
||||||
|
onlyErrors: query.onlyErrors ?? false,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
@Roles('admin')
|
||||||
|
@Get('traces/:id')
|
||||||
|
getTraceById(@Param('id') id: string) {
|
||||||
|
return this.aiTraceService.getTraceById(id);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post('traces/cleanup')
|
||||||
|
@Roles('admin')
|
||||||
|
async manualCleanup() {
|
||||||
|
await this.aiTraceCleanupService.cleanupOldTraces();
|
||||||
|
return { success: true, message: 'Manual cleanup completed.' };
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
+14
-10
@@ -1,10 +1,14 @@
|
|||||||
import { Module } from '@nestjs/common';
|
import { Module } from '@nestjs/common';
|
||||||
import { AiService } from './ai.service';
|
import { AiService } from './ai.service';
|
||||||
import { AiController } from './ai.controller';
|
import { AiController } from './ai.controller';
|
||||||
|
import { AiTraceService } from './ai-trace.service';
|
||||||
@Module({
|
import { AiTraceCleanupService } from './ai-trace-cleanup.service';
|
||||||
controllers: [AiController],
|
import { PrismaModule } from '../prisma/prisma.module';
|
||||||
providers: [AiService],
|
|
||||||
exports: [AiService],
|
@Module({
|
||||||
})
|
imports: [PrismaModule],
|
||||||
export class AiModule {}
|
controllers: [AiController],
|
||||||
|
providers: [AiService, AiTraceService, AiTraceCleanupService],
|
||||||
|
exports: [AiService],
|
||||||
|
})
|
||||||
|
export class AiModule {}
|
||||||
|
|||||||
@@ -2,7 +2,7 @@ import { Injectable, Logger, ServiceUnavailableException } from '@nestjs/common'
|
|||||||
import { FlatCategory } from '../categories/categories.service';
|
import { FlatCategory } from '../categories/categories.service';
|
||||||
|
|
||||||
const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
|
const MISTRAL_API_URL = 'https://api.mistral.ai/v1/chat/completions';
|
||||||
export const AI_CATEGORIZATION_MODEL = 'mistral-tiny';
|
export const AI_CATEGORIZATION_MODEL = 'ministral-8b-2512';
|
||||||
const MODEL = AI_CATEGORIZATION_MODEL;
|
const MODEL = AI_CATEGORIZATION_MODEL;
|
||||||
|
|
||||||
export type CategorySuggestion = {
|
export type CategorySuggestion = {
|
||||||
|
|||||||
@@ -0,0 +1,6 @@
|
|||||||
|
import { FlyerReasonDescriptor } from '../../flyer-import/services/reason-codes';
|
||||||
|
|
||||||
|
export type AdminAiWarning = FlyerReasonDescriptor & {
|
||||||
|
itemIndex?: number;
|
||||||
|
productName?: string;
|
||||||
|
};
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
import { Transform } from 'class-transformer';
|
||||||
|
import { IsBoolean, IsIn, IsInt, IsOptional, IsString, Max, Min } from 'class-validator';
|
||||||
|
|
||||||
|
export class ListAiTracesQueryDto {
|
||||||
|
@IsOptional()
|
||||||
|
@IsIn(['receipt', 'flyer'])
|
||||||
|
source?: 'receipt' | 'flyer';
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Transform(({ value }) => {
|
||||||
|
if (value === undefined || value === null || value === '') return undefined;
|
||||||
|
const parsed = Number.parseInt(String(value), 10);
|
||||||
|
return Number.isFinite(parsed) ? parsed : value;
|
||||||
|
})
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
@Max(100)
|
||||||
|
limit?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
cursor?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsIn(['24h', '7d', '30d'])
|
||||||
|
period?: '24h' | '7d' | '30d';
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Transform(({ value }) => {
|
||||||
|
if (typeof value === 'boolean') return value;
|
||||||
|
const normalized = String(value ?? '').trim().toLowerCase();
|
||||||
|
if (!normalized) return undefined;
|
||||||
|
return ['1', 'true', 'yes', 'on'].includes(normalized);
|
||||||
|
})
|
||||||
|
@IsBoolean()
|
||||||
|
onlyErrors?: boolean;
|
||||||
|
}
|
||||||
@@ -1,6 +1,7 @@
|
|||||||
import { Module } from '@nestjs/common';
|
import { Module } from '@nestjs/common';
|
||||||
import { APP_GUARD } from '@nestjs/core';
|
import { APP_GUARD } from '@nestjs/core';
|
||||||
import { ThrottlerModule, ThrottlerGuard } from '@nestjs/throttler';
|
import { ThrottlerModule, ThrottlerGuard } from '@nestjs/throttler';
|
||||||
|
import { ScheduleModule } from '@nestjs/schedule';
|
||||||
import { HealthModule } from './health/health.module';
|
import { HealthModule } from './health/health.module';
|
||||||
import { PrismaModule } from './prisma/prisma.module';
|
import { PrismaModule } from './prisma/prisma.module';
|
||||||
import { ProductsModule } from './products/products.module';
|
import { ProductsModule } from './products/products.module';
|
||||||
@@ -16,6 +17,11 @@ import { UsersModule } from './users/users.module';
|
|||||||
import { UserProductsModule } from './user-products/user-products.module';
|
import { UserProductsModule } from './user-products/user-products.module';
|
||||||
import { CategoriesModule } from './categories/categories.module';
|
import { CategoriesModule } from './categories/categories.module';
|
||||||
import { AiModule } from './ai/ai.module';
|
import { AiModule } from './ai/ai.module';
|
||||||
|
import { RealtimeModule } from './realtime/realtime.module';
|
||||||
|
import { HelpTextsModule } from './help-texts/help-texts.module';
|
||||||
|
import { FlyerImportModule } from './flyer-import/flyer-import.module';
|
||||||
|
import { FlyerSelectionModule } from './flyer-selection/flyer-selection.module';
|
||||||
|
import { ShoppingListModule } from './shopping-list/shopping-list.module';
|
||||||
import { JwtAuthGuard } from './auth/jwt-auth.guard';
|
import { JwtAuthGuard } from './auth/jwt-auth.guard';
|
||||||
import { RolesGuard } from './auth/roles.guard';
|
import { RolesGuard } from './auth/roles.guard';
|
||||||
|
|
||||||
@@ -29,6 +35,7 @@ import { RolesGuard } from './auth/roles.guard';
|
|||||||
limit: 120, // 120 anrop per minut (generellt)
|
limit: 120, // 120 anrop per minut (generellt)
|
||||||
},
|
},
|
||||||
]),
|
]),
|
||||||
|
ScheduleModule.forRoot(),
|
||||||
HealthModule,
|
HealthModule,
|
||||||
PrismaModule,
|
PrismaModule,
|
||||||
ProductsModule,
|
ProductsModule,
|
||||||
@@ -44,6 +51,11 @@ import { RolesGuard } from './auth/roles.guard';
|
|||||||
UserProductsModule,
|
UserProductsModule,
|
||||||
CategoriesModule,
|
CategoriesModule,
|
||||||
AiModule,
|
AiModule,
|
||||||
|
RealtimeModule,
|
||||||
|
HelpTextsModule,
|
||||||
|
FlyerImportModule,
|
||||||
|
FlyerSelectionModule,
|
||||||
|
ShoppingListModule,
|
||||||
],
|
],
|
||||||
providers: [
|
providers: [
|
||||||
{
|
{
|
||||||
@@ -60,4 +72,4 @@ import { RolesGuard } from './auth/roles.guard';
|
|||||||
},
|
},
|
||||||
],
|
],
|
||||||
})
|
})
|
||||||
export class AppModule {}
|
export class AppModule {}
|
||||||
|
|||||||
@@ -7,9 +7,9 @@ import { RolesGuard } from './auth/roles.guard';
|
|||||||
describe('App security configuration', () => {
|
describe('App security configuration', () => {
|
||||||
function getAppModuleClass() {
|
function getAppModuleClass() {
|
||||||
process.env.JWT_SECRET = process.env.JWT_SECRET ?? 'test-secret';
|
process.env.JWT_SECRET = process.env.JWT_SECRET ?? 'test-secret';
|
||||||
// eslint-disable-next-line @typescript-eslint/no-var-requires
|
// eslint-disable-next-line global-require
|
||||||
return require('./app.module').AppModule as any;
|
return require('./app.module').AppModule as any;
|
||||||
}
|
}
|
||||||
|
|
||||||
it('har globala guards i förväntad ordning: Throttler -> Jwt -> Roles', () => {
|
it('har globala guards i förväntad ordning: Throttler -> Jwt -> Roles', () => {
|
||||||
const AppModule = getAppModuleClass();
|
const AppModule = getAppModuleClass();
|
||||||
|
|||||||
@@ -7,10 +7,15 @@ export class JwtStrategy extends PassportStrategy(Strategy) {
|
|||||||
private readonly logger = new Logger(JwtStrategy.name);
|
private readonly logger = new Logger(JwtStrategy.name);
|
||||||
|
|
||||||
constructor() {
|
constructor() {
|
||||||
|
const jwtSecret = process.env.JWT_SECRET;
|
||||||
|
if (!jwtSecret) {
|
||||||
|
throw new Error('JWT_SECRET is not set');
|
||||||
|
}
|
||||||
|
|
||||||
super({
|
super({
|
||||||
jwtFromRequest: ExtractJwt.fromAuthHeaderAsBearerToken(),
|
jwtFromRequest: ExtractJwt.fromAuthHeaderAsBearerToken(),
|
||||||
ignoreExpiration: false,
|
ignoreExpiration: false,
|
||||||
secretOrKey: process.env.JWT_SECRET,
|
secretOrKey: jwtSecret,
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,62 @@
|
|||||||
|
export type FlyerImportMatchVia = 'alias' | 'exact' | 'token' | 'none';
|
||||||
|
|
||||||
|
export type FlyerImportSignals = {
|
||||||
|
originCountries: string[];
|
||||||
|
labels: string[];
|
||||||
|
qualityFlags: string[];
|
||||||
|
variant: string | null;
|
||||||
|
packaging: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type FlyerReasonDescriptor = {
|
||||||
|
code: string;
|
||||||
|
kind: 'parse' | 'match';
|
||||||
|
title: string;
|
||||||
|
message: string;
|
||||||
|
severity: 'info' | 'warning' | 'error';
|
||||||
|
location: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type FlyerImportItem = {
|
||||||
|
flyerItemId: number | null;
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
brand: string | null;
|
||||||
|
category: string | null;
|
||||||
|
categoryId: number | null;
|
||||||
|
price: number | null;
|
||||||
|
priceUnit: string | null;
|
||||||
|
comparisonPrice: number | null;
|
||||||
|
comparisonUnit: string | null;
|
||||||
|
weight: string | null;
|
||||||
|
bundleWeight: string | null;
|
||||||
|
isBundle: boolean;
|
||||||
|
bundleItems: string[];
|
||||||
|
displayNameDetailed: string | null;
|
||||||
|
signals: FlyerImportSignals | null;
|
||||||
|
offerText: string | null;
|
||||||
|
isOffer: boolean;
|
||||||
|
offerLimitText: string | null;
|
||||||
|
parseConfidence: number;
|
||||||
|
parseReasons: string[];
|
||||||
|
parseReasonsDetailed: FlyerReasonDescriptor[];
|
||||||
|
matchedProductId: number | null;
|
||||||
|
matchedProductName: string | null;
|
||||||
|
matchedVia: FlyerImportMatchVia;
|
||||||
|
matchConfidence: number;
|
||||||
|
matchReasons: string[];
|
||||||
|
matchReasonsDetailed: FlyerReasonDescriptor[];
|
||||||
|
origin?: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type FlyerImportResponse = {
|
||||||
|
sessionId: number | null;
|
||||||
|
retailer: 'willys';
|
||||||
|
parserVersion: 'v1';
|
||||||
|
sourceAvailable: boolean;
|
||||||
|
sourceFileName: string | null;
|
||||||
|
sourceMimeType: string | null;
|
||||||
|
sourceFileSize: number | null;
|
||||||
|
items: FlyerImportItem[];
|
||||||
|
warnings: string[];
|
||||||
|
};
|
||||||
@@ -0,0 +1,20 @@
|
|||||||
|
import { Transform } from 'class-transformer';
|
||||||
|
import { IsInt, IsOptional, IsString, MaxLength, Min } from 'class-validator';
|
||||||
|
|
||||||
|
export class UpdateFlyerItemDto {
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(191)
|
||||||
|
rawName?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Transform(({ value }) => {
|
||||||
|
if (value === null || value === undefined || value === '') return null;
|
||||||
|
if (typeof value === 'number') return value;
|
||||||
|
const parsed = Number(value);
|
||||||
|
return Number.isFinite(parsed) ? parsed : value;
|
||||||
|
})
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
categoryId?: number | null;
|
||||||
|
}
|
||||||
@@ -0,0 +1,123 @@
|
|||||||
|
import {
|
||||||
|
Body,
|
||||||
|
BadRequestException,
|
||||||
|
Controller,
|
||||||
|
Get,
|
||||||
|
Header,
|
||||||
|
HttpCode,
|
||||||
|
Patch,
|
||||||
|
Param,
|
||||||
|
ParseIntPipe,
|
||||||
|
Post,
|
||||||
|
Request,
|
||||||
|
StreamableFile,
|
||||||
|
UnauthorizedException,
|
||||||
|
UploadedFile,
|
||||||
|
UseInterceptors,
|
||||||
|
} from '@nestjs/common';
|
||||||
|
import { Throttle } from '@nestjs/throttler';
|
||||||
|
import { FileInterceptor } from '@nestjs/platform-express';
|
||||||
|
import { memoryStorage } from 'multer';
|
||||||
|
import { FlyerImportResponse } from './dto/flyer-import.response';
|
||||||
|
import { UpdateFlyerItemDto } from './dto/update-flyer-item.dto';
|
||||||
|
import { FlyerImportService } from './flyer-import.service';
|
||||||
|
|
||||||
|
const ALLOWED_MIMES = [
|
||||||
|
'application/pdf',
|
||||||
|
'application/octet-stream',
|
||||||
|
'text/plain',
|
||||||
|
'image/png',
|
||||||
|
'image/jpeg',
|
||||||
|
'image/webp',
|
||||||
|
];
|
||||||
|
|
||||||
|
@Controller('flyer-import')
|
||||||
|
export class FlyerImportController {
|
||||||
|
constructor(private readonly flyerImportService: FlyerImportService) {}
|
||||||
|
|
||||||
|
@Post('parse')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 10 } })
|
||||||
|
@UseInterceptors(
|
||||||
|
FileInterceptor('file', {
|
||||||
|
storage: memoryStorage(),
|
||||||
|
limits: { fileSize: 15 * 1024 * 1024 },
|
||||||
|
}),
|
||||||
|
)
|
||||||
|
async parseFlyer(
|
||||||
|
@UploadedFile() file?: Express.Multer.File,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerImportResponse> {
|
||||||
|
if (!file?.buffer) {
|
||||||
|
throw new BadRequestException('Ingen fil skickades med.');
|
||||||
|
}
|
||||||
|
if (!ALLOWED_MIMES.includes(file.mimetype)) {
|
||||||
|
throw new BadRequestException('Otillåten filtyp. Använd PDF, textfil eller bild (PNG, JPEG, WebP).');
|
||||||
|
}
|
||||||
|
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
|
||||||
|
return this.flyerImportService.parseAndMatch(file, userId);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Get('sessions/latest')
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 30 } })
|
||||||
|
async getLatestSession(@Request() req?: any): Promise<FlyerImportResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerImportService.getLatestSession(userId);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Get('sessions/:sessionId')
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 30 } })
|
||||||
|
async getSession(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerImportResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerImportService.getSession(sessionId, userId);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Get('sessions/:sessionId/source')
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 30 } })
|
||||||
|
@Header('Cache-Control', 'private, max-age=300')
|
||||||
|
async getSessionSource(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<StreamableFile> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
const source = await this.flyerImportService.getSessionSource(sessionId, userId);
|
||||||
|
return new StreamableFile(source.data, {
|
||||||
|
disposition: `inline; filename="${source.fileName.replace(/"/g, '')}"`,
|
||||||
|
type: source.mimeType,
|
||||||
|
length: source.contentLength,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
@Patch('sessions/:sessionId/items/:itemId')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 60 } })
|
||||||
|
async updateSessionItem(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Param('itemId', ParseIntPipe) itemId: number,
|
||||||
|
@Request() req: any,
|
||||||
|
@Body() dto: UpdateFlyerItemDto,
|
||||||
|
) {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerImportService.updateSessionItem(sessionId, itemId, userId, dto);
|
||||||
|
}
|
||||||
|
|
||||||
|
private getUserId(req?: any): number {
|
||||||
|
const userId =
|
||||||
|
typeof req?.user?.id === 'number'
|
||||||
|
? req.user.id
|
||||||
|
: typeof req?.user?.userId === 'number'
|
||||||
|
? req.user.userId
|
||||||
|
: undefined;
|
||||||
|
|
||||||
|
if (!userId) {
|
||||||
|
throw new UnauthorizedException('Kunde inte identifiera användaren.');
|
||||||
|
}
|
||||||
|
|
||||||
|
return userId;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
import { Module } from '@nestjs/common';
|
||||||
|
import { PrismaModule } from '../prisma/prisma.module';
|
||||||
|
import { FlyerImportController } from './flyer-import.controller';
|
||||||
|
import { FlyerImportService } from './flyer-import.service';
|
||||||
|
import { TextExtractorService } from './services/text-extractor.service';
|
||||||
|
import { AiFlyerParserService } from './services/ai-flyer-parser.service';
|
||||||
|
import { FlyerNormalizerService } from './services/flyer-normalizer.service';
|
||||||
|
import { CategoriesModule } from '../categories/categories.module';
|
||||||
|
import { CategoryResolverService } from '../import-common/category-resolver.service';
|
||||||
|
|
||||||
|
@Module({
|
||||||
|
imports: [PrismaModule, CategoriesModule],
|
||||||
|
controllers: [FlyerImportController],
|
||||||
|
providers: [
|
||||||
|
FlyerImportService,
|
||||||
|
TextExtractorService,
|
||||||
|
AiFlyerParserService,
|
||||||
|
FlyerNormalizerService,
|
||||||
|
CategoryResolverService,
|
||||||
|
],
|
||||||
|
})
|
||||||
|
export class FlyerImportModule {}
|
||||||
@@ -0,0 +1,424 @@
|
|||||||
|
import { ForbiddenException, NotFoundException } from '@nestjs/common';
|
||||||
|
import { FlyerImportService } from './flyer-import.service';
|
||||||
|
|
||||||
|
describe('FlyerImportService', () => {
|
||||||
|
const prismaMock = {
|
||||||
|
product: {
|
||||||
|
findMany: jest.fn(),
|
||||||
|
},
|
||||||
|
receiptAlias: {
|
||||||
|
findMany: jest.fn(),
|
||||||
|
},
|
||||||
|
flyerSession: {
|
||||||
|
findFirst: jest.fn(),
|
||||||
|
findUnique: jest.fn(),
|
||||||
|
create: jest.fn(),
|
||||||
|
},
|
||||||
|
flyerItem: {
|
||||||
|
findUnique: jest.fn(),
|
||||||
|
update: jest.fn(),
|
||||||
|
create: jest.fn(),
|
||||||
|
},
|
||||||
|
aiTrace: {
|
||||||
|
create: jest.fn(),
|
||||||
|
},
|
||||||
|
category: {
|
||||||
|
findUnique: jest.fn(),
|
||||||
|
},
|
||||||
|
};
|
||||||
|
|
||||||
|
const createService = (overrides?: {
|
||||||
|
categoriesService?: any;
|
||||||
|
categoryResolver?: any;
|
||||||
|
textExtractor?: any;
|
||||||
|
aiParser?: any;
|
||||||
|
normalizer?: any;
|
||||||
|
}) =>
|
||||||
|
new FlyerImportService(
|
||||||
|
prismaMock as any,
|
||||||
|
overrides?.categoriesService ?? { findFlattened: jest.fn().mockResolvedValue([]) },
|
||||||
|
overrides?.categoryResolver ?? { resolveForFlyer: jest.fn().mockReturnValue(null) },
|
||||||
|
overrides?.textExtractor ?? {},
|
||||||
|
overrides?.aiParser ?? {},
|
||||||
|
overrides?.normalizer ?? {},
|
||||||
|
);
|
||||||
|
|
||||||
|
beforeEach(() => {
|
||||||
|
jest.clearAllMocks();
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('getSession', () => {
|
||||||
|
it('throws NotFoundException when session is missing', async () => {
|
||||||
|
prismaMock.flyerSession.findFirst.mockResolvedValue(null);
|
||||||
|
const service = createService();
|
||||||
|
|
||||||
|
await expect(service.getSession(123, 1)).rejects.toBeInstanceOf(NotFoundException);
|
||||||
|
expect(prismaMock.flyerSession.findFirst).toHaveBeenCalledWith({
|
||||||
|
where: { id: 123, userId: 1 },
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
sourceFileName: true,
|
||||||
|
sourceMimeType: true,
|
||||||
|
sourceFileSize: true,
|
||||||
|
sourceStorageKey: true,
|
||||||
|
items: {
|
||||||
|
include: {
|
||||||
|
categoryRef: {
|
||||||
|
include: {
|
||||||
|
parent: {
|
||||||
|
include: {
|
||||||
|
parent: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { id: 'asc' },
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
it('returns mapped response for owned session', async () => {
|
||||||
|
prismaMock.flyerSession.findFirst.mockResolvedValue({
|
||||||
|
id: 42,
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
id: 99,
|
||||||
|
rawName: 'Tomat',
|
||||||
|
normalizedName: 'tomat',
|
||||||
|
brand: null,
|
||||||
|
categoryHint: 'Gronsaker',
|
||||||
|
price: { toNumber: () => 19.9 },
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
displayNameDetailed: 'Tomat',
|
||||||
|
signals: { originCountries: ['Sverige'], labels: [], qualityFlags: [], variant: null, packaging: null },
|
||||||
|
offerText: 'Max 2 kop/hushall',
|
||||||
|
parseConfidence: 0.9,
|
||||||
|
parseReasons: ['ai_parsed'],
|
||||||
|
matchedProductId: 5,
|
||||||
|
matchedProductName: 'Tomat',
|
||||||
|
matchedVia: 'exact',
|
||||||
|
matchConfidence: 0.95,
|
||||||
|
matchReasons: ['normalized_exact'],
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
const service = createService();
|
||||||
|
|
||||||
|
const result = await service.getSession(42, 1);
|
||||||
|
|
||||||
|
expect(result.sessionId).toBe(42);
|
||||||
|
expect(result.items).toHaveLength(1);
|
||||||
|
expect(result.items[0].flyerItemId).toBe(99);
|
||||||
|
expect(result.items[0].matchedVia).toBe('exact');
|
||||||
|
expect(result.items[0].displayNameDetailed).toBe('Tomat');
|
||||||
|
expect(result.items[0].signals?.originCountries).toEqual(['Sverige']);
|
||||||
|
expect(result.items[0].parseReasonsDetailed[0].title).toBe('AI-tolkad rad');
|
||||||
|
expect(result.items[0].matchReasonsDetailed[0].title).toBe('Exakt normaliserad matchning');
|
||||||
|
expect(result.sourceAvailable).toBe(false);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('sanitizes bundleItems without breaking response mapping', async () => {
|
||||||
|
prismaMock.flyerSession.findFirst.mockResolvedValue({
|
||||||
|
id: 51,
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
id: 100,
|
||||||
|
rawName: 'Kaptenens Favoriter',
|
||||||
|
normalizedName: 'kaptenens favoriter',
|
||||||
|
brand: 'Kapten Royal',
|
||||||
|
categoryHint: 'Fisk',
|
||||||
|
price: { toNumber: () => 49.9 },
|
||||||
|
priceUnit: 'pkt',
|
||||||
|
comparisonPrice: { toNumber: () => 83.17 },
|
||||||
|
comparisonUnit: 'kg',
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: '600g',
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: [' Chumlax 3x100g ', '', 'Alaska pollock 3x100g'],
|
||||||
|
offerText: 'Max 10 kop/hushall',
|
||||||
|
parseConfidence: 0.9,
|
||||||
|
parseReasons: ['ai_parsed'],
|
||||||
|
matchedProductId: null,
|
||||||
|
matchedProductName: null,
|
||||||
|
matchedVia: 'none',
|
||||||
|
matchConfidence: null,
|
||||||
|
matchReasons: [],
|
||||||
|
},
|
||||||
|
],
|
||||||
|
});
|
||||||
|
|
||||||
|
const service = createService();
|
||||||
|
const result = await service.getSession(51, 1);
|
||||||
|
|
||||||
|
expect(result.items[0].isBundle).toBe(true);
|
||||||
|
expect(result.items[0].bundleItems).toEqual(['Chumlax 3x100g', 'Alaska pollock 3x100g']);
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('parseAndMatch', () => {
|
||||||
|
it('persists and returns signals/displayNameDetailed/categoryId in parse pipeline', async () => {
|
||||||
|
prismaMock.product.findMany.mockResolvedValue([
|
||||||
|
{ id: 11, name: 'Fläskytterfilé', canonicalName: 'Fläskytterfilé', categoryId: 7 },
|
||||||
|
]);
|
||||||
|
prismaMock.receiptAlias.findMany.mockResolvedValue([]);
|
||||||
|
prismaMock.flyerSession.create.mockResolvedValue({ id: 200 });
|
||||||
|
prismaMock.flyerItem.create
|
||||||
|
.mockResolvedValueOnce({ id: 1001 });
|
||||||
|
prismaMock.aiTrace.create.mockResolvedValue({ id: 1 });
|
||||||
|
|
||||||
|
const categoriesService = { findFlattened: jest.fn().mockResolvedValue([]) };
|
||||||
|
const categoryResolver = { resolveForFlyer: jest.fn().mockReturnValue(7) };
|
||||||
|
const textExtractor = { extractText: jest.fn().mockResolvedValue('raw flyer text') };
|
||||||
|
const aiParser = {
|
||||||
|
parseWithAI: jest.fn().mockResolvedValue({
|
||||||
|
items: [
|
||||||
|
{
|
||||||
|
rawName: 'Fläskytterfilé (Sverige) EKO',
|
||||||
|
normalizedName: 'flaskytterfile sverige eko',
|
||||||
|
brand: 'Garant',
|
||||||
|
category: 'Kött',
|
||||||
|
price: 99.9,
|
||||||
|
unit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: '900g',
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: ['Del 1', 'Del 2'],
|
||||||
|
offer: 'ekologiskt från Sverige',
|
||||||
|
confidence: 0.93,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
],
|
||||||
|
trace: { prompt: null, rawOutput: null, chunkCount: 1, retryCount: 0 },
|
||||||
|
}),
|
||||||
|
};
|
||||||
|
const normalizer = {
|
||||||
|
normalize: jest.fn().mockReturnValue([
|
||||||
|
{
|
||||||
|
rawName: 'Fläskytterfilé (Sverige) EKO',
|
||||||
|
normalizedName: 'flaskytterfile sverige eko',
|
||||||
|
brand: 'Garant',
|
||||||
|
categoryHint: 'Kött',
|
||||||
|
price: 99.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: '900g',
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: ['Del 1', 'Del 2'],
|
||||||
|
offerText: 'ekologiskt från Sverige',
|
||||||
|
parseConfidence: 0.93,
|
||||||
|
parseReasons: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
]),
|
||||||
|
};
|
||||||
|
|
||||||
|
const service = createService({
|
||||||
|
categoriesService,
|
||||||
|
categoryResolver,
|
||||||
|
textExtractor,
|
||||||
|
aiParser,
|
||||||
|
normalizer,
|
||||||
|
});
|
||||||
|
|
||||||
|
const result = await service.parseAndMatch(
|
||||||
|
{
|
||||||
|
originalname: 'flyer.pdf',
|
||||||
|
mimetype: 'application/pdf',
|
||||||
|
size: 10,
|
||||||
|
buffer: Buffer.from('pdf'),
|
||||||
|
} as any,
|
||||||
|
1,
|
||||||
|
);
|
||||||
|
|
||||||
|
expect(result.items).toHaveLength(1);
|
||||||
|
expect(result.items[0].displayNameDetailed).toBe('Fläskytterfilé (Sverige) EKO (Del 1 + Del 2)');
|
||||||
|
expect(result.items[0].signals?.originCountries).toEqual(['Sverige']);
|
||||||
|
expect(result.items[0].signals?.qualityFlags).toContain('eco');
|
||||||
|
expect(result.items[0].categoryId).toBe(7);
|
||||||
|
expect(result.items[0].normalizedName).toBe('flaskytterfile');
|
||||||
|
expect(prismaMock.flyerItem.create).toHaveBeenCalledWith(
|
||||||
|
expect.objectContaining({
|
||||||
|
data: expect.objectContaining({
|
||||||
|
displayNameDetailed: 'Fläskytterfilé (Sverige) EKO (Del 1 + Del 2)',
|
||||||
|
categoryId: 7,
|
||||||
|
signals: expect.objectContaining({ originCountries: ['Sverige'] }),
|
||||||
|
}),
|
||||||
|
}),
|
||||||
|
);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('logs warning when categories fallback is used', async () => {
|
||||||
|
prismaMock.product.findMany.mockResolvedValue([]);
|
||||||
|
prismaMock.receiptAlias.findMany.mockResolvedValue([]);
|
||||||
|
prismaMock.flyerSession.create.mockResolvedValue({ id: 201 });
|
||||||
|
prismaMock.flyerItem.create.mockResolvedValue({ id: 1002 });
|
||||||
|
prismaMock.aiTrace.create.mockResolvedValue({ id: 2 });
|
||||||
|
|
||||||
|
const categoriesService = { findFlattened: jest.fn().mockRejectedValue(new Error('db down')) };
|
||||||
|
const textExtractor = { extractText: jest.fn().mockResolvedValue('raw') };
|
||||||
|
const aiParser = {
|
||||||
|
parseWithAI: jest.fn().mockResolvedValue({
|
||||||
|
items: [{ rawName: 'Tomat' }],
|
||||||
|
trace: { prompt: null, rawOutput: null, chunkCount: 1, retryCount: 0 },
|
||||||
|
}),
|
||||||
|
};
|
||||||
|
const normalizer = {
|
||||||
|
normalize: jest.fn().mockReturnValue([
|
||||||
|
{
|
||||||
|
rawName: 'Tomat',
|
||||||
|
normalizedName: 'tomat',
|
||||||
|
brand: null,
|
||||||
|
categoryHint: null,
|
||||||
|
price: null,
|
||||||
|
priceUnit: null,
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
parseConfidence: 0.9,
|
||||||
|
parseReasons: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
]),
|
||||||
|
};
|
||||||
|
|
||||||
|
const service = createService({
|
||||||
|
categoriesService,
|
||||||
|
textExtractor,
|
||||||
|
aiParser,
|
||||||
|
normalizer,
|
||||||
|
});
|
||||||
|
const warnSpy = jest.spyOn((service as any).logger, 'warn');
|
||||||
|
|
||||||
|
await service.parseAndMatch(
|
||||||
|
{
|
||||||
|
originalname: 'flyer.pdf',
|
||||||
|
mimetype: 'application/pdf',
|
||||||
|
size: 10,
|
||||||
|
buffer: Buffer.from('pdf'),
|
||||||
|
} as any,
|
||||||
|
1,
|
||||||
|
);
|
||||||
|
|
||||||
|
expect(warnSpy).toHaveBeenCalledWith(
|
||||||
|
expect.stringContaining('Could not load categories for flyer import'),
|
||||||
|
);
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('getLatestSession', () => {
|
||||||
|
it('returns empty response when no sessions exist', async () => {
|
||||||
|
prismaMock.flyerSession.findFirst.mockResolvedValue(null);
|
||||||
|
const service = createService();
|
||||||
|
|
||||||
|
const result = await service.getLatestSession(1);
|
||||||
|
|
||||||
|
expect(result.sessionId).toBeNull();
|
||||||
|
expect(result.items).toEqual([]);
|
||||||
|
expect(prismaMock.flyerSession.findFirst).toHaveBeenCalledWith({
|
||||||
|
where: { userId: 1 },
|
||||||
|
orderBy: { createdAt: 'desc' },
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
sourceFileName: true,
|
||||||
|
sourceMimeType: true,
|
||||||
|
sourceFileSize: true,
|
||||||
|
sourceStorageKey: true,
|
||||||
|
items: {
|
||||||
|
include: {
|
||||||
|
categoryRef: {
|
||||||
|
include: {
|
||||||
|
parent: {
|
||||||
|
include: {
|
||||||
|
parent: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { id: 'asc' },
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('updateSessionItem', () => {
|
||||||
|
it('updates rawName and category path', async () => {
|
||||||
|
prismaMock.flyerSession.findUnique.mockResolvedValue({ id: 7, userId: 1 });
|
||||||
|
prismaMock.flyerItem.findUnique.mockResolvedValue({
|
||||||
|
id: 12,
|
||||||
|
sessionId: 7,
|
||||||
|
rawName: 'Tomat',
|
||||||
|
});
|
||||||
|
prismaMock.category.findUnique.mockResolvedValue({
|
||||||
|
id: 3,
|
||||||
|
name: 'Tomater',
|
||||||
|
parent: { name: 'Grönsaker', parent: { name: 'Mat', parent: null } },
|
||||||
|
});
|
||||||
|
prismaMock.flyerItem.update.mockResolvedValue({
|
||||||
|
id: 12,
|
||||||
|
rawName: 'Cocktailtomater',
|
||||||
|
normalizedName: 'cocktailtomater',
|
||||||
|
brand: null,
|
||||||
|
categoryHint: 'Mat > Grönsaker > Tomater',
|
||||||
|
categoryId: 3,
|
||||||
|
price: null,
|
||||||
|
priceUnit: null,
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
parseConfidence: 1,
|
||||||
|
parseReasons: [],
|
||||||
|
matchedProductId: null,
|
||||||
|
matchedProductName: null,
|
||||||
|
matchedVia: 'none',
|
||||||
|
matchConfidence: null,
|
||||||
|
matchReasons: [],
|
||||||
|
categoryRef: { name: 'Tomater', parent: { name: 'Grönsaker', parent: { name: 'Mat' } } },
|
||||||
|
});
|
||||||
|
|
||||||
|
const service = createService();
|
||||||
|
const result = await service.updateSessionItem(7, 12, 1, {
|
||||||
|
rawName: 'Cocktailtomater',
|
||||||
|
categoryId: 3,
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(result.rawName).toBe('Cocktailtomater');
|
||||||
|
expect(result.categoryId).toBe(3);
|
||||||
|
expect(result.category).toBe('Mat > Grönsaker > Tomater');
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('getSessionSource', () => {
|
||||||
|
it('throws when session belongs to another user', async () => {
|
||||||
|
prismaMock.flyerSession.findUnique.mockResolvedValue({
|
||||||
|
userId: 99,
|
||||||
|
sourceFileName: 'flyer.pdf',
|
||||||
|
sourceMimeType: 'application/pdf',
|
||||||
|
sourceFileSize: 10,
|
||||||
|
sourceData: Buffer.from('abc'),
|
||||||
|
});
|
||||||
|
const service = createService();
|
||||||
|
|
||||||
|
await expect(service.getSessionSource(1, 1)).rejects.toBeInstanceOf(ForbiddenException);
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,193 @@
|
|||||||
|
import { BadRequestException } from '@nestjs/common';
|
||||||
|
import { AiFlyerParserService } from './ai-flyer-parser.service';
|
||||||
|
|
||||||
|
describe('AiFlyerParserService dedupe', () => {
|
||||||
|
const service = Object.create(AiFlyerParserService.prototype) as AiFlyerParserService;
|
||||||
|
|
||||||
|
it('buildPrompt enforces Swedish diacritics for cheese variants', () => {
|
||||||
|
const prompt = (service as any).buildPrompt('PRAST, HERRGARD, GREVE', 3000) as string;
|
||||||
|
|
||||||
|
expect(prompt).toContain('Behåll svenska diakritiska tecken (ä, å, ö, é)');
|
||||||
|
expect(prompt).toContain('Prästost');
|
||||||
|
expect(prompt).toContain('Herrgårdsost');
|
||||||
|
expect(prompt).toContain('Grevéost');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('dedupes same product with minor offer text differences', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Kvisttomater',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 19.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: 'Max 2 köp/hushåll',
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
{
|
||||||
|
rawName: 'KVISTTOMATER',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 19.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: 'Max 2 kop/hushall',
|
||||||
|
confidence: 0.89,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = (service as any).dedupeItems(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].normalizedName).toBe('kvisttomater');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('keeps products with same name but different prices', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Kvisttomater',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 19.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
{
|
||||||
|
rawName: 'Kvisttomater',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 24.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = (service as any).dedupeItems(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(2);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('keeps products with same name/price but materially different campaigns', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Kvisttomater',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 19.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: 'Max 2 köp/hushåll',
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
{
|
||||||
|
rawName: 'Kvisttomater',
|
||||||
|
normalizedName: 'kvisttomater',
|
||||||
|
brand: null,
|
||||||
|
category: 'Grönsaker',
|
||||||
|
price: 19.9,
|
||||||
|
priceUnit: 'kg',
|
||||||
|
comparisonPrice: null,
|
||||||
|
comparisonUnit: null,
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: 'Ta 3 betala för 2',
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = (service as any).dedupeItems(items);
|
||||||
|
expect(result).toHaveLength(2);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('keeps bundle and non-bundle as separate entries', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Fiskpaket',
|
||||||
|
normalizedName: 'fiskpaket',
|
||||||
|
brand: 'Kapten',
|
||||||
|
category: 'Fisk',
|
||||||
|
price: 49.9,
|
||||||
|
priceUnit: 'pkt',
|
||||||
|
comparisonPrice: 83.17,
|
||||||
|
comparisonUnit: 'kg',
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: '600g',
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: ['A', 'B'],
|
||||||
|
offerText: null,
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
{
|
||||||
|
rawName: 'Fiskpaket',
|
||||||
|
normalizedName: 'fiskpaket',
|
||||||
|
brand: 'Kapten',
|
||||||
|
category: 'Fisk',
|
||||||
|
price: 49.9,
|
||||||
|
priceUnit: 'pkt',
|
||||||
|
comparisonPrice: 83.17,
|
||||||
|
comparisonUnit: 'kg',
|
||||||
|
weight: null,
|
||||||
|
bundleWeight: null,
|
||||||
|
isBundle: false,
|
||||||
|
bundleItems: [],
|
||||||
|
offerText: null,
|
||||||
|
confidence: 0.9,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = (service as any).dedupeItems(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(2);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('throws for empty input in parseWithAI', async () => {
|
||||||
|
await expect((service as any).parseWithAI('')).rejects.toBeInstanceOf(
|
||||||
|
BadRequestException,
|
||||||
|
);
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,634 @@
|
|||||||
|
import {
|
||||||
|
BadRequestException,
|
||||||
|
Injectable,
|
||||||
|
Logger,
|
||||||
|
ServiceUnavailableException,
|
||||||
|
} from '@nestjs/common';
|
||||||
|
import * as fs from 'fs';
|
||||||
|
import * as path from 'path';
|
||||||
|
|
||||||
|
export interface AiFlyerParseResult {
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
brand: string | null;
|
||||||
|
category: string | null;
|
||||||
|
price: number | null;
|
||||||
|
priceUnit: string | null;
|
||||||
|
comparisonPrice: number | null;
|
||||||
|
comparisonUnit: string | null;
|
||||||
|
weight: string | null;
|
||||||
|
bundleWeight: string | null;
|
||||||
|
isBundle: boolean;
|
||||||
|
bundleItems: string[];
|
||||||
|
offerText: string | null;
|
||||||
|
confidence: number;
|
||||||
|
reasonCodes: string[];
|
||||||
|
}
|
||||||
|
|
||||||
|
export interface AiFlyerParseTrace {
|
||||||
|
prompt: string | null;
|
||||||
|
rawOutput: string | null;
|
||||||
|
chunkCount: number;
|
||||||
|
retryCount: number;
|
||||||
|
}
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class AiFlyerParserService {
|
||||||
|
private readonly logger = new Logger(AiFlyerParserService.name);
|
||||||
|
private readonly timeoutMs: number;
|
||||||
|
private readonly maxRetries: number;
|
||||||
|
private readonly chunkSizeChars: number;
|
||||||
|
private readonly chunkOverlapChars: number;
|
||||||
|
private readonly maxChunks: number;
|
||||||
|
private readonly debugEnabled: boolean;
|
||||||
|
private readonly debugDirectory: string;
|
||||||
|
private mistral: any;
|
||||||
|
private apiKey: string;
|
||||||
|
|
||||||
|
constructor() {
|
||||||
|
this.apiKey = process.env.MISTRAL_API_KEY ?? '';
|
||||||
|
if (!this.apiKey) {
|
||||||
|
throw new Error('MISTRAL_API_KEY environment variable not set');
|
||||||
|
}
|
||||||
|
|
||||||
|
this.timeoutMs = this.readPositiveIntEnv('FLYER_AI_TIMEOUT_MS', 30_000);
|
||||||
|
this.maxRetries = this.readPositiveIntEnv('FLYER_AI_RETRIES', 2);
|
||||||
|
this.chunkSizeChars = this.readPositiveIntEnv('FLYER_AI_CHUNK_SIZE_CHARS', 3_000);
|
||||||
|
this.chunkOverlapChars = this.readPositiveIntEnv('FLYER_AI_CHUNK_OVERLAP_CHARS', 300);
|
||||||
|
this.maxChunks = this.readPositiveIntEnv('FLYER_AI_MAX_CHUNKS', 8);
|
||||||
|
this.debugEnabled = this.readBooleanEnv('FLYER_AI_DEBUG', false);
|
||||||
|
this.debugDirectory = process.env.FLYER_AI_DEBUG_DIR?.trim() || path.join(process.cwd(), 'debug');
|
||||||
|
}
|
||||||
|
|
||||||
|
private async getClient(): Promise<any> {
|
||||||
|
if (this.mistral) return this.mistral;
|
||||||
|
const mistralModule = await import('@mistralai/mistralai');
|
||||||
|
this.mistral = new mistralModule.default(this.apiKey);
|
||||||
|
return this.mistral;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Skickar flyer-text till mistral-8b-2512 för strukturerad extraktion.
|
||||||
|
*
|
||||||
|
* @param text Text från flyern (från pdf-parse eller OCR)
|
||||||
|
* @returns Array av parsade produkter
|
||||||
|
*/
|
||||||
|
async parseWithAI(text: string): Promise<{ items: AiFlyerParseResult[]; trace: AiFlyerParseTrace }> {
|
||||||
|
if (!text || text.trim().length === 0) {
|
||||||
|
throw new BadRequestException('Flyer-texten är tom. Kan inte fortsätta.');
|
||||||
|
}
|
||||||
|
|
||||||
|
const debugSession = this.createDebugSession('AI-flyerimporter');
|
||||||
|
|
||||||
|
try {
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-input.txt`,
|
||||||
|
text,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
const client = await this.getClient();
|
||||||
|
const chunks = this.splitIntoChunks(text);
|
||||||
|
this.logger.debug(`Parsing flyer text in ${chunks.length} chunk(s)`);
|
||||||
|
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-chunks.json`,
|
||||||
|
JSON.stringify(chunks, null, 2),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
const allItems: AiFlyerParseResult[] = [];
|
||||||
|
const prompts: string[] = [];
|
||||||
|
const rawResponses: string[] = [];
|
||||||
|
let retryCount = 0;
|
||||||
|
for (let i = 0; i < chunks.length; i++) {
|
||||||
|
const chunkResult = await this.parseChunkWithRetry(
|
||||||
|
client,
|
||||||
|
chunks[i],
|
||||||
|
i + 1,
|
||||||
|
chunks.length,
|
||||||
|
debugSession,
|
||||||
|
);
|
||||||
|
allItems.push(...chunkResult.items);
|
||||||
|
prompts.push(chunkResult.prompt);
|
||||||
|
rawResponses.push(chunkResult.rawOutput);
|
||||||
|
retryCount += Math.max(0, chunkResult.attemptsUsed - 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
const deduped = this.dedupeItems(allItems);
|
||||||
|
const trace: AiFlyerParseTrace = {
|
||||||
|
prompt: prompts.length > 0 ? prompts.join('\n\n-----\n\n') : null,
|
||||||
|
rawOutput: rawResponses.length > 0 ? rawResponses.join('\n\n-----\n\n') : null,
|
||||||
|
chunkCount: chunks.length,
|
||||||
|
retryCount,
|
||||||
|
};
|
||||||
|
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-result.json`,
|
||||||
|
JSON.stringify(deduped, null, 2),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
return { items: deduped, trace };
|
||||||
|
} catch (err) {
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-error.txt`,
|
||||||
|
this.toErrorMessage(err),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (err instanceof SyntaxError) {
|
||||||
|
this.logger.error(`JSON parse error: ${String(err)}`);
|
||||||
|
throw new BadRequestException('AI returnerade ogiltigt JSON. Försök igen.');
|
||||||
|
}
|
||||||
|
if (err instanceof BadRequestException) {
|
||||||
|
throw err;
|
||||||
|
}
|
||||||
|
if (err instanceof ServiceUnavailableException) {
|
||||||
|
throw err;
|
||||||
|
}
|
||||||
|
this.logger.error(`AI parsing failed: ${String(err)}`);
|
||||||
|
throw new ServiceUnavailableException('AI-tjänsten är inte tillgänglig just nu.');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async withTimeout<T>(
|
||||||
|
promise: Promise<T>,
|
||||||
|
timeoutMs: number,
|
||||||
|
timeoutMessage: string,
|
||||||
|
): Promise<T> {
|
||||||
|
let timeoutHandle: ReturnType<typeof setTimeout> | null = null;
|
||||||
|
|
||||||
|
const timeoutPromise = new Promise<never>((_, reject) => {
|
||||||
|
timeoutHandle = setTimeout(() => {
|
||||||
|
reject(new ServiceUnavailableException(timeoutMessage));
|
||||||
|
}, timeoutMs);
|
||||||
|
});
|
||||||
|
|
||||||
|
try {
|
||||||
|
return await Promise.race([promise, timeoutPromise]);
|
||||||
|
} finally {
|
||||||
|
if (timeoutHandle) clearTimeout(timeoutHandle);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Bygger systemprompten för Mistral.
|
||||||
|
*/
|
||||||
|
private buildPrompt(text: string, maxTextLength: number): string {
|
||||||
|
const truncatedText = text.length > maxTextLength ? text.substring(0, maxTextLength) : text;
|
||||||
|
|
||||||
|
return `Du tolkar svenska matvaruflyers och ska returnera ENDAST en JSON-array.
|
||||||
|
|
||||||
|
Returnera objekt med exakt dessa fält:
|
||||||
|
- name: string (produkttitel)
|
||||||
|
- brand: string | null
|
||||||
|
- category: string | null
|
||||||
|
- isBundle: boolean
|
||||||
|
- weight: string | null (vikt/storlek for en enskild produkt)
|
||||||
|
- bundleWeight: string | null (totalvikt for hela kombipaketet)
|
||||||
|
- bundleItems: string[] (ingående produkter i paketet, tom array om ej bundle)
|
||||||
|
- price: number | null
|
||||||
|
- comparisonPrice: number | null
|
||||||
|
- unit: string | null (enhet for jamforpris, t.ex. kg/l/st)
|
||||||
|
- offer: string[]
|
||||||
|
|
||||||
|
Arbetssatt (viktigt):
|
||||||
|
Steg A) Identifiera om texten ar en gruppannons med flera varianter + gemensamma attribut.
|
||||||
|
Steg B) Returnera en post per faktisk produktvariant med arvd metadata.
|
||||||
|
|
||||||
|
Regler:
|
||||||
|
1) Vanlig produkt (ej bundle): isBundle=false, bundleWeight=null, bundleItems=[].
|
||||||
|
2) Kombipaket/bundle: isBundle=true, name ska vara paketets huvudnamn, bundleWeight totalvikt.
|
||||||
|
3) For bundle ska bundleItems innehalla de ingaende produkterna, t.ex. ["Chumlax 3x100g", "Alaska pollock 3x100g"].
|
||||||
|
4) price ar priset for hela forpackningen. comparisonPrice ar jamforpris som tal ("83:17" -> 83.17).
|
||||||
|
5) offer innehaller kampanjtext som "Max 10 kop/hushall".
|
||||||
|
6) Om en rubrik/lista innehaller flera kommaseparerade namn och efterfoljande rad/rader innehaller gemensam brand, vikt, pris eller kampanjvillkor: expandera till separata objekt (en per namn) och arv all gemensam metadata.
|
||||||
|
7) Tillämpa samma split-regel generellt for liknande tillbud (inte bara ost), nar listan tydligt representerar produktvarianter/smaker/sorter.
|
||||||
|
8) Splitta INTE om listan snarare ar ingredienser, avdelningar, eller otydlig marknadsforing utan tydlig produktvariant.
|
||||||
|
9) Specialregel ost: namn som PRAST/HERRGARD/GREVE ska normaliseras till Prästost/Herrgårdsost/Grevéost.
|
||||||
|
10) Om texten innehaller "ARLA KO" ska brand vara exakt "Arla Ko".
|
||||||
|
11) For ovan ostsorter ska category vara "Hardost".
|
||||||
|
12) Behåll svenska diakritiska tecken (ä, å, ö, é) i produktnamn. Returnera "Prästost", "Herrgårdsost", "Grevéost" - inte ASCII-versioner.
|
||||||
|
13) Returnera aldrig extra nycklar, text, markdown eller forklaringar utanfor JSON-arrayen.
|
||||||
|
|
||||||
|
Exempel bundle utdata:
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "Kaptenens Favoriter",
|
||||||
|
"brand": "Kapten Royal",
|
||||||
|
"category": "Fisk",
|
||||||
|
"isBundle": true,
|
||||||
|
"weight": null,
|
||||||
|
"bundleWeight": "600g",
|
||||||
|
"bundleItems": ["Chumlax 3x100g", "Alaska pollock 3x100g"],
|
||||||
|
"price": 49.90,
|
||||||
|
"comparisonPrice": 83.17,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 10 kop/hushall"]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
|
Exempel enkel produkt utdata:
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "ICA Basic Mjolk 1,5%",
|
||||||
|
"brand": "ICA Basic",
|
||||||
|
"category": "Mejeri",
|
||||||
|
"isBundle": false,
|
||||||
|
"weight": "1l",
|
||||||
|
"bundleWeight": null,
|
||||||
|
"bundleItems": [],
|
||||||
|
"price": 12.90,
|
||||||
|
"comparisonPrice": 12.90,
|
||||||
|
"unit": "l",
|
||||||
|
"offer": []
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
|
Exempel gruppannons med varianter (ska splittas):
|
||||||
|
Input-idé: "PRAST, HERRGARD, GREVE" + "ARLA KO" + gemensam vikt/pris.
|
||||||
|
Output-idé:
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"name": "Prästost",
|
||||||
|
"brand": "Arla Ko",
|
||||||
|
"category": "Hardost",
|
||||||
|
"isBundle": false,
|
||||||
|
"weight": "667g",
|
||||||
|
"bundleWeight": null,
|
||||||
|
"bundleItems": [],
|
||||||
|
"price": null,
|
||||||
|
"comparisonPrice": 79.90,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 3 forp/hushall"]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"name": "Herrgårdsost",
|
||||||
|
"brand": "Arla Ko",
|
||||||
|
"category": "Hardost",
|
||||||
|
"isBundle": false,
|
||||||
|
"weight": "667g",
|
||||||
|
"bundleWeight": null,
|
||||||
|
"bundleItems": [],
|
||||||
|
"price": null,
|
||||||
|
"comparisonPrice": 79.90,
|
||||||
|
"unit": "kg",
|
||||||
|
"offer": ["Max 3 forp/hushall"]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
|
Exempel negativt fall (ska INTE splittas):
|
||||||
|
Input-idé: "Ingredienser: tomat, lok, vitlok".
|
||||||
|
Output-idé: en produktpost (ingen variant-expansion).
|
||||||
|
|
||||||
|
Text att tolka:
|
||||||
|
${truncatedText}`;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Rensa AI-svaret för att kunna parse som JSON.
|
||||||
|
*/
|
||||||
|
private sanitizeJsonResponse(content: string): string {
|
||||||
|
let cleaned = content.replace(/```json\n?/g, '').replace(/```\n?/g, '');
|
||||||
|
cleaned = cleaned.trim();
|
||||||
|
|
||||||
|
const jsonMatch = cleaned.match(/\[[\s\S]*\]/);
|
||||||
|
if (jsonMatch) {
|
||||||
|
cleaned = jsonMatch[0];
|
||||||
|
}
|
||||||
|
|
||||||
|
return cleaned;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Normaliserar och typkonverterar AI-item till vårt format.
|
||||||
|
*/
|
||||||
|
private normalizeAiItem(item: Record<string, unknown>, index: number): AiFlyerParseResult {
|
||||||
|
const toNumber = (val: unknown): number | null => {
|
||||||
|
if (typeof val === 'number') return val;
|
||||||
|
if (typeof val === 'string') {
|
||||||
|
const parsed = parseFloat(val.replace(',', '.'));
|
||||||
|
return isFinite(parsed) ? parsed : null;
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
};
|
||||||
|
|
||||||
|
const toString = (val: unknown): string | null => {
|
||||||
|
if (typeof val === 'string') return val.trim() || null;
|
||||||
|
return null;
|
||||||
|
};
|
||||||
|
|
||||||
|
const toArray = (val: unknown): string[] => {
|
||||||
|
if (Array.isArray(val)) {
|
||||||
|
return val.map(v => String(v)).filter(v => v.trim());
|
||||||
|
}
|
||||||
|
return [];
|
||||||
|
};
|
||||||
|
|
||||||
|
const rawName = toString(item.name) || `Produkt ${index + 1}`;
|
||||||
|
const normalizedName = this.normalizeName(rawName);
|
||||||
|
|
||||||
|
return {
|
||||||
|
rawName,
|
||||||
|
normalizedName,
|
||||||
|
brand: toString(item.brand),
|
||||||
|
category: toString(item.category),
|
||||||
|
price: toNumber(item.price),
|
||||||
|
priceUnit: toString(item.unit),
|
||||||
|
comparisonPrice: toNumber(item.comparisonPrice),
|
||||||
|
comparisonUnit: toString(item.comparisonUnit),
|
||||||
|
weight: toString(item.weight),
|
||||||
|
bundleWeight: toString(item.bundleWeight),
|
||||||
|
isBundle: Boolean(item.isBundle),
|
||||||
|
bundleItems: toArray(item.bundleItems),
|
||||||
|
offerText: toString(item.offer) || (toArray(item.offer).join(' ') || null),
|
||||||
|
confidence: 0.85,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeName(name: string): string {
|
||||||
|
return name
|
||||||
|
.toLowerCase()
|
||||||
|
.replace(/[^a-zåäöé0-9\s]/g, '')
|
||||||
|
.replace(/\s+/g, ' ')
|
||||||
|
.trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
private splitIntoChunks(text: string): string[] {
|
||||||
|
const normalized = text.replace(/\r\n/g, '\n').trim();
|
||||||
|
if (!normalized) return [];
|
||||||
|
|
||||||
|
if (normalized.length <= this.chunkSizeChars) {
|
||||||
|
return [normalized];
|
||||||
|
}
|
||||||
|
|
||||||
|
const chunks: string[] = [];
|
||||||
|
let start = 0;
|
||||||
|
while (start < normalized.length && chunks.length < this.maxChunks) {
|
||||||
|
const end = Math.min(start + this.chunkSizeChars, normalized.length);
|
||||||
|
const chunk = normalized.slice(start, end).trim();
|
||||||
|
if (chunk) chunks.push(chunk);
|
||||||
|
if (end >= normalized.length) break;
|
||||||
|
start = Math.max(0, end - this.chunkOverlapChars);
|
||||||
|
}
|
||||||
|
|
||||||
|
return chunks;
|
||||||
|
}
|
||||||
|
|
||||||
|
private async parseChunkWithRetry(
|
||||||
|
client: any,
|
||||||
|
chunkText: string,
|
||||||
|
chunkIndex: number,
|
||||||
|
totalChunks: number,
|
||||||
|
debugSession: { dirPath: string; baseName: string } | null,
|
||||||
|
): Promise<{
|
||||||
|
items: AiFlyerParseResult[];
|
||||||
|
prompt: string;
|
||||||
|
rawOutput: string;
|
||||||
|
attemptsUsed: number;
|
||||||
|
}> {
|
||||||
|
const textWindows = [3000, 2200, 1600];
|
||||||
|
const attempts = Math.max(1, Math.min(this.maxRetries + 1, textWindows.length));
|
||||||
|
let lastError: unknown = null;
|
||||||
|
|
||||||
|
for (let i = 0; i < attempts; i++) {
|
||||||
|
const window = textWindows[i];
|
||||||
|
const prompt = this.buildPrompt(chunkText, window);
|
||||||
|
|
||||||
|
try {
|
||||||
|
this.logger.debug(
|
||||||
|
`Sending request to Mistral Tiny (chunk ${chunkIndex}/${totalChunks}, attempt ${i + 1}/${attempts}, timeout=${this.timeoutMs}ms, textWindow=${window})`,
|
||||||
|
);
|
||||||
|
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-chunk-${chunkIndex}-attempt-${i + 1}-prompt.txt`,
|
||||||
|
prompt,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
const response = await this.withTimeout<any>(
|
||||||
|
client.chat({
|
||||||
|
model: 'ministral-8b-2512',
|
||||||
|
messages: [{ role: 'user', content: prompt }],
|
||||||
|
temperature: 0.1,
|
||||||
|
}),
|
||||||
|
this.timeoutMs,
|
||||||
|
'Mistral-anrop timeout',
|
||||||
|
);
|
||||||
|
|
||||||
|
const content = this.ensureUtf8Content(response.choices?.[0]?.message?.content);
|
||||||
|
if (!content) {
|
||||||
|
throw new BadRequestException('Tomt svar från AI-modellen.');
|
||||||
|
}
|
||||||
|
|
||||||
|
this.logger.debug(`Mistral response length: ${content.length} chars`);
|
||||||
|
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-chunk-${chunkIndex}-attempt-${i + 1}-response.txt`,
|
||||||
|
String(content),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
const jsonString = this.sanitizeJsonResponse(content);
|
||||||
|
const items = JSON.parse(jsonString) as Array<Record<string, unknown>>;
|
||||||
|
|
||||||
|
if (!Array.isArray(items)) {
|
||||||
|
throw new BadRequestException('AI returnerade inte en JSON-array.');
|
||||||
|
}
|
||||||
|
|
||||||
|
return {
|
||||||
|
items: items.map((aiItem, idx) => this.normalizeAiItem(aiItem, idx)),
|
||||||
|
prompt,
|
||||||
|
rawOutput: String(content),
|
||||||
|
attemptsUsed: i + 1,
|
||||||
|
};
|
||||||
|
} catch (attemptErr) {
|
||||||
|
lastError = attemptErr;
|
||||||
|
if (debugSession) {
|
||||||
|
await this.writeDebugFile(
|
||||||
|
debugSession,
|
||||||
|
`${debugSession.baseName}-chunk-${chunkIndex}-attempt-${i + 1}-error.txt`,
|
||||||
|
this.toErrorMessage(attemptErr),
|
||||||
|
);
|
||||||
|
}
|
||||||
|
if (!this.isRetryableError(attemptErr) || i === attempts - 1) {
|
||||||
|
throw attemptErr;
|
||||||
|
}
|
||||||
|
this.logger.warn(
|
||||||
|
`Mistral chunk ${chunkIndex}/${totalChunks} attempt ${i + 1} failed (${this.toErrorMessage(attemptErr)}). Retrying with shorter text window.`,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
throw lastError instanceof Error
|
||||||
|
? lastError
|
||||||
|
: new ServiceUnavailableException('AI-anrop misslyckades');
|
||||||
|
}
|
||||||
|
|
||||||
|
private dedupeItems(items: AiFlyerParseResult[]): AiFlyerParseResult[] {
|
||||||
|
const seen = new Set<string>();
|
||||||
|
const deduped: AiFlyerParseResult[] = [];
|
||||||
|
|
||||||
|
for (const item of items) {
|
||||||
|
const normalizedName = item.normalizedName.trim();
|
||||||
|
const normalizedBrand = (item.brand ?? '').trim().toLowerCase();
|
||||||
|
const normalizedPrice = item.price == null ? '' : Number(item.price).toFixed(2);
|
||||||
|
const normalizedPriceUnit = (item.priceUnit ?? '').trim().toLowerCase();
|
||||||
|
const normalizedComparisonPrice =
|
||||||
|
item.comparisonPrice == null ? '' : Number(item.comparisonPrice).toFixed(2);
|
||||||
|
const normalizedComparisonUnit = (item.comparisonUnit ?? '').trim().toLowerCase();
|
||||||
|
const offerSignature = this.offerSignature(item.offerText);
|
||||||
|
|
||||||
|
const key = [
|
||||||
|
normalizedName,
|
||||||
|
normalizedBrand,
|
||||||
|
normalizedPrice,
|
||||||
|
normalizedPriceUnit,
|
||||||
|
normalizedComparisonPrice,
|
||||||
|
normalizedComparisonUnit,
|
||||||
|
offerSignature,
|
||||||
|
item.isBundle ? '1' : '0',
|
||||||
|
].join('|');
|
||||||
|
if (seen.has(key)) continue;
|
||||||
|
seen.add(key);
|
||||||
|
deduped.push(item);
|
||||||
|
}
|
||||||
|
|
||||||
|
return deduped;
|
||||||
|
}
|
||||||
|
|
||||||
|
private offerSignature(offerText: string | null | undefined): string {
|
||||||
|
if (!offerText || offerText.trim().length === 0) return '';
|
||||||
|
|
||||||
|
const normalized = offerText
|
||||||
|
.toLowerCase()
|
||||||
|
.normalize('NFD')
|
||||||
|
.replace(/[\u0300-\u036f]/g, '')
|
||||||
|
.replace(/[^a-z0-9\s]/g, ' ')
|
||||||
|
.replace(/\s+/g, ' ')
|
||||||
|
.trim();
|
||||||
|
|
||||||
|
if (!normalized) return '';
|
||||||
|
|
||||||
|
const hasCampaignMarkers =
|
||||||
|
/(max|hogst|begransat|hushall|kund|kop|for|betala|ta)/.test(normalized)
|
||||||
|
|| /(\d+\s*for\s*\d+)/.test(normalized)
|
||||||
|
|| /(ta\s*\d+\s*betala\s*for\s*\d+)/.test(normalized);
|
||||||
|
|
||||||
|
return hasCampaignMarkers ? normalized : '';
|
||||||
|
}
|
||||||
|
|
||||||
|
private ensureUtf8Content(content: unknown): string {
|
||||||
|
const asString = this.flattenContent(content);
|
||||||
|
if (!asString) return '';
|
||||||
|
|
||||||
|
const utf8 = Buffer.from(asString, 'utf8').toString('utf8');
|
||||||
|
if (this.debugEnabled && (asString.includes('\uFFFD') || utf8.includes('\uFFFD'))) {
|
||||||
|
const hex = Buffer.from(asString, 'utf8').toString('hex').slice(0, 256);
|
||||||
|
this.logger.debug(`Potential encoding issue in AI response (hex preview): ${hex}`);
|
||||||
|
}
|
||||||
|
return utf8;
|
||||||
|
}
|
||||||
|
|
||||||
|
private flattenContent(content: unknown): string {
|
||||||
|
if (typeof content === 'string') {
|
||||||
|
return content;
|
||||||
|
}
|
||||||
|
if (Array.isArray(content)) {
|
||||||
|
return content
|
||||||
|
.map((part) => {
|
||||||
|
if (typeof part === 'string') return part;
|
||||||
|
if (part && typeof part === 'object' && 'text' in part) {
|
||||||
|
const text = (part as { text?: unknown }).text;
|
||||||
|
return typeof text === 'string' ? text : '';
|
||||||
|
}
|
||||||
|
return '';
|
||||||
|
})
|
||||||
|
.join('');
|
||||||
|
}
|
||||||
|
if (content == null) {
|
||||||
|
return '';
|
||||||
|
}
|
||||||
|
return String(content);
|
||||||
|
}
|
||||||
|
|
||||||
|
private readPositiveIntEnv(key: string, fallback: number): number {
|
||||||
|
const raw = process.env[key];
|
||||||
|
if (!raw) return fallback;
|
||||||
|
const parsed = Number.parseInt(raw, 10);
|
||||||
|
if (!Number.isFinite(parsed) || parsed <= 0) {
|
||||||
|
this.logger.warn(`Invalid ${key} value: "${raw}". Falling back to ${fallback}.`);
|
||||||
|
return fallback;
|
||||||
|
}
|
||||||
|
return parsed;
|
||||||
|
}
|
||||||
|
|
||||||
|
private readBooleanEnv(key: string, fallback: boolean): boolean {
|
||||||
|
const raw = process.env[key];
|
||||||
|
if (!raw) return fallback;
|
||||||
|
return ['1', 'true', 'yes', 'on'].includes(raw.trim().toLowerCase());
|
||||||
|
}
|
||||||
|
|
||||||
|
private createDebugSession(prefix: string): { dirPath: string; baseName: string } | null {
|
||||||
|
if (!this.debugEnabled) return null;
|
||||||
|
const now = new Date();
|
||||||
|
const y = String(now.getFullYear()).slice(-2);
|
||||||
|
const m = String(now.getMonth() + 1).padStart(2, '0');
|
||||||
|
const d = String(now.getDate()).padStart(2, '0');
|
||||||
|
const hh = String(now.getHours()).padStart(2, '0');
|
||||||
|
const mm = String(now.getMinutes()).padStart(2, '0');
|
||||||
|
const ss = String(now.getSeconds()).padStart(2, '0');
|
||||||
|
const datePart = `${y}${m}${d}`;
|
||||||
|
const timePart = `${hh}${mm}${ss}`;
|
||||||
|
const baseName = `${prefix}-${datePart}-${timePart}`;
|
||||||
|
const dirPath = path.join(this.debugDirectory, baseName);
|
||||||
|
return { dirPath, baseName };
|
||||||
|
}
|
||||||
|
|
||||||
|
private async writeDebugFile(
|
||||||
|
debugSession: { dirPath: string; baseName: string } | null,
|
||||||
|
filename: string,
|
||||||
|
content: string,
|
||||||
|
): Promise<void> {
|
||||||
|
if (!debugSession) return;
|
||||||
|
|
||||||
|
try {
|
||||||
|
await fs.promises.mkdir(debugSession.dirPath, { recursive: true });
|
||||||
|
const filePath = path.join(debugSession.dirPath, filename);
|
||||||
|
await fs.promises.writeFile(filePath, content, 'utf8');
|
||||||
|
} catch (err) {
|
||||||
|
this.logger.warn(`Failed to write flyer debug file ${filename}: ${this.toErrorMessage(err)}`);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private isRetryableError(err: unknown): boolean {
|
||||||
|
if (err instanceof ServiceUnavailableException) return true;
|
||||||
|
const message = this.toErrorMessage(err).toLowerCase();
|
||||||
|
return (
|
||||||
|
message.includes('timeout') ||
|
||||||
|
message.includes('timed out') ||
|
||||||
|
message.includes('rate limit') ||
|
||||||
|
message.includes('econnreset') ||
|
||||||
|
message.includes('socket hang up')
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
private toErrorMessage(err: unknown): string {
|
||||||
|
if (err instanceof Error) return err.message;
|
||||||
|
return String(err);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,219 @@
|
|||||||
|
import { Test, TestingModule } from '@nestjs/testing';
|
||||||
|
import { FlyerNormalizerService } from './flyer-normalizer.service';
|
||||||
|
|
||||||
|
describe('FlyerNormalizerService', () => {
|
||||||
|
let service: FlyerNormalizerService;
|
||||||
|
|
||||||
|
beforeEach(async () => {
|
||||||
|
const module: TestingModule = await Test.createTestingModule({
|
||||||
|
providers: [FlyerNormalizerService],
|
||||||
|
}).compile();
|
||||||
|
|
||||||
|
service = module.get<FlyerNormalizerService>(FlyerNormalizerService);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should be defined', () => {
|
||||||
|
expect(service).toBeDefined();
|
||||||
|
});
|
||||||
|
|
||||||
|
describe('normalize', () => {
|
||||||
|
it('should normalize a valid item', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'KALLRÖKT LAX, GRAVAD LAX',
|
||||||
|
normalizedName: 'kallrökt lax gravad lax',
|
||||||
|
category: 'Fisk',
|
||||||
|
price: 39.9,
|
||||||
|
comparisonPrice: 266.0,
|
||||||
|
unit: 'kg',
|
||||||
|
offer: ['Max 3 köp/hushåll'],
|
||||||
|
confidence: 0.85,
|
||||||
|
reasonCodes: ['ai_parsed'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('KALLRÖKT LAX, GRAVAD LAX');
|
||||||
|
expect(result[0].price).toBe(39.9);
|
||||||
|
expect(result[0].priceUnit).toBe('kg');
|
||||||
|
expect(result[0].categoryHint).toBe('Fisk');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should handle missing fields gracefully', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
name: 'PRODUKT',
|
||||||
|
// andra fält saknas
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('PRODUKT');
|
||||||
|
expect(result[0].price).toBeNull();
|
||||||
|
expect(result[0].categoryHint).toBeNull();
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should skip items without name', () => {
|
||||||
|
const items = [
|
||||||
|
{ price: 100 }, // no name
|
||||||
|
{ rawName: 'VALID PRODUCT', price: 50 },
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('VALID PRODUCT');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should normalize units correctly', () => {
|
||||||
|
const items = [
|
||||||
|
{ rawName: 'Mjölk', unit: 'L' },
|
||||||
|
{ rawName: 'Smör', unit: 'styck' },
|
||||||
|
{ rawName: 'Socker', unit: 'KG' },
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(3);
|
||||||
|
expect(result[0].priceUnit).toBe('l');
|
||||||
|
expect(result[1].priceUnit).toBe('st');
|
||||||
|
expect(result[2].priceUnit).toBe('kg');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should parse Swedish prices correctly', () => {
|
||||||
|
const items = [
|
||||||
|
{ rawName: 'Produkt1', price: '39,90' },
|
||||||
|
{ rawName: 'Produkt2', price: 39.9 },
|
||||||
|
{ rawName: 'Produkt3', price: '100' },
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result[0].price).toBe(39.9);
|
||||||
|
expect(result[1].price).toBe(39.9);
|
||||||
|
expect(result[2].price).toBe(100);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('should return empty list for non-array input', () => {
|
||||||
|
const result = service.normalize(null as any);
|
||||||
|
expect(result).toEqual([]);
|
||||||
|
|
||||||
|
const result2 = service.normalize(undefined as any);
|
||||||
|
expect(result2).toEqual([]);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('splits listed cheese variants into separate products', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'PRÄST®, HERRGÅRD®, GREVÉ®',
|
||||||
|
brand: 'ARLA KO',
|
||||||
|
unit: 'kg',
|
||||||
|
comparisonPrice: '79,90',
|
||||||
|
offer: ['Max 3 förp/hushåll'],
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(3);
|
||||||
|
expect(result.map((item) => item.rawName)).toEqual(['Prästost', 'Herrgårdsost', 'Grevéost']);
|
||||||
|
expect(result.every((item) => item.brand === 'Arla Ko')).toBe(true);
|
||||||
|
expect(result.every((item) => item.categoryHint === 'Hårdost')).toBe(true);
|
||||||
|
expect(result[0].parseReasons).toContain('split_cheese_variants');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('normalizes PRAST token to Prästost', () => {
|
||||||
|
const items = [{ rawName: 'PRAST, GREVE', brand: 'ARLA KO' }];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result.map((item) => item.rawName)).toContain('Prästost');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('normalizes GREVE token to Grevéost', () => {
|
||||||
|
const items = [{ rawName: 'GREVE, PRAST', brand: 'ARLA KO' }];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result.map((item) => item.rawName)).toContain('Grevéost');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('keeps single cheese item unsplit but normalizes brand/category', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Prästost',
|
||||||
|
brand: 'arla ko',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('Prästost');
|
||||||
|
expect(result[0].brand).toBe('Arla Ko');
|
||||||
|
expect(result[0].categoryHint).toBe('Hårdost');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('fixes known OCR typo for spröd', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Pröd Bakad Firre',
|
||||||
|
brand: 'Findus',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('Spröd Bakad Firre');
|
||||||
|
expect(result[0].normalizedName).toBe('spröd bakad firre');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('does not apply spröd typo fix outside known fish context', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Pröd tvättmedel',
|
||||||
|
brand: 'Test',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toBe('Pröd tvättmedel');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('fixes herggårdsost only in cheese context', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Herggårdsost 31%',
|
||||||
|
brand: 'Arla Ko',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toContain('Herrgårdsost');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('fixes greveost typo in cheese context and preserves é', () => {
|
||||||
|
const items = [
|
||||||
|
{
|
||||||
|
rawName: 'Greveost skivad',
|
||||||
|
brand: 'Arla Ko',
|
||||||
|
},
|
||||||
|
];
|
||||||
|
|
||||||
|
const result = service.normalize(items);
|
||||||
|
|
||||||
|
expect(result).toHaveLength(1);
|
||||||
|
expect(result[0].rawName).toContain('Grevéost');
|
||||||
|
expect(result[0].normalizedName).toContain('grevéost');
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,264 @@
|
|||||||
|
import { Injectable, Logger } from '@nestjs/common';
|
||||||
|
|
||||||
|
export interface NormalizedFlyerItem {
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
brand: string | null;
|
||||||
|
categoryHint: string | null;
|
||||||
|
price: number | null;
|
||||||
|
priceUnit: string | null;
|
||||||
|
comparisonPrice: number | null;
|
||||||
|
comparisonUnit: string | null;
|
||||||
|
weight: string | null;
|
||||||
|
bundleWeight: string | null;
|
||||||
|
isBundle: boolean;
|
||||||
|
bundleItems: string[];
|
||||||
|
offerText: string | null;
|
||||||
|
parseConfidence: number;
|
||||||
|
parseReasons: string[];
|
||||||
|
}
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class FlyerNormalizerService {
|
||||||
|
private readonly logger = new Logger(FlyerNormalizerService.name);
|
||||||
|
private readonly MAX_BUNDLE_ITEMS = 20;
|
||||||
|
private readonly MAX_BUNDLE_ITEM_LENGTH = 120;
|
||||||
|
private readonly CHEESE_VARIANT_TO_NAME: Record<string, string> = {
|
||||||
|
prast: 'Prästost',
|
||||||
|
herrgard: 'Herrgårdsost',
|
||||||
|
greve: 'Grevéost',
|
||||||
|
};
|
||||||
|
|
||||||
|
private readonly UNIT_MAPPING: Record<string, string> = {
|
||||||
|
// Längd
|
||||||
|
mm: 'mm',
|
||||||
|
cm: 'cm',
|
||||||
|
m: 'm',
|
||||||
|
// Vikt
|
||||||
|
mg: 'mg',
|
||||||
|
g: 'g',
|
||||||
|
hg: 'hg',
|
||||||
|
kg: 'kg',
|
||||||
|
ton: 'ton',
|
||||||
|
// Volym
|
||||||
|
ml: 'ml',
|
||||||
|
cl: 'cl',
|
||||||
|
dl: 'dl',
|
||||||
|
l: 'l',
|
||||||
|
// Övrigt
|
||||||
|
st: 'st',
|
||||||
|
styck: 'st',
|
||||||
|
stycke: 'st',
|
||||||
|
pkt: 'pkt',
|
||||||
|
paket: 'pkt',
|
||||||
|
fp: 'pkt',
|
||||||
|
förp: 'pkt',
|
||||||
|
förpackning: 'pkt',
|
||||||
|
};
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Normaliserar en AI-parsad produktlista.
|
||||||
|
*/
|
||||||
|
normalize(items: any[]): NormalizedFlyerItem[] {
|
||||||
|
if (!Array.isArray(items)) {
|
||||||
|
this.logger.warn('normalize() received non-array, returning empty list');
|
||||||
|
return [];
|
||||||
|
}
|
||||||
|
|
||||||
|
return items
|
||||||
|
.flatMap((item, idx) => this.normalizeItem(item, idx))
|
||||||
|
.filter((item): item is NormalizedFlyerItem => item !== null);
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeItem(item: any, index: number): Array<NormalizedFlyerItem | null> {
|
||||||
|
if (!item || typeof item !== 'object') {
|
||||||
|
this.logger.warn(`Item ${index} is not an object, skipping`);
|
||||||
|
return [null];
|
||||||
|
}
|
||||||
|
|
||||||
|
const rawNameValue = this.extractString(item.rawName) || this.extractString(item.name);
|
||||||
|
if (!rawNameValue) {
|
||||||
|
this.logger.warn(`Item ${index} has no name, skipping`);
|
||||||
|
return [null];
|
||||||
|
}
|
||||||
|
const rawName = this.fixKnownOcrTypos(rawNameValue);
|
||||||
|
|
||||||
|
const normalizedName = this.extractString(item.normalizedName) || this.normalizeName(rawName);
|
||||||
|
const normalizedBrand = this.normalizeBrand(this.extractString(item.brand), rawName);
|
||||||
|
const categoryHint = this.normalizeCategory(this.extractString(item.category), rawName);
|
||||||
|
const baseItem: NormalizedFlyerItem = {
|
||||||
|
rawName,
|
||||||
|
normalizedName,
|
||||||
|
brand: normalizedBrand,
|
||||||
|
categoryHint,
|
||||||
|
price: this.extractPrice(item.price),
|
||||||
|
priceUnit: this.normalizeUnit(this.extractString(item.unit)),
|
||||||
|
comparisonPrice: this.extractPrice(item.comparisonPrice),
|
||||||
|
comparisonUnit: this.normalizeUnit(this.extractString(item.comparisonUnit)),
|
||||||
|
weight: this.extractString(item.weight),
|
||||||
|
bundleWeight: this.extractString(item.bundleWeight),
|
||||||
|
isBundle: Boolean(item.isBundle),
|
||||||
|
bundleItems: this.extractStringArray(item.bundleItems),
|
||||||
|
offerText: this.normalizeOfferText(item.offer),
|
||||||
|
parseConfidence: item.confidence ?? 0.85,
|
||||||
|
parseReasons: Array.isArray(item.reasonCodes)
|
||||||
|
? item.reasonCodes.map(String)
|
||||||
|
: ['normalized'],
|
||||||
|
};
|
||||||
|
|
||||||
|
const expandedItems = this.expandCheeseVariants(baseItem);
|
||||||
|
if (expandedItems.length > 0) {
|
||||||
|
return expandedItems;
|
||||||
|
}
|
||||||
|
|
||||||
|
return [baseItem];
|
||||||
|
}
|
||||||
|
|
||||||
|
private extractString(val: any): string | null {
|
||||||
|
if (typeof val === 'string') return val.trim() || null;
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private extractPrice(val: any): number | null {
|
||||||
|
if (typeof val === 'number') return val;
|
||||||
|
if (typeof val === 'string') {
|
||||||
|
const num = parseFloat(val.replace(/,/g, '.'));
|
||||||
|
return isFinite(num) ? num : null;
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private extractStringArray(val: any): string[] {
|
||||||
|
if (!Array.isArray(val)) return [];
|
||||||
|
return val
|
||||||
|
.map((entry) => String(entry).trim())
|
||||||
|
.filter(Boolean)
|
||||||
|
.slice(0, this.MAX_BUNDLE_ITEMS)
|
||||||
|
.map((entry) => entry.slice(0, this.MAX_BUNDLE_ITEM_LENGTH));
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeName(name: string): string {
|
||||||
|
return name
|
||||||
|
.toLowerCase()
|
||||||
|
.replace(/[^a-zåäöé0-9\s]/g, '')
|
||||||
|
.replace(/\s+/g, ' ')
|
||||||
|
.trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeUnit(unit: string | null): string | null {
|
||||||
|
if (!unit) return null;
|
||||||
|
|
||||||
|
const cleaned = unit.trim().toLowerCase().replace(/\./g, '');
|
||||||
|
return this.UNIT_MAPPING[cleaned] ?? null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeCategory(category: string | null, rawName?: string): string | null {
|
||||||
|
if (this.containsSwedishCheeseVariant(rawName)) {
|
||||||
|
return 'Hårdost';
|
||||||
|
}
|
||||||
|
if (!category) return null;
|
||||||
|
|
||||||
|
const normalized = category.trim().toLowerCase();
|
||||||
|
|
||||||
|
// Mappning av tänkta kategorivärdena från AI
|
||||||
|
const categoryMap: Record<string, string> = {
|
||||||
|
fisk: 'Fisk',
|
||||||
|
kött: 'Kött',
|
||||||
|
mejeri: 'Mejeri',
|
||||||
|
grönsaker: 'Grönsaker',
|
||||||
|
frukt: 'Frukt',
|
||||||
|
dryck: 'Dryck',
|
||||||
|
frukt_grönsaker: 'Frukt & Grönsaker',
|
||||||
|
fastfood: 'Fastfood',
|
||||||
|
bröd: 'Bröd',
|
||||||
|
fryst: 'Fryst',
|
||||||
|
godis: 'Godis',
|
||||||
|
pasta: 'Pasta',
|
||||||
|
};
|
||||||
|
|
||||||
|
return categoryMap[normalized] ?? null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeBrand(brand: string | null, rawName?: string): string | null {
|
||||||
|
const value = `${brand ?? ''} ${rawName ?? ''}`.trim().toLowerCase();
|
||||||
|
if (value.includes('arla ko')) {
|
||||||
|
return 'Arla Ko';
|
||||||
|
}
|
||||||
|
return brand;
|
||||||
|
}
|
||||||
|
|
||||||
|
private containsSwedishCheeseVariant(value?: string | null): boolean {
|
||||||
|
if (!value) return false;
|
||||||
|
const normalized = this.stripDiacritics(value.toLowerCase());
|
||||||
|
return ['prast', 'herrgard', 'greve'].some((token) => normalized.includes(token));
|
||||||
|
}
|
||||||
|
|
||||||
|
private expandCheeseVariants(item: NormalizedFlyerItem): NormalizedFlyerItem[] {
|
||||||
|
if (item.isBundle) return [];
|
||||||
|
|
||||||
|
const normalizedRaw = this.stripDiacritics(item.rawName.toLowerCase());
|
||||||
|
const tokens = normalizedRaw
|
||||||
|
.split(/[,/&]|\boch\b|\band\b/g)
|
||||||
|
.map((part) => part.trim())
|
||||||
|
.filter(Boolean);
|
||||||
|
|
||||||
|
const variants = Array.from(
|
||||||
|
new Set(
|
||||||
|
tokens
|
||||||
|
.map((token) => token.replace(/[^a-z0-9\s]/g, ''))
|
||||||
|
.flatMap((token) => Object.keys(this.CHEESE_VARIANT_TO_NAME).filter((key) => token.includes(key))),
|
||||||
|
),
|
||||||
|
);
|
||||||
|
|
||||||
|
if (variants.length <= 1) {
|
||||||
|
return [];
|
||||||
|
}
|
||||||
|
|
||||||
|
return variants.map((variant) => {
|
||||||
|
const productName = this.CHEESE_VARIANT_TO_NAME[variant];
|
||||||
|
return {
|
||||||
|
...item,
|
||||||
|
rawName: productName,
|
||||||
|
normalizedName: this.normalizeName(productName),
|
||||||
|
categoryHint: 'Hårdost',
|
||||||
|
parseReasons: [...item.parseReasons, 'split_cheese_variants'],
|
||||||
|
};
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
private stripDiacritics(value: string): string {
|
||||||
|
return value
|
||||||
|
.normalize('NFD')
|
||||||
|
.replace(/[\u0300-\u036f]/g, '');
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeOfferText(offer: any): string | null {
|
||||||
|
if (!offer) return null;
|
||||||
|
|
||||||
|
if (typeof offer === 'string') {
|
||||||
|
return offer.trim() || null;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (Array.isArray(offer)) {
|
||||||
|
const joined = offer.map(String).filter(s => s.trim()).join(' ');
|
||||||
|
return joined || null;
|
||||||
|
}
|
||||||
|
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private fixKnownOcrTypos(value: string): string {
|
||||||
|
let corrected = value;
|
||||||
|
|
||||||
|
if (/\bbakad\b/i.test(value) && /\bfirre\b/i.test(value)) {
|
||||||
|
corrected = corrected.replace(/\bpröd\b/gi, (match) => (match[0] === 'P' ? 'Spröd' : 'spröd'));
|
||||||
|
}
|
||||||
|
|
||||||
|
if (/ost\b|hårdost/i.test(value)) {
|
||||||
|
corrected = corrected.replace(/\bherg{1,2}årds?ost\b/gi, (match) => (match[0] === 'H' ? 'Herrgårdsost' : 'herrgårdsost'));
|
||||||
|
corrected = corrected.replace(/\bgreveost\b/gi, (match) => (match[0] === 'G' ? 'Grevéost' : 'grevéost'));
|
||||||
|
}
|
||||||
|
|
||||||
|
return corrected;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,71 @@
|
|||||||
|
import { describeMatchReason, describeParseReason } from './reason-codes';
|
||||||
|
|
||||||
|
describe('reason-codes', () => {
|
||||||
|
it('describes known parse reasons in Swedish', () => {
|
||||||
|
expect(describeParseReason('ai_parsed')).toMatchObject({
|
||||||
|
kind: 'parse',
|
||||||
|
code: 'ai_parsed',
|
||||||
|
severity: 'info',
|
||||||
|
title: 'AI-tolkad rad',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeParseReason('split_cheese_variants')).toMatchObject({
|
||||||
|
kind: 'parse',
|
||||||
|
code: 'split_cheese_variants',
|
||||||
|
severity: 'info',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeParseReason('normalized')).toMatchObject({
|
||||||
|
kind: 'parse',
|
||||||
|
code: 'normalized',
|
||||||
|
severity: 'info',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeParseReason('low_confidence')).toMatchObject({
|
||||||
|
kind: 'parse',
|
||||||
|
code: 'low_confidence',
|
||||||
|
severity: 'warning',
|
||||||
|
title: 'Låg parsningskvalitet',
|
||||||
|
});
|
||||||
|
});
|
||||||
|
|
||||||
|
it('describes known match reasons in Swedish', () => {
|
||||||
|
expect(describeMatchReason('no_match')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'no_match',
|
||||||
|
severity: 'warning',
|
||||||
|
title: 'Ingen produktmatchning',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeMatchReason('alias_exact')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'alias_exact',
|
||||||
|
severity: 'info',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeMatchReason('normalized_exact')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'normalized_exact',
|
||||||
|
severity: 'info',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeMatchReason('token_overlap:0.72')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'token_overlap',
|
||||||
|
severity: 'info',
|
||||||
|
title: 'Tokenmatchning',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeMatchReason('alias_points_to_missing_product')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'alias_points_to_missing_product',
|
||||||
|
severity: 'error',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(describeMatchReason('empty_name')).toMatchObject({
|
||||||
|
kind: 'match',
|
||||||
|
code: 'empty_name',
|
||||||
|
severity: 'error',
|
||||||
|
});
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,184 @@
|
|||||||
|
export type ReasonKind = 'parse' | 'match';
|
||||||
|
export type ReasonSeverity = 'info' | 'warning' | 'error';
|
||||||
|
|
||||||
|
export type ParseReasonCode =
|
||||||
|
| 'ai_parsed'
|
||||||
|
| 'split_cheese_variants'
|
||||||
|
| 'normalized'
|
||||||
|
| 'low_confidence';
|
||||||
|
|
||||||
|
export type MatchReasonCode =
|
||||||
|
| 'no_match'
|
||||||
|
| 'alias_exact'
|
||||||
|
| 'normalized_exact'
|
||||||
|
| 'token_overlap'
|
||||||
|
| 'alias_points_to_missing_product'
|
||||||
|
| 'empty_name';
|
||||||
|
|
||||||
|
export type FlyerReasonDescriptor = {
|
||||||
|
code: string;
|
||||||
|
kind: ReasonKind;
|
||||||
|
title: string;
|
||||||
|
message: string;
|
||||||
|
severity: ReasonSeverity;
|
||||||
|
location: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type DescribeReasonContext = {
|
||||||
|
location?: string | null;
|
||||||
|
itemIndex?: number;
|
||||||
|
lang?: 'sv';
|
||||||
|
};
|
||||||
|
|
||||||
|
const PARSE_DEFAULT_LOCATION = 'Steg: AI-parser';
|
||||||
|
const MATCH_DEFAULT_LOCATION = 'Steg: matchning mot dina produkter';
|
||||||
|
|
||||||
|
export function describeParseReason(
|
||||||
|
rawCode: string,
|
||||||
|
context?: DescribeReasonContext,
|
||||||
|
): FlyerReasonDescriptor {
|
||||||
|
const code = normalizeCode(rawCode);
|
||||||
|
const location = context?.location ?? PARSE_DEFAULT_LOCATION;
|
||||||
|
|
||||||
|
switch (code) {
|
||||||
|
case 'ai_parsed':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'parse',
|
||||||
|
title: 'AI-tolkad rad',
|
||||||
|
message: 'Raden tolkades av AI utan att en deterministisk regel matchade.',
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'split_cheese_variants':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'parse',
|
||||||
|
title: 'Variant-split',
|
||||||
|
message: 'Gruppannonsen expanderades till individuella ostvarianter.',
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'normalized':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'parse',
|
||||||
|
title: 'Normaliserad rad',
|
||||||
|
message: 'Produkttexten normaliserades för bättre matchning.',
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'low_confidence':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'parse',
|
||||||
|
title: 'Låg parsningskvalitet',
|
||||||
|
message: 'Modellens säkerhet är låg, granska raden manuellt.',
|
||||||
|
severity: 'warning',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
default:
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'parse',
|
||||||
|
title: 'Okänd parserorsak',
|
||||||
|
message: `En okänd parserorsak rapporterades: ${rawCode}`,
|
||||||
|
severity: 'warning',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
export function describeMatchReason(
|
||||||
|
rawCode: string,
|
||||||
|
context?: DescribeReasonContext,
|
||||||
|
): FlyerReasonDescriptor {
|
||||||
|
const location = context?.location ?? MATCH_DEFAULT_LOCATION;
|
||||||
|
const code = normalizeCode(rawCode);
|
||||||
|
|
||||||
|
switch (code) {
|
||||||
|
case 'no_match':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Ingen produktmatchning',
|
||||||
|
message:
|
||||||
|
'Vi kunde inte hitta någon befintlig produkt som matchar texten på flyern.',
|
||||||
|
severity: 'warning',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'alias_exact':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Aliasmatchning',
|
||||||
|
message: 'Raden matchades exakt via ett registrerat alias.',
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'normalized_exact':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Exakt normaliserad matchning',
|
||||||
|
message: 'Raden matchades exakt efter normalisering av produktnamnet.',
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'token_overlap': {
|
||||||
|
const overlap = parseTokenOverlap(rawCode);
|
||||||
|
const overlapSuffix = overlap == null ? '' : ` (överlapp: ${Math.round(overlap * 100)}%)`;
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Tokenmatchning',
|
||||||
|
message: `Raden matchades med tokenöverlapp mot en befintlig produkt${overlapSuffix}.`,
|
||||||
|
severity: 'info',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
case 'alias_points_to_missing_product':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Trasig alias-koppling',
|
||||||
|
message: 'Ett alias pekar på en produkt som inte längre finns.',
|
||||||
|
severity: 'error',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
case 'empty_name':
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Tomt produktnamn',
|
||||||
|
message: 'Raden saknar tolkbart produktnamn.',
|
||||||
|
severity: 'error',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
default:
|
||||||
|
return {
|
||||||
|
code,
|
||||||
|
kind: 'match',
|
||||||
|
title: 'Okänd matchorsak',
|
||||||
|
message: `En okänd matchorsak rapporterades: ${rawCode}`,
|
||||||
|
severity: 'warning',
|
||||||
|
location,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
function normalizeCode(rawCode: string): string {
|
||||||
|
const trimmed = String(rawCode ?? '').trim();
|
||||||
|
if (trimmed.startsWith('token_overlap:')) {
|
||||||
|
return 'token_overlap';
|
||||||
|
}
|
||||||
|
return trimmed;
|
||||||
|
}
|
||||||
|
|
||||||
|
function parseTokenOverlap(rawCode: string): number | null {
|
||||||
|
const match = String(rawCode).trim().match(/^token_overlap:(\d+(?:\.\d+)?)$/);
|
||||||
|
if (!match) return null;
|
||||||
|
const parsed = Number.parseFloat(match[1]);
|
||||||
|
if (!Number.isFinite(parsed)) return null;
|
||||||
|
return Math.max(0, Math.min(1, parsed));
|
||||||
|
}
|
||||||
@@ -0,0 +1,100 @@
|
|||||||
|
import { Injectable, Logger } from '@nestjs/common';
|
||||||
|
import * as fs from 'fs';
|
||||||
|
import * as os from 'os';
|
||||||
|
import * as path from 'path';
|
||||||
|
import * as pdf from 'pdf-parse';
|
||||||
|
import Tesseract from 'tesseract.js';
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class TextExtractorService {
|
||||||
|
private readonly logger = new Logger(TextExtractorService.name);
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Extraherar text från en PDF-buffer.
|
||||||
|
* Försöker med pdf-parse först; om det inte ger resultat, fallback till OCR.
|
||||||
|
*
|
||||||
|
* @param buffer PDF-fil som buffer
|
||||||
|
* @returns Extraherad text
|
||||||
|
*/
|
||||||
|
async extractText(
|
||||||
|
buffer: Buffer,
|
||||||
|
mimeType?: string,
|
||||||
|
originalFilename?: string,
|
||||||
|
): Promise<string> {
|
||||||
|
// Försök primär PDF-extract
|
||||||
|
try {
|
||||||
|
this.logger.debug('Attempting pdf-parse extraction');
|
||||||
|
const pdfData = await pdf(buffer);
|
||||||
|
|
||||||
|
const text = pdfData.text?.trim() || '';
|
||||||
|
const wordCount = text.split(/\s+/).filter(w => w.length > 0).length;
|
||||||
|
|
||||||
|
this.logger.debug(`pdf-parse extracted ${wordCount} words`);
|
||||||
|
|
||||||
|
// Om vi fick tillräckligt med text, returnera det
|
||||||
|
if (wordCount >= 10) {
|
||||||
|
return text;
|
||||||
|
}
|
||||||
|
|
||||||
|
this.logger.debug('pdf-parse gave too little text, falling back to OCR');
|
||||||
|
} catch (err) {
|
||||||
|
this.logger.warn(`pdf-parse failed: ${String(err)}`);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Fallback: OCR med Tesseract
|
||||||
|
return this.extractTextViaOCR(buffer, mimeType, originalFilename);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Extraherar text från en PDF eller bild via OCR (Tesseract).
|
||||||
|
*
|
||||||
|
* @param buffer Fil-buffer (PDF eller bild)
|
||||||
|
* @returns Extraherad text
|
||||||
|
*/
|
||||||
|
private async extractTextViaOCR(
|
||||||
|
buffer: Buffer,
|
||||||
|
mimeType?: string,
|
||||||
|
originalFilename?: string,
|
||||||
|
): Promise<string> {
|
||||||
|
try {
|
||||||
|
this.logger.debug('Starting Tesseract OCR extraction');
|
||||||
|
|
||||||
|
// Tesseract.js kräver en sökväg eller data-URL; vi skriver temporär fil
|
||||||
|
const ext = this.resolveTempExtension(mimeType, originalFilename);
|
||||||
|
const tempPath = path.join(os.tmpdir(), `ocr-${Date.now()}${ext}`);
|
||||||
|
await fs.promises.writeFile(tempPath, buffer);
|
||||||
|
|
||||||
|
try {
|
||||||
|
const result = await Tesseract.recognize(tempPath, 'swe', {
|
||||||
|
logger: (m) => this.logger.debug(`Tesseract: ${m.status}`),
|
||||||
|
});
|
||||||
|
|
||||||
|
const text = result.data.text || '';
|
||||||
|
this.logger.debug(`Tesseract extracted ${text.split(/\s+/).length} words`);
|
||||||
|
return text;
|
||||||
|
} finally {
|
||||||
|
try {
|
||||||
|
await fs.promises.unlink(tempPath);
|
||||||
|
} catch {
|
||||||
|
// ignorera om cleanup misslyckas
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (err) {
|
||||||
|
this.logger.error(`OCR extraction failed: ${String(err)}`);
|
||||||
|
throw new Error('Kunde inte extrahera text från flyern (pdf-parse + OCR misslyckades).');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private resolveTempExtension(mimeType?: string, originalFilename?: string): string {
|
||||||
|
if (mimeType === 'image/png') return '.png';
|
||||||
|
if (mimeType === 'image/webp') return '.webp';
|
||||||
|
if (mimeType === 'image/jpeg') return '.jpg';
|
||||||
|
if (mimeType === 'text/plain') return '.txt';
|
||||||
|
if (mimeType === 'application/pdf') return '.pdf';
|
||||||
|
|
||||||
|
const originalExt = originalFilename ? path.extname(originalFilename).toLowerCase() : '';
|
||||||
|
if (originalExt) return originalExt;
|
||||||
|
|
||||||
|
return '.pdf';
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,11 @@
|
|||||||
|
import { Type } from 'class-transformer';
|
||||||
|
import { ArrayMinSize, IsArray, ValidateNested } from 'class-validator';
|
||||||
|
import { CreateFlyerSelectionDto } from './create-flyer-selection.dto';
|
||||||
|
|
||||||
|
export class CreateFlyerSelectionBulkDto {
|
||||||
|
@IsArray()
|
||||||
|
@ArrayMinSize(1)
|
||||||
|
@ValidateNested({ each: true })
|
||||||
|
@Type(() => CreateFlyerSelectionDto)
|
||||||
|
items!: CreateFlyerSelectionDto[];
|
||||||
|
}
|
||||||
@@ -0,0 +1,38 @@
|
|||||||
|
import { Type } from 'class-transformer';
|
||||||
|
import {
|
||||||
|
IsIn,
|
||||||
|
IsInt,
|
||||||
|
IsNumber,
|
||||||
|
IsOptional,
|
||||||
|
IsString,
|
||||||
|
MaxLength,
|
||||||
|
Min,
|
||||||
|
} from 'class-validator';
|
||||||
|
|
||||||
|
export class CreateFlyerSelectionDto {
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
itemId!: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsNumber({ maxDecimalPlaces: 2 })
|
||||||
|
@Min(0)
|
||||||
|
plannedQuantity?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(24)
|
||||||
|
plannedUnit?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@IsIn(['low', 'normal', 'high'])
|
||||||
|
priority?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(500)
|
||||||
|
note?: string;
|
||||||
|
}
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
export type FlyerSelectionResponse = {
|
||||||
|
id: number;
|
||||||
|
sessionId: number;
|
||||||
|
itemId: number;
|
||||||
|
userId: number;
|
||||||
|
plannedQuantity: number | null;
|
||||||
|
plannedUnit: string | null;
|
||||||
|
priority: string;
|
||||||
|
note: string | null;
|
||||||
|
status: string;
|
||||||
|
createdAt: string;
|
||||||
|
updatedAt: string;
|
||||||
|
item: {
|
||||||
|
id: number;
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
price: number | null;
|
||||||
|
priceUnit: string | null;
|
||||||
|
matchedProductId: number | null;
|
||||||
|
matchedProductName: string | null;
|
||||||
|
};
|
||||||
|
};
|
||||||
@@ -0,0 +1,11 @@
|
|||||||
|
import { Type } from 'class-transformer';
|
||||||
|
import { IsArray, IsInt, IsOptional, Min } from 'class-validator';
|
||||||
|
|
||||||
|
export class PlanToShoppingListDto {
|
||||||
|
@IsOptional()
|
||||||
|
@IsArray()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt({ each: true })
|
||||||
|
@Min(1, { each: true })
|
||||||
|
itemIds?: number[];
|
||||||
|
}
|
||||||
@@ -0,0 +1,86 @@
|
|||||||
|
import { Type } from 'class-transformer';
|
||||||
|
import {
|
||||||
|
IsArray,
|
||||||
|
IsIn,
|
||||||
|
IsInt,
|
||||||
|
IsNumber,
|
||||||
|
IsOptional,
|
||||||
|
IsString,
|
||||||
|
MaxLength,
|
||||||
|
Min,
|
||||||
|
ValidateNested,
|
||||||
|
} from 'class-validator';
|
||||||
|
|
||||||
|
export class ReceiptMatchItemDto {
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(191)
|
||||||
|
rawName!: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(191)
|
||||||
|
normalizedName?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
productId?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsNumber({ maxDecimalPlaces: 2 })
|
||||||
|
@Min(0)
|
||||||
|
quantity?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(24)
|
||||||
|
unit?: string;
|
||||||
|
}
|
||||||
|
|
||||||
|
export class ReceiptMatchOverrideDto {
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt()
|
||||||
|
@Min(0)
|
||||||
|
rowIndex!: number;
|
||||||
|
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
selectionId!: number;
|
||||||
|
}
|
||||||
|
|
||||||
|
export class ReceiptMatchDto {
|
||||||
|
@IsArray()
|
||||||
|
@ValidateNested({ each: true })
|
||||||
|
@Type(() => ReceiptMatchItemDto)
|
||||||
|
items!: ReceiptMatchItemDto[];
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsInt()
|
||||||
|
@Min(1)
|
||||||
|
sessionId?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(16)
|
||||||
|
weekKey?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsArray()
|
||||||
|
@ValidateNested({ each: true })
|
||||||
|
@Type(() => ReceiptMatchOverrideDto)
|
||||||
|
overrides?: ReceiptMatchOverrideDto[];
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(80)
|
||||||
|
receiptImportBatchId?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@IsIn(['receipt_auto', 'receipt_manual'])
|
||||||
|
boughtSource?: 'receipt_auto' | 'receipt_manual';
|
||||||
|
}
|
||||||
@@ -0,0 +1,30 @@
|
|||||||
|
export type FlyerMatchStatus = 'auto' | 'ambiguous' | 'unmatched';
|
||||||
|
|
||||||
|
export type ReceiptMatchPreviewRow = {
|
||||||
|
rowIndex: number;
|
||||||
|
status: FlyerMatchStatus;
|
||||||
|
confidence: number;
|
||||||
|
matchedVia: string;
|
||||||
|
reasonCodes: string[];
|
||||||
|
selectionId: number | null;
|
||||||
|
sessionId: number | null;
|
||||||
|
itemId: number | null;
|
||||||
|
plannedName: string | null;
|
||||||
|
plannedProductId: number | null;
|
||||||
|
plannedProductName: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type ReceiptMatchPreviewResponse = {
|
||||||
|
rows: ReceiptMatchPreviewRow[];
|
||||||
|
autoCount: number;
|
||||||
|
ambiguousCount: number;
|
||||||
|
unmatchedCount: number;
|
||||||
|
candidateSelectionCount: number;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type ReceiptMatchCommitResponse = {
|
||||||
|
boughtCount: number;
|
||||||
|
ambiguousCount: number;
|
||||||
|
unmatchedCount: number;
|
||||||
|
updatedSelectionIds: number[];
|
||||||
|
};
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
import { Type } from 'class-transformer';
|
||||||
|
import {
|
||||||
|
IsIn,
|
||||||
|
IsNumber,
|
||||||
|
IsOptional,
|
||||||
|
IsString,
|
||||||
|
MaxLength,
|
||||||
|
Min,
|
||||||
|
} from 'class-validator';
|
||||||
|
|
||||||
|
export class UpdateFlyerSelectionDto {
|
||||||
|
@IsOptional()
|
||||||
|
@Type(() => Number)
|
||||||
|
@IsNumber({ maxDecimalPlaces: 2 })
|
||||||
|
@Min(0)
|
||||||
|
plannedQuantity?: number;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(24)
|
||||||
|
plannedUnit?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@IsIn(['low', 'normal', 'high'])
|
||||||
|
priority?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@IsIn(['planned', 'bought', 'skipped', 'archived'])
|
||||||
|
status?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(500)
|
||||||
|
note?: string;
|
||||||
|
}
|
||||||
@@ -0,0 +1,207 @@
|
|||||||
|
import { Injectable } from '@nestjs/common';
|
||||||
|
import { Prisma } from '@prisma/client';
|
||||||
|
import { normalizeName } from '../common/utils/normalize-name';
|
||||||
|
import { ReceiptMatchItemDto } from './dto/receipt-match.dto';
|
||||||
|
import { ReceiptMatchPreviewResponse, ReceiptMatchPreviewRow } from './dto/receipt-match.response';
|
||||||
|
|
||||||
|
export type CandidateSelection = {
|
||||||
|
id: number;
|
||||||
|
sessionId: number;
|
||||||
|
itemId: number;
|
||||||
|
plannedQuantity: Prisma.Decimal | null;
|
||||||
|
plannedUnit: string | null;
|
||||||
|
item: {
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
matchedProductId: number | null;
|
||||||
|
matchedProductName: string | null;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
const AUTO_MATCH_THRESHOLD = 0.9;
|
||||||
|
const AMBIGUOUS_THRESHOLD = 0.7;
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class FlyerSelectionMatcherService {
|
||||||
|
matchRows(items: ReceiptMatchItemDto[], candidates: CandidateSelection[]): ReceiptMatchPreviewRow[] {
|
||||||
|
const remainingSelectionIds = new Set(candidates.map((candidate) => candidate.id));
|
||||||
|
const byProductId = new Map<number, CandidateSelection[]>();
|
||||||
|
const byNormalizedName = new Map<string, CandidateSelection[]>();
|
||||||
|
|
||||||
|
for (const candidate of candidates) {
|
||||||
|
const productId = candidate.item.matchedProductId;
|
||||||
|
if (productId != null) {
|
||||||
|
const list = byProductId.get(productId) ?? [];
|
||||||
|
list.push(candidate);
|
||||||
|
byProductId.set(productId, list);
|
||||||
|
}
|
||||||
|
const normalized = normalizeName(candidate.item.normalizedName || candidate.item.rawName);
|
||||||
|
if (normalized) {
|
||||||
|
const list = byNormalizedName.get(normalized) ?? [];
|
||||||
|
list.push(candidate);
|
||||||
|
byNormalizedName.set(normalized, list);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
const rows: ReceiptMatchPreviewRow[] = [];
|
||||||
|
for (let rowIndex = 0; rowIndex < items.length; rowIndex++) {
|
||||||
|
const receiptItem = items[rowIndex];
|
||||||
|
const candidatesForRow = this.candidatePool(receiptItem, candidates, remainingSelectionIds, byProductId, byNormalizedName);
|
||||||
|
const best = this.findBest(receiptItem, candidatesForRow);
|
||||||
|
|
||||||
|
if (!best) {
|
||||||
|
rows.push({
|
||||||
|
rowIndex,
|
||||||
|
status: 'unmatched',
|
||||||
|
confidence: 0,
|
||||||
|
matchedVia: 'none',
|
||||||
|
reasonCodes: ['no_match'],
|
||||||
|
selectionId: null,
|
||||||
|
sessionId: null,
|
||||||
|
itemId: null,
|
||||||
|
plannedName: null,
|
||||||
|
plannedProductId: null,
|
||||||
|
plannedProductName: null,
|
||||||
|
});
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
const status =
|
||||||
|
best.confidence >= AUTO_MATCH_THRESHOLD
|
||||||
|
? 'auto'
|
||||||
|
: best.confidence >= AMBIGUOUS_THRESHOLD
|
||||||
|
? 'ambiguous'
|
||||||
|
: 'unmatched';
|
||||||
|
|
||||||
|
if (status !== 'unmatched') {
|
||||||
|
remainingSelectionIds.delete(best.candidate.id);
|
||||||
|
}
|
||||||
|
|
||||||
|
rows.push({
|
||||||
|
rowIndex,
|
||||||
|
status,
|
||||||
|
confidence: Number(best.confidence.toFixed(3)),
|
||||||
|
matchedVia: best.matchedVia,
|
||||||
|
reasonCodes: best.reasons,
|
||||||
|
selectionId: best.candidate.id,
|
||||||
|
sessionId: best.candidate.sessionId,
|
||||||
|
itemId: best.candidate.itemId,
|
||||||
|
plannedName: best.candidate.item.rawName,
|
||||||
|
plannedProductId: best.candidate.item.matchedProductId,
|
||||||
|
plannedProductName: best.candidate.item.matchedProductName,
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
return rows;
|
||||||
|
}
|
||||||
|
|
||||||
|
toPreviewResponse(rows: ReceiptMatchPreviewRow[], candidateSelectionCount: number): ReceiptMatchPreviewResponse {
|
||||||
|
const autoCount = rows.filter((row) => row.status === 'auto').length;
|
||||||
|
const ambiguousCount = rows.filter((row) => row.status === 'ambiguous').length;
|
||||||
|
const unmatchedCount = rows.filter((row) => row.status === 'unmatched').length;
|
||||||
|
return { rows, autoCount, ambiguousCount, unmatchedCount, candidateSelectionCount };
|
||||||
|
}
|
||||||
|
|
||||||
|
private candidatePool(
|
||||||
|
receiptItem: ReceiptMatchItemDto,
|
||||||
|
allCandidates: CandidateSelection[],
|
||||||
|
remainingSelectionIds: Set<number>,
|
||||||
|
byProductId: Map<number, CandidateSelection[]>,
|
||||||
|
byNormalizedName: Map<string, CandidateSelection[]>,
|
||||||
|
): CandidateSelection[] {
|
||||||
|
const pool = new Set<CandidateSelection>();
|
||||||
|
|
||||||
|
if (receiptItem.productId != null) {
|
||||||
|
for (const candidate of byProductId.get(receiptItem.productId) ?? []) {
|
||||||
|
if (remainingSelectionIds.has(candidate.id)) pool.add(candidate);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
const receiptNormalized = normalizeName(receiptItem.normalizedName ?? receiptItem.rawName);
|
||||||
|
if (receiptNormalized) {
|
||||||
|
for (const candidate of byNormalizedName.get(receiptNormalized) ?? []) {
|
||||||
|
if (remainingSelectionIds.has(candidate.id)) pool.add(candidate);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (pool.size > 0) {
|
||||||
|
return [...pool];
|
||||||
|
}
|
||||||
|
|
||||||
|
return allCandidates.filter((candidate) => remainingSelectionIds.has(candidate.id));
|
||||||
|
}
|
||||||
|
|
||||||
|
private findBest(
|
||||||
|
receiptItem: ReceiptMatchItemDto,
|
||||||
|
candidates: CandidateSelection[],
|
||||||
|
): { candidate: CandidateSelection; confidence: number; matchedVia: string; reasons: string[] } | null {
|
||||||
|
let best: { candidate: CandidateSelection; confidence: number; matchedVia: string; reasons: string[] } | null = null;
|
||||||
|
for (const candidate of candidates) {
|
||||||
|
const evaluated = this.scoreCandidate(receiptItem, candidate);
|
||||||
|
if (evaluated.confidence <= 0) continue;
|
||||||
|
if (!best || evaluated.confidence > best.confidence) best = evaluated;
|
||||||
|
}
|
||||||
|
return best;
|
||||||
|
}
|
||||||
|
|
||||||
|
private scoreCandidate(receiptItem: ReceiptMatchItemDto, candidate: CandidateSelection) {
|
||||||
|
const reasons: string[] = [];
|
||||||
|
const receiptNormalized = normalizeName(receiptItem.normalizedName ?? receiptItem.rawName);
|
||||||
|
const flyerNormalized = normalizeName(candidate.item.normalizedName || candidate.item.rawName);
|
||||||
|
|
||||||
|
if (receiptItem.productId && candidate.item.matchedProductId === receiptItem.productId) {
|
||||||
|
reasons.push('product_id_exact');
|
||||||
|
return { candidate, confidence: 1, matchedVia: 'product_id', reasons };
|
||||||
|
}
|
||||||
|
|
||||||
|
if (receiptNormalized && flyerNormalized && receiptNormalized === flyerNormalized) {
|
||||||
|
let confidence = 0.93;
|
||||||
|
reasons.push('name_exact');
|
||||||
|
confidence += this.quantityUnitBonus(receiptItem, candidate, reasons);
|
||||||
|
return { candidate, confidence: Math.min(0.99, confidence), matchedVia: 'name_exact', reasons };
|
||||||
|
}
|
||||||
|
|
||||||
|
const overlap = this.tokenOverlap(this.tokenize(receiptItem.rawName), this.tokenize(candidate.item.rawName));
|
||||||
|
if (overlap <= 0) {
|
||||||
|
return { candidate, confidence: 0, matchedVia: 'none', reasons: ['no_token_overlap'] };
|
||||||
|
}
|
||||||
|
|
||||||
|
let confidence = Math.min(0.89, 0.45 + overlap * 0.45);
|
||||||
|
reasons.push(`token_overlap:${overlap.toFixed(2)}`);
|
||||||
|
confidence += this.quantityUnitBonus(receiptItem, candidate, reasons);
|
||||||
|
confidence = Math.min(0.89, confidence);
|
||||||
|
return { candidate, confidence, matchedVia: 'token', reasons };
|
||||||
|
}
|
||||||
|
|
||||||
|
private quantityUnitBonus(receiptItem: ReceiptMatchItemDto, candidate: CandidateSelection, reasons: string[]): number {
|
||||||
|
let bonus = 0;
|
||||||
|
if (receiptItem.quantity != null && candidate.plannedQuantity != null && Number(candidate.plannedQuantity) === receiptItem.quantity) {
|
||||||
|
bonus += 0.03;
|
||||||
|
reasons.push('quantity_match');
|
||||||
|
}
|
||||||
|
const receiptUnit = (receiptItem.unit ?? '').trim().toLowerCase();
|
||||||
|
const plannedUnit = (candidate.plannedUnit ?? '').trim().toLowerCase();
|
||||||
|
if (receiptUnit && plannedUnit && receiptUnit === plannedUnit) {
|
||||||
|
bonus += 0.03;
|
||||||
|
reasons.push('unit_match');
|
||||||
|
}
|
||||||
|
return bonus;
|
||||||
|
}
|
||||||
|
|
||||||
|
private tokenize(value: string): string[] {
|
||||||
|
return value.toLowerCase().split(/[^a-z0-9åäö]+/).map((part) => part.trim()).filter((part) => part.length >= 3);
|
||||||
|
}
|
||||||
|
|
||||||
|
private tokenOverlap(a: string[], b: string[]): number {
|
||||||
|
if (a.length === 0 || b.length === 0) return 0;
|
||||||
|
const as = new Set(a);
|
||||||
|
const bs = new Set(b);
|
||||||
|
let intersection = 0;
|
||||||
|
for (const token of as) {
|
||||||
|
if (bs.has(token)) intersection++;
|
||||||
|
}
|
||||||
|
const union = new Set([...as, ...bs]).size;
|
||||||
|
if (union === 0) return 0;
|
||||||
|
return intersection / union;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,68 @@
|
|||||||
|
import {
|
||||||
|
Body,
|
||||||
|
Controller,
|
||||||
|
Get,
|
||||||
|
HttpCode,
|
||||||
|
Post,
|
||||||
|
Query,
|
||||||
|
Request,
|
||||||
|
UnauthorizedException,
|
||||||
|
} from '@nestjs/common';
|
||||||
|
import { Throttle } from '@nestjs/throttler';
|
||||||
|
import { FlyerSelectionResponse } from './dto/flyer-selection.response';
|
||||||
|
import { ReceiptMatchDto } from './dto/receipt-match.dto';
|
||||||
|
import {
|
||||||
|
ReceiptMatchCommitResponse,
|
||||||
|
ReceiptMatchPreviewResponse,
|
||||||
|
} from './dto/receipt-match.response';
|
||||||
|
import { FlyerSelectionService } from './flyer-selection.service';
|
||||||
|
|
||||||
|
@Controller('flyer-selections')
|
||||||
|
export class FlyerSelectionSyncController {
|
||||||
|
constructor(private readonly flyerSelectionService: FlyerSelectionService) {}
|
||||||
|
|
||||||
|
@Get('open')
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 30 } })
|
||||||
|
async listOpen(
|
||||||
|
@Query('weekKey') weekKey?: string,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerSelectionResponse[]> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.listOpen(userId, weekKey);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post('receipt-match-preview')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 20 } })
|
||||||
|
async preview(
|
||||||
|
@Body() dto: ReceiptMatchDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<ReceiptMatchPreviewResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.previewReceiptMatches(userId, dto);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post('receipt-match-commit')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 20 } })
|
||||||
|
async commit(
|
||||||
|
@Body() dto: ReceiptMatchDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<ReceiptMatchCommitResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.commitReceiptMatches(userId, dto);
|
||||||
|
}
|
||||||
|
|
||||||
|
private getUserId(req?: any): number {
|
||||||
|
const userId =
|
||||||
|
typeof req?.user?.id === 'number'
|
||||||
|
? req.user.id
|
||||||
|
: typeof req?.user?.userId === 'number'
|
||||||
|
? req.user.userId
|
||||||
|
: undefined;
|
||||||
|
if (!userId) {
|
||||||
|
throw new UnauthorizedException('Kunde inte identifiera användaren.');
|
||||||
|
}
|
||||||
|
return userId;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,108 @@
|
|||||||
|
import {
|
||||||
|
Body,
|
||||||
|
Controller,
|
||||||
|
Delete,
|
||||||
|
HttpCode,
|
||||||
|
Param,
|
||||||
|
ParseIntPipe,
|
||||||
|
Patch,
|
||||||
|
Post,
|
||||||
|
Request,
|
||||||
|
Get,
|
||||||
|
UnauthorizedException,
|
||||||
|
} from '@nestjs/common';
|
||||||
|
import { Throttle } from '@nestjs/throttler';
|
||||||
|
import { CreateFlyerSelectionDto } from './dto/create-flyer-selection.dto';
|
||||||
|
import { CreateFlyerSelectionBulkDto } from './dto/create-flyer-selection-bulk.dto';
|
||||||
|
import { FlyerSelectionResponse } from './dto/flyer-selection.response';
|
||||||
|
import { UpdateFlyerSelectionDto } from './dto/update-flyer-selection.dto';
|
||||||
|
import { FlyerSelectionService } from './flyer-selection.service';
|
||||||
|
import { PlanToShoppingListDto } from './dto/plan-to-shopping-list.dto';
|
||||||
|
|
||||||
|
@Controller('flyer-sessions/:sessionId/selections')
|
||||||
|
export class FlyerSelectionController {
|
||||||
|
constructor(private readonly flyerSelectionService: FlyerSelectionService) {}
|
||||||
|
|
||||||
|
@Get()
|
||||||
|
async list(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerSelectionResponse[]> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.listBySession(sessionId, userId);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post()
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 20 } })
|
||||||
|
async create(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Body() dto: CreateFlyerSelectionDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerSelectionResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.create(sessionId, userId, dto);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post('bulk')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 10 } })
|
||||||
|
async createMany(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Body() dto: CreateFlyerSelectionBulkDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerSelectionResponse[]> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.createMany(sessionId, userId, dto.items);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Patch(':selectionId')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 30 } })
|
||||||
|
async update(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Param('selectionId', ParseIntPipe) selectionId: number,
|
||||||
|
@Body() dto: UpdateFlyerSelectionDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<FlyerSelectionResponse> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.update(sessionId, selectionId, userId, dto);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Delete(':selectionId')
|
||||||
|
@HttpCode(204)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 20 } })
|
||||||
|
async remove(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Param('selectionId', ParseIntPipe) selectionId: number,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<void> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
await this.flyerSelectionService.remove(sessionId, selectionId, userId);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Post('plan-to-shopping-list')
|
||||||
|
@HttpCode(200)
|
||||||
|
@Throttle({ default: { ttl: 60_000, limit: 20 } })
|
||||||
|
async planToShoppingList(
|
||||||
|
@Param('sessionId', ParseIntPipe) sessionId: number,
|
||||||
|
@Body() dto: PlanToShoppingListDto,
|
||||||
|
@Request() req?: any,
|
||||||
|
): Promise<{ created: number; updated: number; processedSelectionIds: number[] }> {
|
||||||
|
const userId = this.getUserId(req);
|
||||||
|
return this.flyerSelectionService.planToShoppingList(sessionId, userId, dto.itemIds);
|
||||||
|
}
|
||||||
|
|
||||||
|
private getUserId(req?: any): number {
|
||||||
|
const userId =
|
||||||
|
typeof req?.user?.id === 'number'
|
||||||
|
? req.user.id
|
||||||
|
: typeof req?.user?.userId === 'number'
|
||||||
|
? req.user.userId
|
||||||
|
: undefined;
|
||||||
|
if (!userId) {
|
||||||
|
throw new UnauthorizedException('Kunde inte identifiera användaren.');
|
||||||
|
}
|
||||||
|
return userId;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,15 @@
|
|||||||
|
import { Module } from '@nestjs/common';
|
||||||
|
import { PrismaModule } from '../prisma/prisma.module';
|
||||||
|
import { ShoppingListModule } from '../shopping-list/shopping-list.module';
|
||||||
|
import { FlyerSelectionMatcherService } from './flyer-selection-matcher.service';
|
||||||
|
import { FlyerSelectionController } from './flyer-selection.controller';
|
||||||
|
import { FlyerSelectionSyncController } from './flyer-selection-sync.controller';
|
||||||
|
import { FlyerSelectionService } from './flyer-selection.service';
|
||||||
|
|
||||||
|
@Module({
|
||||||
|
imports: [PrismaModule, ShoppingListModule],
|
||||||
|
controllers: [FlyerSelectionController, FlyerSelectionSyncController],
|
||||||
|
providers: [FlyerSelectionService, FlyerSelectionMatcherService],
|
||||||
|
exports: [FlyerSelectionService],
|
||||||
|
})
|
||||||
|
export class FlyerSelectionModule {}
|
||||||
@@ -0,0 +1,435 @@
|
|||||||
|
import {
|
||||||
|
BadRequestException,
|
||||||
|
ForbiddenException,
|
||||||
|
Injectable,
|
||||||
|
NotFoundException,
|
||||||
|
} from '@nestjs/common';
|
||||||
|
import { Prisma } from '@prisma/client';
|
||||||
|
import { PrismaService } from '../prisma/prisma.service';
|
||||||
|
import { CreateFlyerSelectionDto } from './dto/create-flyer-selection.dto';
|
||||||
|
import {
|
||||||
|
ReceiptMatchCommitResponse,
|
||||||
|
ReceiptMatchPreviewResponse,
|
||||||
|
} from './dto/receipt-match.response';
|
||||||
|
import { ReceiptMatchDto } from './dto/receipt-match.dto';
|
||||||
|
import { FlyerSelectionResponse } from './dto/flyer-selection.response';
|
||||||
|
import { UpdateFlyerSelectionDto } from './dto/update-flyer-selection.dto';
|
||||||
|
import {
|
||||||
|
CandidateSelection,
|
||||||
|
FlyerSelectionMatcherService,
|
||||||
|
} from './flyer-selection-matcher.service';
|
||||||
|
import { ShoppingListService } from '../shopping-list/shopping-list.service';
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class FlyerSelectionService {
|
||||||
|
constructor(
|
||||||
|
private readonly prisma: PrismaService,
|
||||||
|
private readonly matcher: FlyerSelectionMatcherService,
|
||||||
|
private readonly shoppingListService: ShoppingListService,
|
||||||
|
) {}
|
||||||
|
|
||||||
|
async listBySession(sessionId: number, userId: number): Promise<FlyerSelectionResponse[]> {
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
const rows = await this.prisma.flyerSelection.findMany({
|
||||||
|
where: { sessionId, userId },
|
||||||
|
include: {
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { createdAt: 'desc' },
|
||||||
|
});
|
||||||
|
|
||||||
|
return rows.map((row) => this.toResponse(row));
|
||||||
|
}
|
||||||
|
|
||||||
|
async create(
|
||||||
|
sessionId: number,
|
||||||
|
userId: number,
|
||||||
|
dto: CreateFlyerSelectionDto,
|
||||||
|
): Promise<FlyerSelectionResponse> {
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
|
||||||
|
const item = await this.prisma.flyerItem.findUnique({
|
||||||
|
where: { id: dto.itemId },
|
||||||
|
select: { id: true, sessionId: true },
|
||||||
|
});
|
||||||
|
if (!item || item.sessionId !== sessionId) {
|
||||||
|
throw new BadRequestException('Vald flyer-rad tillhör inte sessionen.');
|
||||||
|
}
|
||||||
|
|
||||||
|
const created = await this.prisma.flyerSelection.upsert({
|
||||||
|
where: {
|
||||||
|
sessionId_itemId: {
|
||||||
|
sessionId,
|
||||||
|
itemId: dto.itemId,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
update: {
|
||||||
|
plannedQuantity:
|
||||||
|
dto.plannedQuantity == null ? undefined : new Prisma.Decimal(dto.plannedQuantity),
|
||||||
|
plannedUnit: dto.plannedUnit,
|
||||||
|
priority: dto.priority ?? 'normal',
|
||||||
|
note: dto.note,
|
||||||
|
},
|
||||||
|
create: {
|
||||||
|
sessionId,
|
||||||
|
itemId: dto.itemId,
|
||||||
|
userId,
|
||||||
|
plannedQuantity:
|
||||||
|
dto.plannedQuantity == null ? null : new Prisma.Decimal(dto.plannedQuantity),
|
||||||
|
plannedUnit: dto.plannedUnit ?? null,
|
||||||
|
priority: dto.priority ?? 'normal',
|
||||||
|
note: dto.note ?? null,
|
||||||
|
},
|
||||||
|
include: {
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
return this.toResponse(created);
|
||||||
|
}
|
||||||
|
|
||||||
|
async createMany(
|
||||||
|
sessionId: number,
|
||||||
|
userId: number,
|
||||||
|
items: CreateFlyerSelectionDto[],
|
||||||
|
): Promise<FlyerSelectionResponse[]> {
|
||||||
|
if (items.length === 0) return [];
|
||||||
|
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
|
||||||
|
const existingItems = await this.prisma.flyerItem.findMany({
|
||||||
|
where: {
|
||||||
|
sessionId,
|
||||||
|
id: {
|
||||||
|
in: items.map((item) => item.itemId),
|
||||||
|
},
|
||||||
|
},
|
||||||
|
select: { id: true },
|
||||||
|
});
|
||||||
|
const validItemIds = new Set(existingItems.map((item) => item.id));
|
||||||
|
const invalidItem = items.find((item) => !validItemIds.has(item.itemId));
|
||||||
|
if (invalidItem) {
|
||||||
|
throw new BadRequestException(`Flyer-rad ${invalidItem.itemId} tillhör inte sessionen.`);
|
||||||
|
}
|
||||||
|
|
||||||
|
const existingSelections = await this.prisma.flyerSelection.findMany({
|
||||||
|
where: {
|
||||||
|
sessionId,
|
||||||
|
itemId: { in: items.map((item) => item.itemId) },
|
||||||
|
},
|
||||||
|
select: { itemId: true },
|
||||||
|
});
|
||||||
|
const existingItemIds = new Set(existingSelections.map((item) => item.itemId));
|
||||||
|
|
||||||
|
await this.prisma.$transaction(async (tx) => {
|
||||||
|
const toCreate = items.filter((item) => !existingItemIds.has(item.itemId));
|
||||||
|
if (toCreate.length > 0) {
|
||||||
|
await tx.flyerSelection.createMany({
|
||||||
|
data: toCreate.map((item) => ({
|
||||||
|
sessionId,
|
||||||
|
itemId: item.itemId,
|
||||||
|
userId,
|
||||||
|
plannedQuantity:
|
||||||
|
item.plannedQuantity == null ? null : new Prisma.Decimal(item.plannedQuantity),
|
||||||
|
plannedUnit: item.plannedUnit ?? null,
|
||||||
|
priority: item.priority ?? 'normal',
|
||||||
|
note: item.note ?? null,
|
||||||
|
})),
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
const toUpdate = items.filter((item) => existingItemIds.has(item.itemId));
|
||||||
|
await Promise.all(
|
||||||
|
toUpdate.map((item) =>
|
||||||
|
tx.flyerSelection.update({
|
||||||
|
where: {
|
||||||
|
sessionId_itemId: {
|
||||||
|
sessionId,
|
||||||
|
itemId: item.itemId,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
data: {
|
||||||
|
plannedQuantity:
|
||||||
|
item.plannedQuantity == null ? undefined : new Prisma.Decimal(item.plannedQuantity),
|
||||||
|
plannedUnit: item.plannedUnit,
|
||||||
|
priority: item.priority ?? 'normal',
|
||||||
|
note: item.note,
|
||||||
|
},
|
||||||
|
}),
|
||||||
|
),
|
||||||
|
);
|
||||||
|
});
|
||||||
|
|
||||||
|
const result = await this.prisma.flyerSelection.findMany({
|
||||||
|
where: {
|
||||||
|
sessionId,
|
||||||
|
userId,
|
||||||
|
itemId: { in: items.map((item) => item.itemId) },
|
||||||
|
},
|
||||||
|
include: {
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { createdAt: 'desc' },
|
||||||
|
});
|
||||||
|
|
||||||
|
return result.map((row) => this.toResponse(row));
|
||||||
|
}
|
||||||
|
|
||||||
|
async update(
|
||||||
|
sessionId: number,
|
||||||
|
selectionId: number,
|
||||||
|
userId: number,
|
||||||
|
dto: UpdateFlyerSelectionDto,
|
||||||
|
): Promise<FlyerSelectionResponse> {
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
|
||||||
|
const existing = await this.prisma.flyerSelection.findUnique({
|
||||||
|
where: { id: selectionId },
|
||||||
|
select: { id: true, sessionId: true, userId: true },
|
||||||
|
});
|
||||||
|
if (!existing || existing.sessionId !== sessionId) {
|
||||||
|
throw new NotFoundException('FlyerSelection hittades inte.');
|
||||||
|
}
|
||||||
|
if (existing.userId !== userId) {
|
||||||
|
throw new ForbiddenException('Du saknar åtkomst till denna selection.');
|
||||||
|
}
|
||||||
|
|
||||||
|
const updated = await this.prisma.flyerSelection.update({
|
||||||
|
where: { id: selectionId },
|
||||||
|
data: {
|
||||||
|
plannedQuantity:
|
||||||
|
dto.plannedQuantity == null ? undefined : new Prisma.Decimal(dto.plannedQuantity),
|
||||||
|
plannedUnit: dto.plannedUnit,
|
||||||
|
priority: dto.priority,
|
||||||
|
status: dto.status,
|
||||||
|
note: dto.note,
|
||||||
|
},
|
||||||
|
include: {
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
return this.toResponse(updated);
|
||||||
|
}
|
||||||
|
|
||||||
|
async remove(sessionId: number, selectionId: number, userId: number): Promise<void> {
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
|
||||||
|
const existing = await this.prisma.flyerSelection.findUnique({
|
||||||
|
where: { id: selectionId },
|
||||||
|
select: { id: true, sessionId: true, userId: true },
|
||||||
|
});
|
||||||
|
if (!existing || existing.sessionId !== sessionId) {
|
||||||
|
throw new NotFoundException('FlyerSelection hittades inte.');
|
||||||
|
}
|
||||||
|
if (existing.userId !== userId) {
|
||||||
|
throw new ForbiddenException('Du saknar åtkomst till denna selection.');
|
||||||
|
}
|
||||||
|
|
||||||
|
await this.prisma.flyerSelection.delete({ where: { id: selectionId } });
|
||||||
|
}
|
||||||
|
|
||||||
|
async listOpen(userId: number, weekKey?: string): Promise<FlyerSelectionResponse[]> {
|
||||||
|
const rows = await this.prisma.flyerSelection.findMany({
|
||||||
|
where: {
|
||||||
|
userId,
|
||||||
|
status: 'planned',
|
||||||
|
session: {
|
||||||
|
...(weekKey ? { weekKey } : {}),
|
||||||
|
},
|
||||||
|
},
|
||||||
|
include: {
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
price: true,
|
||||||
|
priceUnit: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { createdAt: 'desc' },
|
||||||
|
});
|
||||||
|
|
||||||
|
return rows.map((row) => this.toResponse(row));
|
||||||
|
}
|
||||||
|
|
||||||
|
async planToShoppingList(
|
||||||
|
sessionId: number,
|
||||||
|
userId: number,
|
||||||
|
itemIds?: number[],
|
||||||
|
): Promise<{ created: number; updated: number; processedSelectionIds: number[] }> {
|
||||||
|
await this.assertSessionOwnership(sessionId, userId);
|
||||||
|
return this.shoppingListService.upsertFromFlyerSelections(sessionId, userId, itemIds);
|
||||||
|
}
|
||||||
|
|
||||||
|
async previewReceiptMatches(userId: number, dto: ReceiptMatchDto): Promise<ReceiptMatchPreviewResponse> {
|
||||||
|
const candidates = await this.loadCandidateSelections(userId, dto.sessionId, dto.weekKey);
|
||||||
|
const rows = this.matcher.matchRows(dto.items, candidates);
|
||||||
|
return this.matcher.toPreviewResponse(rows, candidates.length);
|
||||||
|
}
|
||||||
|
|
||||||
|
async commitReceiptMatches(userId: number, dto: ReceiptMatchDto): Promise<ReceiptMatchCommitResponse> {
|
||||||
|
const candidates = await this.loadCandidateSelections(userId, dto.sessionId, dto.weekKey);
|
||||||
|
const previewRows = this.matcher.matchRows(dto.items, candidates);
|
||||||
|
const overrideByIndex = new Map((dto.overrides ?? []).map((o) => [o.rowIndex, o.selectionId]));
|
||||||
|
const candidateBySelectionId = new Map(candidates.map((c) => [c.id, c]));
|
||||||
|
const usedSelectionIds = new Set<number>();
|
||||||
|
const toUpdateSelectionIds: number[] = [];
|
||||||
|
|
||||||
|
for (const row of previewRows) {
|
||||||
|
if (row.status === 'auto' && row.selectionId != null && !usedSelectionIds.has(row.selectionId)) {
|
||||||
|
usedSelectionIds.add(row.selectionId);
|
||||||
|
toUpdateSelectionIds.push(row.selectionId);
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
const overrideSelectionId = overrideByIndex.get(row.rowIndex);
|
||||||
|
if (!overrideSelectionId || usedSelectionIds.has(overrideSelectionId)) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
if (!candidateBySelectionId.has(overrideSelectionId)) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
usedSelectionIds.add(overrideSelectionId);
|
||||||
|
toUpdateSelectionIds.push(overrideSelectionId);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (toUpdateSelectionIds.length > 0) {
|
||||||
|
await this.prisma.flyerSelection.updateMany({
|
||||||
|
where: {
|
||||||
|
id: { in: toUpdateSelectionIds },
|
||||||
|
userId,
|
||||||
|
status: 'planned',
|
||||||
|
},
|
||||||
|
data: {
|
||||||
|
status: 'bought',
|
||||||
|
},
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
const summary = this.matcher.toPreviewResponse(previewRows, candidates.length);
|
||||||
|
return {
|
||||||
|
boughtCount: toUpdateSelectionIds.length,
|
||||||
|
ambiguousCount: summary.ambiguousCount,
|
||||||
|
unmatchedCount: summary.unmatchedCount,
|
||||||
|
updatedSelectionIds: toUpdateSelectionIds,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
|
||||||
|
private async assertSessionOwnership(sessionId: number, userId: number): Promise<void> {
|
||||||
|
const session = await this.prisma.flyerSession.findUnique({
|
||||||
|
where: { id: sessionId },
|
||||||
|
select: { id: true, userId: true },
|
||||||
|
});
|
||||||
|
if (!session) {
|
||||||
|
throw new NotFoundException('FlyerSession hittades inte.');
|
||||||
|
}
|
||||||
|
if (session.userId !== userId) {
|
||||||
|
throw new ForbiddenException('Du saknar åtkomst till denna session.');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async loadCandidateSelections(
|
||||||
|
userId: number,
|
||||||
|
sessionId?: number,
|
||||||
|
weekKey?: string,
|
||||||
|
): Promise<CandidateSelection[]> {
|
||||||
|
if (sessionId != null && weekKey != null) {
|
||||||
|
throw new BadRequestException('Ange antingen sessionId eller weekKey, inte båda.');
|
||||||
|
}
|
||||||
|
|
||||||
|
return this.prisma.flyerSelection.findMany({
|
||||||
|
where: {
|
||||||
|
userId,
|
||||||
|
status: 'planned',
|
||||||
|
...(sessionId != null ? { sessionId } : {}),
|
||||||
|
...(weekKey ? { session: { weekKey } } : {}),
|
||||||
|
},
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
sessionId: true,
|
||||||
|
itemId: true,
|
||||||
|
plannedQuantity: true,
|
||||||
|
plannedUnit: true,
|
||||||
|
item: {
|
||||||
|
select: {
|
||||||
|
rawName: true,
|
||||||
|
normalizedName: true,
|
||||||
|
matchedProductId: true,
|
||||||
|
matchedProductName: true,
|
||||||
|
},
|
||||||
|
},
|
||||||
|
},
|
||||||
|
orderBy: { createdAt: 'desc' },
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
private toResponse(row: any): FlyerSelectionResponse {
|
||||||
|
return {
|
||||||
|
id: row.id,
|
||||||
|
sessionId: row.sessionId,
|
||||||
|
itemId: row.itemId,
|
||||||
|
userId: row.userId,
|
||||||
|
plannedQuantity: row.plannedQuantity == null ? null : Number(row.plannedQuantity),
|
||||||
|
plannedUnit: row.plannedUnit ?? null,
|
||||||
|
priority: row.priority,
|
||||||
|
note: row.note ?? null,
|
||||||
|
status: row.status,
|
||||||
|
createdAt: row.createdAt.toISOString(),
|
||||||
|
updatedAt: row.updatedAt.toISOString(),
|
||||||
|
item: {
|
||||||
|
id: row.item.id,
|
||||||
|
rawName: row.item.rawName,
|
||||||
|
normalizedName: row.item.normalizedName,
|
||||||
|
price: row.item.price == null ? null : Number(row.item.price),
|
||||||
|
priceUnit: row.item.priceUnit ?? null,
|
||||||
|
matchedProductId: row.item.matchedProductId ?? null,
|
||||||
|
matchedProductName: row.item.matchedProductName ?? null,
|
||||||
|
},
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,14 @@
|
|||||||
|
import { IsBoolean, IsOptional, IsString, MaxLength } from 'class-validator';
|
||||||
|
|
||||||
|
export class UpsertHelpTextDto {
|
||||||
|
@IsString()
|
||||||
|
@MaxLength(120)
|
||||||
|
title!: string;
|
||||||
|
|
||||||
|
@IsString()
|
||||||
|
content!: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsBoolean()
|
||||||
|
isActive?: boolean;
|
||||||
|
}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
import { Body, Controller, Get, Param, Put } from '@nestjs/common';
|
||||||
|
import { CurrentUser } from '../auth/decorators/current-user.decorator';
|
||||||
|
import { Roles } from '../auth/decorators/roles.decorator';
|
||||||
|
import { UpsertHelpTextDto } from './dto/upsert-help-text.dto';
|
||||||
|
import { HelpTextsService } from './help-texts.service';
|
||||||
|
|
||||||
|
@Controller('help-texts')
|
||||||
|
export class HelpTextsController {
|
||||||
|
constructor(private readonly helpTextsService: HelpTextsService) {}
|
||||||
|
|
||||||
|
@Get(':key')
|
||||||
|
getByKey(
|
||||||
|
@Param('key') key: string,
|
||||||
|
@CurrentUser() user: { role?: string },
|
||||||
|
) {
|
||||||
|
return this.helpTextsService.getResolvedByKey(key, user?.role);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Roles('admin')
|
||||||
|
@Put(':key/:scope')
|
||||||
|
upsert(
|
||||||
|
@Param('key') key: string,
|
||||||
|
@Param('scope') scope: string,
|
||||||
|
@Body() dto: UpsertHelpTextDto,
|
||||||
|
) {
|
||||||
|
return this.helpTextsService.upsert(key, scope, dto);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,11 @@
|
|||||||
|
import { Module } from '@nestjs/common';
|
||||||
|
import { PrismaModule } from '../prisma/prisma.module';
|
||||||
|
import { HelpTextsController } from './help-texts.controller';
|
||||||
|
import { HelpTextsService } from './help-texts.service';
|
||||||
|
|
||||||
|
@Module({
|
||||||
|
imports: [PrismaModule],
|
||||||
|
controllers: [HelpTextsController],
|
||||||
|
providers: [HelpTextsService],
|
||||||
|
})
|
||||||
|
export class HelpTextsModule {}
|
||||||
@@ -0,0 +1,99 @@
|
|||||||
|
import { BadRequestException, Injectable, NotFoundException } from '@nestjs/common';
|
||||||
|
import { PrismaService } from '../prisma/prisma.service';
|
||||||
|
import { UpsertHelpTextDto } from './dto/upsert-help-text.dto';
|
||||||
|
|
||||||
|
type HelpTextScope = 'default' | 'user' | 'admin';
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class HelpTextsService {
|
||||||
|
private readonly allowedScopes: HelpTextScope[] = ['default', 'user', 'admin'];
|
||||||
|
|
||||||
|
constructor(private readonly prisma: PrismaService) {}
|
||||||
|
|
||||||
|
async getResolvedByKey(keyRaw: string, roleRaw?: string) {
|
||||||
|
const key = this.normalizeKey(keyRaw);
|
||||||
|
const role = (roleRaw ?? 'user').toLowerCase();
|
||||||
|
const scopePriority: HelpTextScope[] = role === 'admin'
|
||||||
|
? ['admin', 'user', 'default']
|
||||||
|
: ['user', 'default'];
|
||||||
|
|
||||||
|
const rows = await this.prisma.helpText.findMany({
|
||||||
|
where: {
|
||||||
|
key,
|
||||||
|
isActive: true,
|
||||||
|
scope: { in: scopePriority },
|
||||||
|
},
|
||||||
|
select: {
|
||||||
|
key: true,
|
||||||
|
scope: true,
|
||||||
|
title: true,
|
||||||
|
content: true,
|
||||||
|
updatedAt: true,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
|
||||||
|
for (const scope of scopePriority) {
|
||||||
|
const hit = rows.find((row) => row.scope === scope);
|
||||||
|
if (hit) {
|
||||||
|
return {
|
||||||
|
'key': hit.key,
|
||||||
|
'scope': hit.scope,
|
||||||
|
'title': hit.title,
|
||||||
|
'content': hit.content,
|
||||||
|
'updatedAt': hit.updatedAt,
|
||||||
|
};
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
throw new NotFoundException(`Ingen aktiv hjälptext hittades för key '${key}'.`);
|
||||||
|
}
|
||||||
|
|
||||||
|
async upsert(keyRaw: string, scopeRaw: string, dto: UpsertHelpTextDto) {
|
||||||
|
const key = this.normalizeKey(keyRaw);
|
||||||
|
const scope = this.normalizeScope(scopeRaw);
|
||||||
|
|
||||||
|
return this.prisma.helpText.upsert({
|
||||||
|
where: {
|
||||||
|
key_scope: { key, scope },
|
||||||
|
},
|
||||||
|
update: {
|
||||||
|
title: dto.title.trim(),
|
||||||
|
content: dto.content.trim(),
|
||||||
|
isActive: dto.isActive ?? true,
|
||||||
|
},
|
||||||
|
create: {
|
||||||
|
key,
|
||||||
|
scope,
|
||||||
|
title: dto.title.trim(),
|
||||||
|
content: dto.content.trim(),
|
||||||
|
isActive: dto.isActive ?? true,
|
||||||
|
},
|
||||||
|
select: {
|
||||||
|
key: true,
|
||||||
|
scope: true,
|
||||||
|
title: true,
|
||||||
|
content: true,
|
||||||
|
isActive: true,
|
||||||
|
updatedAt: true,
|
||||||
|
},
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeKey(value: string): string {
|
||||||
|
const normalized = value.trim().toLowerCase();
|
||||||
|
if (!normalized) {
|
||||||
|
throw new BadRequestException('Hjälptext-nyckel måste anges.');
|
||||||
|
}
|
||||||
|
return normalized;
|
||||||
|
}
|
||||||
|
|
||||||
|
private normalizeScope(value: string): HelpTextScope {
|
||||||
|
const normalized = value.trim().toLowerCase() as HelpTextScope;
|
||||||
|
if (!this.allowedScopes.includes(normalized)) {
|
||||||
|
throw new BadRequestException(
|
||||||
|
`Ogiltig scope '${value}'. Tillåtna scopes: ${this.allowedScopes.join(', ')}`,
|
||||||
|
);
|
||||||
|
}
|
||||||
|
return normalized;
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,36 @@
|
|||||||
|
import { CategoryResolverService } from './category-resolver.service';
|
||||||
|
|
||||||
|
describe('CategoryResolverService', () => {
|
||||||
|
const service = new CategoryResolverService();
|
||||||
|
|
||||||
|
const categories = [
|
||||||
|
{ id: 1, name: 'Kött, chark & fågel', path: 'Kött, chark & fågel' },
|
||||||
|
{ id: 2, name: 'Kött', path: 'Kött, chark & fågel > Kött' },
|
||||||
|
{ id: 3, name: 'Fläsk', path: 'Kött, chark & fågel > Kött > Fläsk' },
|
||||||
|
{ id: 4, name: 'Bröd', path: 'Bröd & kakor > Bröd' },
|
||||||
|
];
|
||||||
|
|
||||||
|
it('resolves Fläskytterfilé to pork category', () => {
|
||||||
|
const categoryId = service.resolveForFlyer({
|
||||||
|
categories,
|
||||||
|
signalText: 'Fläskytterfilé Sverige',
|
||||||
|
categoryHint: null,
|
||||||
|
matchedProductCategoryId: null,
|
||||||
|
matchConfidence: 0,
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(categoryId).toBe(3);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('prefers matched product category when confidence is high', () => {
|
||||||
|
const categoryId = service.resolveForFlyer({
|
||||||
|
categories,
|
||||||
|
signalText: 'Något annat',
|
||||||
|
categoryHint: 'Bröd',
|
||||||
|
matchedProductCategoryId: 99,
|
||||||
|
matchConfidence: 0.95,
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(categoryId).toBe(99);
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,114 @@
|
|||||||
|
import { Injectable } from '@nestjs/common';
|
||||||
|
import { FlatCategory } from '../categories/categories.service';
|
||||||
|
|
||||||
|
type ResolveFlyerCategoryParams = {
|
||||||
|
categories: FlatCategory[];
|
||||||
|
signalText: string;
|
||||||
|
categoryHint: string | null;
|
||||||
|
matchedProductCategoryId: number | null;
|
||||||
|
matchConfidence: number;
|
||||||
|
};
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class CategoryResolverService {
|
||||||
|
resolveForFlyer(params: ResolveFlyerCategoryParams): number | null {
|
||||||
|
if (params.matchedProductCategoryId != null && params.matchConfidence >= 0.9) {
|
||||||
|
return params.matchedProductCategoryId;
|
||||||
|
}
|
||||||
|
|
||||||
|
const normalizedSignal = normalizeForRules(params.signalText);
|
||||||
|
|
||||||
|
if (hasPorkLikeSignal(normalizedSignal)) {
|
||||||
|
const pork = this.resolvePorkCategory(params.categories);
|
||||||
|
if (pork) return pork.id;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (hasBreadLikeSignal(normalizedSignal)) {
|
||||||
|
const bread = this.resolveBreadCategory(params.categories);
|
||||||
|
if (bread) return bread.id;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!params.categoryHint) return null;
|
||||||
|
return this.resolveByHint(params.categories, params.categoryHint)?.id ?? null;
|
||||||
|
}
|
||||||
|
|
||||||
|
private resolveByHint(categories: FlatCategory[], categoryHint: string): FlatCategory | undefined {
|
||||||
|
const normalizedHint = normalizeForRules(categoryHint);
|
||||||
|
|
||||||
|
return categories.find((category) => {
|
||||||
|
const normalizedName = normalizeForRules(category.name);
|
||||||
|
const normalizedPath = normalizeForRules(category.path);
|
||||||
|
return normalizedName === normalizedHint || normalizedPath === normalizedHint;
|
||||||
|
});
|
||||||
|
}
|
||||||
|
|
||||||
|
private resolvePorkCategory(categories: FlatCategory[]): FlatCategory | undefined {
|
||||||
|
return (
|
||||||
|
categories.find(
|
||||||
|
(category) =>
|
||||||
|
category.name.toLowerCase() === 'fläsk' &&
|
||||||
|
category.path.toLowerCase().startsWith('kött, chark & fågel > kött > '),
|
||||||
|
) ||
|
||||||
|
categories.find(
|
||||||
|
(category) =>
|
||||||
|
category.name.toLowerCase() === 'kött' &&
|
||||||
|
category.path.toLowerCase() === 'kött, chark & fågel > kött',
|
||||||
|
) ||
|
||||||
|
categories.find((category) => category.path.toLowerCase() === 'kött, chark & fågel')
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
private resolveBreadCategory(categories: FlatCategory[]): FlatCategory | undefined {
|
||||||
|
return (
|
||||||
|
categories.find(
|
||||||
|
(category) =>
|
||||||
|
category.name.toLowerCase() === 'rostbröd' &&
|
||||||
|
category.path.toLowerCase().startsWith('bröd & kakor > bröd > '),
|
||||||
|
) ||
|
||||||
|
categories.find(
|
||||||
|
(category) =>
|
||||||
|
category.name.toLowerCase() === 'bröd' &&
|
||||||
|
category.path.toLowerCase() === 'bröd & kakor > bröd',
|
||||||
|
) ||
|
||||||
|
categories.find((category) => category.path.toLowerCase() === 'bröd & kakor')
|
||||||
|
);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
function normalizeForRules(value: string): string {
|
||||||
|
return value
|
||||||
|
.toLowerCase()
|
||||||
|
.normalize('NFD')
|
||||||
|
.replace(/[\u0300-\u036f]/g, '')
|
||||||
|
.replace(/[^a-z0-9]+/g, ' ')
|
||||||
|
.trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
function hasPorkLikeSignal(normalized: string): boolean {
|
||||||
|
return (
|
||||||
|
normalized.includes('bacon') ||
|
||||||
|
normalized.includes('sidflask') ||
|
||||||
|
normalized.includes('pancetta') ||
|
||||||
|
normalized.includes('flask') ||
|
||||||
|
normalized.includes('flaskytterfile') ||
|
||||||
|
normalized.includes('ytterfile') ||
|
||||||
|
normalized.includes('karre') ||
|
||||||
|
normalized.includes('kotlett')
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
function hasBreadLikeSignal(normalized: string): boolean {
|
||||||
|
return (
|
||||||
|
/\brostbrod\b/.test(normalized) ||
|
||||||
|
/\brost\s*n\s*toast\b/.test(normalized) ||
|
||||||
|
/\broast\s*n\s*toast\b/.test(normalized) ||
|
||||||
|
/\btoastbrod\b/.test(normalized) ||
|
||||||
|
/\bformbrod\b/.test(normalized) ||
|
||||||
|
/\blantbrod\b/.test(normalized) ||
|
||||||
|
/\bfullkornsbrod\b/.test(normalized) ||
|
||||||
|
/\bfranska\b/.test(normalized) ||
|
||||||
|
/\blimpa\b/.test(normalized) ||
|
||||||
|
/\bbrod\b/.test(normalized) ||
|
||||||
|
/\btoast\b/.test(normalized)
|
||||||
|
);
|
||||||
|
}
|
||||||
@@ -0,0 +1,15 @@
|
|||||||
|
export function buildDisplayNameDetailed(params: {
|
||||||
|
rawName: string;
|
||||||
|
isBundle: boolean;
|
||||||
|
bundleItems: string[];
|
||||||
|
}): string {
|
||||||
|
const rawName = params.rawName.trim();
|
||||||
|
if (!params.isBundle) return rawName;
|
||||||
|
|
||||||
|
const items = params.bundleItems
|
||||||
|
.map((item) => item.trim())
|
||||||
|
.filter((item) => item.length > 0);
|
||||||
|
|
||||||
|
if (items.length === 0) return rawName;
|
||||||
|
return `${rawName} (${items.join(' + ')})`;
|
||||||
|
}
|
||||||
@@ -0,0 +1,38 @@
|
|||||||
|
export type ImportedItemSignals = {
|
||||||
|
originCountries: string[];
|
||||||
|
labels: string[];
|
||||||
|
qualityFlags: string[];
|
||||||
|
variant: string | null;
|
||||||
|
packaging: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export type ImportedItemCandidate = {
|
||||||
|
rawName: string;
|
||||||
|
normalizedName: string;
|
||||||
|
brand: string | null;
|
||||||
|
weight: string | null;
|
||||||
|
bundleWeight: string | null;
|
||||||
|
isBundle: boolean;
|
||||||
|
bundleItems: string[];
|
||||||
|
price: number | null;
|
||||||
|
priceUnit: string | null;
|
||||||
|
comparisonPrice: number | null;
|
||||||
|
comparisonUnit: string | null;
|
||||||
|
categoryHint: string | null;
|
||||||
|
categoryId: number | null;
|
||||||
|
matchedProductId: number | null;
|
||||||
|
matchedProductName: string | null;
|
||||||
|
matchedVia: string;
|
||||||
|
matchConfidence: number;
|
||||||
|
matchReasons: string[];
|
||||||
|
signals: ImportedItemSignals | null;
|
||||||
|
displayNameDetailed: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
export const EMPTY_IMPORTED_SIGNALS: ImportedItemSignals = {
|
||||||
|
originCountries: [],
|
||||||
|
labels: [],
|
||||||
|
qualityFlags: [],
|
||||||
|
variant: null,
|
||||||
|
packaging: null,
|
||||||
|
};
|
||||||
@@ -0,0 +1,45 @@
|
|||||||
|
import { buildDisplayNameDetailed } from './import-display-name.util';
|
||||||
|
import { extractImportSignals } from './import-signals.util';
|
||||||
|
|
||||||
|
describe('import signals utilities', () => {
|
||||||
|
it('extracts deterministic origin and eco labels', () => {
|
||||||
|
const result = extractImportSignals({
|
||||||
|
rawName: 'Fläskytterfilé (Sverige) EKO',
|
||||||
|
brand: 'Garant',
|
||||||
|
offerText: 'Ekologiskt kött från Sverige',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(result.signals.originCountries).toEqual(['Sverige']);
|
||||||
|
expect(result.signals.labels).toContain('Ekologisk');
|
||||||
|
expect(result.signals.qualityFlags).toContain('eco');
|
||||||
|
expect(result.normalizedMatchName).toBe('flaskytterfile');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('extracts Germany and keeps labels deterministic', () => {
|
||||||
|
const result = extractImportSignals({
|
||||||
|
rawName: 'Korv från Tyskland',
|
||||||
|
offerText: 'Tysk kvalitet',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(result.signals.originCountries).toEqual(['Tyskland']);
|
||||||
|
expect(result.signals.labels).toEqual([]);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('builds detailed display name for bundle rows', () => {
|
||||||
|
expect(
|
||||||
|
buildDisplayNameDetailed({
|
||||||
|
rawName: 'Kaptenens Favoriter',
|
||||||
|
isBundle: true,
|
||||||
|
bundleItems: ['Chumlax 3x100g', 'Alaska pollock 3x100g'],
|
||||||
|
}),
|
||||||
|
).toBe('Kaptenens Favoriter (Chumlax 3x100g + Alaska pollock 3x100g)');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('extracts storpack packaging signal', () => {
|
||||||
|
const result = extractImportSignals({
|
||||||
|
rawName: 'Kycklingfilé storpack',
|
||||||
|
});
|
||||||
|
|
||||||
|
expect(result.signals.packaging).toBe('storpack');
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,103 @@
|
|||||||
|
import { normalizeName } from '../common/utils/normalize-name';
|
||||||
|
import {
|
||||||
|
EMPTY_IMPORTED_SIGNALS,
|
||||||
|
ImportedItemSignals,
|
||||||
|
} from './import-item.types';
|
||||||
|
|
||||||
|
type SignalExtractionInput = {
|
||||||
|
rawName: string;
|
||||||
|
brand?: string | null;
|
||||||
|
offerText?: string | null;
|
||||||
|
};
|
||||||
|
|
||||||
|
const ORIGIN_COUNTRY_PATTERNS: Array<{ label: string; regex: RegExp }> = [
|
||||||
|
{ label: 'Sverige', regex: /\b(sverige|svensk(t|a)?|sweden)\b/i },
|
||||||
|
{ label: 'Tyskland', regex: /\b(tyskland|tysk(t|a)?|germany|deutschland)\b/i },
|
||||||
|
{ label: 'Norge', regex: /\b(norge|norsk(t|a)?)\b/i },
|
||||||
|
{ label: 'Danmark', regex: /\b(danmark|dansk(t|a)?)\b/i },
|
||||||
|
{ label: 'Finland', regex: /\b(finland|finsk(t|a)?)\b/i },
|
||||||
|
];
|
||||||
|
|
||||||
|
const LABEL_PATTERNS: Array<{ label: string; qualityFlag: string | null; regex: RegExp }> = [
|
||||||
|
{ label: 'Ekologisk', qualityFlag: 'eco', regex: /\b(eko|ekologisk(t|a)?|organic)\b/i },
|
||||||
|
{ label: 'Laktosfri', qualityFlag: 'lactose_free', regex: /\b(laktosfri(tt|a)?|lactose\s*free)\b/i },
|
||||||
|
{ label: 'Glutenfri', qualityFlag: 'gluten_free', regex: /\b(glutenfri(tt|a)?|gluten\s*free)\b/i },
|
||||||
|
{ label: 'Vegansk', qualityFlag: 'vegan', regex: /\b(vegansk(t|a)?|vegan)\b/i },
|
||||||
|
{ label: 'Vegetarisk', qualityFlag: 'vegetarian', regex: /\b(vegetarisk(t|a)?|vegetarian)\b/i },
|
||||||
|
];
|
||||||
|
|
||||||
|
export type SignalExtractionResult = {
|
||||||
|
signals: ImportedItemSignals;
|
||||||
|
normalizedMatchName: string;
|
||||||
|
};
|
||||||
|
|
||||||
|
export function extractImportSignals(input: SignalExtractionInput): SignalExtractionResult {
|
||||||
|
const text = [input.rawName, input.brand ?? '', input.offerText ?? '']
|
||||||
|
.filter((part) => part.trim().length > 0)
|
||||||
|
.join(' ');
|
||||||
|
|
||||||
|
const origins = ORIGIN_COUNTRY_PATTERNS
|
||||||
|
.filter((pattern) => pattern.regex.test(text))
|
||||||
|
.map((pattern) => pattern.label);
|
||||||
|
|
||||||
|
const labels = LABEL_PATTERNS
|
||||||
|
.filter((pattern) => pattern.regex.test(text))
|
||||||
|
.map((pattern) => pattern.label);
|
||||||
|
|
||||||
|
const qualityFlags = LABEL_PATTERNS
|
||||||
|
.filter((pattern) => pattern.qualityFlag && pattern.regex.test(text))
|
||||||
|
.map((pattern) => pattern.qualityFlag as string);
|
||||||
|
|
||||||
|
const packaging = resolvePackaging(text);
|
||||||
|
const variant = extractVariant(input.rawName);
|
||||||
|
|
||||||
|
const signals: ImportedItemSignals = {
|
||||||
|
...EMPTY_IMPORTED_SIGNALS,
|
||||||
|
originCountries: Array.from(new Set(origins)),
|
||||||
|
labels: Array.from(new Set(labels)),
|
||||||
|
qualityFlags: Array.from(new Set(qualityFlags)),
|
||||||
|
variant,
|
||||||
|
packaging,
|
||||||
|
};
|
||||||
|
|
||||||
|
const normalizedMatchName = normalizeForMatching(input.rawName);
|
||||||
|
|
||||||
|
return { signals, normalizedMatchName };
|
||||||
|
}
|
||||||
|
|
||||||
|
export function normalizeForMatching(rawName: string): string {
|
||||||
|
let cleaned = rawName;
|
||||||
|
|
||||||
|
for (const pattern of ORIGIN_COUNTRY_PATTERNS) {
|
||||||
|
cleaned = cleaned.replace(pattern.regex, ' ');
|
||||||
|
}
|
||||||
|
|
||||||
|
for (const pattern of LABEL_PATTERNS) {
|
||||||
|
cleaned = cleaned.replace(pattern.regex, ' ');
|
||||||
|
}
|
||||||
|
|
||||||
|
cleaned = cleaned.replace(/[()\[\]]/g, ' ');
|
||||||
|
cleaned = cleaned.replace(/\s+/g, ' ').trim();
|
||||||
|
return normalizeName(cleaned) || normalizeName(rawName);
|
||||||
|
}
|
||||||
|
|
||||||
|
function resolvePackaging(text: string): string | null {
|
||||||
|
const normalized = text.toLowerCase();
|
||||||
|
if (/\b\d+\s*[x×]\s*\d+\s*(g|kg|ml|cl|dl|l)\b/.test(normalized)) {
|
||||||
|
return 'multipack';
|
||||||
|
}
|
||||||
|
if (/\bstorpack\b/.test(normalized)) {
|
||||||
|
return 'storpack';
|
||||||
|
}
|
||||||
|
if (/\b(2-pack|3-pack|4-pack|5-pack|6-pack|pack)\b/.test(normalized)) {
|
||||||
|
return 'pack';
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
function extractVariant(rawName: string): string | null {
|
||||||
|
const variantMatch = rawName.match(/\(([^)]+)\)/);
|
||||||
|
if (!variantMatch) return null;
|
||||||
|
const value = variantMatch[1].trim();
|
||||||
|
return value.length > 0 ? value : null;
|
||||||
|
}
|
||||||
@@ -36,6 +36,9 @@ export class CreateInventoryDto {
|
|||||||
@IsString()
|
@IsString()
|
||||||
origin?: string;
|
origin?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
originCountries?: string[];
|
||||||
|
|
||||||
@IsOptional()
|
@IsOptional()
|
||||||
@IsString()
|
@IsString()
|
||||||
receiptName?: string;
|
receiptName?: string;
|
||||||
|
|||||||
@@ -35,6 +35,13 @@ export class UpdateInventoryDto {
|
|||||||
@IsString()
|
@IsString()
|
||||||
brand?: string;
|
brand?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
@IsString()
|
||||||
|
origin?: string;
|
||||||
|
|
||||||
|
@IsOptional()
|
||||||
|
originCountries?: string[];
|
||||||
|
|
||||||
@IsOptional()
|
@IsOptional()
|
||||||
@IsString()
|
@IsString()
|
||||||
receiptName?: string;
|
receiptName?: string;
|
||||||
|
|||||||
@@ -91,6 +91,7 @@ export class InventoryService {
|
|||||||
location: data.location?.trim() || undefined,
|
location: data.location?.trim() || undefined,
|
||||||
brand: data.brand?.trim() || undefined,
|
brand: data.brand?.trim() || undefined,
|
||||||
origin: data.origin?.trim() || undefined,
|
origin: data.origin?.trim() || undefined,
|
||||||
|
originCountries: data.originCountries || undefined,
|
||||||
receiptName: data.receiptName?.trim() || undefined,
|
receiptName: data.receiptName?.trim() || undefined,
|
||||||
suitableFor: data.suitableFor?.trim() || undefined,
|
suitableFor: data.suitableFor?.trim() || undefined,
|
||||||
comment: data.comment?.trim() || undefined,
|
comment: data.comment?.trim() || undefined,
|
||||||
@@ -128,6 +129,14 @@ export class InventoryService {
|
|||||||
updateData.brand = data.brand.trim();
|
updateData.brand = data.brand.trim();
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if (typeof data.origin === 'string') {
|
||||||
|
updateData.origin = data.origin.trim();
|
||||||
|
}
|
||||||
|
|
||||||
|
if (Array.isArray(data.originCountries)) {
|
||||||
|
updateData.originCountries = data.originCountries;
|
||||||
|
}
|
||||||
|
|
||||||
if (typeof data.receiptName === 'string') {
|
if (typeof data.receiptName === 'string') {
|
||||||
updateData.receiptName = data.receiptName.trim();
|
updateData.receiptName = data.receiptName.trim();
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,5 +1,6 @@
|
|||||||
import { Injectable, Logger, OnModuleDestroy, OnModuleInit } from '@nestjs/common';
|
import { Injectable, Logger, OnModuleDestroy, OnModuleInit } from '@nestjs/common';
|
||||||
import { PrismaClient } from '@prisma/client';
|
import { Prisma, PrismaClient } from '@prisma/client';
|
||||||
|
import { RealtimeEventsService } from '../realtime/realtime-events.service';
|
||||||
|
|
||||||
@Injectable()
|
@Injectable()
|
||||||
export class PrismaService
|
export class PrismaService
|
||||||
@@ -7,9 +8,51 @@ export class PrismaService
|
|||||||
implements OnModuleInit, OnModuleDestroy
|
implements OnModuleInit, OnModuleDestroy
|
||||||
{
|
{
|
||||||
private readonly logger = new Logger(PrismaService.name);
|
private readonly logger = new Logger(PrismaService.name);
|
||||||
|
private readonly writeActions = new Set<string>([
|
||||||
|
'create',
|
||||||
|
'update',
|
||||||
|
'upsert',
|
||||||
|
'delete',
|
||||||
|
'createMany',
|
||||||
|
'updateMany',
|
||||||
|
'deleteMany',
|
||||||
|
]);
|
||||||
|
|
||||||
constructor() {
|
private static isTruthy(value?: string): boolean {
|
||||||
super();
|
if (!value) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
const normalized = value.trim().toLowerCase();
|
||||||
|
return normalized === '1' || normalized === 'true' || normalized === 'yes' || normalized === 'on';
|
||||||
|
}
|
||||||
|
|
||||||
|
private static resolveLogConfig(): Prisma.LogLevel[] {
|
||||||
|
const includeQueryLogs = PrismaService.isTruthy(process.env.PRISMA_LOG_QUERIES);
|
||||||
|
|
||||||
|
if (includeQueryLogs) {
|
||||||
|
return ['query', 'warn', 'error'];
|
||||||
|
}
|
||||||
|
|
||||||
|
return ['warn', 'error'];
|
||||||
|
}
|
||||||
|
|
||||||
|
constructor(private readonly realtimeEvents: RealtimeEventsService) {
|
||||||
|
super({
|
||||||
|
log: PrismaService.resolveLogConfig(),
|
||||||
|
});
|
||||||
|
|
||||||
|
const realtimeMiddleware: Prisma.Middleware = async (params, next) => {
|
||||||
|
const result = await next(params);
|
||||||
|
|
||||||
|
if (params.model && this.writeActions.has(params.action)) {
|
||||||
|
this.realtimeEvents.notifyDatabaseWrite();
|
||||||
|
}
|
||||||
|
|
||||||
|
return result;
|
||||||
|
};
|
||||||
|
|
||||||
|
this.$use(realtimeMiddleware);
|
||||||
}
|
}
|
||||||
|
|
||||||
async onModuleInit() {
|
async onModuleInit() {
|
||||||
@@ -24,6 +67,10 @@ export class PrismaService
|
|||||||
|
|
||||||
await this.$connect();
|
await this.$connect();
|
||||||
|
|
||||||
|
if (PrismaService.isTruthy(process.env.PRISMA_LOG_QUERIES)) {
|
||||||
|
this.logger.log('Prisma query logging är aktiverad (PRISMA_LOG_QUERIES=1).');
|
||||||
|
}
|
||||||
|
|
||||||
this.logger.log('Databasanslutning etablerad.');
|
this.logger.log('Databasanslutning etablerad.');
|
||||||
return;
|
return;
|
||||||
} catch (error) {
|
} catch (error) {
|
||||||
@@ -49,4 +96,4 @@ export class PrismaService
|
|||||||
async onModuleDestroy() {
|
async onModuleDestroy() {
|
||||||
await this.$disconnect();
|
await this.$disconnect();
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -176,6 +176,12 @@ export class ProductsController {
|
|||||||
return this.productsService.updateCategoryMine(req.user.id, id, body.categoryId);
|
return this.productsService.updateCategoryMine(req.user.id, id, body.categoryId);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@Post('mine/backfill-categories')
|
||||||
|
@HttpCode(200)
|
||||||
|
backfillCategoriesMine(@Request() req: { user: { id: number } }) {
|
||||||
|
return this.productsService.backfillCategoriesMine(req.user.id);
|
||||||
|
}
|
||||||
|
|
||||||
@Roles('admin')
|
@Roles('admin')
|
||||||
@Post('merge')
|
@Post('merge')
|
||||||
merge(@Body() body: MergeProductsDto) {
|
merge(@Body() body: MergeProductsDto) {
|
||||||
@@ -267,4 +273,4 @@ export class ProductsController {
|
|||||||
bulkUpdate(@Body() body: BulkUpdateProductsDto) {
|
bulkUpdate(@Body() body: BulkUpdateProductsDto) {
|
||||||
return this.productsService.bulkUpdate(body.ids, { categoryId: body.categoryId });
|
return this.productsService.bulkUpdate(body.ids, { categoryId: body.categoryId });
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -664,4 +664,67 @@ export class ProductsService {
|
|||||||
select: { id: true, categoryId: true },
|
select: { id: true, categoryId: true },
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
}
|
|
||||||
|
async backfillCategoriesMine(userId: number): Promise<{ updated: number; fallbackToOvrigt: number }> {
|
||||||
|
const [categories, products] = await Promise.all([
|
||||||
|
this.categoriesService.findFlattened(),
|
||||||
|
this.prisma.product.findMany({
|
||||||
|
where: {
|
||||||
|
ownerId: userId,
|
||||||
|
isActive: true,
|
||||||
|
categoryId: null,
|
||||||
|
},
|
||||||
|
select: {
|
||||||
|
id: true,
|
||||||
|
name: true,
|
||||||
|
canonicalName: true,
|
||||||
|
},
|
||||||
|
}),
|
||||||
|
]);
|
||||||
|
|
||||||
|
if (products.length === 0) {
|
||||||
|
return { updated: 0, fallbackToOvrigt: 0 };
|
||||||
|
}
|
||||||
|
|
||||||
|
const fallback =
|
||||||
|
categories.find((category) => category.path.toLowerCase().endsWith(' > övrigt'))
|
||||||
|
?? categories.find((category) => category.name.toLowerCase() === 'övrigt')
|
||||||
|
?? categories[0];
|
||||||
|
|
||||||
|
let updated = 0;
|
||||||
|
let fallbackToOvrigt = 0;
|
||||||
|
|
||||||
|
for (const product of products) {
|
||||||
|
let targetCategoryId = fallback?.id;
|
||||||
|
let usedFallback = true;
|
||||||
|
|
||||||
|
try {
|
||||||
|
const suggestion = await this.aiService.suggestCategory(
|
||||||
|
product.canonicalName ?? product.name,
|
||||||
|
categories,
|
||||||
|
);
|
||||||
|
if (suggestion?.categoryId) {
|
||||||
|
targetCategoryId = suggestion.categoryId;
|
||||||
|
usedFallback = suggestion.usedFallback === true;
|
||||||
|
}
|
||||||
|
} catch {
|
||||||
|
usedFallback = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!targetCategoryId) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
await this.prisma.product.update({
|
||||||
|
where: { id: product.id },
|
||||||
|
data: { categoryId: targetCategoryId },
|
||||||
|
});
|
||||||
|
updated += 1;
|
||||||
|
if (usedFallback) {
|
||||||
|
fallbackToOvrigt += 1;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return { updated, fallbackToOvrigt };
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|||||||
@@ -5,13 +5,15 @@ import {
|
|||||||
INestApplication,
|
INestApplication,
|
||||||
ValidationPipe,
|
ValidationPipe,
|
||||||
} from '@nestjs/common';
|
} from '@nestjs/common';
|
||||||
import { Test, TestingModule } from '@nestjs/testing';
|
import { Test, TestingModule } from '@nestjs/testing';
|
||||||
import request = require('supertest');
|
import request = require('supertest');
|
||||||
|
|
||||||
import { AiService } from '../ai/ai.service';
|
import { AiService } from '../ai/ai.service';
|
||||||
import { CategoriesService } from '../categories/categories.service';
|
import { CategoriesService } from '../categories/categories.service';
|
||||||
import { ProductsController } from './products.controller';
|
import { ProductsController } from './products.controller';
|
||||||
import { ProductsService } from './products.service';
|
import { ProductsService } from './products.service';
|
||||||
|
|
||||||
|
jest.setTimeout(15000);
|
||||||
|
|
||||||
class FakeJwtGuard implements CanActivate {
|
class FakeJwtGuard implements CanActivate {
|
||||||
canActivate(context: ExecutionContext): boolean {
|
canActivate(context: ExecutionContext): boolean {
|
||||||
|
|||||||
@@ -0,0 +1,115 @@
|
|||||||
|
import { BadRequestException, ServiceUnavailableException } from '@nestjs/common';
|
||||||
|
import { QuickImportService } from './quick-import.service';
|
||||||
|
|
||||||
|
jest.mock('../common/utils/download-image', () => ({
|
||||||
|
downloadAndOptimizeImage: jest.fn(),
|
||||||
|
}));
|
||||||
|
|
||||||
|
const { downloadAndOptimizeImage } = jest.requireMock('../common/utils/download-image') as {
|
||||||
|
downloadAndOptimizeImage: jest.Mock;
|
||||||
|
};
|
||||||
|
|
||||||
|
describe('QuickImportService flow', () => {
|
||||||
|
let service: QuickImportService;
|
||||||
|
|
||||||
|
beforeEach(() => {
|
||||||
|
jest.clearAllMocks();
|
||||||
|
service = new QuickImportService();
|
||||||
|
});
|
||||||
|
|
||||||
|
it('importFromInput: delegerar till importer och laddar ner extern bild lokalt', async () => {
|
||||||
|
(global as any).fetch = jest.fn().mockResolvedValue({
|
||||||
|
ok: true,
|
||||||
|
json: async () => ({
|
||||||
|
markdown: '# Lasagne',
|
||||||
|
source: 'other',
|
||||||
|
imageUrl: 'https://cdn.example.com/lasagne.jpg',
|
||||||
|
}),
|
||||||
|
});
|
||||||
|
|
||||||
|
downloadAndOptimizeImage.mockResolvedValue('/app/recipe-images/lasagne.jpg');
|
||||||
|
|
||||||
|
const result = await service.importFromInput('https://www.ica.se/recept/lasagne');
|
||||||
|
|
||||||
|
expect((global as any).fetch).toHaveBeenCalledTimes(1);
|
||||||
|
expect((global as any).fetch).toHaveBeenCalledWith(
|
||||||
|
expect.stringContaining('/api/quick-import'),
|
||||||
|
expect.objectContaining({
|
||||||
|
method: 'POST',
|
||||||
|
headers: { 'Content-Type': 'application/json' },
|
||||||
|
}),
|
||||||
|
);
|
||||||
|
expect(downloadAndOptimizeImage).toHaveBeenCalledWith(
|
||||||
|
'https://cdn.example.com/lasagne.jpg',
|
||||||
|
expect.any(String),
|
||||||
|
);
|
||||||
|
expect(result.imageUrl).toBe('/app/recipe-images/lasagne.jpg');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('importFromUpload: skickar form-data och behåller imageUrl när den redan är lokal', async () => {
|
||||||
|
(global as any).fetch = jest.fn().mockResolvedValue({
|
||||||
|
ok: true,
|
||||||
|
json: async () => ({
|
||||||
|
markdown: '# Köttfärssås',
|
||||||
|
source: 'image',
|
||||||
|
imageUrl: '/app/recipe-images/local.jpg',
|
||||||
|
}),
|
||||||
|
});
|
||||||
|
|
||||||
|
const file = {
|
||||||
|
buffer: Buffer.from('img'),
|
||||||
|
mimetype: 'image/jpeg',
|
||||||
|
originalname: 'receipt.jpg',
|
||||||
|
} as any;
|
||||||
|
|
||||||
|
const result = await service.importFromUpload(file);
|
||||||
|
|
||||||
|
expect((global as any).fetch).toHaveBeenCalledTimes(1);
|
||||||
|
expect(downloadAndOptimizeImage).not.toHaveBeenCalled();
|
||||||
|
expect(result.imageUrl).toBe('/app/recipe-images/local.jpg');
|
||||||
|
});
|
||||||
|
|
||||||
|
it('importFromInput: kastar BadRequestException vid tom input', async () => {
|
||||||
|
await expect(service.importFromInput(' ')).rejects.toBeInstanceOf(BadRequestException);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('importFromInput: mappar importer 4xx till BadRequestException', async () => {
|
||||||
|
(global as any).fetch = jest.fn().mockResolvedValue({
|
||||||
|
ok: false,
|
||||||
|
status: 400,
|
||||||
|
json: async () => ({ message: 'Ogiltig URL' }),
|
||||||
|
});
|
||||||
|
|
||||||
|
await expect(service.importFromInput('hej')).rejects.toBeInstanceOf(BadRequestException);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('importFromUpload: mappar nätverksfel till ServiceUnavailableException', async () => {
|
||||||
|
(global as any).fetch = jest.fn().mockRejectedValue(new Error('ECONNREFUSED'));
|
||||||
|
|
||||||
|
const file = {
|
||||||
|
buffer: Buffer.from('img'),
|
||||||
|
mimetype: 'image/jpeg',
|
||||||
|
originalname: 'receipt.jpg',
|
||||||
|
} as any;
|
||||||
|
|
||||||
|
await expect(service.importFromUpload(file)).rejects.toBeInstanceOf(ServiceUnavailableException);
|
||||||
|
});
|
||||||
|
|
||||||
|
it('lägger imageWarning när bildnedladdning misslyckas', async () => {
|
||||||
|
(global as any).fetch = jest.fn().mockResolvedValue({
|
||||||
|
ok: true,
|
||||||
|
json: async () => ({
|
||||||
|
markdown: '# Recept',
|
||||||
|
source: 'other',
|
||||||
|
imageUrl: 'https://cdn.example.com/recept.jpg',
|
||||||
|
}),
|
||||||
|
});
|
||||||
|
|
||||||
|
downloadAndOptimizeImage.mockRejectedValue(new Error('timeout'));
|
||||||
|
|
||||||
|
const result = await service.importFromInput('https://example.com/recept');
|
||||||
|
|
||||||
|
expect(result.imageUrl).toBe('https://cdn.example.com/recept.jpg');
|
||||||
|
expect(result.imageWarning).toContain('Receptbild kunde inte laddas ner lokalt');
|
||||||
|
});
|
||||||
|
});
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
import { Injectable } from '@nestjs/common';
|
||||||
|
import { Subject } from 'rxjs';
|
||||||
|
|
||||||
|
export interface DbChangeEvent {
|
||||||
|
timestamp: string;
|
||||||
|
}
|
||||||
|
|
||||||
|
@Injectable()
|
||||||
|
export class RealtimeEventsService {
|
||||||
|
private readonly subject = new Subject<DbChangeEvent>();
|
||||||
|
private flushTimer: NodeJS.Timeout | null = null;
|
||||||
|
private hasPendingChanges = false;
|
||||||
|
|
||||||
|
readonly events$ = this.subject.asObservable();
|
||||||
|
|
||||||
|
notifyDatabaseWrite(): void {
|
||||||
|
this.hasPendingChanges = true;
|
||||||
|
if (this.flushTimer) return;
|
||||||
|
|
||||||
|
// Coalesce burst writes into one SSE event to reduce client/server load.
|
||||||
|
this.flushTimer = setTimeout(() => {
|
||||||
|
this.flushTimer = null;
|
||||||
|
if (!this.hasPendingChanges) return;
|
||||||
|
this.hasPendingChanges = false;
|
||||||
|
this.subject.next({ timestamp: new Date().toISOString() });
|
||||||
|
}, 400);
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
import { Controller, MessageEvent, Sse } from '@nestjs/common';
|
||||||
|
import { interval, map, merge, Observable } from 'rxjs';
|
||||||
|
import { RealtimeEventsService } from './realtime-events.service';
|
||||||
|
|
||||||
|
@Controller('events')
|
||||||
|
export class RealtimeController {
|
||||||
|
constructor(private readonly realtimeEvents: RealtimeEventsService) {}
|
||||||
|
|
||||||
|
@Sse('stream')
|
||||||
|
stream(): Observable<MessageEvent> {
|
||||||
|
const changes$ = this.realtimeEvents.events$.pipe(
|
||||||
|
map((event) => ({
|
||||||
|
type: 'db-change',
|
||||||
|
data: event,
|
||||||
|
})),
|
||||||
|
);
|
||||||
|
|
||||||
|
// Keeps connections alive through proxies and gives clients liveness signal.
|
||||||
|
const heartbeat$ = interval(20_000).pipe(
|
||||||
|
map(() => ({
|
||||||
|
type: 'heartbeat',
|
||||||
|
data: { timestamp: new Date().toISOString() },
|
||||||
|
})),
|
||||||
|
);
|
||||||
|
|
||||||
|
return merge(changes$, heartbeat$);
|
||||||
|
}
|
||||||
|
}
|
||||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user