reduced context of small modell

docker-compose.yml

@@ -59,7 +59,7 @@ services:
       --host 0.0.0.0
       --port 8080
       --n-gpu-layers 28
-      --ctx-size 65536
+      --ctx-size 50000
       --parallel 1
       --batch-size 512
       --ubatch-size 128