Vai al contenuto

I file del negozio su S3, Google Cloud o Azure: i mount di archiviazione di Maho

Media, upload dei clienti, scaricabili, sitemap e feed passano da mount con un nome: local.xml li punta a un bucket e più nodi web lavorano senza disco condiviso.

Due nodi web davanti a un negozio, e il primo problema non è il carico: è che il caricamento di un’immagine arriva a un nodo e l’altro non la vede. La soluzione classica è un filesystem di rete, che porta con sé permessi, lock e una latenza che si sente a ogni pagina. La 26.11.0 cambia l’approccio: i file che i nodi devono condividere passano da mount di archiviazione con un nome, e ognuno può stare su un bucket.

Cosa c’è dentro un mount

Dietro ogni nome c’è un filesystem Flysystem. Nella configurazione predefinita sotto c’è una cartella locale, quindi un negozio su un solo server non configura niente e ritrova gli stessi percorsi di prima.

Mount Cartella locale Contenuto
media public/media immagini di prodotti, categorie, blog e CMS, file dei feed
custom_options public/media/custom_options file caricati dai clienti con un’opzione personalizzata
downloadable public/media/downloadable file acquistati e relativi campioni
customer public/media/customer file caricati con un attributo cliente
customer_address public/media/customer_address file caricati con un attributo indirizzo
exports var/export file di export Dataflow
imports var/import file di import Dataflow e caricamenti dei profili
feeds var/feedmanager file di lavoro di un feed generato a batch
sitemaps public file delle sitemap
importexport_exports var/importexport/export file di System > Import/Export > Export, cancellati dopo 7 giorni

Cache, sessioni, log, var/tmp e lock restano fuori: non sono file che i nodi devono condividere, e la cache e le sessioni vanno su Redis. Ogni nodo tiene i propri log e i propri file temporanei, e su più di un nodo conviene impostare il backend dei lock su db.

Cosa serve installare

Maho include solo l’adapter locale. Per un bucket serve il pacchetto del servizio:

Servizio <type> Pacchetto
Amazon S3 e compatibili (MinIO, Cloudflare R2, Spaces) s3 league/flysystem-aws-s3-v3
Google Cloud Storage gcs league/flysystem-google-cloud-storage
Azure Blob Storage azure azure-oss/storage-blob-flysystem
composer require league/flysystem-aws-s3-v3

Per Azure il pacchetto è quello dell’organizzazione azure-oss perché Microsoft ha ritirato le sue librerie PHP per Azure Storage a marzo 2024.

Come si configura

In app/etc/local.xml si aggiunge un blocco <storage>, e un mount dichiarato lì sostituisce l’adapter del mount con lo stesso nome:

<config>
    <global>
        <storage>
            <mounts>
                <media>
                    <adapter>
                        <type>s3</type>
                        <bucket>my-store-media</bucket>
                        <prefix>media</prefix>
                        <region>eu-west-1</region>
                        <key>AKIA...</key>
                        <secret>...</secret>
                    </adapter>
                </media>
            </mounts>
        </storage>
    </global>
</config>

Gli altri mount restano sul disco, e si spostano uno alla volta: basta ripetere il blocco con il loro nome. Per uno storage compatibile come MinIO servono anche l’elemento <endpoint> e l’opzione use_path_style_endpoint impostata a 1.

Gli elementi che contano:

  • <visibility>, public o private, è la visibilità impostata a ogni scrittura. Non va messa su un bucket S3 con le ACL disattivate, che è il default dei bucket nuovi: lì il permesso di lettura si dà con una bucket policy.
  • gcs vuole bucket, e accetta prefix, project_id e key_file, cioè il percorso del JSON dell’account di servizio. Senza key_file il client Google trova le credenziali da sé.
  • azure vuole container e connection_string, e accetta prefix e public_container.

Un bucket o un prefisso per ogni mount. Solo media contiene file pubblici.

Gli URL dei media e la CDN

Gli URL dei media vengono dalla Base Media URL dello store anche quando il mount sta su un bucket, quindi servire i media da una CDN è la stessa operazione che si fa con un disco locale:

./maho config:set web/unsecure/base_media_url https://cdn.example.com/media/
./maho config:set web/secure/base_media_url https://cdn.example.com/media/

Da lì in poi ogni URL di media punta alla CDN: immagini prodotto, immagini di blog e categorie, logo, direttive {{media url=...}} e immagini delle estensioni.

I file privati

custom_options, downloadable, customer, customer_address e importexport_exports contengono file che solo Maho deve servire. Un mount privato non segue il mount media: se i media vanno su un bucket, vanno spostati anche loro, altrimenti restano sul disco del nodo che li ha ricevuti. Il posto giusto è un bucket che non permette letture pubbliche, mai il bucket dei media.

<downloadable>
    <adapter>
        <type>s3</type>
        <bucket>my-store-private</bucket>
        <prefix>downloadable</prefix>
        <region>eu-west-1</region>
    </adapter>
</downloadable>

La verifica è di due comandi: un file privato deve rispondere 403 e un’immagine prodotto 200.

# il file privato non deve essere leggibile direttamente
curl -I https://my-store-private.s3.eu-west-1.amazonaws.com/downloadable/files/links/a/b/file.zip
# l'immagine del prodotto sì
curl -I https://my-store-media.s3.eu-west-1.amazonaws.com/media/catalog/product/a/b/image.jpg

Un cliente scarica un file acquistato passando da Maho. Quando il mount sa firmare un URL, Maho manda un redirect a un URL firmato che scade dopo 60 secondi; altrimenti trasmette il file.

Le immagini ridimensionate

Maho crea i file ridimensionati di prodotti, categorie, blog e swatch alle misure degli slot del tema prima che una pagina li linki, e li mette sul mount media dentro cache/, per esempio catalog/product/cache/. Un salvataggio da admin o dall’API crea i file delle immagini nuove dopo il commit sul database. Un import li mette in coda sulla coda image, nel pool slow, e un ridimensionamento che fallisce torna in coda.

Tre cose da tenere presente:

  • su disco locale il web server manda a Maho la richiesta di un file mancante, che viene creato e restituito. .htaccess e Caddy lo fanno già, nginx ha bisogno della sua regola;
  • su un bucket il file mancante non arriva a Maho da solo: la coda e storage:image:resize riparano, oppure si configura la CDN perché mandi a Maho i miss sotto /media/<cartella>/cache/. S3 risponde 403 e non 404 quando la bucket policy non permette la lista, quindi vanno gestiti tutti e due i codici;
  • quando cambiano tema o impostazioni delle immagini gli URL cambiano subito, e il cron image_settings_check controlla ogni 15 minuti se manca qualcosa. Su un bucket senza la regola sulla CDN, storage:image:resize va eseguita nel deploy che cambia gli slot.

I tre comandi

# mostra cosa copierebbe, senza copiare
./maho storage:migrate --dry-run

# copia le cartelle locali sui bucket configurati in local.xml
./maho storage:migrate --jobs 16

# crea in anticipo i file ridimensionati mancanti
./maho storage:image:resize

# cancella le misure che nessun template usa
./maho storage:image:clean

storage:migrate accetta i nomi dei mount da migrare, --dry-run, --exclude per saltare una cartella, --jobs per il parallelismo, che verso un bucket vale 16 per default, e --include-cache per copiare anche le cache che Maho ricrea da sé. storage:image:resize accetta --entity per limitarsi a product, category o blog, e --jobs.

Quando ne vale la pena

Il mount serve anche a un negozio su un server solo, e il motivo più concreto è lo spazio: un catalogo con qualche migliaio di immagini riempie il disco dell’hosting, e quello spazio si paga anche quando non cresce. Con i media su un bucket S3 o compatibile le immagini non occupano disco sul server, il disco resta per cache, sessioni, log e database, e i file li serve lo storage con il suo URL pubblico o la CDN che gli sta davanti, senza passare dal web server del negozio.

Serve poi quando i nodi sono più di uno, quando un deploy deve poter partire con un public/media vuoto, o quando i media li deve servire una CDN. Un server solo con spazio a sufficienza può restare senza configurazione, e ritrova i percorsi di prima.

Se il negozio deve uscire dal portatile, l’hosting MageMEGA esegue Maho su FrankenPHP con il deploy dallo stesso repository, e il bucket si configura come su qualsiasi altro server.

Cosa esce dal core

La vecchia archiviazione dei media sul database non aveva più nessuna impostazione nell’admin, quindi è stata rimossa con le sue classi Mage_Core_Model_File_Storage_* e i suoi nodi di configurazione, tranne image_file_type e image_quality. Le tabelle restano nel database. Un modulo che leggeva quei percorsi ora trova un metodo che restituisce un percorso sul mount, come getBase*StoragePath() al posto di getBase*Path() sui link e sui campioni dei prodotti scaricabili.

Testo preparato con l'aiuto dell'AI e verificato sulla fonte prima della pubblicazione. Può contenere errori: se ne trovi uno, segnalalo.Leggi il Manifesto

Fonte: MahoCommerce/maho#1472

Il tuo negozio vende ancora?

Raccontaci da dove parti: ti rispondiamo con una prima valutazione, senza impegno.

Chiedi l'analisi del negozio