Deployer shared directories symlink 403-Error

Niclas

Moin zusammen,

ich bin seit einiger Zeit dabei ein Deployment über die Gitlab CI/CD und Deployer zu konfigurieren.
Das Deployment an sich funktioniert auch eigentlich, allerdings habe ich das seltsame Verhalten, dass ich keinen Zugriff auf die Ordner habe, die ich als Shared Directories angebe.

Infos zum Deployment habe ich von folgenden Quellen:

YouTube-Video von Wolfgang: https://www.youtube.com/watch?v=2Rbe0Nd-m0Y
TYPO3 Base Distribution: https://gitlab.com/gitlab-org/project-templates/typo3-distribution/-/blob/main/packages/site-distribution/Configuration/DeployerRsync.php?ref_type=heads

Wenn ich die Shared Directories (fileadmin, typo3temp) aus den Shared Directories entferne, werden die Ordner logischerweise beim Deployment neu angelegt, allerdings habe ich dann den normalen Zugriff auf die Ordner. Ich kann Bilder über das Backend hochladen und diese werden auch im Forntend ausgegeben.
CSS- und Javascript-Dateien werden dann auch wie gewohnt geladen.

Zu Beginn hatte ich die Vermutung es könnte an der .htaccess liegen.
Oder aber am TYPO3-Core, da im Backend unter Enviroment > Directory Status folgende Fehler ausgegeben werden:

Zu diesem Fehler habe ich auch ein Ticket gefunden, welches eigentlich bereits geschlossen wurde: https://forge.typo3.org/issues/106448

Daten zum System:
Provider: Mittwald
TYPO3: 13.4.13 - 13.4.14 (Beide Versionen getestet)

Meine deploy.php

<?php

namespace Deployer;

/*
 * This file is part of the TYPO3 project template.
 *
 * It is free software; you can redistribute it and/or modify it under
 * the terms of the GNU General Public License, either version 2
 * of the License, or any later version.
 *
 * For the full copyright and license information, please read
 * the LICENSE file that was distributed with this source code.
 */

require_once 'recipe/common.php';
require_once 'contrib/rsync.php';
$composerConfig = json_decode(file_get_contents('./composer.json'), true, 512, JSON_THROW_ON_ERROR);

import('.hosts.yaml');

/**
 * DocumentRoot / WebRoot for the TYPO3 installation
 */
set('typo3_webroot', function () use ($composerConfig) {
    if ($composerConfig['extra']['typo3/cms']['web-dir'] ?? false) {
        return $composerConfig['extra']['typo3/cms']['web-dir'];
    }

    return 'public';
});

/**
 * Path to TYPO3 cli
 */
set('bin/typo3', function () use ($composerConfig) {
    if ($composerConfig['config']['bin-dir'] ?? false) {
        return $composerConfig['config']['bin-dir'] . '/typo3';
    }

    return 'vendor/bin/typo3';
});

// Set maximum number of releases
set('keep_releases', 3);

/**
 * Log files to display when running `./vendor/bin/dep logs:app`
 */
set('log_files', 'var/log/typo3_*.log');

/**
 * Shared directories
 */
set('shared_dirs', [
    'public/fileadmin',
    'public/typo3temp',
    'var/session',
    'var/log',
    'var/lock',
    'var/charset',
]);

/**
 * Shared files
 */
set('shared_files', [
    // '{{typo3_webroot}}/.htaccess',
    'config/system/additional.php',
]);

/**
 * Writeable directories
 */
set('writable_dirs', [
    '{{typo3_webroot}}/fileadmin',
    '{{typo3_webroot}}/typo3temp',
    'var',
]);

// set('writable_mode', 'chmod');
// set('writable_chmod_mode', '0755');

/**
 * Composer options
 */
set('composer_options', ' --no-dev --verbose --prefer-dist --no-progress --no-interaction --optimize-autoloader');

$exclude = [
    '.php-cs-fixer.dist.php',
    '.phpstan.neon',
    '/*.md',
    'deploy.php',
    'LICENSE',
    '.Build',
    '.git*',
    '.gitlab',
    '.ddev',
    '.deployer',
    '.idea',
    '.DS_Store',
    '.gitlab-ci.yml',
    '.npm',
    '.hosts.yaml',
    'package.json',
    'package-lock.json',
    'node_modules/',
    'var/',
    'public/fileadmin/',
    'public/typo3temp/',
    'config/system/additional.php',
];

set('rsync', [
    'exclude' => array_merge(get('shared_dirs'), get('shared_files'), $exclude),
    'exclude-file' => false,
    'include' => [],
    'include-file' => false,
    'filter' => [],
    'filter-file' => false,
    'filter-perdir' => false,
    'flags' => 'avz',
    'options' => ['delete'],
    'timeout' => 600,
]);

task('deploy:update:code', function () {
    invoke('rsync:warmup');
    invoke('rsync');
});

desc('TYPO3 - Cache clearing all caches');
task('typo3:cache:flush', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} cache:flush');
});

desc('TYPO3 - Cache warmup all caches');
task('typo3:cache:warmup', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} cache:warmup');
});

desc('TYPO3 - Set up all extensions');
task('typo3:extension:setup', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} extension:setup');
});

desc('TYPO3 - Fix folder structure');
task('typo3:install:fixfolderstructure', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} install:fixfolderstructure');
});

desc('TYPO3 - Update the language files of all activated extensions');
task('typo3:language:update', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} language:update');
});

desc('TYPO3 - Update database schema');
task('typo3:database:updateschema', function () {
    cd('{{release_path}}');
    run("{{bin/php}} {{bin/typo3}} database:updateschema '*.add,*.change'");
});

desc('TYPO3 - Update reference index');
task('typo3:referenceindex:update', function () {
    cd('{{release_path}}');
    run('{{bin/php}} {{bin/typo3}} referenceindex:update');
});

desc('TYPO3 - Correct permissions');
task('system:correct:permissions', function () {
    run("find {{release_path}} -type d -not -path '{{release_path}}/vendor/bin*' -print0 | xargs -0 chmod 0755");
    run("find {{release_path}} -type f -not -path '{{release_path}}/vendor/bin*' -print0 | xargs -0 chmod 0644");
});

/**
 * Configure "deploy" task group.
 */
desc('Deploys a TYPO3 project');
before('deploy:symlink', function() {
    invoke('system:correct:permissions');
    invoke('typo3:install:fixfolderstructure');
    invoke('typo3:extension:setup');
    invoke('typo3:database:updateschema');
    invoke('typo3:referenceindex:update');
    invoke('typo3:language:update');
});

task('deploy', [
    'deploy:info',
    'deploy:setup',
    'deploy:lock',
    'deploy:release',
    'rsync',
    'deploy:shared',
    'deploy:writable',
    'deploy:vendors',
    'deploy:symlink',
    'deploy:unlock',
    'deploy:cleanup',
    'deploy:success',
]);

after('deploy:symlink', function() {
    invoke('typo3:cache:flush');
    invoke('typo3:cache:warmup');
});

after('deploy:failed', 'deploy:unlock');

Würde mich freuen, wenn jemand einen Rat hat oder mir erklären könnte, was für Einstellungen mir noch fehlen. 😊

Wolfgang Wagner

Also die rote Fehlermeldung könntest du ignorieren. TYPO3 meckert halt, dass das Symlinks sind, aber das ist ja so gewollt.

Allerdings weiß ich nicht, ob ich die var/ Verzeichnisse als shared folder definieren würde. Ich selbst mache das nicht.

Niclas

Habe den Var-Ordner auch mal entfernt und ein erneutes Deployment durchgeführt, hat aber leider nichts geändert.
Muss man für diese Art des Deployments extra Einstellungen in der .htaccess oder in der settings.php vornehmen?
Oder besondere Einstellungen von Mittwald?

M4ND0

Hi Niclas,

ich muss bei mir manchmal 'chmod' Rechte und der deploy.php mit angeben. Hast Du das schon mal versucht?

Wolfgang Wagner

Hier mal die deploy.php, die ich momentan, vor allem für Mittwald-Porjekte, verwende. Die Rechte, wie M4NDO schon sagte, müssen korrigiert werden. Dafür gibt es ja eigentlich den entsprechenden Task, der in deiner deploy.php zwar vorhanden ist, aber vielleicht stimmt die Reihenfolge nicht.

<?php

declare(strict_types=1);

namespace Deployer;

// Include base recipes
require 'recipe/common.php';
require 'contrib/cachetool.php';
require 'contrib/rsync.php';

// Include hosts
import('.hosts.yml');

// Mittwald
set('http_user', 'p123456');
set('http_group', 'users');

// Define binaries Mittwald
set('/usr/local/bin/php', 'php');
set('bin/typo3', '{{release_path}}/vendor/bin/typo3');

// Set maximum number of releases
set('keep_releases', 5);

// Set TYPO3 docroot
set('typo3_webroot', 'public');

// Set shared directories
$sharedDirectories = [
    '{{typo3_webroot}}/fileadmin',
    '{{typo3_webroot}}/typo3temp',
];
set('shared_dirs', $sharedDirectories);

// Set shared files
$sharedFiles = [
    '{{typo3_webroot}}/.htaccess',
    'config/system/additional.php',
];
set('shared_files', $sharedFiles);

// Define all rsync excludes
$exclude = [
    // OS specific files
    '.DS_Store',
    'Thumbs.db',
    // Project specific files and directories
    '.ddev',
    '.editorconfig',
    '.fleet',
    '.git*',
    '.idea',
    '.php-cs-fixer.dist.php',
    '.vscode',
    'auth.json',
    'deploy.php',
    '.hosts.yml',
    'phpstan.neon',
    'phpunit.xml',
    'README*',
    'rector.php',
    'typoscript-lint.yml',
    '/.deployment',
    '/var',
    '/**/Tests/*',
    'fetchdatabase.sh',
    'pushdatabase.sh',
    'fetchfileadmin.sh',
    'renovate.json',
    'additional.php',
    'sync.sh',
    'config.sh',
    'config.example.sh'
];

// Define rsync options
set('rsync', [
    'exclude' => array_merge($sharedDirectories, $sharedFiles, $exclude),
    'exclude-file' => false,
    'include' => [],
    'include-file' => false,
    'filter' => [],
    'filter-file' => false,
    'filter-perdir' => false,
    'flags' => 'az',
    'options' => ['delete'],
    'timeout' => 300,
]);
set('rsync_src', './');

// Use rsync to update code during deployment
task('deploy:update_code', function () {
    invoke('rsync:warmup');
    invoke('rsync');
});

// TYPO3 tasks
desc('Flush all caches');
task('typo3:cache_flush', function () {
    run('{{bin/typo3}} cache:flush');
});

desc('Warm up caches');
task('typo3:cache_warmup', function () {
    run('{{bin/typo3}} cache:warmup');
});

desc('Set up all installed extensions');
task('typo3:extension_setup', function () {
    run('{{bin/typo3}} extension:setup');
});

desc('Fix folder structure');
task('typo3:fix_folder_structure', function () {
    run('{{bin/typo3}} install:fixfolderstructure');
});

desc('Update language files');
task('typo3:language_update', function () {
    run('{{bin/typo3}} language:update');
});

desc('Update database schema');
task('typo3:update_database', function () {
    run("{{bin/typo3}} database:updateschema '*.add,*.change'");
});

desc('Execute upgrade wizards');
task('typo3:upgrade_all', function () {
    run('{{bin/typo3}} upgrade:prepare');
    run('{{bin/typo3}} upgrade:run all --confirm all');
});

desc('Update reference index');
task('typo3:update_reference_index', function () {
    run("{{bin/typo3}} referenceindex:update");
});

task('correct_permissions', function () {
    run('find {{release_path}} -type d -not -path "{{release_path}}/vendor/bin*" -print0 | xargs -0 chmod 0755');
    run('find {{release_path}} -type f -not -path "{{release_path}}/vendor/bin*" -print0 | xargs -0 chmod 0644');
});

// Register TYPO3 tasks
before('deploy:symlink', function () {
    invoke('typo3:fix_folder_structure');
    invoke('correct_permissions');
    invoke('typo3:extension_setup');
    invoke('typo3:update_database');
    invoke('typo3:update_reference_index');
    invoke('typo3:language_update');
});
after('deploy:symlink', function () {
    invoke('typo3:cache_flush');
    invoke('typo3:cache_warmup');
});

// Main deployment task
desc('Deploy TYPO3 project');
task('deploy', [
    'deploy:prepare',
    'deploy:publish',
]);

// Unlock on failed deployment
after('deploy:failed', 'deploy:unlock');

Niclas

Vielen Dank schonmal für eurern Input, meine .hosts.yaml beinhaltet noch einige configs, die ich jetzt nicht aufgeführt hatte:

config:
  repository: '.'
  writable_mode: 'chmod'
  bin/php: '/usr/local/bin/php'
  bin/composer: '{{bin/php}} /usr/local/bin/composer'

hosts:
  staging:
    hostname: 'staging.typo3.domainname.de'
    remote_user: 'p123456'
    port: 22
    deploy_path: '/html/typo3.domainname.de/staging'
    rsync_src: './'
    ssh_multiplexing: false
    php_version: '8.2'

Bin mir nicht ganz sicher, ob diese Infos für mein Problem relevant sind.

Das Deployment-Script von Wolfgang Wagner habe ich ausprobiert, läuft aber genau so sauber durch wie meine Version des scripts, mit gleichem Verhalten auf der Staging-Umgebung.

Als htaccess verwende ich den TYPO3-Standard mit der Ergänzung von TYPO3_CONTEXT und einigen Zeilen zum Staticfilechache.

M4ND0

Teile meiner deploy.php schauen meist so aus

// Config set('typo3_webroot', 'public'); set('keep_releases', 3); set('writable_mode', 'chmod'); set('bin/typo3', '{{release_path}}/vendor/bin/typo3');

Niclas

Moin, besten Dank, dass ihr euch das Thema angeschaut habt.
Es lag an der .hosts.yaml. Ich habe in der Datei nicht den "vollständigen" Pfad zum Verzeichnis eingetragen.

Statt so

hosts:
  staging:
    hostname: 'staging.typo3.domainname.de'
    remote_user: 'p1234567'
    port: 22
    deploy_path: '/html/typo3.domainname.de/staging'
    rsync_src: './'
    ssh_multiplexing: false
    php_version: '8.2'

muss es so aussehen

hosts:
  staging:
    hostname: 'staging.typo3.domainname.de'
    remote_user: 'p1234567'
    port: 22
    deploy_path: '/home/www/p1234567/html/typo3.domainname.de/staging'
    rsync_src: './'
    ssh_multiplexing: false
    php_version: '8.2'

Ich wurde von dem Mittwald-Support darauf aufmerksam gemacht, dass der Symlink nicht über den korrekten Pfad auf das Verzeichniss verweist.
So sah der Symlink vorher aus:

fileadmin -> /html/typo3.domainname.de/staging/shared/public/fileadmin
typo3temp -> /html/typo3.domainname.de/staging/shared/public/typo3temp

Der korrekte Symlink müsste so aussehen:

fileadmin -> /home/www/p1234567/html/typo3.domainname.de/staging/shared/public/fileadmin
typo3temp -> /home/www/p1234567/html/typo3.domainname.de/staging/shared/public/typo3temp

Obwohl über FTP oder SSH die Datein alle in den Symlinks angezeigt wurden, konnte das Frontend scheinbar nicht auf diese zugreifen.

Das Ticket kann damit geschlossen werden!

Unterstütze das Forum

Hilf mit, den Community Hub für TYPO3 werbefrei zu halten und die Betriebskosten zu decken. Werde Official Community Hub Supporter für nur 5 Euro im Monat (zzgl. USt) und erhalte ein exklusives Supporter-Badge. Jeder Beitrag zählt!

Jetzt Supporter werden

Impressum - Datenschutz - Kontakt - Netiquette - RSS