Mastodonのローカル検証環境を作る

目的

動作検証とカスタマイズ、データベースの復元などのために必要な作業環境を作成するため。

必要な知識

CLIでの作業
gitの設定、操作
dockerの設定、操作

用意した環境

Windows10 + Docker Desktop + WSL2 (Ubuntu 20.04 LTS)
gitクライアント
Mastodon v3.4.6
※ 古いバージョンによってはLOCAL_HTTPSやPAPERCLIP_SECRETなどのオプションの差異があります。つまり、この記事を参考にしても動かない可能性があります。
nginxによるリバースプロキシのコンテナ

hostsの設定

ホストマシン側のhostsファイルに mastodon.localhost を追記します。
下記が例です。
※ ブラウザでローカルのmasutodonを叩くときのドメインになります。

C:\Windows\System32\drivers\etc\hosts

# localhost name resolution is handled within DNS itself.
127.0.0.1       localhost
::1             localhost
127.0.0.1       mastodon.localhost
::1             mastodon.localhost

mastodonのローカルセットアップ

環境は、一通り揃っている前提で。

マストドン本体の取得

Windows上でコマンドプロンプトを起動し、
任意の作業ディレクトリにてgit cloneします。
※ hogeはcloneして作成されるディレクトリです。省略するとそのままmastodonになります。

git clone https://github.com/mastodon/mastodon.git hoge
cd hoge

環境ファイル(.env)の設定と書き換え

サンプルのproduction（本番）環境用の設定ファイルをコピーして適切に設定を一部修正します。

cp .env.production.sample .env.production

下記が修正箇所。

LOCAL_DOMAIN：mastodon.localhostに修正。
REDIS_HOST：localhostでは繋がらない。コンテナ指定
DB_HOST： /var/run/postgresqlで繋がらない。コンテナ指定
DB_PASS：任意の文字列を指定(docker-compose.ymlも同一にする)

各オプションの内容については
https://docs.joinmastodon.org/admin/config/
を参照。

# Federation
# ----------
# This identifies your server and cannot be changed safely later
# ----------
LOCAL_DOMAIN=mastodon.localhost
# Redis
# -----
REDIS_HOST=redis
REDIS_PORT=6379
# PostgreSQL
# ----------
DB_HOST=db
DB_USER=mastodon
DB_NAME=mastodon
DB_PASS=password
DB_PORT=5432

Docker composeの設定

docker-compose.ymlでDBやredisにvolumesが記述されているかを確認し、DBのenvironmentの項目（POSTGRES_*）を修正します。
※ volumesはmastodon v3.4.6では最初から記述されている模様。
※ ここまでで設定を間違えている場合、この後のdb:migrateなどでコケます。コンテナを停止し、ホスト側のDBの同期ディレクトリ(./postgres14)の中身を削除しておいてください。

  db:
    restart: always
    image: postgres:14-alpine
    shm_size: 256mb
    networks:
      - internal_network
    healthcheck:
      test: ["CMD", "pg_isready", "-U", "postgres"]
    volumes:
      - ./postgres14:/var/lib/postgresql/data
    environment:
      POSTGRES_USER: mastodon
      POSTGRES_DB: mastodon
      POSTGRES_PASSWORD: password
  redis:
    restart: always
    image: redis:6-alpine
    networks:
      - internal_network
    healthcheck:
      test: ["CMD", "redis-cli", "ping"]
    volumes:
      - ./redis:/data

同期用のディレクトリ作成

上記のvolumesの設定はありますが、同期用のディレクトリはローカルに無いため作成します。
※ バージョンによってディレクトリは変わっているかもしれないのでvolumesのところを確認して実施します。

mkdir postgres14
mkdir redis

コンテナをビルド

要ネットワーク疎通。自分の環境では30分ぐらいかかりました。

※ 古いdockerの環境ではdocker-compose buildで。

docker compose build

キーの作成

下記のコマンドでキーを2つ作り、それぞれをenvの下記パラメータに記述します。

SECRET_KEY_BASE
OTP_SECRET

docker compose run --rm web rails secret

※rakeやrailsが失敗する場合（下記のようなエラーの場合）は、コマンドのrakeを./bin/railsとして実行してみてください。

rake aborted!
Gem::LoadError: You have already activated rake 13.0.3, but your Gemfile requires rake 13.0.6. Prepending bundle exec to your command may solve this.
:85:in require' <internal:/opt/ruby/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:inrequire'
/opt/mastodon/config/boot.rb:8:in <top (required)>' /opt/mastodon/config/application.rb:1:inrequire_relative'
/opt/mastodon/config/application.rb:1:in <top (required)>' <internal:/opt/ruby/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:inrequire'
:85:in require' /opt/mastodon/Rakefile:4:in'
(See full trace by running task with --trace)
ERROR: 1

参考資料：#7612 docker latest (2.4.0) mastodon:setup -> rake error

マイグレーション実施

下記のコマンドでデータベースの中身を作成させます。
※rakeやrailsが失敗する場合は、コマンドのrakeを./bin/railsとして実行してみてください。
※１回の実行で上手くいかないことがあるので、２回実行してみてください。

docker compose run --rm web rails db:migrate

アセットのプリコンパイル

docker compose run --rm web rails assets:precompile

ここまででローカルアプリケーションとしてのmastodonはセットアップ完了です。ただし、まだ見ることはできません。

リバースプロキシのコンテナ作成

docker-compose.ymlの用意

任意のディレクトリに下記のような内容でファイルを作ります。
※ 既に自力でイイカンジに用意してある場合はほぼ要りません。その場合は追加でmastodonに向ける設定だけ行えばOKです。

version: '3'
services:
  reverse-proxy:
    image: nginx:latest
    volumes:
     - ./nginx/:/etc/nginx
     - ./nginx/conf.d:/etc/nginx/conf.d
     - ./nginx/sites-enabled:/etc/nginx/sites-enabled
     - ./nginx/ssl:/etc/nginx/ssl
    ports:
     - "80:80"
     - "443:443"
    #environment:
    # - NGINX_HOST=foobar.com
    # - NGINX_PORT=80

さらに追加で、そのディレクトリに下記の構造でファイルを設置します。

./nginx
./nginx/conf.d/
./nginx/sites-enabled/
./nginx/ssl/

リバースプロキシに証明書を設定

WSL2やリモートなどのlinux環境にopensslをインストールし、
証明書ファイルを作成していきます。

WSL2でUbuntuにopensslをインストールする場合は下記です。

$ sudo apt-get update && sudo apt-get upgrade && apt-get install openssl

任意のディレクトリ（自分のユーザーディレクトリ下にtmp_certなどを作成して）次のコマンドを実行していきます。パスワードは空白でOKです。

秘密鍵作成

openssl genrsa -out ./server.key 2048

CSR（証明書署名要求）作成

コマンドを入力しますが、入力を求められたら下記を指定してください。他は空白で大丈夫です。

Country Name: JP
Common Name: mastodon.localhost

openssl req -new -key ./server.key -out ./server.csr

CRT（SSLサーバ証明書）作成

※ 期限が3650日(10年)になっている点は認識しておいてください。先にパソコンとかが壊れて作り直すのが先だとは思いますが。

openssl x509 -days 3650 -req -signkey ./server.key -in ./server.csr -out ./server.crt

コンテナの同期ディレクトリに設置

そのままコピーして ./nginx/ssl/ に設置してください。

※ WSL2の場合、\wsl$\Ubuntu-20.04\home のような形でファイルをホストマシン側からホームディレクトリを参照できますので、そこから辿ってください。
※ sudoして作っているとアクセスできない場合がありますので、その場合はchownするなり作り直すなりで。

マストドンのサイト設定を記述

マストドン側をチェックアウトしたディレクトリの
./dist/niginx.conf を ./nginx/sites-enabled/ へコピーしてファイル名を mastodon.localhost.conf などの
任意のファイル名に変更して設置してください。

そして、下記の個所を修正します。

upstreamの127.0.0.1をhost.docker.internalに書き換えてください。
example.comになっている個所をmastodon.localhostに書き換えてください。
証明書の部分をコメントアウトせず、次を追加
- ssl_certificate /etc/nginx/ssl/server.crt;
- ssl_certificate_key /etc/nginx/ssl/server.key;

これで、両方のコンテナをdocker compose upすれば（sslの警告は出ますが）ひとまずhttps://mastodon.localhost/が見えるようになります。

mastodon.localhost.confの中身は、最終的には下記のような感じです。

map $http_upgrade $connection_upgrade {
  default upgrade;
  ''      close;
}
upstream backend {
    server host.docker.internal:3000 fail_timeout=0;
}
upstream streaming {
    server host.docker.internal:4000 fail_timeout=0;
}
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=CACHE:10m inactive=7d max_size=1g;
server {
  listen 80;
  listen [::]:80;
  server_name mastodon.localhost;
  root /home/mastodon/live/public;
  location /.well-known/acme-challenge/ { allow all; }
  location / { return 301 https://$host$request_uri; }
}
server {
  listen 443 ssl http2;
  listen [::]:443 ssl http2;
  server_name mastodon.localhost;
  ssl_protocols TLSv1.2 TLSv1.3;
  ssl_ciphers HIGH:!MEDIUM:!LOW:!aNULL:!NULL:!SHA;
  ssl_prefer_server_ciphers on;
  ssl_session_cache shared:SSL:10m;
  ssl_session_tickets off;
  # Uncomment these lines once you acquire a certificate:
  # ssl_certificate     /etc/letsencrypt/live/example.com/fullchain.pem;
  # ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
  ssl_certificate     /etc/nginx/ssl/server.crt;
  ssl_certificate_key /etc/nginx/ssl/server.key;
  keepalive_timeout    70;
  sendfile             on;
  client_max_body_size 80m;
  root /home/mastodon/live/public;
  gzip on;
  gzip_disable "msie6";
  gzip_vary on;
  gzip_proxied any;
  gzip_comp_level 6;
  gzip_buffers 16 8k;
  gzip_http_version 1.1;
  gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
  add_header Strict-Transport-Security "max-age=31536000" always;
  location / {
    try_files $uri @proxy;
  }
  location ~ ^/(emoji|packs|system/accounts/avatars|system/media_attachments/files) {
    add_header Cache-Control "public, max-age=31536000, immutable";
    add_header Strict-Transport-Security "max-age=31536000" always;
    try_files $uri @proxy;
  }
  location /sw.js {
    add_header Cache-Control "public, max-age=0";
    add_header Strict-Transport-Security "max-age=31536000" always;
    try_files $uri @proxy;
  }
  location @proxy {
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header Proxy "";
    proxy_pass_header Server;
    proxy_pass http://backend;
    proxy_buffering on;
    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;
    proxy_cache CACHE;
    proxy_cache_valid 200 7d;
    proxy_cache_valid 410 24h;
    proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
    add_header X-Cached $upstream_cache_status;
    add_header Strict-Transport-Security "max-age=31536000" always;
    tcp_nodelay on;
  }
  location /api/v1/streaming {
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_set_header Proxy "";
    proxy_pass http://streaming;
    proxy_buffering off;
    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection $connection_upgrade;
    tcp_nodelay on;
  }
  error_page 500 501 502 503 504 /500.html;
}

コンテナの制御

mastodonをチェックアウトしたディレクトリとリバースプロキシのディレクトリのそれぞれで実施してください。

起動

docker compose up

停止

docker compose down

参考資料

https://hub.docker.com/_/nginx/
https://docs.joinmastodon.org/admin/install/
https://docs.joinmastodon.org/admin/config/

目的