Merge branch 'delete_orphaned_activities' into develop

Merge pull request 'update backwards compat notice in admin_api.md' (#473) from flisk/akkoma:update-admin-api-docs into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/473

Merge pull request 'update prometheus docs' (#474) from flisk/akkoma:update-prometheus-docs into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/474

Merge pull request 'Rename index for faster database restore' (#455) from ilja/akkoma:rename_index_for_faster_restore into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/455

Merge pull request 'Docs: Change docs README for new way of building docs' (#448) from ilja/akkoma:improve_readme_from_docs into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/448

fine then no fun allowed, y'all don't deserve it

Changelog + remove some unneeded comments from the tests

Add docs for pleroma_ctl database prune_objects --prune-orphaned-activities

I also added extra info on VACUUM FULL

prune_objects can prune orphaned activities who reference an array of objects

E.g. Flag activities have an array of objects

We prune the activity when NONE of the objects can be found

Note that the cost of finding and deleting these is ~4x higher than finding and deleting the non-array ones

Only string:
Delete on activities  (cost=506573.48..506580.38 rows=0 width=0)

Only Array:
Delete on activities  (cost=3570359.68..4276365.34 rows=0 width=0)

(They are still executed separately, so the total cost is the sum of the two)

prune_objects can prune orphaned activities

We add an option to also prune remote activities who don't have existing objects any more they reference.
Rn, we only check for activities who only reference one object, not an array or embeded object.

Remove the note about activities_visibility_index

We renamed another index is the previous commit so that this work-around isn't needed any more

Rename users_ap_id_COALESCE_follower_address_index for faster db restoration

By default Postgresql first restores the data and then the indexes when dumping and restoring the database.
Restoring index activities_visibility_index took a very long time.
users_ap_id_COALESCE_follower_address_index was later added because having this could speed up the restoration tremendously.
The problem now is that restoration apparently happens in alphabetical order, so this new index wasn't created yet
by the time activities_visibility_index needed it.
There were several work-arounds which included more complex steps during backup/restore.
By renaming this index, it should be restored first and thus activities_visibility_index can make use of it.
This speeds up restoration significantly without requiring more complex or unexpected steps from people.

Add changelog entry

Ensure we can update contentMap on update

Merge pull request 'Update docs about clients' (#484) from mahito1594/akkoma:docs/update-clients-info into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/484

docs:  update URL hosting husky's sourse code

docs:  remark that Pinafore is now unmaintained

Merge pull request 'update healthcheck route in locale string' (#475) from flisk/akkoma:update-healthcheck-route-reference into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/475

Merge pull request 'Interpret `\n` as newline for MFM' (#478) from ilja/akkoma:newline_remains_newline_in_mfm into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/478

Interpret `\n` as newline for MFM

Markdown doesn't generally consider `\n` a newline,
but Misskey does for MFM.

Now we do to for MFM (and not for Markdown) :)

update healthcheck route in locale string

run mix gettext.extract

seems like this hasn't been run in a while. putting this in a separate
commit so the changes i'm about to make don't get drowned in all of this
stuff.

update prometheus docs

update backwards compat notice in admin_api.md

build musl on develop

use a slightly earlier alpine version

add version in changelog

fix docker tag

bump elixir version in CI

bump version

create_service_actor is now type Application

This is used for internal fetch and for relay. Both represent the instance and therefore are an aplication.

paginate follow requests (#460)

matches https://docs.joinmastodon.org/methods/follow_requests/#get mostly

Co-authored-by: FloatingGhost <hannah@coffee-and-dreams.uk>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/460

typo + remove unneeded file

Merge pull request 'DOCS: Add info on fe to setup of dev env' (#456) from ilja/akkoma:docs_add_fe_to_akkoma_dev into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/456

Merge pull request 'Docs: Add more info to the development index file' (#451) from ilja/akkoma:docs_add_some_developer_docs into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/451

Merge pull request 'Docs: Changes to pgtune docs' (#449) from ilja/akkoma:docs_small_adition_to_pgtune into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/449

Add info on fe to setup of dev env

I added info about installing front ends from the development branch

I also rearanged the list of exceptions (what's different than "normal" installation)
so the order is closer to how you'd encounter things in the installation docs + small fixes

Merge pull request 'Make default outgoing-blocks setting off' (#454) from Seirdy/akkoma:outgoing-blocks-default-off into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/454

Make default outgoing-blocks setting off

This should help mitigate negative impacts related to block-retaliation
and block-circumvention when blocks become visible to the blocked party.
Instances interested in broadcasting blocks can turn this on if they
wish. This should have always been the default.

See also: https://akkoma.dev/AkkomaGang/akkoma-fe/pulls/274

Change docs README for new way of building docs

Docs used to be a separate repo who cloned pleroma and pelroma-fe.
Now the docs are just the BE docs and completely part of the Akkoma repo.
I moved back to using venv because that's what I used and cleaner imo since it keeps everything nice in the repo.
(Iirc virtualenv stored things in the Home folder or smthng)

Add more info to the development index file

Credit where credit is due; I inspired myself by looking at the yunohost docs
* https://yunohost.org/en/dev
* https://yunohost.org/en/packaging_apps_start

I try to be inviting to new developers and guide them in their first steps into Akkoma development.
I try to keep the page itself as short as possible and link to relevant places.
That way people can quickly skim over parts that they don't need, while people who do need more can simply follow the links.

Changes to pgtune docs

I experienced that it may be better to tell pgtune you have lower resoures than what you have when you have other services running.
I added that now.

I also moved the examples as part of the pgtune section.

add changelog entry

Merge branch 'develop' of akkoma.dev:AkkomaGang/akkoma into develop

Support TLD wildcards in MRF matches

Fixes #431

Merge pull request 'Correct og:description tag in static-fe' (#373) from sfr/akkoma:fix/og-description into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/373

URL encode remote emoji pack names (#362)

fix #246

Co-authored-by: Sol Fisher Romanoff <sol@solfisher.com>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/362
Co-authored-by: sfr <sol@solfisher.com>
Co-committed-by: sfr <sol@solfisher.com>

Merge pull request 'Remove refences to ARM OTP builds in install guide' (#432) from norm/akkoma:remove-arm-otp into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/432

Merge pull request 'Update OpenBSD docs' (#414) from lechindianer/akkoma:update-openbsd-docs into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/414

Merge pull request 'fix: Give error message to users when address has already been validated' (#435) from cheerfulstoic/akkoma:develop into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/435

Add changelog entry

Mix format

add contentMap to schema

fix: Give error message to users when address has already been validated

Plus other errors.

Merge branch 'language-on-posts' into develop

add inbound language test

fix no-language-specified federation

revert ae54c06bb4bd2389d6eb1502b842c6b632e12e40

revert Language code on mastoapi statuses (#433)

Co-authored-by: FloatingGhost <hannah@coffee-and-dreams.uk>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/433

Language code on mastoapi statuses (#433)

Co-authored-by: FloatingGhost <hannah@coffee-and-dreams.uk>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/433

fix unused variable warnings

bump mock

Fix tests

Add language support on /api/v1/statuses

Merge pull request 'use postgres 15 in CI' (#411) from ci-postgres-15 into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/411

Prune Objects --keep-threads option (#350)

This adds an option to the prune_objects mix task.
The original way deleted all non-local public posts older than a certain time frame.
Here we add a different query which you can call using the option --keep-threads.

We query from the activities table all context id's where
    1. the newest activity with this context is still old
    2. none of the activities with this context is is local
    3. none of the activities with this context is bookmarked
and delete all objects with these contexts.

The idea is that posts with local activities (posts, replies, likes, repeats...) may be interesting to keep.
Besides that, a post lives in a certain context (the thread), so we keep the whole thread as well.

Caveats:
* ~~Quotes have a different context. Therefore, when someone quotes a post, it's possible the quoted post will still be deleted.~~ fixed in https://akkoma.dev/AkkomaGang/akkoma/pulls/379
* Although undocumented (in docs/docs/administration/CLI_tasks/database.md/#prune-old-remote-posts-from-the-database), the 'normal' delete action still kept old remote non-public posts. I added an option to keep this behaviour, but this also means that you now have to explicitly provide that option. **This could be considered a breaking change!**
* ~~Note that this removes from the objects table, but not from the activities.~~ See https://akkoma.dev/AkkomaGang/akkoma/pulls/427 for that.

Some statistics from explain analyse:
(cost=1402845.92..1933782.00 rows=3810907 width=62) (actual time=2562455.486..2562455.495 rows=0 loops=1)
 Planning Time: 505.327 ms
 Trigger for constraint chat_message_references_object_id_fkey: time=651939.797 calls=921740
 Trigger for constraint deliveries_object_id_fkey: time=52036.009 calls=921740
 Trigger for constraint hashtags_objects_object_id_fkey: time=20665.778 calls=921740
 Execution Time: 3287933.902 ms

***
**TODO**
1. [x] **Question:** Is it OK to keep it like this in regard to quote posts? If not (ie post quoted by local users should also be kept), should we give quotes the same context as the post they are quoting? (If we don't want to give them the same context, I'll have to see how/if I can do it without being too costly)
    * See https://akkoma.dev/AkkomaGang/akkoma/pulls/379
2. [x] **Question:** the "original" query only deletes public posts (this is undocumented, but you can check the code). This new one doesn't care for scope. From the docs I get that the idea is that posts can be refetched when needed. But I have from a trusted source that Pleroma can't refetch non-public posts. I assume that's the reason why they are kept here. I see different options to deal with this
    1. ~~We keep it as currently implemented and just don't care about scope with this option~~
    2. ~~We add logic to not delete non-public posts either (I'll have to see how costly that becomes)~~
    3. We add an extra --keep-non-public parameter. This is technically speaking breakage (you didn't have to provide a param before for this, now you do), but I'm inclined to not care much because it wasn't documented nor tested in the first place.
3. [x] See if we can do the query using Elixir
4. [x] Test on a bigger DB to see that we don't run into a timeout
5. [x] Add docs

Co-authored-by: ilja <git@ilja.space>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/350
Co-authored-by: ilja <akkoma.dev@ilja.space>
Co-committed-by: ilja <akkoma.dev@ilja.space>

Merge pull request 'Changed references of "Pleroma" to "Akkoma" in email text' (#428) from knova/akkoma:develop into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/428

Use actual ISO8601 timestamps for masto API (#425)

Some users post posts with spoofed timestamp, and some clients will have issues with certain dates. Tusky for example crashes if the date is any sooner than 1 BCE (“year zero” in the representation).

I limited the range of what is considered a valid date to be somewhere between the years 1583 and 9999 (inclusive).

The numbers have been chosen because:

- ISO 8601 only allows years before 1583 with “mutual agreement”
- Years after 9999 could cause issues with certain clients as well

Co-authored-by: Charlotte 🦝 Delenk <lotte@chir.rs>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/425
Co-authored-by: darkkirb <lotte@chir.rs>
Co-committed-by: darkkirb <lotte@chir.rs>

Merge pull request 'exiftool doesn’t support JPEG XL either' (#426) from darkkirb/akkoma:exiftools-no-jxl into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/426

Remove refences to ARM OTP builds in install guide

Akkoma currently doesn't provide ARM OTP builds unlike Pleroma, so it's best to update the install guide to reflect that.

Ref: https://akkoma.dev/AkkomaGang/akkoma/issues/424

Changed references of "Pleroma" to "Akkoma" in email text

I know this is probably small peanuts in the grand scheme of things, but it bugged me when I was messing around with my own Akkoma instance.

exiftool doesn’t support JPEG XL either

fix "exiftool not support svg files' (#421)

Faced with this issue today, Pleroma responds with status 400 (Bad request) if Exiftool.StripLocation is added to the list of filter modules for uploads. Here is logs:

```
13:27:25.201 [info] POST /api/v1/media

13:27:25.232 request_id=FzdspaAnrA6cyv0APgVR [error] Elixir.Pleroma.Upload.Filter: Filter Elixir.Pleroma.Upload.Filter.Exiftool.StripLocation failed: {:error, "Elixir.Pleroma.Upload.Filter.Exiftool.StripLocation: %ErlangError{original: :enoent}"}

13:27:25.232 request_id=FzdspaAnrA6cyv0APgVR [error] Elixir.Pleroma.Upload store (using Pleroma.Uploaders.Local) failed: "Elixir.Pleroma.Upload.Filter.Exiftool.StripLocation: %ErlangError{original: :enoent}"
```

# This fix solves this problem.

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/421
Co-authored-by: ihor <ikandreew@gmail.com>
Co-committed-by: ihor <ikandreew@gmail.com>

Significantly tighten HTTP CSP

Fix PostgreSQL docs

Without creating the directory manually and setting it as user home folder
the commands afterwards won't be executable.

Delete broken config example

httpd won't start with the empty types block.

Format docs

Use current package config

Update referenced OpenBSD version

Migrate Pleroma.Web to phoenix 1.6 formats

Fix task name for robotstxt

Fixes #408

Merge pull request 'Use a genserver to periodically fetch metrics' (#413) from prom-leak into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/413

Use a genserver to periodically fetch metrics

Ref https://github.com/beam-telemetry/telemetry_metrics_prometheus_core/issues/52

use postgres 15 in CI

Merge pull request 'Add /api/v1/followed_tags' (#410) from followed-tags into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/410

Add /api/v1/followed_tags

Use same context for quote posts as the post that's being quoted (#379)

See https://akkoma.dev/AkkomaGang/akkoma/pulls/350#issuecomment-6109

When making quotes through Mast-API, they will now have the same context as the quoted post. This also results in them being showed when fetching the thread. I checked Misskey to see how it's there, and they show the quotes there as well, see e.g. <https://mk.toast.cafe/notes/98u1g0tulg>.

An example from Akkoma:

Co-authored-by: ilja <git@ilja.space>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/379
Reviewed-by: floatingghost <hannah@coffee-and-dreams.uk>
Co-authored-by: ilja <akkoma.dev@ilja.space>
Co-committed-by: ilja <akkoma.dev@ilja.space>

Rich media doesn't need to be a map

add changelog entry for timeouts

Put rich media processing in a Task

Correct og:description tag in static-fe

update references to pleroma in docs

Add docs about emoji stealing (#364)

I managed to steal some emoji, but I had to figure out the specifics the hard way. This should make it easier for future criminals.

Feel free to close if this documentation was omitted on purpose, I can imagine some reasons for why it might have.

Co-authored-by: timorl <timorl@disroot.org>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/364
Co-authored-by: timorl <timorl+akkomadev@disroot.org>
Co-committed-by: timorl <timorl+akkomadev@disroot.org>

Merge pull request 'docs/installation: update comment to reflect flavour change' (#394) from norm/akkoma:flavour-fix into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/394

Merge pull request 'remove comment about old openssl versions in nginx config' (#395) from norm/akkoma:remove-old-openssl-comment into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/395

Merge pull request 'Don't treat js/css as binary in git anymore' (#397) from norm/akkoma:norm-patch-2 into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/397

Merge pull request 'docs: fedora install errata' (#398) from acuteaura/akkoma:acuteaura-patch-1 into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/398

argon2 password hashing (#406)

Co-authored-by: FloatingGhost <hannah@coffee-and-dreams.uk>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/406

Add link verification in profile fields (#405)

Co-authored-by: FloatingGhost <hannah@coffee-and-dreams.uk>
Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/405

Document instance reboots

document dump_to_file and load_from_file