Merge pull request 'Merge search behaviour change, and refactor elasticsearch' (#28) from elasticsearch-refactor into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/28

Add documentation for ES search

Add elasticsearch tests

Refactor ES on top of search behaviour

Update meilisearch docs

Change updateId to uid because apparently that's the new name

Change the meilisearch key auth to conform to 0.25.0

Actually, unlisted posts are indexed

Change search_indexing = 10 and retries for indexing = 2

Don't try removing deleted users and such from index as posts

Fix meilisearch tests and jobs for oban

Use oban for search indexing

Add a search backend behaviour

Add description for initial_indexing_chunk_size

Don't support meilisearch < 0.24.0, since it breaks things

Make chunk size configurable

Update search.md documentation with meilisearch indexing steps

Add config description for meilisearch

Implement suggestions from the Meilisearch MR

- Index unlisted posts
- Move version check outside of the streaming and only do it once
- Use a PUT request instead of checking manually if there is need to insert
- Add error handling, sort of

Rename Activity.Search to Search.DatabaseSearch

Rename search.ex to database_search.ex and add search/2

Style fixes

Move the search.ex file so credo doesn't complain

Fix a typo in search docs

Support reindexing meilisearch >=0.24.0

It has has a different error code key

Add a reindex option

Signed-off-by: Ekaterina Vaartis <vaartis@kotobank.ch>

Only add local posts to index in activity_pub

Remote ones are already added in another place

Set content-type to application/json

Modify some meilisearch variables

Use proper deleted object for removing from index

Don't try removing from index again in common_api

It's already removed in the side effects of the pipeline

Add more documentation about rum to meilisearch docs

Move add_to_index / remove_from_index to Pleroma.Actitivy.Search

Reorder ranking rules for (maybe) better results

Add private_key: nil to default meilisearch options

Add tests for local post indexing for meilisearch

Fix activity being passed to objec_to_search_data

Add search/meilisearch documentation

Add the meilisearch.stats command

Add a message with a count of posts to index

Implement meilisearch auth

Make indexing logs rewrite themselves

Rework task indexing to share code with the main module

The code in the main module now scrubs new posts too

Adjust content indexing to skip more unneeded stuff

Mark only content as searchable for meilisearch

Also index incoming federated posts

Make the chunk size smaller

Use content instead of source and scrub it

Tweak search ordering to hopefully return newer results

Make meilisearch sort on publish date converted to unix time

Make the indexing batch differently and more, show number indexed

Ensure only indexing public posts and implement clearing and delete

Add logging to milisiearch index and make it use desc(id)

Initial meilisearch implementation, doesn't delete posts yet

Instruct users to run 'git pull' as the pleroma user

StealEmojiPolicy: fix String rejected_shortcodes

* rejected_shortcodes is defined as a list of strings in the
  configuration description. As such, database-based configuration was
  led to handle those settings as strings, and not as the actually
  expected type, Regex.
* This caused each message passing through this MRF, if a rejected
  shortcode was set and the emoji did not exist already on the instance,
  to fail federating, as an exception was raised, swiftly caught and
  mostly silenced.
* This commit fixes the issue by introducing new behavior: strings are
  now handled as perfect matches for an emoji shortcode (meaning that if
  the emoji-to-be-pulled's shortcode is in the blacklist, it will be
  rejected), while still supporting Regex types as before.

Also use actor_type to determine if an account is a bot in antiFollowbotPolicy

Skip cache when /objects or /activities is authenticated

Ref: fix-local-public

Allow to skip cache in Cache plug

Ref: fix-local-public

Fix incorrect fallback when English is set to first language

Fix eratic test for POST /api/pleroma/admin/reports/:id/notes

It retrieved two ReportNotes and then checked one of them. But the order isn't guaranteed, while the test tested on the content of the first ReportNote.

I made the test on the content more generic

Support fallbacking to other languages

Lint

Support multiple locales from userLanguage cookie

Support multiple locales formally

elixir gettext current does not fully support fallback to another language [0].
But it might in the future. We adapt it so that all languages in Accept-Language
headers are received by Pleroma.Web.Gettext. User.languages is now a comma-separated
list.

[0]: https://github.com/elixir-gettext/gettext/issues/303

Make lint happy

Add test for fallbacking to a general language

Fallback to a variant if the language in general is not supported

For an example, here, zh is not supported, but zh_Hans and zh_Hant
are. If the user asks for zh, we should choose a variant for them
instead of fallbacking to default.

Some browsers (e.g. Firefox) does not allow users to customize
their language codes. For example, there is no zh-Hans, but only
zh, zh-CN, zh-TW, zh-HK, etc. This provides a workaround for
those users suffering from bad design decisions.

Add changelog

Document API addition

Allow user to register with custom language

Allow update_credentials to update User.language

Send emails i18n'd using backend-stored user language

Make all emails translatable

Fix digest test

Make mail and mailer translatable

Make static fe translatable

Fix tests

Make mfa pages translatable

Make oauth pages translatable

Use proper lang attributes in htmls

Make tag feed translatable

Make password reset pages translatable

Make lint happy

Extract translatable text

Make remote follow pages translatable

Prefer userLanguage cookie over Accept-Language header in detecting locale

https://git.pleroma.social/pleroma/pleroma-meta/-/issues/60

After code review

Use patern matching to see if someone was superuser before

Delete report notifs when demoting from superuser

When someone isn't a superuser any more, they shouldn't see the reporsts any more either.
Here we delete the report notifications from a user when that user gets updated from being a superuser to a non-superuser.

mix: Check .git presence

Fix test get_user_apps/1

For some reason I had a test who suddenly failed, mix test test/pleroma/web/o_auth/app_test.exs:54. A user has a list of applications and this test adds them and then sees if the list it gets back is the same as the apps it added.

When I ran mix test a day before I didn't have this problem and when I pushed code today in a different MR, the pipeline succeeded (see https://git.pleroma.social/ilja/pleroma/-/jobs/205827), yet locally it failed. So it seems the test can sometimes succeed and sometimes fail, which makes it untrustworthy.

The failure I see is because the returned list is in reverse order. I assume that's not per sé wrong. You just want to know if the apps you added are actually there. I fixed the test by first ordering the lists before comparing.

AFAICT (and as far as that's relevant) the test got introduced in commit cb2a072e6252b7c3f6473f7cfd1af5c0ec732d7b

Add unicode 14 support
and add a test with a unicode 14 emoji

don't enable static-fe

re-add gopher to URLs, fix markdown

Update README, add migration docs

Add visibility check in context path (#26)

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/26

Merge pull request 'Purge gopher frontend' (#24) from purge-gopher into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/24

Purge gopher frontend

Purge SSH frontend (#23)

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/23

Merge pull request 'Allow for embedding object data in publish' (#16) from undo-emoji-remote into develop

Reviewed-on: https://akkoma.dev/AkkomaGang/akkoma/pulls/16