Add option to modify HTTP pool size
[akkoma] / lib / pleroma / http / adapter_helper.ex
index 0532ea31d527d10e37e9a2f34aef45d587bfb1a5..e5da3ffa8f03e9578f18152b5f238b1a81db91ab 100644 (file)
 # Pleroma: A lightweight social networking server
-# Copyright © 2017-2020 Pleroma Authors <https://pleroma.social/>
+# Copyright © 2017-2021 Pleroma Authors <https://pleroma.social/>
 # SPDX-License-Identifier: AGPL-3.0-only
 
 defmodule Pleroma.HTTP.AdapterHelper do
   @moduledoc """
   Configure Tesla.Client with default and customized adapter options.
   """
-  @defaults [pool: :federation]
+  @defaults [name: MyFinch, pool_timeout: 5_000, receive_timeout: 5_000]
 
-  @type ip_address :: ipv4_address() | ipv6_address()
-  @type ipv4_address :: {0..255, 0..255, 0..255, 0..255}
-  @type ipv6_address ::
-          {0..65_535, 0..65_535, 0..65_535, 0..65_535, 0..65_535, 0..65_535, 0..65_535, 0..65_535}
   @type proxy_type() :: :socks4 | :socks5
-  @type host() :: charlist() | ip_address()
+  @type host() :: charlist() | :inet.ip_address()
 
-  alias Pleroma.Config
   alias Pleroma.HTTP.AdapterHelper
   require Logger
 
-  @type proxy ::
-          {Connection.host(), pos_integer()}
-          | {Connection.proxy_type(), Connection.host(), pos_integer()}
+  @type proxy :: {Connection.proxy_type(), Connection.host(), pos_integer(), list()}
 
   @callback options(keyword(), URI.t()) :: keyword()
-  @callback after_request(keyword()) :: :ok
-  @callback get_conn(URI.t(), keyword()) :: {:ok, term()} | {:error, term()}
 
   @spec format_proxy(String.t() | tuple() | nil) :: proxy() | nil
   def format_proxy(nil), do: nil
 
   def format_proxy(proxy_url) do
     case parse_proxy(proxy_url) do
-      {:ok, host, port} -> {host, port}
-      {:ok, type, host, port} -> {type, host, port}
+      {:ok, type, host, port} -> {type, host, port, []}
       _ -> nil
     end
   end
 
   @spec maybe_add_proxy(keyword(), proxy() | nil) :: keyword()
   def maybe_add_proxy(opts, nil), do: opts
-  def maybe_add_proxy(opts, proxy), do: Keyword.put_new(opts, :proxy, proxy)
 
-  @doc """
-  Merge default connection & adapter options with received ones.
-  """
-
-  @spec options(URI.t(), keyword()) :: keyword()
-  def options(%URI{} = uri, opts \\ []) do
-    @defaults
-    |> pool_timeout()
-    |> Keyword.merge(opts)
-    |> adapter_helper().options(uri)
+  def maybe_add_proxy(opts, proxy) do
+    Keyword.put(opts, :proxy, proxy)
   end
 
-  defp pool_timeout(opts) do
-    {config_key, default} =
-      if adapter() == Tesla.Adapter.Gun do
-        {:pools, Config.get([:pools, :default, :timeout])}
-      else
-        {:hackney_pools, 10_000}
-      end
+  def maybe_add_proxy_pool(opts, nil), do: opts
+
+  def maybe_add_proxy_pool(opts, proxy) do
+    Logger.info("Using HTTP Proxy: #{inspect(proxy)}")
 
-    timeout = Config.get([config_key, opts[:pool], :timeout], default)
+    opts
+    |> maybe_add_pools()
+    |> maybe_add_default_pool()
+    |> maybe_add_conn_opts()
+    |> put_in([:pools, :default, :conn_opts, :proxy], proxy)
+  end
 
-    Keyword.merge(opts, timeout: timeout)
+  def add_pool_size(opts, pool_size) do
+    opts
+    |> maybe_add_pools()
+    |> maybe_add_default_pool()
+    |> put_in([:pools, :default, :size], pool_size)
   end
 
-  @spec after_request(keyword()) :: :ok
-  def after_request(opts), do: adapter_helper().after_request(opts)
+  defp maybe_add_pools(opts) do
+    if Keyword.has_key?(opts, :pools) do
+      opts
+    else
+      Keyword.put(opts, :pools, %{})
+    end
+  end
 
-  def get_conn(uri, opts), do: adapter_helper().get_conn(uri, opts)
-  defp adapter, do: Application.get_env(:tesla, :adapter)
+  defp maybe_add_default_pool(opts) do
+    pools = Keyword.get(opts, :pools)
 
-  defp adapter_helper do
-    case adapter() do
-      Tesla.Adapter.Gun -> AdapterHelper.Gun
-      Tesla.Adapter.Hackney -> AdapterHelper.Hackney
-      _ -> AdapterHelper.Default
+    if Map.has_key?(pools, :default) do
+      opts
+    else
+      put_in(opts, [:pools, :default], [])
     end
   end
 
+  defp maybe_add_conn_opts(opts) do
+    conn_opts = get_in(opts, [:pools, :default, :conn_opts])
+
+    unless is_nil(conn_opts) do
+      opts
+    else
+      put_in(opts, [:pools, :default, :conn_opts], [])
+    end
+  end
+
+  @doc """
+  Merge default connection & adapter options with received ones.
+  """
+
+  @spec options(URI.t(), keyword()) :: keyword()
+  def options(%URI{} = uri, opts \\ []) do
+    @defaults
+    |> Keyword.merge(opts)
+    |> AdapterHelper.Default.options(uri)
+  end
+
+  defp proxy_type("http"), do: {:ok, :http}
+  defp proxy_type("https"), do: {:ok, :https}
+  defp proxy_type(_), do: {:error, :unknown}
+
   @spec parse_proxy(String.t() | tuple() | nil) ::
-          {:ok, host(), pos_integer()}
-          | {:ok, proxy_type(), host(), pos_integer()}
+          {:ok, proxy_type(), host(), pos_integer()}
           | {:error, atom()}
           | nil
-
   def parse_proxy(nil), do: nil
+  def parse_proxy(""), do: nil
 
   def parse_proxy(proxy) when is_binary(proxy) do
-    with [host, port] <- String.split(proxy, ":"),
-         {port, ""} <- Integer.parse(port) do
-      {:ok, parse_host(host), port}
+    with %URI{} = uri <- URI.parse(proxy),
+         {:ok, type} <- proxy_type(uri.scheme) do
+      {:ok, type, uri.host, uri.port}
     else
-      {_, _} ->
-        Logger.warn("Parsing port failed #{inspect(proxy)}")
-        {:error, :invalid_proxy_port}
-
-      :error ->
-        Logger.warn("Parsing port failed #{inspect(proxy)}")
-        {:error, :invalid_proxy_port}
-
-      _ ->
-        Logger.warn("Parsing proxy failed #{inspect(proxy)}")
+      e ->
+        Logger.warn("Parsing proxy failed #{inspect(proxy)}, #{inspect(e)}")
         {:error, :invalid_proxy}
     end
   end
 
   def parse_proxy(proxy) when is_tuple(proxy) do
     with {type, host, port} <- proxy do
-      {:ok, type, parse_host(host), port}
+      {:ok, type, host, port}
     else
       _ ->
         Logger.warn("Parsing proxy failed #{inspect(proxy)}")
@@ -118,7 +125,7 @@ defmodule Pleroma.HTTP.AdapterHelper do
     end
   end
 
-  @spec parse_host(String.t() | atom() | charlist()) :: charlist() | ip_address()
+  @spec parse_host(String.t() | atom() | charlist()) :: charlist() | :inet.ip_address()
   def parse_host(host) when is_list(host), do: host
   def parse_host(host) when is_atom(host), do: to_charlist(host)