Función de activación 🔴②

Estructura y funcionamiento de las redes neuronales ⚫①

En el contexto de las redes neuronales en inteligencia artificial, la función de activación es un componente clave que se utiliza para introducir no linealidades en el modelo. Estas funciones son aplicadas a la salida de cada neurona en la red y juegan un papel crucial en la capacidad de la red para aprender y modelar relaciones complejas en los datos.

Funciones de Activación Comunes

A continuación, se presentan algunas de las funciones de activación más comunes utilizadas en redes neuronales:

1. Función Sigmoide (Logística)

• Fórmula: σ(x) = 1 / (1 + e^(-x)) $$\sigma(x) = \frac{1}{1 + e^{-x}}$$
• Rango de Salida: (0, 1)
• Características:
  • Utilizada comúnmente en la capa de salida de una red neuronal para problemas de clasificación binaria.
  • Mapea cualquier valor real a un rango entre 0 y 1, lo que puede interpretarse como una probabilidad.

2. Función Tangente Hiperbólica (tanh)

• Fórmula: tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))$$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$
• Rango de Salida: (-1, 1)
• Características:
  • Similar a la función sigmoide, pero con un rango de salida entre -1 y 1.
  • Puede ayudar a mitigar el problema de la "desaparición del gradiente" en comparación con la sigmoide.

3. Rectified Linear Unit (ReLU)

• Fórmula: f(x) = max(0, x)$$f(x) = \max(0, x)$$
• Rango de Salida: [0, +∞)
• Características:
  • Una de las funciones de activación más utilizadas.
  • Introduce no linealidades permitiendo que solo los valores positivos pasen, mientras que los valores negativos se vuelven cero.
  • Puede ayudar a acelerar el proceso de entrenamiento.

4. Leaky ReLU

• Fórmula: f(x) = max(αx, x), donde α es un pequeño valor positivo.$$f(x) = \max(\alpha x, x)$$
• Rango de Salida: (-∞, +∞)
• Características:
  • Similar a ReLU, pero permite un pequeño valor negativo (αx) para los valores negativos de entrada.
  • Diseñada para abordar el problema de "neuronas muertas" que pueden ocurrir en ReLU cuando la salida es siempre cero para algunos valores.

5. Función de Unidad Lineal Rectificada (ReLU Paramétrica - PReLU)

• Fórmula: f(x) = max(αx, x), donde α es un parámetro aprendido.$$f(x) = \max(\alpha x, x)$$
• Rango de Salida: (-∞, +∞)
• Características:
  • Similar a Leaky ReLU, pero α es un parámetro que se aprende durante el entrenamiento en lugar de ser predefinido.

Referencias Bibliográficas

• Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
• LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.
• Nair, V., & Hinton, G. E. (2010). Rectified linear units (ReLUs) and their application in deep neural networks. Proceedings of the 27th International Conference on Machine Learning, 807-814.

Referencias que Refutan

• Zhang, X., Li, Z., Liu, X., & LeCun, Y. (2018). Fixing the train-test resolution discrepancy. Proceedings of the 35th International Conference on Machine Learning, 108-117. (Critica la función de activación ReLU)
• Xu, B., Wang, N., Chen, T., & Li, M. (2015). Empirical evaluation of rectified activations in deep neural networks. arXiv preprint arXiv:1505.00853. (Analiza las limitaciones de las funciones de activación ReLU y tanh)

Sobre el sistema de validez de un contenido en MetsuOS

Empezando a incorporar los niveles de validación de un contenido (también llamada sabiduría o niveles de conocimiento) ⚫🔴 🟡 🟢 🔵⚪ ¿Qué són?

• ⚫① - Dark1 - Conocimiento en Bruto. Modo Cuñao, hablo pero no puedo respaldarlo.
• 🔴② - Rojo2 - Conocimiento Impulsivo, pasional, "lo mio es lo correcto".
• 🟡③ - Yellow3 - Conocimiento Crítico: se comienza a explorar el hecho de que pueda haber otras perspectivas.
• 🟢④ - Green4 - Conocimiento Natural: Surge al comprender la naturaleza de la realidad y del ser humano en una materia.
• 🔵⑤ - Blue5 - Conocimiento Científico: Supone la suma de las fases anteriores aplicando el rigor de lo descubierto por la ciencia hasta ahora, sin caer en la -anticientífica- "opinión científica/opinión de expertos".
• ⚪⑥ - Light6 Conocimiento Consolidado: Se alcanza al integrar todo lo anterior desde una perspectiva empática y asumiendo una verdad probabilística dinámica dependiente del contexto.

Sobre la categorización de los tipos de conocimiento

• Conocimiento Gnoseológico: ⚫① 🔴② 🟡③ 🟢④
• Conocimiento Epistemológico: 🔵⑤
• Conocimiento Metsukeológico: ⚪⑥

La Metsukeología (de Metsuke vision global y logos conocimiento) es la ciencia que estudia el conocimiento como un conjunto potencial de conocimiento del que podemos obtener, procesar o percibir partes concretas dentro de un marco contextual específico, y cuyo contexto general real está muy por encima de lo que somos capaces, como especie, de percibir, procesar e integrar de forma completa (definición en progreso).

La Metsucología (de Metsu aniquilación - en este contexto en forma de colapso - , logos conocimiento) es la ciencia que estudia como extraemos verdades percibidas - colapsadas - como conocimiento desde nuestra perspectiva real (tanto epistemológico como gnoseológico) al tomar una parte específica del conocimiento metsukeológico potencial enmarcado en un contexto concreto, obligando a colapsar el conocimiento potencial en conocimiento específico (definición en progreso).

Mas sobre el contexto

DISCLAIMER: Mi consideración de anticientífico respecto al consenso científico es una hipotesis de trabajo propia, que supone que toda asignación de validez, incluso aquella derivada de la conclusión por acumulación de evidencia NO debe ser supeditada a debate, ni acuerdo, debe ser algo probabilistico sin intervención del ego humano. Podría estar equivocado y, en este punto, es donde se aplicaría entonces ese mismo consenso que ahora considero no valido (incluso dañino)

Existen indicadores para algunas cuestiones adicoinales como los siguientes:

• 🌐 - Contenido Externo sobre cuya validez/validación no tenemos control (usualmente enlaces que salen de #MetsuOS)
• ⚖️ - Analisis
  • ⚖️📚 - Análisis Bibligráfico
  • ⚖️🔬 - Análisis Científico
  • ⚖️🏛️ - Análisis Estructural
  • ⚖️🧠 - Análisis Filosófico
• 📖 - Referencia
  • 📖📚 - Referencia Bibliográfica / Libro
  • 📖🔬- Referencia Científica / Paper
  • 📖🏛️ - Referencia Estructural
  • 📖🧠 - Referencia Filosófica
• 🔍️- Paradigma

Cuando hablamos de un contenido que incluye un texto que hace referencia a otro.

• 🔴②-🌐🟡③ - Nivel del contenido del documento Rojo2, nivel del contenido externo del que habla el documento Yellow3.
• 🔴②-⚖️📚 🔴② - Nivel del contenido del documento Rojo2, en base a análisis bibliográfico nivel Rojo2

También aplicaremos el Sistema de fiabilidad de fuentes y credibilidad de contenidos de la OTAN 🔴②, este sistema incluye una valoración de la fiabilidad de la fuente de A a F (siendo A la de mayor fiabilidad) y una varloración de credibilidad del contenido de 1 a 6 (siendo 1 la mayor credibilidad).

En MetsuOS la agregaremos al final uniendo amos valores como si fuera una coordenada. Por ejemplo: ⚫①-D4 o 🟡③-B2. Esto ayudarña a contextualizar la información sobre la solidez del conocimiento al que se hace referencia en cada momento.

Hay que tener en cuenta que, cuando hay elementos subjetivos o parcialmente subjetivos, el punto de referencia seré yo mismo. Quizá más adelante pueda objetivizar esto más (seria lo deseable), pero en tanto no tenga herramientas que me lo permitan, debo ceñirme al principio de honestidar intelectual, y esperar que mis sesgos dañen lo menos posible la información (en parte este es el nudo gordiano que pretendo resolver, y por ello es dificil resolverlo a priori).

Así de forma resumida, podríamos decir que esta definición es nivel 🔴② (Rojo2 xD) ¿Crees que me dejo algo? Si es así por favor ayudame a mejorarlo contactándome a través de X (Twitter) en mi cuenta, @metsuke 🌐

Consulta la versión completa de la descripcion en ⚫🔴🟡🟢🔵⚪ (🔴②) Un poco más de detalle

• Información IA: Generado asistido por IA (gpt-3.5-turbo, llama3-70b-8192). Supervisado por Humano.
• Ultima Modificación: 2024-06-10 15:06:30.447000+00:00
• Versión Documento: 0.4.30