playground.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import tensorflow as tf\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "metadata": {},
   "outputs": [],
   "source": [
    "ENV_SIZE = 16\n",
    "INITIAL_POSITION = 1.0\n",
    "FOOD_POSITION = 8.0\n",
    "LEARNING_RATE = 0.01\n",
    "\n",
    "\n",
    "tf.reset_default_graph()\n",
    "Psi = tf.Variable(initial_value=INITIAL_POSITION, trainable=False, name='external')  # external states\n",
    "S = tf.Variable(initial_value=1.0, trainable=False, name='sensory')  # sensory states\n",
    "A = tf.Variable(initial_value=1.0, trainable=False, name='action')  # action states\n",
    "R = tf.Variable(initial_value=[1/16]*16, trainable=True, name='internal')  # internal states\n",
    "\n",
    "\n",
    "def environmental_dynamics(psi, a):\n",
    "    # How position changes given action state\n",
    "    return tf.cast(psi + a, tf.float32)\n",
    "\n",
    "\n",
    "def sensory_dynamics(psi):\n",
    "    # P(s | psi)\n",
    "    # Sensory states given external states\n",
    "    k = 4**(-1/16)\n",
    "    omega = np.log(4)/16\n",
    "    return k * tf.exp(-omega * tf.abs(psi- FOOD_POSITION))\n",
    "\n",
    "\n",
    "def model_encoding(R):\n",
    "    # P(psi | r)\n",
    "    # External state given internal state\n",
    "    return tf.nn.softmax(R)\n",
    "\n",
    "\n",
    "def generative_density(R, a):\n",
    "    return environmental_dynamics(sensory_dynamics(model_encoding(R)), a)\n",
    "\n",
    "\n",
    "def variational_density(R):\n",
    "    \"\"\"\n",
    "    Agent belief about the external states (i.e. its current position in the \n",
    "    world) as encoded in internal states\n",
    "    \"\"\"\n",
    "    return tf.nn.softmax(R)\n",
    "\n",
    "\n",
    "def KL(a, b):\n",
    "    \"\"\"\n",
    "    Kullback-Leibler divergence between densities a and b\n",
    "    \"\"\"\n",
    "    return tf.reduce_sum(\n",
    "        a * tf.log(a/b)\n",
    "    )\n",
    "\n",
    "\n",
    "def free_energy(R, s, a):\n",
    "    divergence = KL(variational_density(R), generative_density(R, a))\n",
    "    surprisal = tf.log(tf.multiply(s, a))\n",
    "    return divergence - surprisal\n",
    "\n",
    "cost = free_energy(R, S, A)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 192,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "external:0 = 1.0\nsensory:0 = 1.0\naction:0 = 1.0\ninternal:0 = [ 0.0625  0.0625  0.0625  0.0625  0.0625  0.0625  0.0625  0.0625  0.0625\n  0.0625  0.0625  0.0625  0.0625  0.0625  0.0625  0.0625]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 1.46099162  1.46099162  1.46099162  1.46099162  1.46099162  1.46099162\n  1.46099162  1.46099162  1.46099162  1.46099162  1.46099162  1.46099162\n  1.46099162  1.46099162  1.46099162  1.46099162]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-3.1517\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 0.0\nsensory:0 = 0.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\nKL = "
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " nan\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 15.0\nsensory:0 = 0.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\nKL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 14.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 13.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 12.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 11.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 10.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 9.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 8.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 7.0\nsensory:0 = 0.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\ngen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 6.0\nsensory:0 = 0.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 5.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 4.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 3.0\nsensory:0 = 1.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "cost =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "KL =  nan\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gen [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\nexternal:0 = 2.0\nsensory:0 = 0.0\naction:0 = -1.0\ninternal:0 = [ nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan  nan\n  nan]\n"
     ]
    }
   ],
   "source": [
    "# Initializing the variables\n",
    "init = tf.global_variables_initializer()\n",
    "\n",
    "# Initialize optimizer\n",
    "optimizer = tf.train.GradientDescentOptimizer(LEARNING_RATE).minimize(cost)\n",
    "\n",
    "# Launch the graph\n",
    "with tf.Session() as sess:\n",
    "    sess.run(init)\n",
    "    for var in tf.global_variables():\n",
    "        print('{name} = {value}'.format(name=var.name, value=var.eval(session=sess)))\n",
    "    \n",
    "    print(generative_density(R, A).eval())\n",
    "    print(free_energy(R, S, A).eval())\n",
    "    \n",
    "    summary_writer = tf.summary.FileWriter('logs', graph=tf.get_default_graph())\n",
    "\n",
    "    for epoch in range(15):\n",
    "        sess.run(\n",
    "            S.assign(\n",
    "                np.random.choice(\n",
    "                    [1, 0],\n",
    "                    p=[sensory_dynamics(Psi).eval(), 1-sensory_dynamics(Psi).eval()])\n",
    "            )\n",
    "        )\n",
    "        sess.run(A.assign(\n",
    "                 [-1, 1][np.argmin([free_energy(R, S, -1).eval(), free_energy(R, S, 1).eval()])]\n",
    "             )\n",
    "        )\n",
    "        sess.run(optimizer)    \n",
    "        sess.run(Psi.assign(environmental_dynamics(Psi, A) % ENV_SIZE))\n",
    "        \n",
    "        print('cost = ', cost.eval())\n",
    "        print('KL = ', KL(variational_density(R), generative_density(R, A)).eval())\n",
    "        print('gen', generative_density(R, A).eval())\n",
    "        print('gen', variational_density(R).eval())\n",
    "        for var in tf.global_variables():\n",
    "            print('{name} = {value}'.format(name=var.name, value=var.eval(session=sess)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 179,
   "metadata": {},
   "outputs": [],
   "source": [
    ""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    ""
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2.0
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}