Fix typos, line separation

Author: titipata

_posts/2019-02-08-python-line-profiler.md

@@ -12,10 +12,11 @@ date: 2019-02-08 22:30:00
 ---
 
 ## เกริ่นนำ
-ในการเขียนโปรแกรมนอกจากความถูกต้องในการทำงานของโปรแกรมแล้ว เราต้องการโปรแกรมที่ทำงานได้รวดเร็ว แต่บางทีเราก็ไม่รู้ว่าจะต้อง Optimize โปรแกรมกันตรงไหน วันนี้ผมจึงมาแนะนำการใช้งาน [line_profiler](https://github.com/rkern/line_profiler) เพื่อทำ profiler ในการตรวจสอบความเร็วในการทำงานของโค้ด Python ในแต่ละบรรทัดกันเลย
 
+ในการเขียนโปรแกรมนอกจากความถูกต้องในการทำงานของโปรแกรมแล้ว เราต้องการโปรแกรมที่ทำงานได้รวดเร็ว แต่บางทีเราก็ไม่รู้ว่าจะต้อง Optimize โปรแกรมกันตรงไหน วันนี้ผมจึงมาแนะนำการใช้งาน [line_profiler](https://github.com/rkern/line_profiler) เพื่อทำ profiler ในการตรวจสอบความเร็วในการทำงานของโค้ด Python ในแต่ละบรรทัดกันเลย
 
 ## ติดตั้ง
+
 ติดตั้ง Package ผ่าน pip กันตามปกติ
 
 ```bash
@@ -31,11 +32,11 @@ import time
 
 @profile
 def number():
-	s = 0
-	for i in range(500):
-		s += i
-	time.sleep(1)
-	return s
+    s = 0
+    for i in range(500):
+        s += i
+    time.sleep(1)
+    return s
 
 print(number())
 ```
@@ -84,7 +85,7 @@ python -m line_profiler  test.py.lprof
 ```python
 %lprun -f [function name] [call function]
 
-#Example
+# Example
 %lprun -f number number()
 ```
 

_posts/2019-12-18-reinforcement-learning.md

@@ -169,7 +169,7 @@ $$Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha (R_{t+1} + \gamma \max_{a \in A} Q
 เราสามารถแก้ปัญหาใน Continuous Space ได้สองวิธีหลักๆดังนี้
 
 - Discretization หรือการแบ่ง continuous state space ให้เป็นช่วงๆ
-- Function Approximation หรือใช้ฟังก์ชันประมาณ​ state value \\(\hat(v)(s) \\) และ action value \\(\hat(q)(s, a)\\) โดยตรง
+- Function Approximation หรือใช้ฟังก์ชันประมาณ​ state value \\(\hat{v}(s) \\) และ action value \\(\hat{q}(s, a)\\) โดยตรง
 
 วิธีที่ง่ายที่สุดที่ทำให้เราสามารถใช้เทคนิคที่เพิ่งคุยกันไปมาใช้ก็คือการแบ่ง continuous state space เป็นช่วงๆหรือการ discretization นั่นเอง เราสามารถแบ่งช่องยิ่งเล็กก็จะยิ่งประมาณ continuous space ได้ดีขึ้น แต่ข้อเสียก็คือว่าขนาดของ Q-table ที่เราต้องสร้างก็จะใหญ่ขึ้นไปอีก และเมื่อ Q-table มีขนาดใหญ่มากๆ ก็อาจจะอัพเดทได้ไม่ทั่วถึงนั่นเอง
 
@@ -187,7 +187,7 @@ $$Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha (R_{t+1} + \gamma \max_{a \in A} Q
 
 อีกวิธีนึงที่เราสามารถทำได้คือการประมาณฟังก์ชัน state value \\(\hat{v}(s) \\) และ action value \\(\hat{q}(s, a)\\) นั่นเอง ในกรณีนี้ก็ไม่ต้องใช้การแบ่ง continuous space เป็นช่วงๆแบบเดิม จะเห็นว่าสิ่งที่เราต้องใส่เพิ่มขึ้นมาขึ้นพารามิเตอร์ \\(W \\) ที่ใช้สำหรับ map ฟังก์ชันจาก \\(s\\) ไปเป็น \\(v\\) และ \\((s, a)\\) ไปเป็น \\(q\\)
 
-ในกรณีที่เราเขียนฟังก์ชันเส้นตรง: \\( \hat{v}(s, W) = X(s)^T W_{v} \\) และ \\( \hat{q}(s, a, W) = X(s, a)^T W_{q} \\) หรือถ้าเป็นฟังก์ชันไม่เชิงเส้น (nonlinear) ก็จะได้หน้าตาประมาณนี้: \\( \hat{v}(s, W) = f_v(X(s)^T W_{v}) \\) และ \\( \hat{q(s, a, W)} = f_q(X(s)^T W_{q}) \\) ซึ่งฟังก์ชัน \\(f(.)\\) ในที่นี้เราอาจจะเลือกใช้ Neural Network มาช่วยในการประมาณฟังก์ชันไม่เชิงเส้นที่เรามีนี่เอง ตัวอย่วงของการใช้ Neural Network มาประมาณฟังก์ชันได้แก่ Deep Q-Network หรือ DQN ที่จะพูดในหัวข้อถัดไป
+ในกรณีที่เราเขียนฟังก์ชันเส้นตรง: \\( \hat{v}(s, W) = X(s)^T W_{v} \\) และ \\( \hat{q}(s, a, W) = X(s, a)^T W_{q} \\) หรือถ้าเป็นฟังก์ชันไม่เชิงเส้น (nonlinear) ก็จะได้หน้าตาประมาณนี้: \\( \hat{v}(s, W) = f_v(X(s)^T W_{v}) \\) และ \\( \hat{q}(s, a, W) = f_q(X(s)^T W_{q}) \\) ซึ่งฟังก์ชัน \\(f(.)\\) ในที่นี้เราอาจจะเลือกใช้ Neural Network มาช่วยในการประมาณฟังก์ชันไม่เชิงเส้นที่เรามีนี่เอง ตัวอย่วงของการใช้ Neural Network มาประมาณฟังก์ชันได้แก่ Deep Q-Network หรือ DQN ที่จะพูดในหัวข้อถัดไป
 
 ## Deep Q-Network (DQN)