PyTorch 的 nn 和 nn.functional 的差別

在 nn 裡面實現了很多搭建神經網路時常用的 building blocks 如 Conv2D、ReLu 等等。但是相同的名稱在 nn.functional 裡面也能找到，那它們之間有何差別？

差別在於 nn 裡面的 building blocks 是用 Python 的 Class 來實現的，他繼承了nn.Module 這個 Class，像 weight 和 bias 等 variable 會存在 nn.Conv2D 裡面。但是對於 nn.functional.Conv2D 來說，因為它只是一個 function 而不是 class，function 本身是沒有狀態的 (state)，所有一切 variable 在 function 結束以後就消失了，因此它的 weight 和 bias 等需要保留的 variable 就必須從外面傳入。

這也是為什麼，當我們創建一個 network 時，nn.Conv2D 要寫在 self.__init__ 裡面，但是 nn.functional.relu 卻不用。


Reference
https://discuss.pytorch.org/t/what-is-the-difference-between-torch-nn-and-torch-nn-functional/33597