PyTorch 的 backward function

在呼叫 t.backward() 時，若 t 是一個純量，就不需要傳入任何的引數。但是當 t 是一個張量的時候，就需要傳入一個和 t 同樣 size 的張量，這個張量是做什麼用的？

假設我們的 t = [t1, t2]，這個張量的運算圖裡面有一個 leaf node 是 x = [x1, x2]。如果在呼叫 backward 時，我們傳入 [1, 1]，PyTorch 會將 t 當中的每一個元素 (t1 和 t2) 都對 x1 進行偏微分，並且將所有的結果加起來得到 x.grad = [g1, g2] 中的 g1。

此時如果我們只想要知道 t1 對 x1 的偏微分結果，就要在呼叫 backward 時，傳入引數 [1, 0]。

這個傳入的引數，可以看成一個權重，可以控制 t 裡面每一個元素對偏微分的影響程度。在針對一個運算圖進行 backward 時，每一個 operation 的 backward function 會接收它的下游所傳來的 gradient，因為在進行 back propagation 時，上游的 gradient 是透過微分的鏈鎖律 (chain rule) 算出來的，也就是 backward function 的 input 會和該 operation 的 gradient 相乘，去得到上游的 gradient。


Reference
Sherlock, "PyTorch中的backward," https://zhuanlan.zhihu.com/p/27808095.

神經型態運算架構

SpiNNaker

Affiliation: University of Manchester, UK

Architecture: ARM processor-based

Neuron: LIF, Izhikevich

On-Chip Learning: STDP

Platform: PyNN

Reference: Furber, S. B., Galluppi, F., Temple, S., & Plana, L. A. (2014). The spinnaker project. Proceedings of the IEEE, 102(5), 652-665.

TrueNorth

Affiliation: IBM, USA

Architecture: digital ASIC

Neuron: LIF

On-Chip Learning: N/A

Reference:
[1] Merolla, P. A., Arthur, J. V., Alvarez-Icaza, R., Cassidy, A. S., Sawada, J., Akopyan, F., ... & Brezzo, B. (2014). A million spiking-neuron integrated circuit with a scalable communication network and interface. Science, 345(6197), 668-673.
[2] Esser, S. K., Merolla, P. A., Arthur, J. V., Cassidy, A. S., Appuswamy, R., Andreopoulos, A., ... & Barch, D. R. (2016). Convolutional networks for fast, energy-efficient neuromorphic computing. 2016. Preprint on ArXiv. http://arxiv. org/abs/1603.08270. Accessed, 27.

Loihi

Affiliation: Intel, USA

Architecture: digital ASIC

On-Chip Learning: pairwise STDP, triplet STDP, reinforcement learning

Platform: Nengo

Reference: Davies, M., Srinivasa, N., Lin, T. H., Chinya, G., Cao, Y., Choday, S. H., ... & Liao, Y. (2018). Loihi: A neuromorphic manycore processor with on-chip learning. IEEE Micro, 38(1), 82-99.

BrainScaleS/HiCANN

Affiliation: Heidelberg University, Germany

Architecture: mixed-signal (analog neuron and digital communication) wafer-scale system

Neuron: adaptive exponential IF

On-Chip Learning: highly flexible learning rules

Platform: PyNN

Reference:

[1] Meier, K. (2015, December). A mixed-signal universal neuromorphic computing system. In 2015 IEEE International Electron Devices Meeting (IEDM) (pp. 4-6). IEEE.

[2] Schemmel, J., Briiderle, D., Griibl, A., Hock, M., Meier, K., & Millner, S. (2010, May). A wafer-scale neuromorphic hardware system for large-scale neural modeling. In Proceedings of 2010 IEEE International Symposium on Circuits and Systems (pp. 1947-1950). IEEE.

[3] Friedmann, S., Schemmel, J., Grübl, A., Hartel, A., Hock, M., & Meier, K. (2016). Demonstrating hybrid learning in a flexible neuromorphic hardware system. IEEE transactions on biomedical circuits and systems, 11(1), 128-142.

NeuroGrid/BrainDrop

Affiliation: Stanford University, USA

Architecture: mixed-signal ASIC

Reference: Benjamin, B. V., Gao, P., McQuinn, E., Choudhary, S., Chandrasekaran, A. R., Bussat, J. M., ... & Boahen, K. (2014). Neurogrid: A mixed-analog-digital multichip system for large-scale neural simulations. Proceedings of the IEEE, 102(5), 699-716.

DYNAP

Affiliation: Institute of Neuroinformatics (INI), University of Zurich and ETH Zurich

Architecture: mixed-signal ASIC (ultralow-power subthreshold analog neuron, digital circuit for reprogramming of connectivity, supporting for RNN and multilayer network)

Reference: Moradi, S., Qiao, N., Stefanini, F., & Indiveri, G. (2017). A scalable multicore architecture with heterogeneous memory structures for dynamic neuromorphic asynchronous processors (DYNAPs). IEEE transactions on biomedical circuits and systems, 12(1), 106-122.

ODIN

Affiliation: Catholic University Louvain, Belgium

Architecture: digital ASIC

Neuron: LIF, Izhikevich

On-Chip Learning: spike-driven plasticity

Reference: Frenkel, C., Lefebvre, M., Legat, J. D., & Bol, D. (2018). A 0.086-mm $^ 2 $12.7-pJ/SOP 64k-synapse 256-neuron online-learning digital spiking neuromorphic processor in 28-nm CMOS. IEEE transactions on biomedical circuits and systems, 13(1), 145-158.

Reference

Rajendran, B., Sebastian, A., Schmuker, M., Srinivasa, N., & Eleftheriou, E. (2019). Low-Power Neuromorphic Hardware for Signal Processing Applications: A review of architectural and system-level design approaches. IEEE Signal Processing Magazine, 36(6), 97-110.

Interconnect RC Delay

Delay 的來源

• Gate delay
• Interconnect delay
• Speed-of-light delay
• RC delay

Speed-of-light delay 正比於連線長度，而 RC delay 則正比於連線長度的二次方。在舊製程中，由於 gate delay 較大，因此 RC delay 可以忽略不計。然而當製程微縮時，gate delay 越來越小，此時 RC delay 的影響就越來越大。

Coupling Noise 的成因

根據 Maxwell's Equation，當一個導體上的電壓和電流改變時，所產生的電場和磁場會對周遭的其他導體產生影響，稱為電容性串擾 (capacitive crosstalk) 和電感性串擾 (inductive crosstalk)。當導體距離越近，或是導體邊緣越尖銳，crosstalk 現象就越嚴重。

Wire Resistance

R = pL/Wt
p: resistivity
L: wire length
W: wire width
t: wire thickness

Wire Capacitance

一般導線上對 substrate 的寄生電容大小大約是相同大小的電晶體的十分之一。隨著製程越來越先進，導線彼此間的距離越來越小，因此導線間的 coupling capacitance 的影響也越來越顯著。

Wire Delay Modeling

Pi model 和 T model 的準確度比 L model 還要高，相同的一段導線上的 delay，若用 4 段 Pi model 來模擬，其誤差可小至 5%。然而若使用 L model，則需要分成 64 段。

Capacitive Crosstalk

當一條導線和另外一條導線相鄰時，會產生 coupling capacitance。這個 coupling capacitance 可以合併到 substrate capacitance 當中，以簡化 delay modeling，其轉換的方法為：若發生 coupling 的對象導線上是靜態的訊號，其 coupling capacitance 可以直接併入 substrate capacitance；若發生 coupling 的對象導線上的訊號是反向的 (一個上升一個下降)，則其 coupling capacitance 需加倍計入 substrate capacitance 中；若兩條導線上的訊號是同方向 (一起上升或一起下降)，則其 coupling capacitance 可忽略不計。以上所描述的是很理想的情況，實際上，導線上的訊號改變複雜得多。一條導線上訊號的改變，常常會對另一條訊號線造成干擾，進而產生 noise，此 noise 的大小，可以藉由 coupling capacitance 與 substrate capacitance 的分壓來得知。

其他問題

• IR Drop: 由於電流在導線上傳遞時，會因導線上的電阻而產生電壓下降，在供應電壓較低的晶片上，IR drop 將造成晶片內部或距離 power pad 較遠處的供應電壓不足的問題，因此晶片需要有更多 power pad 從不同位置供電。
• Electromigration: 在直流電流經一條導線時，電子移動時會撞擊導線中的金屬原子，經年累月的使用後，可能造成導線中的金屬原子離開原來所在位置，造成導線斷線。一般來說，一條寬 1 um 的導線，其電流不得超過 1 mA。
• Self-Heating: 當電流在導線中流動時，會因導線電阻而產生熱，由於周圍的氧化物絕緣體同時也是熱的不良導體，因此熱會逐漸累積在導線上。而當導線溫度上升時，其電阻也會上升，因此產生更多的熱，最終可能造成導線熔斷。

Reference
Harris, D. (1997). High Speed CMOS VLSI Design–Lecture 4: Interconnect RC

RRAM Variation Model

RRAM Device Model

• 2-D filament model 的主要變數：(1) tunneling gap distance、(2) conducting filament (CF) radius。
• SET model：(1) CF length、(2) CF radius。
• RESET model：(2) 電極釋放氧離子的速度、(2) 氧離子和空缺結合的速度。
• CF 溫度的影響。
• Device 的電流路徑包含： (1) hopping current path、(2) metallic conduction path。
• 寄生電容電阻效應：(1) 電極間電容、(2) 電極外之 contact 電阻、(3) 氧化物漏電路徑。

Variation Model

• LRS 的電阻值 variation 受到 CF radius fluctuations 的影響。
• HRS 的電阻值 variation 受到 tunneling gap distance fluctuations 的影響。
• Ion migration energy barrier 的隨機性會影響 switching voltage 的 variation。
• Overshoot 現象：由寄生電容造成。
• Read / write disturb 由 sub-threshold switching 造成。

Device 實驗結果

• Abrupt set and gradual reset。
• 改變 RESET maximum voltage 會使得 HRS 的電阻值不同。
• 改變 SET compliance current 會使得 LRS 的電阻值不同。

Reference

Li, H., Jiang, Z., Huang, P., Wu, Y., Chen, H. Y., Gao, B., ... & Wong, H. S. (2015, March). Variation-aware, reliability-emphasized design and optimization of RRAM using SPICE model. In 2015 Design, Automation & Test in Europe Conference & Exhibition (DATE) (pp. 1425-1430). IEEE.

Review of Metal–oxide RRAM (2012)

介紹

1960年代，研究發現氧化物會有電阻改變的現象。

1990年代，許多不同材料的氧化物被提出作為RRAM的材料，例如 SrTiO3、SrZrO3、NiO、TiO2 等。

2004，Samsung 使用 NiO 作為 RRAM 材料，並提出了可以相容 0.18 um CMOS 製程的 1T1R 架構的 RRAM cell。並且開始分析如 data retention、endurance、programming characteristics 等等與做為記憶體有關的特性。

由於 RRAM 的製造相容於 BEOL，研究者開始認為 RRAM 將成為一個能夠相容於邏輯製程的非揮發性記憶體。在與邏輯製程整合的過程當中，可以將 RRAM 放在 metal layer 上，也可以放在 contact/via 和電晶體的 source 或 drain 之間。

單一一個 RRAM Cell 的面積，大約為 4F^2 / n，其中 n 代表可以垂直堆疊的層數。

根據 paper 總結，RRAM 的讀取/寫入時間大約為數十奈秒 (ns)，其壽命大約為 10^6 次寫入循環。

根據實驗的結果，電阻值的改變機制 (resistive switching behavior) 不只與氧化物材料有關，也與上下金屬電極的材料有關，也與它們之接接面的性質有關。

此篇 paper 主要介紹 binary metal-oxide RRAM (HfOx, AlOx, NiOx, TiOx, TaOx)。

電阻改變的機制

Switching Events
Set:  從 HRS 到 LRS。為了避免 dielectric breakdown，在做 set 時要加上 set compliance (將RRAM 串聯一個 selector，例如電晶體或二極體)。
Reset:  從 LRS 到 HRS。Reset 的主導機制目前還是一個有爭議的研究題目，目前的推論是：thermal dissolution model 可以解釋 unipolar device 的 reset，而 ionic migration model 可以解釋 bipolar device 的 reset。研究發現，同樣的 oxide 材料搭配上不同的電極材料，會產生 bipolar 或 unipolar 兩種不同的device，因此推測 bipolar 和 unipolar 與 oxide 和電極的接面性質有關。通常若使用貴金屬如 Pt、Ru 等當電極，會產生 unipolar device。但是假如我們將其中一邊的電極換成可氧化的材料如 Ti、TiN 時，device 就會轉變為 bipolar。實驗發現，在 bipolar device的可氧化電極接面處，出現了電極的氧化物。在 forming 時，電極與氧化物的接面可以被視為一個 oxygen reservoir。在 reset operation 中，氧原子會從接面返回到氧化物中，使得電阻值上升。對於 unipolar device 而言，電流流過導電路徑時所造成的 Joulde heating，被認為可能造成氧原子因為濃度差異而從電極擴散到氧化物中。因此通常 unipolar device 的 reset 需要比較高的電流來升高導電路徑的溫度。對於 bipolar device 來說，在電極接面的金屬氧化層會形成一個 diffusion barier，因此就需要一個反向的電場，才能夠讓氧離子跨過屏障回到氧化物中。
Forming:  建立導電路徑，又可稱為 dielectric soft breakdown。在一些實驗中發現，forming的時間與施加的電壓有 exponential 關係，因此推斷 forming 不是 spontaneous 行為，而是 stress-induced defects。高電場 (> 10MV/cm) 會將氧原子敲離晶格，並且往陽極移動，在氧化物中產生 defect，氧空缺會形成一個導電路徑。利用導電原子力顯微鏡，已經在材料中觀察到此導電路徑。forming 電壓與 oxide 的厚度是線性關係，當 HfOx 的厚度減少到 3nm 時，可以達成forming-free device。在形成氧化物薄膜時，也能透過控制退火環境來產生 defect 在薄膜中，藉此讓 forming 電壓下降。
Read: 在做read時，為了避免改變電阻值，會施加一個很小的電壓。

Switching Modes
Unipolar:  switch direction 與施加電壓的 amplitude 有關。
Nonpolar: 更廣義的 unipolar，從相反的兩個方向施加電壓時會有對稱的行為。
Bipolar: switch direction 與施加電壓的 polarity (方向) 有關。

材料的特性

HfOx
HfOx-based 材料在 CMOS MOSFET 製造過程中，常被用來製作 high-K dielectric。但同時也發現，defect-rich HfOx 適合作為 RRAM 材料。常見的結構如：TiN/Ti/HfOx/TiN (其中的Ti層用來消耗氧離子，作為 oxygen reservoir 使用。也可以將 Ti 換成其他材料例如 AlCu 或 Ta，但由於不同材料捕捉氧離子的能力不同，因此 RRAM 的特性將會改變。根據實驗，當 HfOx 的厚度減少至 3nm 時，Ti/HfOx 的結構具有 forming-free 的特性。

操作速度 <10 ns
ON/OFF ratio >100
endurance > 10^6
良率 ~100%

透過將電極表面研磨變得更平整，有機會將 endurance 提升至 10^10，但相對的 set/reset 速度會下降至 40ns。

AlOx
在使用其他材料的文獻中，reset current一般是在 mA 或幾百 uA 等級，但 AlOx 具有較低的 reset current 約 1uA。甚至在 AlOx 中摻雜 N 以後，reset current 可下降到 <100 nA。此外，AlOx 的 LRS 通常是 Mega 歐姆等級，可以減輕 sneak path 的影響，並實現更大的 array。

TaOx
endurance 高 (>10^9 or 10^12)

RRAM array 架構

Cell
由於 RRAM device 在 forming 或 set 的過程中，會發生電流急遽上升的狀況，因此在 cell 的設計上，必需有一個限制電流的機制 (current limiter)，避免太大的電流造成 device 毀損。由於電晶體在 saturation region 有較大的電阻，電晶體適合做為 current limiter (1T1R cell)。由於在電晶體和 RRAM 之間，容易有一個寄生電容，在 forming/set 的過程中，當電阻突然下降時，兩端的跨壓無法立即下降，因此會產生 overshoot 電流，造成導電路徑的直徑變寬，或者產生多條導電路徑，之後的 reset current 也會隨之上升。因此，contact RRAM 將 RRAM 製作在電晶體的 drain 或 source 端，可以降低寄生電容。

Process Technology
前面提到，當我們將 RRAM 的厚度縮小到 3nm 時，可以實現 forming-free device。然而，這也同時會造成更高的 defect density，進而讓 HRS 的電阻值變低，使得記憶體的高電阻和低電阻間的 window 縮小。

Memory Array
NOR-type RRAM memory array 通常包含了word line encoder、bit line encoder、sense amplifier、output buffer、read driver、write driver 等周邊電路。為了提供足夠的 set/resest 電壓 (~2V)，電晶體的 size 沒辦法隨著製程微縮不斷的縮小下去，因此有些研究嘗試將平面的電晶體，換成能夠垂直的 BJT。由於 bipolar device 的兩端都需要施加電壓，因此 array size 會比 unipolar device 還要大。
對於 unipolar device 來說，由於需使用 diode 作為 selector，傳統的 diode 無法在 BEOL 進行製造，若要實現 RRAM 的 3D 堆疊，則必須使用由氧化物製成的 diode，例如 NiOx/TiOx 和 CuOx/InZnOx，且此 diode 的 ON/OFF ratio 是要考量的。
對於 bipolar device 來說，則必須有能夠雙向導通且相容於 BEOL 的 diode，例如文獻已將能夠雙向導通的 oxide-based diode 和 RRAM 串起來，成為 1D1R cell (Ni/TiOx/Ni/HfOx/Pt、Ir/Ta2O5/TaO2/TaN/SiNx/TaN)，其中 Ni/TiOx/Ni 和 TaN/SiNx/TaN 分別是雙向導通的 diode，串聯了 HfOx 和 TaOx 材料的 RRAM。由於 diode 太小就無法提供足夠的 set/reset 電流，而且若 selector 本身的電阻太大，就會導致最後分壓到 RRAM 上面的電壓過小，因此在製程微縮時，必須考量到 selector。

Device 的評估要點

Uniformity
Device 的 variation 有兩類，第一類是 temporal fluctuation (cycle to cycle)，第二類是 spatial fluctuation (device to device)。LRS variation 通常來自於導電路徑的數量和大小，因此若我們能夠事先就限制了導電路徑的面積，那 LRS variation 可以減少。而 HRS variation 則是來自於 tunneling gap distance 的 variation，這部分的 variation 就很嚴重，因為 gap distance 和 tunneling current 是 exponential 關係。其中一個改善 uniformity 的方法，是在電極和氧化物之間插入 buffer layer，例如在 TiN 和 HfOx 之間插入 Al。

Endurance
通常隨著寫入次數越多以後，device 的 HRS 會漸漸地下降，到最後就會發生 stuck-at LRS 的情況。

Retention
要做為記憶體使用，RRAM device 必須能夠承受85度C的溫度，並且承受反覆的讀取而不丟失資料。在實驗中觀察到，當 programming voltage amplitude 線性增加時，device 的 switching time 會 exponentially 減少。

Multibit Operation
研究發現，LRS的電阻值，可以藉由調整 set compliance current 來改變。可能的原因，推測是 set compliance current 能夠造成導電路徑的直徑和數量有所改變。
而 HRS 的電阻值，可以透過改變 Vstop 電壓來調整。其中 Vstop 電壓代表：當我們在做 reset時，會施加一個由低往上升高的電壓，而 Vstop 電壓就是最後我們停止的電壓。
在 CuOx、TiOx、HfOx、WOx、TaOx 的 RRAM 中，都可以看到能夠實現 MLC 的特性，其中 HfOx 可以實現 5 個l evels，而 WOx 可以實現 8 個 levels 但需要進行 verification。
在實驗中觀察到，當 programming voltage amplitude 線性增加時，device 的 switching time 會 exponentially 減少。因此有研究指出，我們可以使用 voltage amplitude 或者用 programming pulse with 來調整電阻值，但使用 voltage amplitude 會消耗較少的能源。

Technology Scaling
隨著製程微縮的過程，RRAM cell 的面積會逐漸縮小，根據實驗的結果，HRS 的電阻值會越來越大，而 LRS 的電阻值卻沒有太大的改變。其原因在於，當 RRAM cell 面積縮小時，根據歐姆定律，電阻值是反比於面積。但 LRS 的電阻值是由導電路徑決定的，這部分與面積沒有太大的關連性。這種隨著製程微縮，ON/OFF ratio 加大的趨勢，對於 RRAM 作為記憶體而言，是一個優勢。



Reference
Wong, H. S. P., Lee, H. Y., Yu, S., Chen, Y. S., Wu, Y., Chen, P. S., ... & Tsai, M. J. (2012). Metal–oxide RRAM. Proceedings of the IEEE, 100(6), 1951-1970.

Chiplet 及 System on a Wafer (SoW)

Chiplet

要了解什麼是 Chiplet (小晶片)，首先可以先看一下兩個不同的名詞：System on a Chip (SoC) 和 System on a Wafer (SoW)。

顧名思義，SoC 是將一個系統，包含處理器、記憶體、其他周邊裝置，使用積體電路技術，製造在同一個晶片上。由於 SoC 的發展，智慧型手機等行動裝置或其他電子產品，體積越來越小，功能卻越來越多元。

然而，這麼多功能需要有不同的電路區塊來實現，SoC 將所有的電路區塊都放在同一個晶片上，也因此要求所有的電路都必需以相同的半導體製程來實現，例如某一個晶片是用 7 奈米製程實現，那麼在此晶片上所有電路都必需使用 7 奈米製程。

而 SoW 是最近興起的新方法，由於先進封裝技術的發展，例如台積電的 CoWoS 和 InFO，我們開始能夠將不同製程製造出來的晶片，透過封裝技術，在一個矽基板 (silicon interposer) 上連接起來。這些晶片可以由不同的製程節點製造，例如，要求高效能的晶片，可以使用 7 奈米，而某些有成本考量的，可以使用較成熟的製程來製造。甚至，運用 SoW 技術，能夠實現異質整合，亦即有些晶片可以採用特殊製程製作，例如 DRAM 或類比晶片，接著再用 SoW 技術將他與邏輯製程晶片如 CPU 等進行封裝。

CoWos

Source: Goel, S. K. (2012, November). Test challenges in designing complex 3D chips: What in on the horizon for EDA industry?: Designer track. In 2012 IEEE/ACM International Conference on Computer-Aided Design (ICCAD) (pp. 273-273). IEEE.

Source: Lin, L., Yeh, T. C., Wu, J. L., Lu, G., Tsai, T. F., Chen, L., & Xu, A. T. (2013, May). Reliability characterization of chip-on-wafer-on-substrate (CoWoS) 3D IC integration technology. In 2013 IEEE 63rd Electronic Components and Technology Conference (pp. 366-371). IEEE.

Source: Hou, S. Y., Chen, W. C., Hu, C., Chiu, C., Ting, K. C., Lin, T. S., ... & Wang, C. T. (2017). Wafer-level integration of an advanced logic-memory system through the second-generation CoWoS technology. IEEE Transactions on Electron Devices, 64(10), 4071-4077.

InFO

Source: Tseng, C. F., Liu, C. S., Wu, C. H., & Yu, D. (2016, May). InFO (wafer level integrated fan-out) technology. In 2016 IEEE 66th Electronic Components and Technology Conference (ECTC) (pp. 1-6). IEEE.

了解了 SoW 後，我們就明白，目前的 IC 製造已擺脫了過去的限制，一個系統上的許多電路區塊，可以依照需求分成許多的 chiplet (小晶片)，而這些小晶片可以使用不同的製程來製造，並使用封裝技術在一個矽基板上連接起來。

挑戰

根據 Intel 的觀點，chiplet 的發展面臨以下幾個挑戰。

1. 裸晶 (bare die) 測試方法：沒有封裝時，由於裸晶接腳更小，探針卡需要更精密。測試機台要能提供足夠的 power，並將 power 送入裸晶中。以及每一個 chiplet 必須能夠被獨立的測試；在過去 SoC 當中，某些電路區塊可能仰賴其他電路區塊提供 clock 等訊號；在 chiplet 測試中，每一個 chiplet 則必須能夠獨立運作。
2. 供電 (power) 及散熱 (thermal) 問題。

相關組織

Chiplet 的發展，受到美國國防高等研究計畫署 (DARPA) 下的 CHIPS (Common Heteregeneous Integration and IP Reuse Strategies) 計畫支持。此外，ODSA (Open Domain-Specific Architectures) 計畫是產業界相關的企業共同成立，提供一個平台讓企業共同討論 chiplet 及封裝層級整合 (package level integration) 未來的發展方向。


Reference
Intel's View of the Chiplet Revolution

學術英文寫作技巧

Old-to-New Flow

This/These + Summary Words

Linking Words/Phrases

General-Specific Text

1. General statements
2. Definitions
3. Statistics

Writing Definitions and Extended Definitions

1. Begin with a general, one-sentence definition
2. Additional details focus on aspects such as components, types, applications, history or examples 

Problem-Solution Text

1. Situation (background information)
2. Problem
3. Partial solution
4. Evaluation
5. New solution
6. Evaluation

Structure of Data Commentary

1. Location elements
2. Highlighting statements
3. Interpretations and implications

Reference
Swales, J. M., & Feak, C. B. (2004). Academic writing for graduate students: Essential tasks and skills (Vol. 1). Ann Arbor, MI: University of Michigan Press.