transformer與cnn相比優缺點如下：
Transformer優點：
（1）突破了RNN模型不能並行計算的限制。
（2）相比CNN，計算兩個位置之間的關聯所需要的操作次數不會隨著距離的增長而增加。
（3）attention機制可以產生更具可解釋性的模型，可以從模型中檢查attention分布，各個attention head可以學會執行不同的任務。
（4）Selfattention天然就能解決這個問題，因為在集成信息的時候，當前單詞和句子中任意單詞都發生了聯系，壹步到位。
Transformer缺點：
（1）局部信息的獲取不如RNN和CNN強。
（2）位置信息編碼存在問題，因為位普編碼在語義空間中並不具備詞向量的可線性變換，只是相當幹人為設計的壹種索引，所以並不能很好表征位置信息。
（3）由於transformer模型實際上是由殘差模塊和層歸壹化模塊組合而成，並且層歸壹化模塊位於兩個殘差模塊之間，導致如果層數較多時連乘計算會使得頂層出現梯度消失問題。
特征表示能力
CNN可以通過卷積層提取出具有空間特征的特征表示，例如邊緣、角點等，這些特征表示可以用於圖像分類、目標檢測、人臉識別等任務。
RNN可以通過循環層提取出具有時序特征的特征表示，例如序列中的依賴關系和上下文信息，這些特征表示可以用於文本分類、語音識別、音樂生成等任務。
Transformer可以通過多頭註意力機制提取出具有上下文關聯性的特征表示，例如文本中的關鍵詞和語義信息，這些特征表示可以用於機器翻譯、文本生成、問答系統等任務。