反抗的な態度を取る生徒に悩むことはありますか？

反抗的な態度を取る生徒に悩まれることはあるでしょうか？
臨時職員という立場で今年から勤務し、受験生の英語を担当しているのですが、反抗的な生徒の対応に悩んでいます。
以前に授業のことでもこちらで相談させて頂き暖かいご意見頂きました。最近は生徒のことでグルグル悩んでしまい、不甲斐ない相談なのですが、再び甘えさせてもらってしまいました。

外見はいわゆる不良生徒という感じで、口数は比較的少なく、友人とも決まった相手としか基本的に話さず、そのクラスは女子の多いクラスですが、あまり女子と話す姿は見たことがありません。

外見とは裏腹に授業態度や提出物はきちんとしており、ノートは非常に丁寧に取っており、小テストへの取り組みも悪くなく、最近では満点も取っています。

問題生徒とまでは思わないのですが、正直個人的に嫌われていると感じ、関わることに気がひけてしまう情けない自分がいます。男子生徒ということもあり、高校生相手に怖いと思って迎合したような態度を取ってしまうのも正直なところです。

以前この生徒から板書が見えないと職員室にクレームを言われ、それ以後板書の文字を大きくしていますが、まだ進度が早いなど授業にも不満はあるようです。
このような意見は私の拙い授業への貴重な意見でもあるのですが、板書に関しても改善後見えるかと訪ねた時の答え方もとても感じが悪く無愛想に答えたりもします。

教師としてなめられている自分が悪いのですが、この生徒を思うと憂鬱になってしまい、この生徒のいるクラスの授業は一番憂鬱に感じてしまう自分がいます。

生徒の対応はその生徒の気分は影響しているようにも感じますが、個人的に嫌われていることは間違いないように思います。自分を嫌う生徒に対して毅然とした対応や、大人の対応といった教師としての対応を取れずにいる私は、ダメな人間だと自覚して落ち込むばかりの日々です。

あまり周りに相談もできず、この間はその生徒を当てた時あまりに反抗的な態度を取られてから、その時のことが頭から離れず、もう教師を辞めたいとも考えてしまいます。

こんなことで大袈裟なのですが、同じように悩んだりしたことのある方はいらっしゃれば、体験談など聞かせてもらいたく、相談しました。

散文で失礼しました。