統計学（統計解析）について、解析方法などを分類して概略イメージをまとめました。
統計学に関する考え方は、様々な見方があるようで
切り口によっては必ずしもこのような体系に分類されるわけではなかったり、
解析手法も異なる分類に分けられたりする場合もあるようですが、
あくまでわれわれ一般の数学専門外の初学者が全体像を捉えるためのものとして見ていただければと思います。
記述統計学 descriptive statistics
手元にあるデータを整理し、その特徴を分かりやすく表現する
基本統計量：データの基本的特徴を表す値
・代表値：データの標準を表す指標。
平均、中央値、最頻値、比率 など
・散布度：データの広がり・ばらつきの指標。
分散、標準偏差、変動係数 など
統計図表：データを視覚的に理解しやすくする。
度数分布表、ヒストグラム など
相関分析：データの関連性や影響の大きさを調べる
推測統計学 inferential statistics
一部のデータ（標本）から全体（母集団）の特性を推測する
推定：標本データを用いて、分布の母数を見積もる方法
検定：母集団の分布に関する仮定（仮説）を統計的に検証する方法
多変量解析：多種類のデータの関連性を明らかにしたり、未来を予測する方法。
回帰分析、主成分分析、因子分析、
独立成分分析、数量化理論 など
ベイズ統計：
ベイズ的な解釈に基づいて、
データが不十分な状態でも未来に起こる事象を推定する方法
統計学（統計解析）は、大きく分けると記述統計と推測統計に分けられます（ベイズ統計を古典的な統計と切り分けて第三の分類にする考え方や、多変量解析を別個の分類とする考え方もあるようです）。
記述統計は、手元データを解析してそのデータの範囲内でわかることをまとめる方法です。手元データが全てです。
ヒストグラムなどの図表に表したり、平均や標準偏差などの基本統計量を求めたりして、データから必要な情報を引き出します。
推測統計は、少ない手元データ（全体から抽出したサンプルデータ（標本データ））を元にして全体（母集団）のデータを推測する方法です。
統計的推定は、標本データを用いて母集団の分布の特性値（母平均、母標準偏差など）を求めます。
統計的検定は、母集団の分布について（期待する結果と逆の）仮説をたて、その仮説が確率的に正しいといえないことを示すことによって、導き出したい結論が正しいことを示す方法です（背理法の考え方を利用）。
ベイズ統計は、近年機械学習の急速な発達によって注目を浴びている分野です。
ベイズ推定では、まず、ある事態の発生確率を主観的に設定し、情報が得られる度に確率を更新していくことによって、未来に起こる不確実な事象の確率を推定します。
数学者ではない一般人にとって大切なことは、学問の分類を覚えることではなく、それぞれがどのような特徴をもっていて、どのような目的で使われるのかを理解し、必要なときにその領域を調べて利用できるようにすることだと思います。
また、「新しいベイズ統計学のほうが古典的な統計学より優れている」とか「ベイズ統計で得られる結論は真実ではない」とかいう議論はあまり意味をなさないでしょう。それらの特性や限界などを理解したうえで、対象に適した方法を検討すべきでしょう。