部署k8s集群（亲测无坑）

--apiserver-advertise-address 指定与其它节点通信的接口
--pod-network-cidr 指定pod网络子网，使用fannel网络必须使用这个CIDR
--image-repository=registry.aliyuncs.com/google_containers初始化时可以添加下载镜像的源地址。因为默认是google的，国内无法访问。这样前面就不要提前下载好镜像了。

用户设置权限(root用户也需要执行)
master 执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装Pod网络插件（CNI）
master 执行

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

----------------(node操作)--------------

node节点加入到master

node1:kubeadm join 192.168.1.100:6443 --token te0fvk.dbf7t1qsu4kpvxe2 \\
--discovery-token-ca-cert-hash sha256:dd74bd1b52313dd8664b8147cb6d18a6f8b25c6c5aa4debc3

结果检查
node节点加入master输出信息如下：

[preflight] Running pre-flight checks
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with \'kubectl -n kube-system get cm kubeadm-config -oyaml\'
[kubelet-start] Downloading configuration for the kubelet from the kubelet-config-1.15 ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file /var/lib/kubelet/config.yaml
[kubelet-start] Writing kubelet environment file with flags to file /var/lib/kubelet/kubeadm-flags.env
[kubelet-start] Activating the kubelet service
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.
Run \'kubectl get nodes\' on the control-plane to see this node join the cluster.

----------------(master操作)--------------

master 节点执行kubectl get nodes

[root@master ~]# kubectl get nodesNAME     
STATUS   ROLES    AGE     VERSION
master   Ready    master   14m     v1.15.2
node1    Ready       3m36s   v1.15.2
node2    Ready       101s    v1.15.2

测试kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常运行：

$ kubectl create deployment nginx --image=nginx
 kubectl expose deployment nginx --port=80 --type=NodePort
 kubectl get pod,svc

《《 初始化 Kubernetes （端口被占用的问题）
报错信息
[root@k8s-master01 ~]# kubeadm init --config config.yaml

[init] Using Kubernetes version: v1.10.0
[init] Using Authorization modes: [Node RBAC]
[preflight] Running pre-flight checks.
[preflight] Some fatal errors occurred:
[ERROR Port-6443]: Port 6443 is in use
[ERROR Port-10250]: Port 10250 is in use
[ERROR Port-10251]: Port 10251 is in use
[ERROR Port-10252]: Port 10252 is in use
[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
[preflight] If you know what you are doing, you can make a check non-fatal with --ignore-preflight-errors=...
解决方案：发现杀死进程都没有用，最终重启一下kubeadm就可以了，如下：
[root@k8s-master01 ~]# kubeadm reset 》》

部署 Dashboard

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
wget  https://raw.githubusercontent.com/kubernetes/dashboard/v1.5.1/src/deploy/kubernetes-dashboard.yaml

默认镜像国内无法访问，修改镜像地址为： lizhenliang/kubernetes-dashboard-amd64:v1.10.1

默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

vim kubernetes-dashboard.yaml

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kube-system
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  selector:
    k8s-app: kubernetes-dashboard

$ kubectl apply -f kubernetes-dashboard.yaml

注意：安装v1.10.1之前先将配置文件中版本信息v1.5.1修改为v1.10.1

docker pull gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.1

创建service account并绑定默认cluster-admin管理员集群角色：

$ kubectl create serviceaccount dashboard-admin -n kube-system
 kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
 kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk \'/dashboard-admin/{print $1}\')

使用输出的token登录Dashboard。

使用apiserver方式访问平台

注：自行修改ip以及端口

打开浏览器访问 https://192.168.255.140:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/

报错如下：

{
  kind: Status,
  apiVersion: v1,
  metadata: {
  },
  status: Failure,
  message: services \\https:kubernetes-dashboard\\ is forbidden: User \\system:anonymous\\ cannot get services/proxy in the namespace \\kube-system\\,
  reason: Forbidden,
  details: {
    name: https:kubernetes-dashboard,
    kind: services
  },
  code: 403
}

通过message和code，我们使用的是system:anonymous这样的用户来访问位于kube-system命名空间中的名为https:kubernetes-dashboard的service资源。然后这个用户没有权限访问，所以被拒绝了。

k8s中的用户和认证及授权机制。

k8s中的用户、认证及授权机制简介，k8s中的用户有两种
真实用户 ：如kubelet
服务账户： 即service account（简写为sa）
k8s中的认证机制
k8s通过ClusterRoleBinding或者RoleBinding资源来实现对用户权限的赋予。
ClusterRole或者Role：意思是集群角色或角色，他们是规定了一组对集群内资源的权限规则。
roles和clusterroles的区别在于： roles只能对某个命令空间内的资源定义权限。而集群角色定义的权限都是针对整个集群的命名空间的。

将用户和role绑定起来就实现了对用户权限的授予。

创建并导入认证证书
创建证书
首先需要确认kubectl命令的配置文件，默认情况下为/etc/kubernetes/admin.conf，而且已经自动创建在$HOME/.kube/config中，如果没有创建则需要手动赋值。

cat $HOME/.kube/config

如果确认有集群的配置，则运行以下命令来生成一个p12格式的浏览器证书

先生成kubecfg-crt

grep \'client-certificate-data\' ~/.kube/config | head -n 1 | awk \'{print $2}\' | base64 -d >> kubecfg.crt

生成kubecfg-key

grep \'client-key-data\' ~/.kube/config | head -n 1 | awk \'{print $2}\' | base64 -d >> kubecfg.key

生成p12证书，按要求输入密码直接回车即可，密码不要胡乱输，后面给浏览器导入的时候要用。

openssl pkcs12 -export -clcerts -inkey kubecfg.key -in kubecfg.crt -out kubecfg.p12 -name kubernetes-client

运行完后在当前目录会有个kubecfg.p12证书文件,将这个kubecfg.p12证书文件传到桌面上,可以通过安装yum install lrzsz，将文件发送到桌面上

[root@master1] ~$ sz kubecfg.p12

将证书导入chrome浏览器

点击浏览器：菜单-设置-高级-管理证书

选择“个人”这一栏（适用于chrome71以上版本，71以下不确定行不行），然后点击导入kubecfg.p12。

剩下的步骤全部默认，完成后如下：

导入成功后，重启浏览器

chrome://restart

注：使用如下链接，更改ip和端口访问再次访问

https://192.168.255.140:8443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/

此时会弹出类似如下的证书信息对话框，点击确定即可。

点击确定之后，会出现下面的界面

选择登录方式
kubeconfig、令牌、用户名和密码，直接访问，不使用任何登录,使用令牌方式登录,全部资源访问权限，先创建一个账号,再创建一个有全部权限的clusterroles,将二者用clusterrolebinding绑定起来。

安装yaml文件时，已创建了一个名为kubernetes-dashboard的服务账户，查看详情

[root@master2] ~$ kubectl describe serviceaccount/kubernetes-dashboard -n kube-system
Name:                kubernetes-dashboard
Namespace:           kube-system
Labels:              k8s-app=kubernetes-dashboard
Annotations:         
Image pull secrets:  
Mountable secrets:   kubernetes-dashboard-token-jwld4
Tokens:              kubernetes-dashboard-token-jwld4
Events:              

而kubernetes集群安装好后，他会自动生成一些clusterroles集群权限对象，你可以用下面的命令查看都有哪些

[root@master2] ~$ kubectl get  clusterroles
NAME                                                                   AGE
admin                                                                  4h31m
cluster-admin                                                          4h31m
edit                                                                   4h31m
flannel                                                                3h68m
system:aggregate-to-admin                                              4h31m
system:aggregate-to-edit                                               4h31m

比如集群管理员，我们详细的看一下，*号表示对所有资源有所有权限。

[root@master2] ~$ kubectl describe  clusterroles/cluster-admin
Name:         cluster-admin
Labels:       kubernetes.io/bootstrapping=rbac-defaults
Annotations:  rbac.authorization.kubernetes.io/autoupdate: true
PolicyRule:
  Resources  Non-Resource URLs  Resource Names  Verbs
  ---------  -----------------  --------------  -----
  *.*        []                 []              [*]
             [*]                []              [*]

用户和权限都有了，将他们绑定起来

将kubernetes-dashboard这个服务账户和cluster-admin这个集群管理员权限对象绑定起来。

##13. 创建一个yaml文件， vim dashboard.yaml，内容如下

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: kubernetes-dashboard
  labels:
    k8s-app: kubernetes-dashboard
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: kubernetes-dashboard
  namespace: kube-system

执行

[root@master2] ~$ kubectl create -f dashboard.yaml

查看是否创建成功

[root@master2] ~$ kubectl get clusterrolebindings kubernetes-dashboard
NAME                   AGE
kubernetes-dashboard   88s

找到kubernetes-dashboard账户的token，记下这串token，登录的时候会使用，这个token默认是永久的。

kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep kubernetes-dashboard-token | awk \'{print $1}\')

Name:         kubernetes-dashboard-token-jwld4
Namespace:    kube-system
Labels:       
Annotations:  kubernetes.io/service-account.name: kubernetes-dashboard
              kubernetes.io/service-account.uid: a2ced45f-8b61-11e9-b98f-0050563ff983

Type:  kubernetes.io/service-account-token

Data

namespace:  11 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi1qd2xkNCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImEyY2VkNDVmLThiNjEtMTFlOS1iOThmLTAwNTA1NjNmZjk4MyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.VzsWE80t7AEMB891rxBKJVMxwt5DtuzA23_-SLxxQcjpaB80LBfB09WqUSe6G6vrkRdpMQ3wDLA2SIFCQVAapAHl-J45NuPyhxh8A-DNpfGpEk3uxFqXkn5WXYasbeCIcHw6TII27PTwG6wgS_q1qEbOf4LYJHjExdqypIqAj__F2RRGTqER378qVvJrHJndL5M6W2PhINazLOEqezxKxDRBigMFU7luOYvWCxSPFhjSd3LrsMfWwSRY-Jq5-tUEhsI7uU7Yyb3UIDDiXex-8Mwbida_TgpcIZi6BaEclPygSSfq1a177r97hnxcdv02X9ooOghztSGKM-1bDBWhNg
ca.crt:     1025 bytes

再次访问dashboard，输入token登录后界面如下；
此时访问dashboard的主体是kubernetes-dashboard这个服务账户，它拥有对集群所有资源的所有使用权限。

通过web方式操作很方便，如下：进行扩缩容

生产环境要对不同的人赋予不同的权限，自定义资源访问权限，用kubeconfig方式登录，每次都要复制token，会比较麻烦

1、先把config文件复制到别的地方

[root@master2] ~$ cp .kube/config .

然后把一个具有全部访问权限的token追加到最后一行。先找出token

kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-token | awk \'{print $1}\') |grep token|tail -1

追加到config中，如下

users:
- name: kubernetes-admin
  user:
    client-certificate-data: LS0tLS1CRUd....
    client-key-data: LS0tLS1CRUdJTiBSU......
    token: eyJhbGciO... ...

上传到桌面，选择登录

使用用户名密码方式登录，默认情况下用户名密码登录没有启用。

如果没有该参数，默认使用的是匿名用户，并且无法检查提供的凭据是否有效。
原因是Kubernetes 需要有配置

如果要启用用户名和密码验证，必须在apiserver的部署文件中配置参数 --authorization-mode=ABAC和and --basic-auth-file。

然后在dashboard的部署文件中设置authentication-mode = basic。默认情况下，它的设置是--authentication-mode = token。

跳过登录过程，直接访问
添加参数- --enable-skip-login

containers:
  - args:
    - --auto-generate-certificates
    - --enable-skip-login

官方文档：
https://github.com/kubernetes/dashboard/wiki/Accessing-Dashboard—1.7.X-and-above
https://github.com/kubernetes/dashboard/wiki/Creating-sample-user