<!DOCTYPE html> es la primera línea de un documento HTML. Le dice al navegador que renderice en standards mode en lugar de quirks mode (un modo antiguo compatible con errores que emula navegadores de los años 90).
...
Sin el doctype, los navegadores recurren a quirks mode, que cambia el comportamiento del diseño de formas sorprendentes — más famosamente el box model:
Quirks mode: width includes padding + border (old IE box model)
Standards mode: width is the content box (CSS spec) — predictable
Otros quirks incluyen el manejo diferente de line-height en celdas de tabla, espaciado de imágenes y unidades CSS. Estas inconsistencias hacen que su CSS cuidadosamente escrito se renderice de manera diferente, por lo que casi siempre desea standards mode.
En HTML4/XHTML el doctype era una URL larga que hacía referencia a un DTD (Document Type Definition):
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "...dtd">
HTML5 lo simplificó a solo <!DOCTYPE html> — ya no apunta a un DTD; es puramente un interruptor de modo que el navegador reconoce.
Siempre incluya <!DOCTYPE html> como la primera línea.
Es una garantía de una línea de que su página usa las reglas de renderización modernas y consistentes que asume todo tutorial y framework de CSS — omitirlo lleva a diferencias de diseño confusas y difíciles de depurar.