Bên trong não bộ có một vùng nhỏ tên là hồi hải mã, đóng vai trò như một "nhà kho" chuyên lưu trữ những kỷ niệm để sau này ta có thể nhớ lại. Ở trẻ sơ sinh, vùng não này còn rất non nớt và chưa đủ khả năng lưu giữ ký ức một cách bền vững như ở người lớn, nó cần thêm vài năm nữa để phát triển hoàn thiện. Ngoài ra, để nhớ lại một kỷ niệm rõ ràng, não thường cần gắn sự kiện đó với ngôn ngữ, ví dụ như câu chuyện "hôm sinh nhật ba tuổi con được tặng con gấu bông"; nhưng trẻ sơ sinh và trẻ chưa biết nói lại thiếu công cụ ngôn ngữ đó, nên dù não vẫn ghi nhận một phần thông tin, nó không được lưu thành ký ức có thể gọi lại rõ ràng sau này.

Các nhà khoa học gọi hiện tượng không nhớ được thời thơ ấu sớm nhất này là chứng quên tuổi ấu thơ, và nó xảy ra ở gần như tất cả mọi người trên thế giới chứ không phải chỉ riêng ai. Nguyên nhân chính là vùng hồi hải mã cùng các kết nối thần kinh liên quan tới trí nhớ dài hạn vẫn đang trong quá trình xây dựng và hoàn thiện suốt vài năm đầu đời, nên những kỷ niệm hình thành trong giai đoạn này thường không được lưu trữ ổn định như những ký ức hình thành sau này. Bên cạnh đó, trẻ nhỏ chưa có khái niệm rõ ràng về thời gian, như hôm qua, tuần trước, năm ngoái, nên dù có ghi nhớ một khoảnh khắc nào đó, trẻ cũng khó sắp xếp nó vào đúng dòng thời gian để sau này nhớ lại một cách mạch lạc.

Con để ý mà xem, hầu hết người lớn khi được hỏi ký ức sớm nhất của mình là gì, thường chỉ nhớ được những sự việc xảy ra từ khoảng ba đến bốn tuổi trở đi, ví dụ như lần đầu đi học mẫu giáo hay một chuyến đi chơi cùng gia đình, chứ rất hiếm ai nhớ được điều gì từ lúc mới sinh hay một, hai tuổi. Có gia đình thường quay video hay chụp ảnh những khoảnh khắc đầu đời của con, và sau này khi con lớn lên xem lại, con có thể "nhớ" được câu chuyện đó, nhưng thực ra đó là trí nhớ được xây dựng lại từ hình ảnh và lời kể của người thân, chứ không phải ký ức thật sự được não lưu giữ từ lúc còn bé xíu.

Nhiều người nghĩ rằng nếu cố gắng tập trung thật kỹ, ai cũng có thể nhớ lại chính xác những gì xảy ra khi mình còn là trẻ sơ sinh, nhưng thực ra vì vùng não lưu giữ ký ức chưa phát triển đủ ở giai đoạn đó, nên gần như không có cách nào để gọi lại những ký ức thật sự từ thời điểm này. Cũng có người tin rằng những "ký ức" từ khi còn ẵm ngửa mà họ kể lại là hoàn toàn chính xác, nhưng phần lớn trường hợp đó thực chất là những câu chuyện được nghe kể lại nhiều lần từ cha mẹ hoặc được ghép lại từ ảnh chụp, mà bộ não sau đó tưởng nhầm là ký ức của chính mình.