ICP备案，全称为Internet Content Provider，是指在中国境内提供互联网信息服务的单位或个人，需要向中国工业和信息化部或者其授权的省级通信管理局进行备案。根据《非经营性互联网信息服务备案管理办法》的规定，在中华人民共和国境内提供非经营性互联网信息服务的网站，应当办理备案。这里的“网站”通常指的是具有域名的网络服务实体，因为域名是互联网上的重要标识，用于识别和定位网站。

具体来说，如果自建服务器并计划在互联网上提供非经营性信息服务，无论是通过域名方式访问还是通过IP地址方式访问，都需要进行ICP备案。这是因为备案的目的是为了加强互联网信息服务管理，保护互联网信息服务单位和用户的合法权益，促进互联网信息服务健康有序发展。而域名作为网站的唯一标识，是备案过程中不可或缺的一部分。
此外，即使不直接注册域名，但如果服务器上的网站内容需要对外提供Web服务，并且域名解析指向中国内地服务器，那么仍然需要进行ICP备案。因为这种情况下，网站实际上已经在互联网上提供了信息服务，符合了备案的条件。
综上所述，ICP备案通常需要注册域名，因为域名是网站的重要标识和访问入口。如果确实没有注册域名，但服务器上的内容需要对外提供信息服务，并且符合备案条件，那么仍然需要进行ICP备案。不过，具体情况可能因地区和政策而异，建议在备案前咨询当地通信管理局或相关服务提供商以获取准确信息。