So würde weder die undifferenzierte Zahl der Fälle pro Krankenhaus noch die Gesamtzahl der im Krankenhaus angestellten Pflegekräfte (Pflegepersonalquotient) Rückschlüsse auf die Behandlungsqualität zulassen. Für eine valide Bewertung sei vielmehr eine Risikoadjustierung erforderlich, die den Behandlungsschweregrad und eine längere Verweildauer infolge komplexer Indikationen berücksichtigt. Ohne diese Differenzierung stünden vor allem Fachkrankenhäuser, die sich auf die Behandlung von schwerstkranken Patienten spezialisiert haben, fälschlicherweise schlechter da als allgemeine Krankenhäuser.
Unberücksichtigt bleibe auch, dass bei vielen Komplexbehandlungen (wie Neurologie und Geriatrie) neben der Pflege zwingend therapeutische Leistungen zu erbringen seien. Dadurch erhielten vor allem Krankenhäuser mit einem hohen Anteil an therapeutischen Berufsgruppen eine schlechtere Bewertung als ihnen eigentlich zustehe.
Ein weiterer eklatanter Fehler des Portals sei, dass keine Vergleichs- und Durchschnittswerte zu den angezeigten Ergebnissen abgebildet würden. Dadurch mangele es an wesentlichen Orientierungspunkten.
Ein großes Manko sei zudem das Fehlen von Indikatoren zur Ergebnisqualität wie zum Beispiel PREMS oder PROMS, Komplikationsraten oder AU-Dauer. Der Bundes-Klinik-Atlas beschränke sich auf Strukturdaten. Bereits existierende Portale und Initiativen seien hier schon wesentlich weiter.
Beeinträchtigt werde der Nutzen des Portals auch durch falsche Angaben zu den Grunddaten der Krankenhäuser, wie unkorrekte Adressen, falsche Behandlungsgebiete und Patientenzahlen sowie unrichtige Zahlen zur Bettenkapazität. Solche Fehler wären vermeidbar gewesen, wenn vor Veröffentlichung des Portals eine Testphase durchgeführt worden wäre. Ein offizielles Verfahren zur Meldung von Korrekturen gebe es nicht - jedenfalls hätten die Kliniken bislang keine Informationen dazu erhalten.
Nach Überzeugung des BDPK stand bei Bundesgesundheitsminister Lauterbach auch nicht die Absicht im Vordergrund, mehr Transparenz zu schaffen, sondern vielmehr das Vorhaben, die von ihm vorgesehene künftige Krankenhausplanungssystematik voranzubringen.