Drybergh kende een zeer onrustige jeugd die hem oriënteerde naar eenzaamheid. In 1950 verhuisde het gezin naar Blankenberge wegens zijn slechte gezondheid. Hier deed Charles Drybergh een zware val, waardoor hij gedeeltelijk verlamd raakte. In 1960 verhuisden ze ten slotte naar Oostende.
Dryberghs vroegste werk was duidelijk figuratief, maar de onvrede met de figuratie was er reeds sterk voelbaar. Op zoek naar vernieuwing trok hij langs alle kanten de figuratie open. Deze experimentele periode was omstreeks 1950 ten einde.
De periode die daarop volgde, bracht werk voort in de geest van de lyrisch abstractie en het abstract expressionisme. Drybergh maakte overwegend gebruik van zwart-witcontrasten, ook van grijs en bruin, in impulsieve borsteltrekken en krachtig gekleurde uithalen aangebracht.
In 1959 waagde hij zich kortstondig aan het experimenteren met materieschilderkunst. Dryberghs “abstracte” periode was kort, maar hevig. Vele schilderijen uit deze “Blankenbergse tijd” werden tijdens depressieve buien door Drybergh zelf opzettelijk vernield of gewoon overschilderd met een dekkende grondlaag om opnieuw gebruikt te worden.
Vanaf 1963 kwam de figuratie in zijn werken stilaan terug. Versplinterende, gefragmenteerde of zeer schetsmatig uitgewerkte voorwerpen, figuren, figurenparen en –groepen evoceren een sfeer van vervreemding. Heel vaak wordt het gelaat weggeveegd. Ze leven samen met non-figuratie en geven een beeld zowel van chaos, angst en mysterie als van de vreugde van het schilderen. Deze vreugde wordt uitgedrukt door het coloriet dat ongewoon frisse kleuren bevat. Er ontstonden ook portretten, o.a. van Dryberghs grootmoeder, van zijn vriend en bewonderaar Ph. D’Arschot. Ook de figuren in zijn schilderijen zijn mensen uit zijn nabijheid. Banale voorwerpen uit zijn omgeving gaven vaak aanleiding tot schilderijen.
Van 1968 af toonden zich duidelijke invloeden van de popart en werden andere fenomenen van bevrijding uit dit voor de maatschappij zo belangrijke scharnierjaar zichtbaar.
Drybergh gebruikte psychedelische, schrille kleuren en zocht de basisgegevens voor zijn motieven waarschijnlijk in gedrukt beeldmateriaal (magazines, publiciteit, persfoto’s). In 1969 schilderde hij op een achtergrond van kleurrijke, maar streng geometrische motieven, een reeks anonieme, modieuze vrouwen, van wie de gelaatstrekken opnieuw steevast weggelaten werden. Enkele kleurrijke collages uit 1970 sluiten aan bij het werk uit 1968-69. De laatste popwerken dateren uit 1972.
Tijdens Dryberghs laatste creatieve jaren, van 1973 tot de vroege jaren tachtig, verdween de kleur opnieuw en maakte plaats voor het pure zwart-wit.
Van zijn talrijke tentoonstellingen zijn als zeer belangrijk te signaleren de individuele tentoonstellingen in de Galerie Zodiaque, Brussel (1957, 1961), in het Museum voor Schone Kunsten, Oostende (1965), in het Paleis voor Schone Kunsten, Brussel (1966), in het Casino-Kursaal, Oostende (1970), in de H.R.I.P.B., Oostende (1990). Zoals zoveel andere Oostendse kunstenaars, heeft Charles Drybergh ook tentoongesteld in het (nu afgebroken) kunstenaarscafé "La Chèvre Folle" in Oostende.
Hij heeft deelgenomen aan diverse groepstentoonstellingen in België, Nederland, Duitsland en Zwitserland.
Belangrijke retrospectieven in het Museum voor Schone Kunsten in Oostende (1994) en het Maison de la Culture in Namen (2010).